CN213069445U - 附着物去除装置、云台相机及平台 - Google Patents
附着物去除装置、云台相机及平台 Download PDFInfo
- Publication number
- CN213069445U CN213069445U CN202022125703.0U CN202022125703U CN213069445U CN 213069445 U CN213069445 U CN 213069445U CN 202022125703 U CN202022125703 U CN 202022125703U CN 213069445 U CN213069445 U CN 213069445U
- Authority
- CN
- China
- Prior art keywords
- image
- pan
- camera
- attachment
- tilt
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Accessories Of Cameras (AREA)
Abstract
本实用新型提供一种附着物去除装置、云台相机及平台。该附着物去除装置应用于安装有相机的平台。附着物去除装置包括控制装置。控制装置用于在接收到对相机镜头上的附着物进行去除的外部指令时,启动对附着物进行去除的操作。该云台相机包括相机及用于承载相机的云台。云台包括轴臂、设置于轴臂上用于安装相机的相机安装部、以及控制装置。控制装置用于在接收到对相机镜头上的附着物进行去除的外部指令时,控制云台运动以去除相机镜头上的附着物。平台包括该附着物去除装置。本实用新型能够自动去除相机镜头上的附着物。
Description
技术领域
本实用新型涉及附着物去除技术领域,尤其涉及一种附着物去除装置、云台相机及平台。
背景技术
在可移动平台的工作场景中,特别是远程航拍、巡检、救灾等可移动平台的远距离控制场景中,由于可移动平台工作的空气中存在雾气、水汽、雨滴、雪粒、灰尘,或者是意外飞来的砂粒、小石、沙尘等杂质,可能出现这些环境杂质附着在可移动平台挂载的相机上的情况。现有技术中对这些附着在相机特别是镜头上的附着物没有很好的去除方法,只能在可移动平台停止工作并返回时人工擦除。
然而,如果不去除相机镜头上的附着物会大大影响成像效果,在救灾时还会进一步影响到救援进度。此外,频繁返航去除镜头上的附着物还会降低可移动平台的远程操控效率。而人工去除镜头附着物的效率则比较低。
实用新型内容
本实用新型的目的在于提供一种附着物去除装置、云台相机及平台,旨在能够自动去除相机镜头上的附着物。
本实用新型的一个方面提供一种附着物去除装置,其应用于安装有相机的平台。所述附着物去除装置包括检测装置及控制装置。所述检测装置用于对所述相机镜头上的附着物进行检测。所述控制装置用于至少部分地基于所述附着物的检测结果,启动对所述附着物进行去除的操作。
本实用新型的另一个方面提供一种云台相机。所述云台相机包括相机及用于承载所述相机的云台。所述云台包括轴臂、设置于所述轴臂上用于安装所述相机的相机安装部、以及控制装置。所述控制装置用于获得所述相机镜头上的附着物的检测结果,并至少部分地基于所述检测结果,控制所述云台运动以去除所述相机镜头上的所述附着物。
本实用新型的另一个方面提供一种平台,其包括平台主体及安装于所述平台主体上的相机。所述平台还包括附着物去除装置,所述附着物去除装置包括检测装置及控制装置。所述检测装置用于对所述相机镜头上的附着物进行检测。所述控制装置用于至少部分地基于所述附着物的检测结果,启动对所述附着物进行去除的操作。
本实用新型的另一个方面提供一种附着物去除装置,其应用于安装有相机的平台。所述附着物去除装置包括控制装置。所述控制装置用于在接收到对所述相机镜头上的附着物进行去除的外部指令时,启动对所述附着物进行去除的操作。
本实用新型的另一个方面提供一种云台相机,其包括相机及用于承载相机的云台。所述云台包括轴臂、设置于所述轴臂上用于安装所述相机的相机安装部、以及控制装置。所述控制装置用于在接收到对所述相机镜头上的附着物进行去除的外部指令时,控制所述云台运动以去除所述相机镜头上的所述附着物。
本实用新型提供了如下技术方案:
技术方案1.一种附着物去除装置,其应用于安装有相机的平台,其中,所述附着物去除装置包括:
检测装置,用于对所述相机镜头上的附着物进行检测;及
控制装置,用于至少部分地基于所述附着物的检测结果,启动对所述附着物进行去除的操作。
技术方案2.如技术方案1所述的装置,其中,所述平台还包括用于搭载所述相机的云台,所述控制装置用于控制所述云台相对于所述平台运动以去除所述相机镜头上的所述附着物。
技术方案3.如技术方案2所述的装置,其中,所述控制装置用于控制所述云台绕轴线进行旋转以利用离心力将所述附着物甩离所述相机镜头。
技术方案4.如技术方案3所述的装置,其中,所述控制装置用于控制所述云台绕云台偏航轴旋转。
技术方案5.如技术方案4所述的装置,其中,所述控制装置还用于在所述云台旋转时,控制所述相机镜头始终保持朝向下方。
技术方案6.如技术方案3所述的装置,其中,所述控制装置用于控制所述云台绕云台横滚轴旋转。
技术方案7.如技术方案6所述的装置,其中,所述控制装置还用于在所述云台进行旋转的过程中,控制所述相机持续进行图像拍摄。
技术方案8.如技术方案7所述的装置,其中,还包括:
图像处理装置,用于对拍摄的图像进行图像处理。
技术方案9.如技术方案8所述的装置,其中,所述图像处理装置包括:
图像旋转装置,用于对所述拍摄的图像进行图像旋转。
技术方案10.如技术方案9所述的装置,其中,所述图像旋转装置基于拍摄图像时所述云台和/或所述相机的运动信息进行图像旋转。
技术方案11.如技术方案9所述的装置,其中,所述图像处理装置还包括:
图像配准装置,用于对旋转后的图像进行图像旋转。
技术方案12.如技术方案11所述的装置,其中,所述图像配准装置基于所述平台的自身姿态和所述云台的姿态进行所述图像配准的计算。
技术方案13.如技术方案11所述的装置,其中,所述图像处理装置还包括:
图像校正装置,用于对配准后的图像进行图像校正。
技术方案14.如技术方案13所述的装置,其中,所述图像处理装置还包括:
图像裁切装置,用于在所述图像旋转装置进行图像旋转之前,对所述拍摄的图像进行图像裁切,
其中,所述图像旋转装置基于所述图像裁切装置裁切后的图像进行图像旋转。
技术方案15.如技术方案14所述的装置,其中,所述图像裁切装置还用于在所述图像配准之后所述图像校正之前,对配准后的图像进行二次图像裁切,
其中,所述图像校正装置基于二次图像裁切后的图像进行图像校正。
技术方案16.如技术方案13所述的装置,其中,所述图像处理装置还包括:
图像裁切装置,用于在所述图像校正装置进行图像校正之后,对校正后的图像进行图像裁切。
技术方案17.如技术方案16所述的装置,其中,所述图像裁切装置还用于在所述配准后的图像不满足图像裁切的条件时,则选择丢弃相关帧的图像以维持图像的稳定性。
技术方案18.如技术方案17所述的装置,其中,在所述配准后的图像的缺失部分大于预定阈值时,则所述图像裁切装置用于判定所述配准后的图像不满足图像裁切的条件。
技术方案19.如技术方案14或16所述的装置,其中,所述图像裁切装置用于将所述图像按照1:1的比例裁切为正方形图像。
技术方案20.如技术方案14或16所述的装置,其中,所述图像裁切装置用于对所述图像做最大内切圆以将所述图像裁切为圆形图像。
技术方案21.如技术方案13所述的装置,其中,所述图像处理装置还用于对图像进行白平衡、色温调节及曝光调节中的至少一种后处理。
技术方案22.如技术方案6所述的装置,其中,所述控制装置还用于在所述云台进行旋转的过程中,控制所述相机的快门速度以配合所述云台进行调整。
技术方案23.如技术方案2所述的装置,其中,所述控制装置用于控制所述云台绕云台偏航轴、云台横滚轴和云台俯仰轴中的至少一个轴在一定角度范围内往复转动。
技术方案24.如技术方案1所述的装置,其中,所述控制装置还用于在所述平台的运行过程中,控制所述相机进行图像拍摄,所述附着物去除装置还包括与所述控制装置连接的图像处理装置,
其中,所述控制装置控制所述图像处理装置通过附着物成像去除算法将所述附着物从拍摄的图像中去除。
技术方案25.如技术方案24所述的装置,其中,所述图像处理装置包括:
识别装置,用于从所述拍摄的图像中识别出所述附着物;及
去除装置,用于将所述附着物从所述图像中去除。
技术方案26.如技术方案25所述的装置,其中,所述图像处理装置还包括:
存储装置,用于存储预先为附着物设置的多个附着物图像模板,
其中,所述识别装置用于:
对所述拍摄的图像中的单帧图像进行图像分割形成分割后的多个局部图像;及
基于所述分割后的多个局部图像与预先存储的附着物图像模板的匹配率来识别出所述附着物。
技术方案27.如技术方案26所述的装置,其中,所述去除装置被配置为:
基于所述附着物图像模板对所述多个局部图像进行分层,其中,识别出的所述附着物单独建立附着物图像层;及
去除所述附着物图像层以得到去除所述附着物后的图像。
技术方案28.如技术方案25所述的装置,其中,所述识别装置被配置为:
基于所述拍摄的图像中的相邻帧图像的各像素点的差值来识别出所述附着物。
技术方案29.如技术方案28所述的装置,其中,所述识别装置被进一步配置为:
计算所述相邻帧图像中各像素点的差值;
对各像素点时间序列上的差值求均方值;及
基于所述均方值来识别出所述附着物。
技术方案30.如技术方案29所述的装置,其中,所述去除装置被进一步配置为:
基于所述均方值对所述图像进行分层,其中,识别出的所述附着物单独建立附着物图像层;及
去除所述附着物图像层以得到去除所述附着物后的图像。
技术方案31.如技术方案25所述的装置,其中,所述去除装置被配置为:
利用暗通道去雾算法从识别出的带有附着物的图像中估算出大气透射率和大气光成分;及
基于带有附着物的图像、估算出的大气透射率和大气光成分得到去除所述附着物后的图像。
技术方案32.如技术方案1所述的装置,其中,所述检测装置包括附着于镜头罩表面透光孔处的压电薄膜,其中,所述镜头罩设置于所述相机镜头上,所述检测装置通过附着于镜头罩表面透光孔处的压电薄膜来检测所述相机镜头上的附着物。
技术方案33.如技术方案32所述的装置,其中,所述检测装置在检测到所述压电薄膜输出压力峰值时,判定所述镜头罩上有附着物。
技术方案34.如技术方案1所述的装置,其中,所述检测装置包括设置于所述平台和/或所述相机上的湿度传感器,所述检测装置通过所述湿度传感器来检测所述相机镜头上的附着物。
技术方案35.如技术方案34所述的装置,其中,在所述湿度传感器检测到的湿度大于预定湿度阈值时,则所述检测装置判定所述相机镜头上有附着物。
技术方案36.如技术方案1所述的装置,其中,所述检测装置通过所述平台的控制端的天气预报信息应用程序接口接收所述平台运行区域内的天气状况,并根据所述平台运行区域内的所述天气状况来检测所述相机镜头上的附着物。
技术方案37.如技术方案36所述的装置,其中,在所述平台运行区域内的所述天气状况为雨、雪或风沙天气时,则所述检测装置判定所述相机镜头上有附着物。
技术方案38.一种云台相机,包括相机及用于承载所述相机的云台,其中,所述云台包括:
轴臂;
相机安装部,设置于所述轴臂上,用于安装所述相机;以及
控制装置,用于获得所述相机镜头上的附着物的检测结果,并至少部分地基于所述检测结果,控制所述云台运动以去除所述相机镜头上的所述附着物。
技术方案39.如技术方案38所述的云台相机,其中,所述控制装置用于控制所述轴臂绕轴线进行旋转以利用离心力将所述附着物甩离所述相机镜头。
技术方案40.如技术方案39所述的云台相机,其中,所述轴臂包括可绕云台偏航轴旋转的偏航轴臂,所述控制装置用于控制所述偏航轴臂绕所述云台偏航轴旋转以去除所述附着物。
技术方案41.如技术方案40所述的云台相机,其中,所述轴臂还包括可绕云台俯仰轴旋转的俯仰轴臂,所述控制装置还用于在所述偏航轴臂旋转时,控制所述俯仰轴臂以使得所述相机镜头始终保持朝向下方。
技术方案42.如技术方案39所述的云台相机,其中,所述轴臂包括可绕云台横滚轴旋转的横滚轴臂,所述控制装置用于控制所述横滚轴臂绕所述云台横滚轴旋转以去除所述附着物。
技术方案43.如技术方案38所述的云台相机,其中,所述轴臂包括可绕云台偏航轴旋转的偏航轴臂、可绕云台横滚轴旋转的横滚轴臂及可绕云台俯仰轴旋转的俯仰轴臂,所述控制装置用于控制所述偏航轴臂、所述横滚轴臂和俯仰轴臂中的至少一个轴臂绕相应轴在一定角度范围内往复转动以去除所述附着物。
技术方案44.一种平台,其包括平台主体及安装于所述平台主体上的相机,其中,所述平台还包括附着物去除装置,所述附着物去除装置包括:
检测装置,用于对所述相机镜头上的附着物进行检测;及
控制装置,用于至少部分地基于所述附着物的检测结果,启动对所述附着物进行去除的操作。
技术方案45.如技术方案44所述的平台,其中,所述平台还包括用于搭载所述相机的云台,所述控制装置用于控制所述云台相对于所述平台运动以去除所述相机镜头上的所述附着物。
技术方案46.如技术方案45所述的平台,其中,所述控制装置用于控制所述云台绕轴线进行旋转以利用离心力将所述附着物甩离所述相机镜头。
技术方案47.如技术方案46所述的平台,其中,所述控制装置用于控制所述云台绕云台偏航轴旋转。
技术方案48.如技术方案47所述的平台,其中,所述控制装置还用于在所述云台旋转时,控制所述相机镜头始终保持朝向下方。
技术方案49.如技术方案46所述的平台,其中,所述控制装置用于控制所述云台绕云台横滚轴旋转。
技术方案50.如技术方案49所述的平台,其中,所述控制装置还用于在所述云台进行旋转的过程中,控制所述相机持续进行图像拍摄。
技术方案51.如技术方案50所述的平台,其中,还包括:
图像处理装置,用于对拍摄的图像进行图像处理。
技术方案52.如技术方案51所述的平台,其中,所述图像处理装置包括:
图像旋转装置,用于对所述拍摄的图像进行图像旋转。
技术方案53.如技术方案52所述的平台,其中,所述图像旋转装置基于拍摄图像时所述云台和/或所述相机的运动信息进行图像旋转。
技术方案54.如技术方案52所述的平台,其中,所述图像处理装置还包括:
图像配准装置,用于对旋转后的图像进行图像旋转。
技术方案55.如技术方案54所述的平台,其中,所述图像配准装置基于所述平台的自身姿态和所述云台的姿态进行所述图像配准的计算。
技术方案56.如技术方案54所述的平台,其中,所述图像处理装置还包括:
图像校正装置,用于对配准后的图像进行图像校正。
技术方案57.如技术方案56所述的平台,其中,所述图像处理装置还包括:
图像裁切装置,用于在所述图像旋转装置进行图像旋转之前,对所述拍摄的图像进行图像裁切,
其中,所述图像旋转装置基于所述图像裁切装置裁切后的图像进行图像旋转。
技术方案58.如技术方案57所述的平台,其中,所述图像裁切装置还用于在所述图像配准之后所述图像校正之前,对配准后的图像进行二次图像裁切,
其中,所述图像校正装置基于二次图像裁切后的图像进行图像校正。
技术方案59.如技术方案56所述的平台,其中,所述图像处理装置还包括:
图像裁切装置,用于在所述图像校正装置进行图像校正之后,对校正后的图像进行图像裁切。
技术方案60.如技术方案59所述的平台,其中,所述图像裁切装置还用于在所述配准后的图像不满足图像裁切的条件时,则选择丢弃相关帧的图像以维持图像的稳定性。
技术方案61.如技术方案60所述的平台,其中,在所述配准后的图像的缺失部分大于预定阈值时,则所述图像裁切装置用于判定所述配准后的图像不满足图像裁切的条件。
技术方案62.如技术方案57或59所述的平台,其中,所述图像裁切装置用于将所述图像按照1:1的比例裁切为正方形图像。
技术方案63.如技术方案57或59所述的平台,其中,所述图像裁切装置用于对所述图像做最大内切圆以将所述图像裁切为圆形图像。
技术方案64.如技术方案56所述的平台,其中,所述图像处理装置还用于对图像进行白平衡、色温调节及曝光调节中的至少一种后处理。
技术方案65.如技术方案49所述的平台,其中,所述控制装置还用于在所述云台进行旋转的过程中,控制所述相机的快门速度以配合所述云台进行调整。
技术方案66.如技术方案45所述的平台,其中,所述控制装置用于控制所述云台绕云台偏航轴、云台横滚轴和云台俯仰轴中的至少一个轴在一定角度范围内往复转动。
技术方案67.如技术方案44所述的平台,其中,所述控制装置还用于在所述可移动平台的运行过程中,控制所述相机进行图像拍摄,所述附着物去除装置还包括与所述控制装置连接的图像处理装置,
其中,所述控制装置控制所述图像处理装置通过附着物成像去除算法将所述附着物从拍摄的图像中去除。
技术方案68.如技术方案67所述的平台,其中,所述图像处理装置包括:
识别装置,用于从所述拍摄的图像中识别出所述附着物;及
去除装置,用于将所述附着物从所述图像中去除。
技术方案69.如技术方案68所述的平台,其中,所述图像处理装置还包括:
存储装置,用于存储预先为附着物设置的多个附着物图像模板,
其中,所述识别装置用于:
对所述拍摄的图像中的单帧图像进行图像分割形成分割后的多个局部图像;及
基于所述分割后的多个局部图像与预先存储的附着物图像模板的匹配率来识别出所述附着物。
技术方案70.如技术方案69所述的平台,其中,所述去除装置被配置为:
基于所述附着物图像模板对所述多个局部图像进行分层,其中,识别出的所述附着物单独建立附着物图像层;及
去除所述附着物图像层以得到去除所述附着物后的图像。
技术方案71.如技术方案68所述的平台,其中,所述识别装置被配置为:
基于所述拍摄的图像中的相邻帧图像的各像素点的差值来识别出所述附着物。
技术方案72.如技术方案71所述的平台,其中,所述识别装置被进一步配置为:
计算所述相邻帧图像中各像素点的差值;
对各像素点时间序列上的差值求均方值;及
基于所述均方值来识别出所述附着物。
技术方案73.如技术方案72所述的平台,其中,所述去除装置被进一步配置为:
基于所述均方值对所述图像进行分层,其中,识别出的所述附着物单独建立附着物图像层;及
去除所述附着物图像层以得到去除所述附着物后的图像。
技术方案74.如技术方案68所述的平台,其中,所述去除装置被配置为:
利用暗通道去雾算法从识别出的带有附着物的图像中估算出大气透射率和大气光成分;及
基于带有附着物的图像、估算出的大气透射率和大气光成分得到去除所述附着物后的图像。
技术方案75.如技术方案44所述的平台,其中,所述检测装置包括附着于镜头罩表面透光孔处的压电薄膜,其中,所述镜头罩设置于所述相机镜头上,所述检测装置通过附着于镜头罩表面透光孔处的压电薄膜来检测所述相机镜头上的附着物。
技术方案76.如技术方案75所述的平台,其中,所述检测装置在检测到所述压电薄膜输出压力峰值时,判定所述镜头罩上有附着物。
技术方案77.如技术方案44所述的平台,其中,所述检测装置包括设置于所述平台和/或所述相机上的湿度传感器,所述检测装置通过所述湿度传感器来检测所述相机镜头上的附着物。
技术方案78.如技术方案77所述的平台,其中,在所述湿度传感器检测到的湿度大于预定湿度阈值时,则所述检测装置判定所述相机镜头上有附着物。
技术方案79.如技术方案44所述的平台,其中,所述检测装置通过所述平台的控制端的天气预报信息应用程序接口接收所述平台运行区域内的天气状况,并根据所述平台运行区域内的所述天气状况来检测所述相机镜头上的附着物。
技术方案80.如技术方案79所述的平台,其中,在所述平台运行区域内的所述天气状况为雨、雪或风沙天气时,则所述检测装置判定所述相机镜头上有附着物。
技术方案81.如技术方案44所述的平台,其中,所述平台包括可移动平台,所述可移动平台包括无人车、无人机或无人船。
技术方案82.如技术方案44所述的平台,其中,所述控制装置设置于所述平台主体上。
技术方案83.一种附着物去除装置,其应用于安装有相机的平台,其中,所述附着物去除装置包括:
控制装置,用于在接收到对所述相机镜头上的附着物进行去除的外部指令时,启动对所述附着物进行去除的操作。
技术方案84.如技术方案83所述的装置,其中,所述平台还包括用于搭载所述相机的云台,所述控制装置用于控制所述云台相对于所述平台运动以去除所述相机镜头上的所述附着物。
技术方案85.如技术方案84所述的装置,其中,所述控制装置用于控制所述云台绕轴线进行旋转以利用离心力将所述附着物甩离所述相机镜头。
技术方案86.如技术方案85所述的装置,其中,所述控制装置用于控制所述云台绕云台偏航轴旋转。
技术方案87.如技术方案86所述的装置,其中,所述控制装置还用于在所述云台旋转时,控制所述相机镜头始终保持朝向下方。
技术方案88.如技术方案85所述的装置,其中,所述控制装置用于控制所述云台绕云台横滚轴旋转。
技术方案89.如技术方案88所述的装置,其中,所述控制装置还用于在所述云台进行旋转的过程中,控制所述相机持续进行图像拍摄。
技术方案90.如技术方案89所述的装置,其中,还包括:
图像处理装置,用于对拍摄的图像进行图像处理。
技术方案91.如技术方案90所述的装置,其中,所述图像处理装置包括:
图像旋转装置,用于对所述拍摄的图像进行图像旋转。
技术方案92.如技术方案91所述的装置,其中,所述图像旋转装置基于拍摄图像时所述云台和/或所述相机的运动信息进行图像旋转。
技术方案93.如技术方案91所述的装置,其中,所述图像处理装置还包括:
图像配准装置,用于对旋转后的图像进行图像旋转。
技术方案94.如技术方案93所述的装置,其中,所述图像配准装置基于所述平台的自身姿态和所述云台的姿态进行所述图像配准的计算。
技术方案95.如技术方案93所述的装置,其中,所述图像处理装置还包括:
图像校正装置,用于对配准后的图像进行图像校正。
技术方案96.如技术方案95所述的装置,其中,所述图像处理装置还包括:
图像裁切装置,用于在所述图像旋转装置进行图像旋转之前,对所述拍摄的图像进行图像裁切,
其中,所述图像旋转装置基于所述图像裁切装置裁切后的图像进行图像旋转。
技术方案97.如技术方案96所述的装置,其中,所述图像裁切装置还用于在所述图像配准之后所述图像校正之前,对配准后的图像进行二次图像裁切,
其中,所述图像校正装置基于二次图像裁切后的图像进行图像校正。
技术方案98.如技术方案95所述的装置,其中,所述图像处理装置还包括:
图像裁切装置,用于在所述图像校正装置进行图像校正之后,对校正后的图像进行图像裁切。
技术方案99.如技术方案98所述的装置,其中,所述图像裁切装置还用于在所述配准后的图像不满足图像裁切的条件时,则选择丢弃相关帧的图像以维持图像的稳定性。
技术方案100.如技术方案99所述的装置,其中,在所述配准后的图像的缺失部分大于预定阈值时,则所述图像裁切装置用于判定所述配准后的图像不满足图像裁切的条件。
技术方案101.如技术方案96或98所述的装置,其中,所述图像裁切装置用于将所述图像按照1:1的比例裁切为正方形图像。
技术方案102.如技术方案96或98所述的装置,其中,所述图像裁切装置用于对所述图像做最大内切圆以将所述图像裁切为圆形图像。
技术方案103.如技术方案95所述的装置,其中,所述图像处理装置还用于对图像进行白平衡、色温调节及曝光调节中的至少一种后处理。
技术方案104.如技术方案88所述的装置,其中,所述控制装置还用于在所述云台进行旋转的过程中,控制所述相机的快门速度以配合所述云台进行调整。
技术方案105.如技术方案84所述的装置,其中,所述控制装置用于控制所述云台绕云台偏航轴、云台横滚轴和云台俯仰轴中的至少一个轴在一定角度范围内往复转动。
技术方案106.如技术方案83所述的装置,其中,所述控制装置还用于在所述平台的运行过程中,控制所述相机进行图像拍摄,所述附着物去除装置还包括与所述控制装置连接的图像处理装置,
其中,所述控制装置控制所述图像处理装置通过附着物成像去除算法将所述附着物从拍摄的图像中去除。
技术方案107.如技术方案106所述的装置,其中,所述图像处理装置包括:
识别装置,用于从所述拍摄的图像中识别出所述附着物;及
去除装置,用于将所述附着物从所述图像中去除。
技术方案108.如技术方案107所述的装置,其中,所述图像处理装置还包括:
存储装置,用于存储预先为附着物设置的多个附着物图像模板,
其中,所述识别装置用于:
对所述拍摄的图像中的单帧图像进行图像分割形成分割后的多个局部图像;及
基于所述分割后的多个局部图像与预先存储的附着物图像模板的匹配率来识别出所述附着物。
技术方案109.如技术方案108所述的装置,其中,所述去除装置被配置为:
基于所述附着物图像模板对所述多个局部图像进行分层,其中,识别出的所述附着物单独建立附着物图像层;及
去除所述附着物图像层以得到去除所述附着物后的图像。
技术方案110.如技术方案107所述的装置,其中,所述识别装置被配置为:
基于所述拍摄的图像中的相邻帧图像的各像素点的差值来识别出所述附着物。
技术方案111.如技术方案110所述的装置,其中,所述识别装置被进一步配置为:
计算所述相邻帧图像中各像素点的差值;
对各像素点时间序列上的差值求均方值;及
基于所述均方值来识别出所述附着物。
技术方案112.如技术方案111所述的装置,其中,所述去除装置被进一步配置为:
基于所述均方值对所述图像进行分层,其中,识别出的所述附着物单独建立附着物图像层;及
去除所述附着物图像层以得到去除所述附着物后的图像。
技术方案113.如技术方案107所述的装置,其中,所述去除装置被配置为:
利用暗通道去雾算法从识别出的带有附着物的图像中估算出大气透射率和大气光成分;及
基于带有附着物的图像、估算出的大气透射率和大气光成分得到去除所述附着物后的图像。
技术方案114.一种云台相机,包括相机及用于承载相机的云台,其中,所述云台包括:
轴臂;
相机安装部,设置于所述轴臂上,用于安装所述相机;以及
控制装置,用于在接收到对所述相机镜头上的附着物进行去除的外部指令时,控制所述云台运动以去除所述相机镜头上的所述附着物。
技术方案115.如技术方案114所述的云台相机,其中,所述控制装置用于控制所述轴臂绕轴线进行旋转以利用离心力将所述附着物甩离所述相机镜头。
技术方案116.如技术方案115所述的云台相机,其中,所述轴臂包括可绕云台偏航轴旋转的偏航轴臂,所述控制装置用于控制所述偏航轴臂绕所述云台偏航轴旋转以去除所述附着物。
技术方案117.如技术方案116所述的云台相机,其中,所述轴臂还包括可绕云台俯仰轴旋转的俯仰轴臂,所述控制装置还用于在所述偏航轴臂旋转时,控制所述俯仰轴臂以使得所述相机镜头始终保持朝向下方。
技术方案118.如技术方案115所述的云台相机,其中,所述轴臂包括可绕云台横滚轴旋转的横滚轴臂,所述控制装置用于控制所述横滚轴臂绕所述云台横滚轴旋转以去除所述附着物。
技术方案119.如技术方案115所述的云台相机,其中,所述轴臂包括可绕云台偏航轴旋转的偏航轴臂、可绕云台横滚轴旋转的横滚轴臂及可绕云台俯仰轴旋转的俯仰轴臂,所述控制装置用于控制所述偏航轴臂、所述横滚轴臂和俯仰轴臂中的至少一个轴臂绕相应轴在一定角度范围内往复转动以去除所述附着物。
本实用新型能够自动去除相机镜头上的附着物,有效解决镜头外表面附着物影响成像效果且难以人工去除的技术问题,减小航拍、救灾等场景中的准备工作和使用负担,提高复杂环境中的成像效果,并且,具有高效的去除效率。
附图说明
图1为本实用新型一个实施例的附着物去除装置的示意性框图;
图2为本实用新型一个实施例的为相机镜头设置镜头罩的示意图;
图3为本实用新型一个实施例的云台绕云台偏航轴旋转的示意图;
图4为本实用新型一个实施例的云台绕云台横滚轴旋转的示意图;
图5为本实用新型一个实施例的图像处理装置的示意性框图;
图6为本实用新型一个实施例的图像裁切方案的示意图;
图7为本实用新型另一个实施例的图像裁切方案的示意图;
图8为图7所示的图像裁切方案中感光元件CMOS的控制示意图;
图9为本实用新型另一个实施例的图像处理装置的示意性框图;
图10为本实用新型一个实施例的图像配准后的图像的缺失部分的示意图;
图11为本实用新型又一个实施例的图像处理装置的示意性框图;
图12为本实用新型一个实施例的附着物去除方法的流程;
图13为本实用新型一个实施例的图像处理方法的流程图;
图14为本实用新型另一个实施例的图像处理方法的流程图;
图15为本实用新型一个实施例的通过附着物成像去除算法将附着物从拍摄的图像中去除的流程图;
图16为图15所示的通过附着物成像去除算法将附着物从拍摄的图像中去除的一个实施例的详细步骤;
图17为图15所示的通过附着物成像去除算法将附着物从拍摄的图像中去除的另一个实施例的详细步骤;
图18为图15所示的将附着物从图像中去除的又一个实施例的详细步骤;
图19为本实用新型一个实施例的云台的控制方法的流程图;
图20为本实用新型一个实施例的云台的示意图;
图21为本实用新型一个实施例的附着物去除装置的应用场景示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本实用新型相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本实用新型的一些方面相一致的装置的例子。
在本实用新型使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本实用新型。除非另作定义,本实用新型使用的技术术语或者科学术语应当为本实用新型所属领域内具有一般技能的人士所理解的通常意义。本实用新型说明书以及权利要求书中使用的“第一”“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。同样,“一个”或者“一”等类似词语也不表示数量限制,而是表示存在至少一个。“多个”或者“若干”表示两个及两个以上。除非另行指出,“前部”、“后部”、“下部”和/或“上部”等类似词语只是为了便于说明,而并非限于一个位置或者一种空间定向。“包括”或者“包含”等类似词语意指出现在“包括”或者“包含”前面的元件或者物件涵盖出现在“包括”或者“包含”后面列举的元件或者物件及其等同,并不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而且可以包括电性的连接,不管是直接的还是间接的。在本实用新型说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
下面结合附图,对本实用新型的各个实施例进行详细说明。在不冲突的情况下,下述的实施例及实施方式中的特征可以相互组合。
图1揭示了本实用新型一个实施例的附着物去除装置10的示意性框图。如图1所示,该附着物去除装置10可以应用于一种平台,特别是一种可移动平台,平台包括平台主体及安装于平台主体上的相机。如图1所示,本实用新型一个实施例的附着物去除装置10包括检测装置11和控制装置12。检测装置11可以对相机镜头上的附着物进行检测。例如对于可移动平台来说,检测装置11可以在可移动平台的运行过程中,对相机镜头上的附着物进行检测,从而可以随时监控相机镜头的附着物的情况。控制装置12与检测装置11连接,控制装置12可以至少部分地基于附着物的检测结果,启动对附着物进行去除的操作。
以下将详细介绍检测装置11对相机镜头上的附着物进行检测的几个实施例。可以理解的是,可以同时采用下述实施例中的一个或几个以检测附着物,从而提高检测效果。
图2揭示了本实用新型一个实施例的为相机20的相机镜头201设置镜头罩202的示意图。如图2所示,在一些实施例中,可以在相机镜头201上设置镜头罩202,本实用新型的检测装置11可以包括附着于镜头罩202表面透光孔处的压电薄膜111,其中,检测装置11通过压电薄膜111,例如透明柔性PZT(锆钛酸铅)压电薄膜等来检测相机镜头201上的附着物。压电薄膜111可以对各种动态力、机械冲击和振动进行测量,在附着物(例如固态的沙粒、小石、雪粒、灰尘,液态的雨滴、水等)击打镜头罩202时将会产生压力峰值。因此,检测装置11在检测到压电薄膜111输出压力峰值时,可以判定镜头罩202上有附着物。从而,可以检测相机镜头201上的附着物。
在另一些实施例中,本实用新型的检测装置11可以包括设置于平台和/或相机上的湿度传感器(未图示),检测装置11可以通过湿度传感器来检测相机镜头201上的附着物。在湿度传感器检测到的湿度大于预定湿度阈值时,则检测装置11可以判定相机镜头201上有附着物。例如,在湿度传感器检测到的湿度大于80%等阈值时则默认为雨天,进而可以判定相机镜头201上有附着物。
在另一些实施例中,本实用新型的检测装置11可以通过平台和/或相机的控制端的天气预报信息应用程序接口接收平台运行区域内的天气状况,并根据平台运行区域内的天气状况来检测相机镜头上的附着物。例如,在平台运行区域内的天气状况为雨、雪或风沙天气时,则检测装置11判定相机镜头201上有附着物。
以上仅作为示意性示例,列举出本实用新型的检测装置11对相机镜头201上的附着物进行检测的三个实施例,然而,本实用新型的附着物检测方案并不局限于此。本实用新型的检测装置11还可以采用其他类似的方式来对相机镜头201上的附着物进行检测。
以下将详细介绍控制装置12是如何至少部分地基于附着物的检测结果来启动对附着物进行去除的操作。可以理解的是,可以同时采用下述实施例中的一个或几个以去除附着物,从而提高去除效果。
平台可以包括用于搭载相机20的云台30,如图2所示。在本实用新型的一个实施例中,控制装置12可以至少部分地基于附着物的检测结果来控制云台30相对于平台运动,从而通过物理性去除方式来去除相机镜头201上的附着物。
在一些实施例中,控制装置12可以控制云台30绕轴线进行例如360度等旋转以利用离心力将附着物甩离相机镜头201。例如,在一个实施例中,如图3所示,控制装置12可以控制云台30绕云台偏航(yaw)轴A1旋转。从而,附加物受yaw轴A1周向的离心力作用向外甩出时,不会击打或附着到其挂载的平台上。由于云台30整体围绕云台偏航轴A1旋转,处于旋转周向的相机镜头201外表面所受的离心力更大,从而有利于短时间内去除附加物。同时,围绕相机镜头201中轴线的较大的旋转半径所产生的离心力较大,有利于保证附着物去除的成功率和减少去除时间。可选地,在云台30绕云台偏航轴A1旋转时,控制装置12还可以控制相机镜头201始终保持朝向下方。从而,附加物受离心力作用向外甩出时,其运动方向朝向平台下方,不会击打或附着到其挂载的平台上。
在另一个实施例中,如图4所示,控制装置12可以控制云台30绕云台横滚(roll)轴A2旋转。可选地,在云台30绕云台横滚轴A2进行旋转的过程中,控制装置12还可以控制相机20持续进行图像拍摄。从而,可以在附着物去除的过程中持续拍摄图像并维持图像拍摄的稳定性。同时,围绕相机镜头201中轴线的较小的旋转半径也无需太大的驱动力矩,有利于保证云台30的姿态稳定及降低附着物去除过程中的功率消耗。
可选地,在云台30绕云台横滚轴A2进行旋转的过程中,控制装置12还可以控制相机20的快门速度以配合云台进行调整,从而可以减少或去除云台20旋转过程中成像的果冻效应。
如图1所示,本实用新型的附着物去除装置10还可以包括与控制装置12连接的图像处理装置13,图像处理装置13可以对拍摄的图像进行图像处理。以下将结合图5至图10来详细介绍图像处理装置在云台30绕云台横滚轴A2旋转的过程中对持续拍摄的图像进行处理的方案。
图5揭示了本实用新型一个实施例的图像处理装置131的示意性框图。如图5所示,在一些实施例中,图像处理装置131包括图像裁切装置1311、与图像裁切装置1311连接的图像旋转装置1312、与图像旋转装置1312连接的图像配准装置1313、以及与图像配准装置1313连接的图像校正装置1314。
图像裁切装置1311可以在图像旋转装置1312对图像旋转之前,首先对拍摄的图像进行图像裁切。从而,可以便于后期进行图像配准。当然,在图像裁切的过程中还可以相应地进行图像拉伸、图像变换等操作。而且,先进行图像裁切,可以减少后续图像处理的运算量,提高图像处理效率。图像裁切装置1311可以采用统一的图像裁切方案来对图像进行裁切,统一的图像裁切方案可以提高裁切处理的效率。
在一个实施例中,图像裁切装置1311可以按照1:1的比例将图像裁切为正方形图像。如图6所示,图像裁切装置1311可以将拍摄的图像I0的长宽比由原始的4:3、16:9等裁切出长宽一致的图像即正方形图像。这样的处理裁切难度较低,后期出片的效果也较好。特别地,在拍摄的图像I0中取较短边的长度作为裁切后正方形的边长,即在4:3的图像中裁切出3:3的正方形图像,或是在16:9的图像中裁切出9:9的正方形图像,能够更好地保留拍摄的图像I0中的大部分内容。可以将上述正方形图像统称为长宽比1:1的图像。
在另一个实施例中,如图7所示,图像裁切装置1311可以对拍摄的图像I0做最大内切圆以将图像裁切为圆形图像,裁切留下内切圆内的图像内容。
在另一个实施例中,在开始附着物去除操作时,如图8所示,可以阻止感光元件CMOS最大内切圆之外的像素的成像,例如可以对其进行遮罩或切断供电,进而直接令CMOS输出圆形图像,从而实现对图像的裁切。
返回参照图5所示,在图像裁切装置1311裁切出画幅一致的图像后,图像旋转装置1312可以基于图像裁切装置1311裁切后的图像进行图像旋转以保证图像方向的一致性。图像旋转装置1312可以基于拍摄图像时云台30和/或相机20的运动信息进行图像旋转。例如,云台30绕roll轴A2顺时针旋转180°时,则图像相应需要逆时针旋转180°以保证方向正确。
因为搭载云台30的平台自身可能产生的抖动和漂移,因此,图像配准装置1313可以对旋转后的图像进行图像配准以防止相邻输出帧之间的跳变。图像配准装置1313可以基于平台的自身姿态和云台30的姿态进行图像配准的计算。可选地,在图像配准之后且图像校正之前,图像裁切装置1311还可能进一步对配准后的图像进行二次图像裁切,以达到图像增稳的要求。
图像校正装置1314可以对完成图像裁切、旋转和配准后的图像进行图像校正。在配准后对图像进行二次图像裁切的情况下,则图像校正装置1314可以基于图像裁切装置1311二次图像裁切后的图像进行图像校正。将图像校正装置1314放在图像配准装置1313下游的好处是可以降低校正处理的数据量,而经过配准的图像由于已经对齐,能够带来更好的畸变校正效果。而将图像校正步骤放在图像裁切、旋转和配准之后,可以进一步降低图像校正处理所需的处理时间和处理资源。
可选地,图像处理装置131还可以对图像进行白平衡、色温调节及曝光调节中的至少一种后处理。较佳的,可以将这些后处理放在图像裁切、旋转、配准和校正之后,以获得统一的后图像处理效果。
图9揭示了本实用新型另一个实施例的图像处理装置132的示意性框图。如图9所示,在另一些实施例中,图像处理装置132包括图像旋转装置1321、与图像旋转装置1321连接的图像配准装置1322、与图像配准装置1322连接的图像校正装置1323、以及与图像校正装置1323连接的图像裁切装置1324。将图像裁切装置1324放在图像配准装置1322或图像校正装置1323的下游,由于图像裁切会带来画幅的损失和图像内容的丢失,因而图像配准和校正针对的是未经裁切的拍摄图像时能够带来更好的图像配准和校正效果。
图像旋转装置1321可以对拍摄的图像I0进行图像旋转以保证图像方向的一致性。图像旋转装置1321可以基于拍摄图像时云台30和/或相机20的运动信息进行图像旋转。例如,云台30绕roll轴A2顺时针旋转180°时,则图像相应需要逆时针旋转180°以保证方向正确。
因为搭载云台30的平台自身可能产生的抖动和漂移,因此,图像配准装置1322可以对旋转后的图像进行图像配准以防止相邻输出帧之间的跳变。图像配准装置1322可以基于平台的自身姿态和云台30的姿态进行图像配准的计算。
图像校正装置1323可以对完成图像旋转和配准的图像进行校正。将图像校正装置1323放在图像配准装置1322下游的好处是可以降低校正处理的数据量,而经过配准的图像由于已经对齐,能够带来更好的畸变校正效果。
在图像校正装置1323进行图像校正之后,图像裁切装置1324可以对图像配准和校正后的图像进行图像裁切,从而能够带来更好的图像配准和矫正效果,也避免了二次裁切及图像拉伸带来的信息丢失问题。当然,在图像裁切的过程中还可以相应地进行图像拉伸、图像变换等操作。同样地,图像裁切装置1324也可以采用上述图6至图8所示的几种方式对图像裁切。
如图10所示,在配准后的图像I1可能不满足图像裁切的条件时,例如,图10中的阴影部分为配准后图像的缺失部分,在配准后的图像I1的缺失部分大于30%等预定阈值时,图像裁切装置1311可判定配准后的图像I1不满足图像裁切的条件,此时,则图像裁切装置1311可以选择丢弃相关帧的图像以维持图像的稳定性。
在本实用新型物理性去除方式的另一个实施例中,控制装置12可以控制云台30绕云台偏航轴A1、云台横滚轴A2和云台俯仰轴A3(如图20所示)中的至少一个轴在一定角度范围内往复转动,从而产生抖动以通过物理性去除方式去除相机镜头201上的附着物。这种控制方式可以直接运用于现有市面上的大部分云台产品,而且,可以适配云台开机自检的算法,对电机的需求也相应较低。当然,当云台30绕特定轴在一定角度范围内往复转动时,其上的相机20也可以保持拍摄,并对持续拍摄的图像进行处理,具体方法可以参见上述图5至图10的说明部分。
以上是以物理性去除方式对相机镜头201上的附着物去除进行了详细说明。然而,本实用新型的附着物去除方案并不局限于此,在本实用新型的其他实施例中,还可以采用成像去除方法来去除相机镜头201上的附着物。以下将结合图11来解释说明如何通过成像去除的方式来去除相机镜头201上的附着物。
本实用新型的控制装置12还可以在平台的运行过程中,控制相机20进行图像拍摄。返回参照图1所示,附着物去除装置10除了包括检测装置11和控制装置12之外,还包括与控制装置12连接的图像处理装置13。控制装置12可以控制图像处理装置13通过附着物成像去除算法来将附着物从拍摄的图像中去除。
图11揭示了本实用新型又一个实施例的图像处理装置133的示意性框图。如图11所示,图像处理装置133包括识别装置1332和去除装置1333。识别装置1332可以从拍摄的图像中识别出附着物。去除装置1333与识别装置1332连接,可以将识别出的附着物从图像中去除。
在本实用新型的一些实施例中,图像处理装置131还包括存储装置1331,存储装置1331可以用来存储预先为附着物设置的多个附着物图像模板。识别装置1332可以对拍摄的图像中的单帧图像进行图像分割形成分割后的多个局部图像,并基于分割后的多个局部图像与存储装置1331预先存储的附着物图像模板的匹配率来识别出附着物。例如,附着物在相机镜头201的周边聚集的可能性大于镜头中心,固态附着物在镜头的下部聚集的可能性大于镜头上部,因此,可以通过图像区域分割来识别附着物。识别装置1332可以通过例如卷积神经网络(Convolutional Neural Networks,CNN)等神经网络算法、遗传算法、聚类算法等来对图像进行分割。去除装置1333可以基于附着物图像模板对多个局部图像进行分层,其中,识别出的附着物可以单独建立附着物图像层,并去除附着物图像层以得到去除附着物后的图像。
在本实用新型的另一些实施例中,识别装置1332可以基于拍摄的图像中的相邻帧图像的各像素点的差值来识别出附着物。具体地,识别装置1332可以通过例如卷积神经网络等神经网络算法、遗传算法、聚类算法等计算相邻帧图像中各像素点的差值,对各像素点时间序列上的差值求均方值,并基于均方值来识别出附着物。去除装置1333可以进一步基于均方值对图像进行分层,其中,识别出的附着物可以单独建立附着物图像层,并去除附着物图像层以得到去除附着物后的图像。
经分析发现,固态的灰尘、细沙、雪粒和液态的液滴等都具有类似水雾的成像效果,镜头上有附着物的部分成像后其暗通道(dark channel)效应与水雾类似。因此,在本实用新型的其他实施例中,在识别装置1332识别出附着物后,去除装置1333可以利用暗通道去雾算法从识别出的带有附着物的图像中估算出大气透射率和大气光成分,并基于带有附着物的图像、估算出的大气透射率和大气光成分得到去除附着物后的图像。
在本实用新型的另一些实施例中,附着物去除装置10也可以不包括检测装置11,附着物去除装置10中的控制装置12可以在接收到对相机镜头201上的附着物进行去除的外部指令时,启动对附着物进行去除的操作。外部指令可以来源于各种检测装置,也可以来源于用户手工触发,或是由多种方法判定获得。
本实用新型的附着物去除装置10可应用于可移动平台工作,特别是无人机航拍、救援或救灾的技术领域。然而,本实用新型的附着物去除装置10并不局限应用于可移动平台,事实上,本实用新型的附着物去除装置10也可以应用于固定平台,例如室外大型操作平台、自然监控站、野外电塔电站等,但凡操作人员远离相机镜头难以手动去除镜头附着物的场合均可以采用本实用新型的附着物去除装置10,特别是周围天气恶劣,人类难以驻扎的环境下效果较佳。
本实用新型的附着物去除装置10能够自动去除相机镜头上的附着物,有效解决镜头外表面附着物影响成像效果且难以人工去除的技术问题,减小航拍、救灾等场景中的准备工作和使用负担,提高复杂环境中的成像效果。本实用新型的附着物去除装置10具有高效的去除效率。
本实用新型还提供了一种附着物去除方法。图12揭示了本实用新型一个实施例的附着物去除方法的流程图。本实用新型的附着物去除方法可以应用于可移动平台,当然,本实用新型的附着物去除方法也可以应用于搭载相机且难以手动去除相机镜头附着物的固定平台。以下将以附着物去除方法应用于可移动平台为例来进行说明。该可移动平台包括平台主体及安装于平台主体上的相机。如图12所示,本实用新型一个实施例的附着物去除方法可以包括步骤S11和步骤S12。
在步骤S11中,在可移动平台的运行过程中,对相机镜头上的附着物进行检测。
在一个实施例中,步骤S11的对相机镜头上的附着物进行检测可以包括:通过附着于镜头罩表面透光孔处的压电薄膜来检测相机镜头上的附着物,其中,镜头罩设置于相机镜头上。在压电薄膜输出压力峰值时,则可以判定镜头罩上有附着物。
在另一个实施例中,步骤S11的对相机镜头上的附着物进行检测可以包括:通过设置于可移动平台和/或相机上的湿度传感器来检测相机镜头上的附着物。在湿度传感器检测到的湿度大于预定湿度阈值时,则判定相机镜头上有附着物。
在又一个实施例中,步骤S11的对相机镜头上的附着物进行检测可以包括:通过可移动平台的控制端的天气预报信息应用程序接口接收可移动平台运行区域内的天气状况;及根据可移动平台运行区域内的天气状况来检测相机镜头上的附着物。在可移动平台运行区域内的天气状况为雨、雪或风沙天气时,则判定相机镜头上有附着物。
在步骤S12中,至少部分地基于附着物的检测结果,启动对附着物进行去除的操作。
在本实用新型的一些实施例中,可移动平台还包括用于搭载相机的云台,步骤S12的启动对附着物进行去除的操作包括:控制云台相对于可移动平台运动以去除相机镜头上的附着物。从而,可以通过物理性去除方式来去除附着物。
在一个实施例中,控制云台相对于可移动平台运动包括:控制云台绕轴线进行旋转以利用离心力将附着物甩离相机镜头。例如,可以控制云台绕云台偏航轴旋转。可选地,本实用新型的附着物去除方法还可以包括:在云台绕云台偏航轴旋转时,控制相机镜头始终保持朝向下方。
或者,也可以控制云台绕云台横滚轴旋转。可选地,本实用新型的附着物去除方法还可以包括:在云台绕云台横滚轴进行旋转的过程中,控制相机持续进行图像拍摄。进一步可选地,本实用新型的附着物去除方法还可以包括:对拍摄的图像进行图像处理。
图13揭示了本实用新型一个实施例的图像处理方法的流程图。如图12所示,本实用新型的图像处理方法可以包括步骤S21至S24。
在步骤S21中,对拍摄的图像进行图像裁切,从而将拍摄的图像裁切成画幅一致的图像。例如,可以参照图6所示的图像裁切方式,将拍摄的图像按照1:1的比例统一裁切为正方形图像。或者,也可以参照图7和图8所示的图像裁切方式,对拍摄的图像做最大内切圆以将拍摄的图像统一裁切为圆形图像。
在步骤S22中,对裁切后的图像进行图像旋转以保证图像方向的一致性。图像旋转可以基于拍摄图像时云台和/或相机的运动信息进行。
在步骤S23中,对旋转后的图像进行图像配准以防止相邻输出帧之间的跳变。图像配准可以基于可移动平台的自身姿态和云台的姿态进行计算。可选地,在图像配准之后图像校正之前,还可能进一步对配准后的图像进行二次图像裁切,以达到图像增稳的要求。
在步骤S24中,对配准后的图像进行图像校正。在配准后对图像进行二次图像裁切的情况下,则可以基于二次图像裁切后的图像进行图像校正。
本实用新型的图像处理方法先进行图像裁切,从而,可以减少后续图像处理的运算量,提高图像处理效率。
可选地,本实用新型的图像处理方法还可以包括步骤S25。在步骤S25中,还可以对图像进行其他处理,例如包括但不限于白平衡、色温调节及曝光调节等中的至少一种后处理。
图14揭示了本实用新型另一个实施例的图像处理方法的流程图。如图13所示,本实用新型的图像处理方法可以包括步骤S31至S34。
在步骤S31中,对拍摄的图像进行图像旋转以保证图像方向的一致性。图像旋转可以基于拍摄图像时云台和/或相机的运动信息进行。
在步骤S32中,对旋转后的图像进行图像配准以防止相邻输出帧之间的跳变。图像配准可以基于可移动平台的自身姿态和云台的姿态进行计算。
在步骤S33中,对配准后的图像进行图像校正。
在步骤S34中,对校正后的图像进行图像裁切,从而将校正后的图像裁切成画幅一致的图像。例如,可以参照图6所示的图像裁切方式,将校正后的图像按照1:1的比例统一裁切为正方形图像。或者,也可以参照图7和图8所示的图像裁切方式,对校正后的图像做最大内切圆以将校正后的图像统一裁切为圆形图像。
可选地,步骤S34的对校正后的图像进行图像裁切还可以包括:在配准后的图像不满足图像裁切的条件时,则选择丢弃相关帧的图像以维持图像的稳定性。例如,可以参照图10所示,在配准后的图像的缺失部分大于30%等预定阈值时,则判定配准后的图像不满足图像裁切的条件。
本实用新型的图像处理方法将图像裁切放在图像旋转、图像配准和图像校正之后,未经裁切的拍摄图像能够带来更好的图像配准和校正效果。
可选地,本实用新型的图像处理方法还可以包括步骤S35。在步骤S35中,还可以对图像进行其他处理,例如包括但不限于白平衡、色温调节及曝光调节等中的至少一种后处理。
在另一个实施例中,控制云台相对于可移动平台运动包括:控制云台绕云台偏航轴、云台横滚轴和云台俯仰轴中的至少一个轴在一定角度范围内往复转动,从而产生抖动以通过物理性去除方式去除相机镜头上的附着物。
以上介绍了通过物理性去除方法将相机镜头上的附着物从相机镜头上去除。
返回参照图12所示,在本实用新型的另一些实施例中,本实用新型的附着物去除方法还可以包括步骤S13。在步骤S13中,在可移动平台的运行过程中,控制相机进行图像拍摄。在这种情况下,步骤S12的启动对附着物进行去除的操作可以包括:通过附着物成像去除算法将附着物从拍摄的图像中去除。从而,可以通过图像去除的方法将附着物去除掉。
图15揭示了本实用新型一个实施例的通过附着物成像去除算法将附着物从拍摄的图像中去除的流程图。如图15所示,通过附着物成像去除算法将附着物从拍摄的图像中去除可以进一步包括步骤S41和步骤S42。
在步骤S41中,从拍摄的图像中识别出附着物。
在步骤S42中,在识别出附着物之后,将附着物从图像中去除。
图16揭示了图15所示的通过附着物成像去除算法将附着物从拍摄的图像中去除的一个实施例的详细步骤。如图16所示,步骤S41的从拍摄的图像中识别出附着物可以包括步骤S51至步骤S53。
在步骤S51中,预先为附着物设置多个附着物图像模板。
在步骤S52中,对拍摄的图像中的单帧图像进行图像分割形成分割后的多个局部图像。
在步骤S53中,基于分割后的多个局部图像与预先存储的附着物图像模板的匹配率来识别出附着物。
步骤S42的将附着物从图像中去除可以包括步骤S54至步骤S55。
在步骤S54中,基于附着物图像模板对多个局部图像进行分层,其中,识别出的附着物单独建立附着物图像层。
在步骤S55中,去除附着物图像层以得到去除附着物后的图像。
图17揭示了图15所示的通过附着物成像去除算法将附着物从拍摄的图像中去除的另一个实施例的详细步骤。如图17所示,步骤S41的从拍摄的图像中识别出附着物可以包括步骤S60。在步骤S60中,可以基于拍摄的图像中的相邻帧图像的各像素点的差值来识别出附着物。步骤S60可以进一步包括步骤S61至步骤S63。
在步骤S61中,计算相邻帧图像中各像素点的差值。
在步骤S62中,对各像素点时间序列上的差值求均方值。
在步骤S63中,基于均方值来识别出附着物。
步骤S42的将附着物从图像中去除可以包括步骤S64至步骤S65。
在步骤S64中,基于均方值对图像进行分层,其中,识别出的附着物单独建立附着物图像层。
在步骤S65中,去除附着物图像层以得到去除附着物后的图像。
图18揭示了图15所示的将附着物从图像中去除的又一个实施例的详细步骤。如图18所示,步骤S42的将附着物从图像中去除可以进一步包括步骤S71和步骤S72。在步骤S71中,可以利用暗通道去雾算法从识别出的带有附着物的图像中估算出大气透射率和大气光成分。在步骤S72中,可以基于带有附着物的图像、估算出的大气透射率和大气光成分得到去除附着物后的图像。
在本实用新型的另一些实施例中,附着物去除方法也可以不包括对相机镜头上的附着物进行检测的步骤S11。附着物去除方法可以始于在接收到对相机镜头201上的附着物进行去除的外部指令时,启动对附着物进行去除操作的步骤S12。
本实用新型的附着物去除方法具有与上述附着物去除装置10相类似的有益技术效果,故,在此不再赘述。
本实用新型还提供了一种云台的控制方法。图19揭示了本实用新型一个实施例的云台的控制方法的流程图。如图19所示,云台用于搭载相机,本实用新型一个实施例的云台的控制方法可以包括步骤S81和步骤S82。
在步骤S81中,获得相机镜头上的附着物的检测结果。
在步骤S82中,至少部分地基于检测结果,控制云台运动以去除相机镜头上的附着物。
在本实用新型的另一个实施例中,云台的控制方法还可以始于在接收到对相机镜头201上的附着物进行去除的外部指令时,控制云台运动以去除相机镜头201上的附着物。
在一些实施例中,步骤S82的控制云台运动包括:控制云台绕轴线进行旋转以利用离心力将附着物甩离相机镜头。例如,在一个实施例中,控制云台运动可以包括:控制云台绕云台偏航轴旋转。可选地,本实用新型的云台的控制方法还可以包括:在云台绕云台偏航轴旋转时,控制云台的云台俯仰轴以使得相机镜头始终保持朝向下方。在另一个实施例中,控制云台运动也可以包括:控制云台绕云台横滚轴旋转。
在一些实施例中,步骤S82的控制云台运动包括:控制云台绕云台偏航轴、云台横滚轴和云台俯仰轴中的至少一个轴在一定角度范围内往复转动。从而产生抖动以将附着物从相机镜头上去除。
本实用新型的云台的控制方法通过对云台进行相应的控制,从而能够有效去除云台所搭载的相机镜头上的附着物。
本实用新型还提供了一种云台相机,云台相机包括相机及搭载相机的云台。图20揭示了本实用新型一个实施例的云台30的示意图。如图20所示,本实用新型一个实施例的云台30可以用来承载相机20,该云台包括轴臂、设置于轴臂上用于安装相机20的相机安装部304以及控制装置12。云台30的轴臂包括可绕云台偏航(yaw)轴A1旋转的偏航轴臂301、可绕云台横滚(roll)轴A2旋转的横滚轴臂302、以及可绕云台俯仰(pitch)轴A3旋转的俯仰轴臂(未图示)。控制装置12可以获得相机镜头上的附着物的检测结果,并至少部分地基于检测结果,控制云台运动以去除相机镜头上的附着物。或者,在另一些实施例中,控制装置12可以在接收到对相机镜头201上的附着物进行去除的外部指令时,控制云台运动以去除相机镜头上的附着物。
在一些实施例中,控制装置12可以控制轴臂绕轴线进行旋转以利用离心力将附着物甩离相机镜头。例如,在一个实施例中,控制装置12可以控制偏航轴臂301绕云台偏航轴A1旋转以去除附着物。可选地,在偏航轴臂301旋转时,控制装置12还可以控制俯仰轴臂以使得相机镜头始终保持朝向下方。在另一个实施例中,控制装置12可以控制横滚轴臂302绕云台横滚轴A2旋转以去除附着物。
在另一些实施例中,控制装置12可以控制偏航轴臂301、横滚轴臂302和俯仰轴臂中的至少一个轴臂绕相应轴在一定角度范围内往复转动以去除附着物。
本实用新型的云台30能够有效地用来对云台30所搭载的相机镜头上的附着物进行去除。
本实用新型还提供了一种平台。本实用新型上面各个实施例所述的附着物去除装置10能够应用于平台上,平台例如可以包括可移动平台或固定平台,可移动平台例如包括但不限于无人车、无人机或无人船等,固定平台例如可以包括室外大型操作平台、自然监控站、野外电塔电站等。图21揭示了本实用新型一个实施例的附着物去除装置10的应用场景示意图,其中,图21中以可移动平台8为一种无人机的形式被示出。如图21所示,可移动平台8包括平台主体80及安装于平台主体80上的相机20。对于无人机来说,平台主体80即为无人机的机身。可移动平台8还包括上面各个实施例所述的附着物去除装置10,用来对相机镜头上的附着物进行去除。附着物去除装置10包括检测装置11及控制装置12。检测装置11可以在可移动平台的运行过程中,对相机镜头上的附着物进行检测。控制装置12可以至少部分地基于附着物的检测结果,启动对附着物进行去除的操作。可选地,控制装置12可以设置于平台主体80上。
在一些实施例中,可移动平台8还可以包括安装于平台主体80上用于搭载相机20的云台30。
本实用新型的可移动平台8例如可以运用于无法进行人工干预的沙尘暴、洪灾、水域救援等环境杂质较多的场景,用于救灾的目标检测或灾害情报的获取。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本实用新型的较佳实施例而已,并不用以限制本实用新型,凡在本实用新型的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本实用新型保护的范围之内。
Claims (15)
1.一种附着物去除装置,其应用于安装有相机的平台,其特征在于,所述附着物去除装置包括:
控制装置,用于在接收到对所述相机镜头上的附着物进行去除的外部指令时,启动对所述附着物进行去除的操作。
2.如权利要求1所述的装置,其特征在于,所述平台还包括用于搭载所述相机的云台,所述控制装置用于控制所述云台相对于所述平台运动以去除所述相机镜头上的所述附着物。
3.如权利要求2所述的装置,其特征在于,所述控制装置用于控制所述云台绕轴线进行旋转以利用离心力将所述附着物甩离所述相机镜头。
4.如权利要求3所述的装置,其特征在于,所述控制装置用于控制所述云台绕云台偏航轴旋转。
5.如权利要求4所述的装置,其特征在于,所述控制装置还用于在所述云台旋转时,控制所述相机镜头始终保持朝向下方。
6.如权利要求3所述的装置,其特征在于,所述控制装置用于控制所述云台绕云台横滚轴旋转。
7.如权利要求6所述的装置,其特征在于,所述控制装置还用于在所述云台进行旋转的过程中,控制所述相机持续进行图像拍摄。
8.如权利要求2所述的装置,其特征在于,所述控制装置用于控制所述云台绕云台偏航轴、云台横滚轴和云台俯仰轴中的至少一个轴在一定角度范围内往复转动。
9.一种云台相机,包括相机及用于承载相机的云台,其特征在于,所述云台包括:
轴臂;
相机安装部,设置于所述轴臂上,用于安装所述相机;以及
控制装置,用于在接收到对所述相机镜头上的附着物进行去除的外部指令时,控制所述云台运动以去除所述相机镜头上的所述附着物。
10.如权利要求9所述的云台相机,其特征在于,所述控制装置用于控制所述轴臂绕轴线进行旋转以利用离心力将所述附着物甩离所述相机镜头。
11.如权利要求10所述的云台相机,其特征在于,所述轴臂包括可绕云台偏航轴旋转的偏航轴臂,所述控制装置用于控制所述偏航轴臂绕所述云台偏航轴旋转以去除所述附着物。
12.如权利要求11所述的云台相机,其特征在于,所述轴臂还包括可绕云台俯仰轴旋转的俯仰轴臂,所述控制装置还用于在所述偏航轴臂旋转时,控制所述俯仰轴臂以使得所述相机镜头始终保持朝向下方。
13.如权利要求10所述的云台相机,其特征在于,所述轴臂包括可绕云台横滚轴旋转的横滚轴臂,所述控制装置用于控制所述横滚轴臂绕所述云台横滚轴旋转以去除所述附着物。
14.如权利要求9所述的云台相机,其特征在于,所述轴臂包括可绕云台偏航轴旋转的偏航轴臂、可绕云台横滚轴旋转的横滚轴臂及可绕云台俯仰轴旋转的俯仰轴臂,所述控制装置用于控制所述偏航轴臂、所述横滚轴臂和俯仰轴臂中的至少一个轴臂绕相应轴在一定角度范围内往复转动以去除所述附着物。
15.一种平台,其包括平台主体及安装于所述平台主体上的相机,其特征在于,所述平台还包括附着物去除装置,所述附着物去除装置包括:
检测装置,用于对所述相机镜头上的附着物进行检测;及
控制装置,用于至少部分地基于所述附着物的检测结果,启动对所述附着物进行去除的操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202022125703.0U CN213069445U (zh) | 2020-09-24 | 2020-09-24 | 附着物去除装置、云台相机及平台 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202022125703.0U CN213069445U (zh) | 2020-09-24 | 2020-09-24 | 附着物去除装置、云台相机及平台 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN213069445U true CN213069445U (zh) | 2021-04-27 |
Family
ID=75562048
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202022125703.0U Expired - Fee Related CN213069445U (zh) | 2020-09-24 | 2020-09-24 | 附着物去除装置、云台相机及平台 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN213069445U (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114026356A (zh) * | 2020-09-24 | 2022-02-08 | 深圳市大疆创新科技有限公司 | 附着物去除方法及装置、云台及其控制方法及可移动平台 |
CN118050054A (zh) * | 2024-04-16 | 2024-05-17 | 中国民用航空飞行学院 | 基于智慧数据分析的飞行安全实时监控***及方法 |
-
2020
- 2020-09-24 CN CN202022125703.0U patent/CN213069445U/zh not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114026356A (zh) * | 2020-09-24 | 2022-02-08 | 深圳市大疆创新科技有限公司 | 附着物去除方法及装置、云台及其控制方法及可移动平台 |
CN114026356B (zh) * | 2020-09-24 | 2023-08-29 | 深圳市大疆创新科技有限公司 | 附着物去除方法及装置、云台及其控制方法及可移动平台 |
CN118050054A (zh) * | 2024-04-16 | 2024-05-17 | 中国民用航空飞行学院 | 基于智慧数据分析的飞行安全实时监控***及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111272148B (zh) | 输电线路无人机自主巡检自适应成像质量优化方法 | |
CN112164015B (zh) | 单目视觉自主巡检图像采集方法、装置及电力巡检无人机 | |
CN110879601B (zh) | 一种对于未知风机结构的无人机巡检方法 | |
CN213069445U (zh) | 附着物去除装置、云台相机及平台 | |
CN108803668B (zh) | 一种静态目标监测的智能巡检无人机吊舱*** | |
US20220195994A1 (en) | Blade inspection device and a blade condition monitoring system | |
CN112653844A (zh) | 一种摄像头云台转向自适应跟踪调节方法 | |
JP2017072986A (ja) | 自律飛行装置、自律飛行装置の制御方法及びプログラム | |
US11228710B1 (en) | Configuring imaging devices based on control signals | |
JP7136079B2 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
WO2021031159A1 (zh) | 比赛拍摄方法、电子设备、无人机与存储介质 | |
US11988946B2 (en) | Gimbal control method, gimbal, and imaging device | |
WO2023197844A1 (zh) | 对焦方法、对焦装置、电子设备及无人机 | |
CN213414247U (zh) | 一种测绘无人机摄像头旋转定位装置 | |
CN113989124B (zh) | 一种提升云台摄像机定位精度的***及其控制方法 | |
CN113949814B (zh) | 一种枪球联动抓拍方法、装置、设备及介质 | |
CN112689989A (zh) | 图像传感器保护方法、装置、图像采集装置及无人机 | |
CN113271409B (zh) | 一种组合相机、图像采集方法及航空器 | |
JP2021196360A (ja) | 風力発電機ブレード点検装置、風力発電機ブレード点検システム及び風力発電機ブレード点検方法 | |
LU504690B1 (en) | A system for automatic leaf photo acquisition by drones | |
CN114026356B (zh) | 附着物去除方法及装置、云台及其控制方法及可移动平台 | |
EP3770424A1 (en) | Blade inspection device and a blade condition monitoring system | |
WO2021031184A1 (zh) | 图像处理方法、设备和可移动平台 | |
KR20170044887A (ko) | 바람을 이용한 비행 드론의 카메라 렌즈 이물질 제거용 송풍팬 | |
JP2023088896A (ja) | 移動物体の点検装置、移動物体の点検システム、移動物体の点検方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210427 |
|
CF01 | Termination of patent right due to non-payment of annual fee |