CN109472200B - 一种智能的海面垃圾检测方法、***和存储介质 - Google Patents
一种智能的海面垃圾检测方法、***和存储介质 Download PDFInfo
- Publication number
- CN109472200B CN109472200B CN201811147814.2A CN201811147814A CN109472200B CN 109472200 B CN109472200 B CN 109472200B CN 201811147814 A CN201811147814 A CN 201811147814A CN 109472200 B CN109472200 B CN 109472200B
- Authority
- CN
- China
- Prior art keywords
- image
- category
- reflection
- light
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 40
- 238000003860 storage Methods 0.000 title claims description 10
- 230000011218 segmentation Effects 0.000 claims abstract description 43
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000003062 neural network model Methods 0.000 claims abstract description 7
- 238000004458 analytical method Methods 0.000 claims abstract description 5
- 238000010586 diagram Methods 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 20
- 238000009499 grossing Methods 0.000 claims description 16
- 238000012805 post-processing Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 4
- 238000011084 recovery Methods 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 4
- 239000004033 plastic Substances 0.000 description 3
- 208000034699 Vitreous floaters Diseases 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000006260 foam Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 239000003643 water by type Substances 0.000 description 2
- 239000002023 wood Substances 0.000 description 2
- 235000006506 Brasenia schreberi Nutrition 0.000 description 1
- 241001113556 Elodea Species 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种智能的海面垃圾检测方法，包括依次执行如下步骤：图像采集：接收利用无人机航拍采集的图片；图像预处理：对采集到的图片利用去雾算法进行去雾处理；反光处理：通过反光检测来判断是否进行调试摄像机的拍摄角度，最终得到一张没有反光的清晰图像；图像语义分割：建立水/海面图语义分割全卷积神经网络模型，最终得到整个图的语义分割结果；入库统计：将获取的信息送入数据库进行垃圾类别统计和分析。本发明的有益效果是：1.利用无人机进行数据采集，可以进行大面积的检测和跟踪，同时避免斜阳和拍摄角度导致的大面积反光；2.规避反光对候选检测精度的影响；3.避免了人工挑选特征的局限性，更能提升***的准确度。
Description
技术领域
本发明涉及电子信息技术领域，尤其涉及一种智能的海面垃圾检测方法、***和存储介质。
背景技术
随着沿海工农业生产的迅速发展和旅游业的蓬勃兴起,漂浮垃圾对海洋环境和生物资源都造成一定程度的损害，而现有的漂浮垃圾监测和清理方法要么不够全面，要么比较昂贵，浪费了大量的人力和时间成本。
现有的方法更多依赖人工调查和数理统计，这些方法在海域大体漂浮垃圾的类型和密度方面可以取得较好的效果，但现实应用中大多环境更加复杂，海域上漂浮垃圾的类型和多寡受地理位置、海况、气象条件和人为活动的影响，上述方法很难做到实时有效精准的检测海域漂浮垃圾的种类和具体的位置。
现有的基于图片的水上目标检测是人为设定特征，特征有限，且没有大数据的有力支撑，在效果和应用上必定会有缺陷。
发明内容
本发明提供了一种智能的海面垃圾检测方法，包括依次执行如下步骤：图像采集步骤：接收利用无人机航拍采集的图片；
图像预处理步骤：对采集到的图片利用去雾算法进行去雾处理；
反光处理步骤：通过反光检测来判断是否进行调试摄像机的拍摄角度，最终得到一张没有反光的清晰图像；
图像语义分割步骤：建立水/海面图语义分割全卷积神经网络模型，由所述水/海面图语义分割全卷积神经网络模型计算得到图像的概率图，并对所述概率图图像中的每个像素进行类别的预测，获取出最大类别图，然后对所述类别图进行后处理，最终得到整个图的语义分割结果；
入库统计步骤：将获取的信息送入数据库进行垃圾类别统计和分析。。
作为本发明的进一步改进，在所述反光处理步骤中，先对预处理图像进行二值化，然后在二值化图像上提取联通体，利用联通体信息判断是否反光，若出现反光，调整无人机上的摄像头角度反光重新采集图像，然后进行第二次反光检测，若第二次反光检测仍出现反光，根据两次反光图像进行反光区域滤除和恢复。
作为本发明的进一步改进，所述反光处理步骤包括如下步骤：
S1：将图像预处理步骤得到的图转为灰度图，进行第一次二值化得到第一次二化值图；
S2：第一次连通域提取，即提取第一次二值化图中的连通域，统计满足达到所设定阈值的联通体个数；
S3：若第一次提取的满足条件的联通体个数没有达到所设定的阈值，则为未反光图像，执行图像语义分割步骤；若第一次提取的满足条件的联通体个数达到所设定的阈值，则判断为第一次反光图像，执行S4步骤；
S4：调整摄像机角度，进行第二次采集图像，将第二次采集到的图像送入图像预处理步骤进行去雾处理，然后执行第二次反光检测；
所述第二次反光检测包括如下步骤：
Y1：将S4步骤得到的图转为灰度图，然进行第二次二值化得到第二次二值化图；
Y2：第二次连通域提取，即提取第二次二值化图中的连通域，统计满足达到所设定阈值的联通体个数；
Y3：若第二次提取的满足条件的联通体个数没有达到所设定的阈值，则为未反光图像，执行图像语义分割步骤；若第二次提取的满足条件的联通体个数达到所设定的阈值，则判断为第二次反光图像，执行Y4步骤；
Y4：根据角度变化及无人机距离海面的高度计算采集图中的偏差，从而将反光区域利用原有背景代替，实现滤除反光区域；
Y5：经过反光区域滤除后的图片执行图像语义分割步骤。
作为本发明的进一步改进，所述图像语义分割步骤包括依次执行如下步骤：
输入步骤：将待处理图片送入模型；
FCN模型步骤：输出概率图，概率图上有每个像素属于每个类别的概率；获取类别图步骤：取出所述概率图上每个像素概率大的类别，组成像素类别图；
类别图平滑：采用平滑操作去除像素类别图上的噪声；
类别图后处理：对概率图进行后处理，得到海面垃圾的类别及位置信息。
作为本发明的进一步改进，所述类别图平滑的具体方法为：设平滑窗口大小为n，像素(i,j)平滑后的类别为：
其中P为像素类别图，c为类别。
作为本发明的进一步改进，所述类别图后处理包括执行如下步骤：滤除小类别区域步骤：将类别图中设定的目标进行滤除；
逻辑合并步骤：根据逻辑关系，进行类别图的合并；
逻辑分割步骤：根据逻辑关系，进行类别图的分割；
类别信息存储步骤：对类别图信息进行存储。
作为本发明的进一步改进，在所述滤除小类别区域步骤中，将类别图中小于50个像素的目标进行滤除。
本发明还公开了一种智能的海面垃圾检测***,包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现本发明所述的方法的步骤。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现本发明所述的方法的步骤。
本发明的有益效果是：1.利用无人机进行数据采集，不仅可以进行大面积的检测和跟踪，还不受天气的干扰，同时无人机从上往下拍摄避免斜阳和拍摄角度导致的大面积反光；2.利用无人机调整摄像机角度来规避反光对候选检测精度的影响；3.利用大数据模型来自动学习目标的特征，不仅避免了人工挑选特征的局限性，更能提升***的准确度。
附图说明
图1是本发明的***流程图；
图2是本发明的反光处理流程图；
图3是本发明的第一次采集反光示意图；
图4是本发明的第二次采集反光示意图；
图5是本发明的语义分割流程图。
具体实施方式
如图1-5所示，本发明公开了一种智能的海面垃圾检测方法，包括依次执行如下步骤：
图像采集步骤：接收利用无人机航拍采集的图片；
一般对于水域上图片不能简单的在陆地上进行拍摄采集，因为这样的采集不仅获取不够全面且因角度不好会导致视觉遮挡。故对于水域上一般采用航拍或者无人机拍摄，本文采用无人机拍摄，主要是将摄像头安装在无人机上，摄像头方向向下，当无人机在水域上时对下方拍摄。
图像预处理步骤：对采集到的图片利用去雾算法进行去雾处理；
考虑雾天采集的图片影响能见度，最终影响垃圾的检测和识别，故对采集到的图片利用去雾算法进行去雾处理。现有的去雾算法最有效的为Fattal的去雾算法，该方法利用了全图最暗的点来去除全局均匀的雾，由于我们处理的图片是利用无人机向下拍摄，整个海面的雾基本均匀，故能有效的达到去雾效果。
反光处理步骤：通过反光检测来判断是否进行调试摄像机的拍摄角度，最终得到一张没有反光的清晰图像；
由于拍摄角度的原因，可能会导致拍摄的图片中存在大片反光，或者某些物体的材质也会导致反光强烈。而反光可能会导致垃圾多检测，或者识别错误，故不能利用反光图片直接进行垃圾的检测和识别，需要对反光区域进行滤除和恢复。本发明先对预处理图像进行二值化，然后在二值化图像上提取联通体，利用联通体信息判断是否反光，若出现反光，调整无人机上的摄像头角度反光重新采集图像，然后进行第二次反光检测。若第二次仍出现反光，根据两次反光图像进行反光区域滤除和恢复。反光处理处理步骤流程图如图2所示，具体细节如下：
S1：将图像预处理步骤得到的图转为灰度图，进行第一次二值化得到第一次二化值图；由于海水的反光亮度，具有很高的亮度值，故这里二值化用一个很高的阈值；
S2：第一次连通域提取，即提取第一次二值化图中的连通域，统计满足达到所设定阈值的联通体个数；
由于无人机拍摄是正上方往下拍摄，故当太阳在正上方拍摄的情况下会反光，此时反光的位置基本在中间区域，且反光区域较小，故这里通过位置区域和面积大小条件来统计。本发明中采用中间1/4区域，大小满足面积大于20个像素小于100个像素。
S3：若第一次提取的满足条件的联通体个数没有达到所设定的阈值(本发明取值为10)，则为未反光图像，执行图像语义分割步骤；若第一次提取的满足条件的联通体个数达到所设定的阈值，则判断为第一次反光图像，执行S4步骤；
S4：调整摄像机角度(调整1度，采集完，又返回原来的角度)，进行第二次采集图像，将第二次采集到的图像送入图像预处理步骤进行去雾处理，然后执行第二次反光检测；
所述第二次反光检测包括如下步骤：
Y1：将S4步骤得到的图转为灰度图，然进行第二次二值化得到第二次二值化图；
Y2：第二次连通域提取，即提取第二次二值化图中的连通域，统计满足达到所设定阈值的联通体个数；(第二次连通域提取方法与第一次连通域提取方法相同)。
Y3：若第二次提取的满足条件的联通体个数没有达到所设定的阈值，则为未反光图像，执行图像语义分割步骤；若第二次提取的满足条件的联通体个数达到所设定的阈值，则判断为第二次反光图像，执行Y4步骤；
Y4：根据角度变化及无人机距离海面的高度计算采集图中的偏差，从而将反光区域利用原有背景代替，实现滤除反光区域；
滤除反光区域，由于第一次采集的图和第二次采集的图角度有所偏差，故采集到的图位置也有所偏差，反光区域也会有所变化。根据角度变化及无人机距离海面的高度计算采集图中的偏差，从而将反光区域利用原有背景代替，如图3-4所示。
Y5：经过反光区域滤除后的图片执行图像语义分割步骤。
图像语义分割步骤：建立水/海面图语义分割全卷积神经网络模型，由所述水/海面图语义分割全卷积神经网络模型计算得到图像的概率图，并对所述概率图图像中的每个像素进行类别的预测，获取出最大类别图，然后对所述类别图进行后处理，最终得到整个图的语义分割结果；
水/海面图语义分割全卷积神经网络(FCN)训练具体如下:
图像的语义分割：将图像中具有独立语义的物体分割出来，像素级的分割，即每一个像素都划分到所属类别；在海面垃圾检测的任务上，我们将待处理图像分为海面、天空、岛屿、海岸、船只、树和水上漂浮物(垃圾)七大类，为了更好的区分垃圾的种类，我们将水上漂浮物分为木头、塑料、泡沫和其他。
基于FCN网络的水面垃圾区域检测和分类的图：其中输入为原始图像和标注图(按像素标注，黑色表示背景，每种颜色表示一种类别，途中大红色表示泡沫或白色垃圾，绿色表示木头或树枝，黄色表示易拉罐或者塑料瓶，棕色表示其他垃圾)。图像经过6层卷积层或者图像的特征，然后利用不同卷积层反卷积操作(上采样)获取不同尺度下的像素类别预测结果，最后根据每个点类别的极大值抑制获取最终的像素级别的类别预测，从而达到各目标的位置检测和分类的目标。
水/海面图语义分割卷积神经网络训练就是利用大数据来学习该网络模型的参数，本发明种的标注类别共有11类(上文中的7大类其中垃圾类中为4类子垃圾，再加上背景类)。
图像语义分割步骤：使用FCN模型计算得到图像的概率图，根据概率图进行语义分割。
图像经过FCN网络对图像中的每个像素进行类别的预测，即每个像素都会得到被判为这11类的概率，然后获取最大类别图，根据类别图进行后处理，最终得到整个图的语义分割结果，具体流程图如图5所示。所述类别图后处理包括执行如下步骤：
输入步骤：将待处理图片送入模型；
FCN模型步骤：输出概率图，概率图上有每个像素属于每个类别的概率；获取类别图步骤：取出所述概率图上每个像素概率大的类别，组成像素类别图；
类别图平滑：采用平滑操作去除像素类别图上的噪声；
像素类别图为模型预测得到的，预测正确率无法做到100％，所以像素类别图上存在一些噪声点和噪声线。采用平滑操作去除噪声，所述类别图平滑的具体方法为：设平滑窗口大小为n，像素(i,j)平滑后的类别为：
其中P为像素类别图，c为类别。
类别图后处理：对概率图进行后处理，得到海面垃圾的类别及位置信息。
基于类别图的语义分割:一般的，利用类别图，可以直接获取各个类别对象的位置，但由于噪声、模型稳定性导致的错误分类，故不能简单的通过类别的位置结构关系直接定位和分类，故得到类别图后，需要经过精细的后处理，最后输出较完美的语义分割结果图。
所述类别图后处理包括执行如下步骤：
滤除小类别区域步骤：将类别图中设定的目标进行滤除；图像中一些小的目标有可能是杂碎的水草，有可能是水浪的浪花，还有可能是模型的错误噪声，故这类目标不进行统计归类。故将类别图中小于一定大小的目标进行滤除。
逻辑合并步骤：根据逻辑关系，进行类别图的合并；自然场景中的语义分割不仅仅是对图像中目标的分割，还存在一定的逻辑关系，例如天空在上方，树木不会在图片的中间等。但基于单个像素的分类可能是存在一定的错误，例如在分类为陆地区域中可能会存在海面的类别区域，故将这些区域合并到陆地类别中。
逻辑分割步骤：根据逻辑关系，进行类别图的分割；同逻辑合并，有些区域形状是固定的，如天空与海面交接的海天线基本是一条直线，但在前面的分类中可能会存在不平整的海天线，故需要做逻辑分割。经过对海天线类别位置的统计，得到统计平均的海天线位置，然后在类别图中进行分割，将平均位置下面的类别统一修改为海面，平均位置上面的类别统一修改为天空的类别。
类别信息存储步骤：对类别图信息进行存储。
入库统计步骤：将获取的信息送入数据库进行垃圾类别统计和分析。
将得到的分割信息通过无人机的定位信息和拍摄环境得知每类垃圾的具***置和类别，从而指导后续的垃圾统计与打捞。例如可以将垃圾分类打捞，如塑料瓶、易拉罐等可回收垃圾可与其他树枝/渔网等垃圾分离回收。
在所述滤除小类别区域步骤中，将类别图中小于50个像素的目标进行滤除。
本发明还公开了一种智能的海面垃圾检测***，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现本发明所述的方法的步骤。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现本发明所述的方法的步骤。
本发明提出的一种海面垃圾实时检测方法的流程：首先利用无人机获取海面(湖面)图片，然后对图片进行预处理进行去雾，再进行筛选无反光图片，然后将处理后清晰的图片送入***网络模型获取各目标的类别概率图，然后对概率图进行后处理得到海面垃圾的类别及位置信息，最后将获取的信息送入数据库进行垃圾类别统计和分析(主要是快速打捞)，主要流程图如图1所示。
本发明的有益效果是：1.利用无人机进行数据采集，不仅可以进行大面积的检测和跟踪，还不受天气的干扰，同时无人机从上往下拍摄避免斜阳和拍摄角度导致的大面积反光；2.利用无人机调整摄像机角度来规避反光对候选检测精度的影响；3.利用大数据模型来自动学习目标的特征，不仅避免了人工挑选特征的局限性，更能提升***的准确度。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (7)
1.一种智能的海面垃圾检测方法，其特征在于，包括依次执行如下步骤：
图像采集步骤：接收利用无人机航拍采集的图片；
图像预处理步骤：对采集到的图片利用去雾算法进行去雾处理；
反光处理步骤：通过反光检测来判断是否进行调试摄像机的拍摄角度，最终得到一张没有反光的清晰图像；
图像语义分割步骤：建立水/海面图语义分割全卷积神经网络模型，由所述水/海面图语义分割全卷积神经网络模型计算得到图像的概率图，并对所述概率图图像中的每个像素进行类别的预测，获取出最大类别图，然后对所述类别图进行后处理，最终得到整个图的语义分割结果；
入库统计步骤：将获取的信息送入数据库进行垃圾类别统计和分析；
所述图像语义分割步骤包括依次执行如下步骤：
输入步骤：将待处理图片送入模型；
FCN模型步骤：输出概率图，概率图上有每个像素属于每个类别的概率；
获取类别图步骤：取出所述概率图上每个像素概率大的类别，组成像素类别图；
类别图平滑：采用平滑操作去除像素类别图上的噪声；
类别图后处理：对概率图进行后处理，得到海面垃圾的类别及位置信息；
所述类别图平滑的具体方法为：设平滑窗口大小为n，像素(i,j)平滑后的类别为：
其中P为像素类别图，c为类别。
2.根据权利要求1所述的一种智能的海面垃圾检测方法，其特征在于：在所述反光处理步骤中，先对预处理图像进行二值化，然后在二值化图像上提取联通体，利用联通体信息判断是否反光，若出现反光，调整无人机上的摄像头角度反光重新采集图像，然后进行第二次反光检测，若第二次反光检测仍出现反光，根据两次反光图像进行反光区域滤除和恢复。
3.根据权利要求2所述的一种智能的海面垃圾检测方法，其特征在于：所述反光处理步骤包括如下步骤：
S1：将图像预处理步骤得到的图转为灰度图，进行第一次二值化得到第一次二化值图；
S2：第一次连通域提取，即提取第一次二值化图中的连通域，统计满足达到所设定阈值的联通体个数；
S3：若第一次提取的满足条件的联通体个数没有达到所设定的阈值，则为未反光图像，执行图像语义分割步骤；若第一次提取的满足条件的联通体个数达到所设定的阈值，则判断为第一次反光图像，执行S4步骤；
S4：调整摄像机角度，进行第二次采集图像，将第二次采集到的图像送入图像预处理步骤进行去雾处理，然后执行第二次反光检测；
所述第二次反光检测包括如下步骤：
Y1：将S4步骤得到的图转为灰度图，然进行第二次二值化得到第二次二值化图；
Y2：第二次连通域提取，即提取第二次二值化图中的连通域，统计满足达到所设定阈值的联通体个数；
Y3：若第二次提取的满足条件的联通体个数没有达到所设定的阈值，则为未反光图像，执行图像语义分割步骤；若第二次提取的满足条件的联通体个数达到所设定的阈值，则判断为第二次反光图像，执行Y4步骤；
Y4：根据角度变化及无人机距离海面的高度计算采集图中的偏差，从而将反光区域利用原有背景代替，实现滤除反光区域；
Y5：经过反光区域滤除后的图片执行图像语义分割步骤。
4.根据权利要求1所述的一种智能的海面垃圾检测方法，其特征在于，所述类别图后处理包括执行如下步骤：
滤除小类别区域步骤：将类别图中设定的目标进行滤除；
逻辑合并步骤：根据逻辑关系，进行类别图的合并；
逻辑分割步骤：根据逻辑关系，进行类别图的分割；
类别信息存储步骤：对类别图信息进行存储。
5.根据权利要求4所述的一种智能的海面垃圾检测方法，其特征在于，在所述滤除小类别区域步骤中，将类别图中小于50个像素的目标进行滤除。
6.一种智能的海面垃圾检测***，其特征在于，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现权利要求1-5中任一项所述的方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求1-5中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811147814.2A CN109472200B (zh) | 2018-09-29 | 2018-09-29 | 一种智能的海面垃圾检测方法、***和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811147814.2A CN109472200B (zh) | 2018-09-29 | 2018-09-29 | 一种智能的海面垃圾检测方法、***和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109472200A CN109472200A (zh) | 2019-03-15 |
| CN109472200B true CN109472200B (zh) | 2022-04-05 |
Family
ID=65663244
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811147814.2A Active CN109472200B (zh) | 2018-09-29 | 2018-09-29 | 一种智能的海面垃圾检测方法、***和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109472200B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111028193B (zh) * | 2019-03-26 | 2020-09-04 | 三明市润泽环保科技有限公司 | 实时水面数据监控*** |
| CN110400325B (zh) * | 2019-03-26 | 2020-06-02 | 杭州天水环境工程有限公司 | 智能化河道管控平台 |
| CN109978799B (zh) * | 2019-04-15 | 2021-03-23 | 武汉理工大学 | 一种基于深度学习的海事无人机视频图像去雾方法 |
| CN110097570B (zh) * | 2019-04-30 | 2022-03-01 | 腾讯科技（深圳）有限公司 | 一种图像处理方法和装置 |
| CN110276300B (zh) * | 2019-06-24 | 2021-12-28 | 北京百度网讯科技有限公司 | 用于识别垃圾品质的方法和装置 |
| CN110705623B (zh) * | 2019-09-26 | 2022-08-02 | 哈尔滨工程大学 | 基于全卷积神经网络的海天线在线检测方法 |
| CN111160412A (zh) * | 2019-12-11 | 2020-05-15 | 浙江大学医学院附属第一医院 | 一种基于神经网络的用于医疗垃圾分类的方法 |
| CN111767822B (zh) * | 2020-06-23 | 2023-04-25 | 浙江大华技术股份有限公司 | 垃圾检测方法以及相关设备、装置 |
| CN112257623B (zh) * | 2020-10-28 | 2022-08-23 | 长沙立中汽车设计开发股份有限公司 | 一种路面清洁度判定和自动清扫方法及自动清扫环卫装置 |
| CN112857356B (zh) * | 2021-01-04 | 2022-08-02 | 上海建科环境技术有限公司 | 无人机水体环境调查和航线生成方法 |
| CN115294486B (zh) * | 2022-10-08 | 2023-01-13 | 彼图科技(青岛)有限公司 | 一种基于无人机和人工智能的违章垃圾识别和判定方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108009515A (zh) * | 2017-12-14 | 2018-05-08 | 杭州远鉴信息科技有限公司 | 一种基于fcn的无人机航拍图像的输电线定位识别方法 |
| CN108596065A (zh) * | 2018-04-13 | 2018-09-28 | 深圳职业技术学院 | 一种基于深度语义分割海洋溢油检测***与方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10019657B2 (en) * | 2015-05-28 | 2018-07-10 | Adobe Systems Incorporated | Joint depth estimation and semantic segmentation from a single image |
-
2018
- 2018-09-29 CN CN201811147814.2A patent/CN109472200B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108009515A (zh) * | 2017-12-14 | 2018-05-08 | 杭州远鉴信息科技有限公司 | 一种基于fcn的无人机航拍图像的输电线定位识别方法 |
| CN108596065A (zh) * | 2018-04-13 | 2018-09-28 | 深圳职业技术学院 | 一种基于深度语义分割海洋溢油检测***与方法 |
Non-Patent Citations (3)
| Title |
|---|
| Fully Convolutional Networks for Semantic Segmentation;Jonathan Long et al.;《https://arxiv.org/abs/1411.4038》;20150310;第1-10页 * |
| Water-surface object detection and classification using imaging polarimetry;John S. Harchanko et al.;《Polarization Science and Remote Sensing II》;20050818;全文 * |
| 内河溢油识别技术研究;董祥祥;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180115;第2018年卷(第1期);正文第12-18页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109472200A (zh) | 2019-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109472200B (zh) | 一种智能的海面垃圾检测方法、***和存储介质 | |
| Shendryk et al. | Deep learning for multi-modal classification of cloud, shadow and land cover scenes in PlanetScope and Sentinel-2 imagery | |
| Cheng et al. | FusionNet: Edge aware deep convolutional networks for semantic segmentation of remote sensing harbor images | |
| Chen et al. | Ship detection from coastal surveillance videos via an ensemble Canny-Gaussian-morphology framework | |
| CN108647648A (zh) | 一种基于卷积神经网络的可见光条件下的舰船识别***及方法 | |
| CN111797712B (zh) | 基于多尺度特征融合网络的遥感影像云与云阴影检测方法 | |
| CN109427055B (zh) | 基于视觉注意机制和信息熵的遥感图像海面舰船检测方法 | |
| CN108229342B (zh) | 一种海面舰船目标自动检测方法 | |
| CN111027446B (zh) | 一种高分辨率影像的海岸线自动提取方法 | |
| CN111126335B (zh) | 一种结合显著性和神经网络的sar船只识别方法及*** | |
| CN116485709A (zh) | 一种基于YOLOv5改进算法的桥梁混凝土裂缝检测方法 | |
| CN116665080B (zh) | 基于目标识别的无人机劣化绝缘子检测方法及*** | |
| CN114764801A (zh) | 基于多视觉显著特征的弱小舰船目标融合检测方法及装置 | |
| CN115965862A (zh) | 基于掩码网络融合图像特征的sar舰船目标检测方法 | |
| Qiu et al. | Underwater sea cucumbers detection based on pruned SSD | |
| CN117911885A (zh) | 一种赤潮检测方法、***、介质、计算机设备及终端 | |
| Vukadinov et al. | An algorithm for coastline extraction from satellite imagery | |
| CN117115666A (zh) | 基于多源数据的高原湖泊提取方法、装置、设备及介质 | |
| CN116797941A (zh) | 一种高分辨率遥感影像的海上溢油风险源快速智能识别分类方法 | |
| CN114821484A (zh) | 机场跑道fod图像检测方法、***和存储介质 | |
| CN114882375A (zh) | 一种尾矿库智能识别方法和装置 | |
| CN109471106B (zh) | 结合聚类分析和边界跟踪法的sar海洋内波条纹识别方法 | |
| CN110472472B (zh) | 基于sar遥感图像的机场检测方法与装置 | |
| CN113284135B (zh) | 基于全局与局部上下文信息的sar舰船检测方法 | |
| Marti-Puig et al. | Automatic shoreline detection by processing planview timex images using bi-LSTM networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: An Intelligent Sea Garbage Detection Method, System, and Storage Medium Effective date of registration: 20230906 Granted publication date: 20220405 Pledgee: Shanghai Pudong Development Bank Co.,Ltd. Shenzhen Branch Pledgor: SHENZHEN JINRUN DEFENSE TECHNOLOGY Co.,Ltd. Registration number: Y2023980055371 |