CN115147733B - 一种基于人工智能的海洋垃圾识别回收方法 - Google Patents
一种基于人工智能的海洋垃圾识别回收方法 Download PDFInfo
- Publication number
- CN115147733B CN115147733B CN202211075630.6A CN202211075630A CN115147733B CN 115147733 B CN115147733 B CN 115147733B CN 202211075630 A CN202211075630 A CN 202211075630A CN 115147733 B CN115147733 B CN 115147733B
- Authority
- CN
- China
- Prior art keywords
- value
- garbage
- marine
- pixel points
- goodness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000010813 municipal solid waste Substances 0.000 title claims abstract description 135
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 16
- 238000011084 recovery Methods 0.000 title claims abstract description 15
- 239000004033 plastic Substances 0.000 claims abstract description 53
- 229920003023 plastic Polymers 0.000 claims abstract description 52
- 239000011159 matrix material Substances 0.000 claims abstract description 14
- 239000010809 marine debris Substances 0.000 claims description 16
- 238000012216 screening Methods 0.000 claims description 15
- 239000013502 plastic waste Substances 0.000 claims description 8
- 239000002699 waste material Substances 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 2
- 238000004064 recycling Methods 0.000 claims 3
- 238000012545 processing Methods 0.000 abstract description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 241001085205 Prenanthella exigua Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 239000002984 plastic foam Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Remote Sensing (AREA)
- Health & Medical Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域，具体涉及一种基于人工智能的海洋垃圾识别回收方法，该方法采集海面遥感图像，获取遥感图像的灰度图像并划分为多个超像素块；对于每个超像素块，计算灰度共生矩阵的对比度；获取拟合优度；构建等比例缩小的中心区域，基于中心区域的待拟合像素点数量、拟合优度以及对比度获取海面波纹显著度；统计剩余像素点的数量和灰度值，结合二阶颜色矩和散乱组的组数获取塑料散乱光斑系数；获取每个超像素块的色彩丰富度；进而获取每个超像素块的海洋垃圾置信值；基于每张遥感图像中所有超像素块的海洋垃圾置信值识别海洋垃圾。本发明填补了浅色塑料垃圾在海洋垃圾识别中的空白，大大提升了海洋垃圾识别的准确性。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于人工智能的海洋垃圾识别回收方法。
背景技术
海洋垃圾影响海洋景观，威胁航行安全，并对海洋生态***的健康产生影响，目前，针对海洋垃圾的回收主要包括人工划船打捞和机器识别打捞两种，人工划船打捞还发展出了公民自主上传各地实时数据的海洋垃圾追踪移动应用程序，能够及时在网站显示，但人工划船打捞劳动强度大、工作效率低，应用程序的数据来源不能保证连续性且受人为影响较大。机器识别打捞对海洋垃圾的识别主要依靠垃圾的颜色较为明亮这一普遍特征，对于与海面、海浪等颜色相近或颜色较为暗沉的垃圾识别率不高，容易遗漏。
发明内容
为了解决海洋垃圾识别率不高的问题，本发明提供一种基于人工智能的海洋垃圾识别回收方法，所采用的技术方案具体如下：
本发明一个实施例提供了一种基于人工智能的海洋垃圾识别回收方法，该方法包括以下步骤：
采集海面遥感图像，并获取所述遥感图像的灰度图像；将所述灰度图像划分为多个超像素块；所述遥感图像为RGB图像；
对于每个超像素块，构建灰度共生矩阵并计算灰度共生矩阵的对比度；按照每个像素点的灰度值大小筛选出待拟合像素点，通过对所有待拟合像素点进行直线拟合和曲线拟合得到拟合优度；获取超像素块的质心，以质心为中心构建等比例缩小的中心区域，基于所述中心区域的待拟合像素点数量、所述拟合优度以及所述对比度获取波纹结构显著系数，进而得到海面波纹显著度；
将每个超像素块中的像素点分为多组，基于每组的像素点灰度值筛选出散乱组；将超像素块映射到所述遥感图像中，并剔除散乱组中的像素点，然后获取超像素块中剩余像素点在每个通道的二阶颜色矩；统计剩余像素点的数量和灰度值，结合二阶颜色矩和散乱组的组数获取塑料散乱光斑系数；
基于超像素块内所有像素点的三通道值以及灰度值获取每个超像素块的色彩丰富度；根据所述海面波纹显著度、所述塑料散乱光斑系数以及所述色彩丰富度获取每个超像素块的海洋垃圾置信值；基于每张遥感图像中所有超像素块的海洋垃圾置信值识别海洋垃圾。
优选的，所述待拟合像素点的筛选方法为：
将超像素块中像素点的灰度值按照从大到小的顺序排列，从最大灰度值开始筛选预设比例的灰度值对应的像素点作为所述待拟合像素点。
优选的，所述拟合优度的获取方法为：
对所有待拟合像素点进行直线拟合，得到第一拟合优度，对所有待拟合像素点进行圆拟合，得到第二拟合优度，以第一拟合优度和第二拟合优度中的最大值作为所述拟合优度。
优选的，所述以质心为中心构建等比例缩小的中心区域，包括：
以所述质心为中心，按照对应的超像素块大小的
建立相同形状的区域，作为所述中心区域。
优选的，所述海面波纹显著度的获取步骤包括：
预设拟合优度阈值，当所述第一拟合优度和所述第二拟合优度均大于等于所述拟合优度阈值时，计算所述中心区域的待拟合像素点数量与所有待拟合像素点的数量的比值，然后乘上所述拟合优度以及所述对比度，得到的乘积结果为所述波纹结构显著系数；
当所述第一拟合优度和/或所述第二拟合优度小于所述拟合优度阈值时，对应的所述波纹结构显著系数为0；
对所述波纹结构显著系数进行归一化，以得到的归一化结果加上预设的调节系数的和作为所述海面波纹显著度。
优选的，所述散乱组的筛选方法为：
获取超像素块的灰度值均值作为第一均值，计算每个组内所有像素点的灰度值均值作为第二均值，当第二均值大于第一均值时，对应的组为散乱组。
优选的，所述塑料散乱光斑系数的获取方法为：
对于每个超像素块，以所述散乱组的组数作为分子，以三个通道的所述二阶颜色矩的和作为分母，得到第一比值；计算剩余像素点的平均灰度，然后获取每个剩余像素点与所述平均灰度的差值绝对值，以剩余像素点的数量作为分子，以所有剩余像素点的所述差值绝对值的和作为分母，得到第二比值；以所述第一比值和所述第二比值的乘积作为所述塑料散乱光斑系数。
优选的，所述色彩丰富度的获取方法为：
计算超像素块内所有像素点的灰度值的方差，以及每个通道的平均通道值，计算每个像素点各通道值与对应通道的平均通道值的差值绝对值并求和得到通道差，以所有像素点的通道差的平均值乘上所述方差得到所述色彩丰富度。
优选的，所述海洋垃圾置信值的获取方法为：
根据多张存在白色塑料垃圾的遥感图像获取散乱阈值，根据多张存在其他海洋垃圾的遥感图像获取丰富度阈值；
当所述塑料散乱光斑系数大于等于散乱阈值和/或所述色彩丰富度大于等于丰富度阈值时，将所述塑料散乱光斑系数归一化并加上预设的调节系数得到第一垃圾特征值，将所述色彩丰富度归一化并加上预设的调节系数得到第二垃圾特征值，以第一垃圾特征值和第二垃圾特征值中的最大值与所述海面波纹显著度的倒数的乘积作为所述海洋垃圾置信值；
当所述塑料散乱光斑系数小于散乱阈值且所述色彩丰富度小于丰富度阈值时，所述海洋垃圾置信值为0。
优选的，所述基于每张遥感图像中所有超像素块的海洋垃圾置信值识别海洋垃圾，包括：
通过人工标记多张遥感图像的海洋垃圾，获取被标记为海洋垃圾的超像素块中海洋垃圾置信值的最小值作为置信阈值；
对于每张遥感图像，当所述海洋垃圾置信值大于等于所述置信阈值时，对应的超像素块为海洋垃圾块，基于所述遥感图像中海洋垃圾块的数量对遥感图像对应的海面区域进行海洋垃圾回收行为判断。
本发明实施例至少具有如下有益效果：
将采集的海面遥感图像划分为多个超像素块，能够对海面区域逐块分析，提高海洋垃圾识别的精准度；根据中心区域的像素点数量、拟合优度以及对比度获取每个超像素块的波纹结构显著系数，对海浪波峰处较为明亮的部分与浅色塑料垃圾进行结构上的区分；根据超像素块内的灰度值、二阶颜色矩和散乱组的组数获取塑料散乱光斑系数，基于塑料垃圾的质地和光斑折射的散乱性进行海浪和塑料垃圾的区分；同时结合部分海洋垃圾颜色较为鲜艳的特征，识别海洋垃圾；本发明解决了海洋垃圾识别时海浪与浅色塑料垃圾易混淆的问题，填补了浅色塑料垃圾在海洋垃圾识别中的空白，能够准确识别海洋塑料垃圾，大大提升海洋垃圾识别的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例提供的一种基于人工智能的海洋垃圾识别回收方法的步骤流程图；
图2为本发明一个实施例提供的一个超像素块的中心区域示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的海洋垃圾识别回收方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于人工智能的海洋垃圾识别回收方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种基于人工智能的海洋垃圾识别回收方法的步骤流程图，该方法包括以下步骤：
步骤S001，采集海面遥感图像，并获取遥感图像的灰度图像；将灰度图像划分为多个超像素块；遥感图像为RGB图像。
具体的步骤包括：
1、采集海面遥感图像。
使用无人机搭载遥感相机在海滩附近海域的上方拍摄海面的遥感图像，在每个位置获取3张图像，以供后续分别分析，减小误差。海面遥感图像为RGB图像。
2、获取遥感图像的灰度图像。
为避免环境等因素产生的噪声的影响，使用高斯函数和获取到的海面遥感图像的每个通道分别做卷积，对图像进行去噪，消除随机噪声。
将消除噪声后的RGB图像转换为灰度图像，然后使用sobel算子与灰度图像进行卷积，对灰度图像进行锐化，使图像的细节更为清晰。
3、将灰度图像划分为多个超像素块。
使用超像素分割将海面遥感图像划分为
个超像素块。由于每个超像素块内像素点位置相邻且颜色、亮度、纹理等特征相似，所以图像中的每个物体都对应一个或多个超像素块。
步骤S002，对于每个超像素块，构建灰度共生矩阵并计算灰度共生矩阵的对比度；按照每个像素点的灰度值大小筛选出待拟合像素点，通过对所有待拟合像素点进行直线拟合和曲线拟合得到拟合优度；获取超像素块的质心，以质心为中心构建等比例缩小的中心区域，基于中心区域的待拟合像素点数量、拟合优度以及对比度获取波纹结构显著系数，进而得到海面波纹显著度。
海面颜色一般呈蓝色或蓝绿色，由于风和洋流的作用常常出现波纹，并不平静。海面的波纹的波峰附近呈较亮白色，易与塑料泡沫、塑料袋等占比较多的塑料垃圾混淆。因此对呈现较亮白色的塑料垃圾和海面波纹进行着重区分，并以此为基础对海洋垃圾进行识别和回收。
由于季风作用和月球引力变化，海面的水不断受到不同大小的力的作用，按照力的方向对前方的水进行挤压，被挤压的水产生阻力，向力的方向和四周扩散，形成波纹。波纹含有明显的波峰，波峰处呈亮白色，波峰两侧较陡峭，稍远处水面仍不平整，俯视呈团絮状分布于波峰两侧。以此为基础对每个超像素块进行海面波纹的衡量。
具体的步骤包括：
1、获取每个超像素块的对比度。
对每个超像素块单独进行分析，获得每个超像素块对应的灰度共生矩阵，并计算灰度共生矩阵的对比度
。
灰度共生矩阵的构建和灰度共生矩阵对比度的计算均为现有技术，本发明实施例不再详细说明具体过程。
2、获取每个超像素块的拟合优度。
将超像素块中像素点的灰度值按照从大到小的顺序排列，从最大灰度值开始筛选预设比例的灰度值对应的像素点作为待拟合像素点，将待拟合像素点数量记为
。
待拟合像素点为所在超像素块中较亮的像素点，在本发明实施例中预设比例为5%，在其他实施例中可以根据实际情况进行待拟合像素点的选取。
对所有待拟合像素点进行直线拟合，得到第一拟合优度
，对所有待拟合像素点进行圆拟合，得到第二拟合优度
，以第一拟合优度和第二拟合优度中的最大值
作为拟合优度。其中，
表示取最大值函数。
3、获取超像素块的质心，以质心为中心构建等比例缩小的中心区域。
获取超像素块的质心，以质心为中心，按照对应的超像素块大小的
建立相同形状的区域，作为中心区域，如图2所示，内部曲线区域为中心区域，外部曲线区域为超像素块区域，图中的黑点为质心。将中心区域内的待拟合像素点的数量记为
。
4、基于中心区域的待拟合像素点数量、拟合优度以及对比度获取波纹结构显著系数，进而得到海面波纹显著度。
预设拟合优度阈值
，当第一拟合优度和第二拟合优度均大于等于拟合优度阈值时，计算中心区域的待拟合像素点数量与所有待拟合像素点的数量的比值，然后乘上拟合优度以及对比度，得到的乘积结果为波纹结构显著系数。
作为一个示例，本发明实施例中拟合优度阈值
的取值为0.55，用于限制两个拟合优度的取值范围。
当第一拟合优度和/或第二拟合优度小于拟合优度阈值时，对应的波纹结构显著系数为0。
由于海浪的波峰位置呈较亮的颜色，所以选取区域内较亮的像素点即待拟合像素点分析其分布特征。海浪的波峰呈直线或圆弧分布，但在海面上受环境因素影响较大，呈现出的直线或圆弧并不那么完美，所以预设拟合优度阈值
对两个拟合优度做值域的限制。若选取的像素点拟合得到的拟合优度不在此范围内，则直接判定该超像素块对应的物体不为海面具有明显波峰的波浪，可能为海面的垃圾，也可能为较为平缓的波浪处。灰度共生矩阵对应的对比度
反映该超像素块内纹理沟纹的深浅程度。以此为基础构建波纹结构显著系数
：
其中，其他表示的情况有三种，具体包括：
；
；
且
。
当图像中的海浪的波纹越深时，即区域内纹理越深，对比度
越大；
越大说明超像素块内较亮的像素点在中心区域内的数量越多；拟合优度越大，说明较亮的像素点呈直线或圆弧分布趋势越强；超像素块内的波纹纹理越深、像素点在中心区域内的数量越多、较亮的像素点呈直线或圆弧分布趋势越强时，越有可能是海面波纹区域，该超像素块对应的波纹结构显著系数
越大。
对波纹结构显著系数进行归一化，以得到的归一化结果加上预设的调节系数的和作为海面波纹显著度。
考虑到上述过程中部分超像素块得到的波纹结构显著系数为0，但根据单一衡量指标直接判断该区域为海面垃圾并不准确，以波纹结构显著系数
为基础建立海面波纹显著度：
。其中
表示海面波纹显著度，
表示波纹结构显著系数
的归一化结果，
为调节系数，用于限制海面波纹显著度的值域。
作为一个示例，调节系数
在本发明实施例中取值为1。
当超像素块对应的波纹结构显著系数
越大时，海面波纹显著度
越大，该超像素块内的区域越有可能为海面波纹。
步骤S003，将每个超像素块中的像素点分为多组，基于每组的像素点灰度值筛选出散乱组；将超像素块映射到遥感图像中，并剔除散乱组中的像素点，然后获取超像素块中剩余像素点在每个通道的二阶颜色矩；统计剩余像素点的数量和灰度值，结合二阶颜色矩和散乱组的组数获取塑料散乱光斑系数。
呈白色或透明的塑料垃圾与海浪的浪花或起伏不平处较为相近，现有方法对海洋垃圾的识别主要以海洋垃圾色彩较为杂乱为依据，对上述部分的垃圾识别出的可能性较低。
塑料垃圾较坚韧且难降解、耐腐蚀，一般仍保持原有形态，质地均匀。水中塑料袋、包装袋等较为柔软，随水的流动而改变形状，且具有透光性，与海水相比颜色更亮，而相较于海浪较暗，由于不同位置水的折射不同在多处呈现出较亮的光斑，光斑分布无具体形态特征。在无光斑处，则质地和亮度较为均匀。而海浪一般呈条状，长宽比较大，在较亮波峰两侧为较暗的水纹。以此为特征对每个超像素块进行评价。
具体的步骤包括：
1、将每个超像素块中的像素点分为多组，基于每组的像素点灰度值筛选出散乱组。
以5为邻域半径，以6为最小点数目对超像素块内所有像素点使用DBSCAN聚类算法进行聚类，获得多个簇。每个簇为一个组，将超像素块中的像素点分为多组。
获取超像素块的灰度值均值作为第一均值，计算每个组内所有像素点的灰度值均值作为第二均值，当第二均值大于第一均值时，对应的组为散乱组。统计散乱组的组数记为
。塑料垃圾对应的
的值应较大，而海面波纹对应的
的值应较小。
2、将超像素块映射到遥感图像中，并剔除散乱组中的像素点，然后获取超像素块中剩余像素点在每个通道的二阶颜色矩。
在筛选出散乱组之后，确定了每个超像素块中散乱组内的像素点的位置，在遥感图像中将该位置处的像素点剔除，根据剩余像素点对应的R、G、B三个通道的通道值计算各通道的二阶颜色矩，分别记为
、
、
。其中二阶颜色矩即为对应通道中所有剩余像素点的通道值的方差。当超像素块内纹理和质地越均匀时，二阶颜色矩越小，塑料垃圾对应的二阶颜色矩较小。
3、统计剩余像素点的数量和灰度值，结合二阶颜色矩和散乱组的组数获取塑料散乱光斑系数。
统计剩余像素点的数量n，以及每个剩余像素点的灰度值分别记为
，
，…，
。所有剩余像素点的灰度值的平均值记为
。
对于每个超像素块，以散乱组的组数作为分子，以三个通道的二阶颜色矩的和作为分母，得到第一比值；计算剩余像素点的平均灰度
，然后获取每个剩余像素点与平均灰度的差值绝对值，以剩余像素点的数量作为分子，以所有剩余像素点的差值绝对值的和作为分母，得到第二比值；以第一比值和第二比值的乘积作为塑料散乱光斑系数。
超像素块中散乱组的数量越多说明越有可能存在塑料垃圾；剩余像素点的二阶颜色矩越小，超像素块内纹理和质地越均匀，剩余像素点的灰度值与平均灰度相差越大，超像素块的亮度越不均匀，基于上述特征计算塑料散乱光斑系数
：
当散乱组的数量越多，剩余像素点的二阶颜色矩越小，剩余像素点的灰度值与平均灰度相差越大，对应的塑料散乱光斑系数
越大，该超像素块越可能为塑料垃圾。
步骤S004，基于超像素块内所有像素点的三通道值以及灰度值获取每个超像素块的色彩丰富度；根据海面波纹显著度、塑料散乱光斑系数以及色彩丰富度获取每个超像素块的海洋垃圾置信值；基于每张遥感图像中所有超像素块的海洋垃圾置信值识别海洋垃圾。
具体的步骤包括：
1、基于超像素块内所有像素点的三通道值以及灰度值获取每个超像素块的色彩丰富度。
除白色塑料垃圾外，海洋垃圾还包括大量其他垃圾，如浮标、渔网、彩色包装袋、木块等。这些物体色彩丰富，形状不一，以色彩鲜艳而丰富作为特征识别这类垃圾。
计算超像素块内所有像素点的灰度值的方差，以及每个通道的平均通道值，计算每个像素点各通道值与对应通道的平均通道值的差值绝对值并求和得到通道差，以所有像素点的通道差的平均值乘上方差得到色彩丰富度。
超像素块内所有像素点的灰度值的方差表征超像素块在色彩上的差异程度，通道差表征超像素块中各像素点在每个通道上的色彩差异，因此基于这两个特征构建色彩丰富度的计算公式：
其中，
表示色彩丰富度，
表示超像素块内所有像素点的灰度值的方差，
表示所有像素点在R通道的平均通道值，
表示所有像素点在G通道的平均通道值，
表示所有像素点在B通道的平均通道值，
表示第i个像素点在R,G,B三个通道对应的通道值，N表示超像素块中的所有像素点的数量，
表示第i个像素点的通道差。
超像素块内所有像素点的灰度值的方差越大，说明超像素块内的色彩差异越大，即色彩丰富度越大；通道差越大，说明超像素块中各像素点在每个通道上的色彩差异越大，即超像素块中的色彩越多，色彩丰富度越大。当超像素块内各像素点对应的颜色越丰富时，该超像素块越有可能对应了种类丰富的海洋垃圾。
2、根据海面波纹显著度、塑料散乱光斑系数以及色彩丰富度获取每个超像素块的海洋垃圾置信值。
根据多张存在白色塑料垃圾的遥感图像获取散乱阈值，根据多张存在其他海洋垃圾的遥感图像获取丰富度阈值。
按照上述过程，对多张存在白色塑料垃圾的遥感图像进行分析，得到每张遥感图像中白色塑料垃圾对应的超像素块的塑料散乱光斑系数
，记这些值的最小值为散乱阈值
。对多张存在其他海洋垃圾的遥感图像进行分析，得到多个海洋垃圾对应的超像素块的色彩丰富度
，记这些值的最小值为丰富度阈值
。
作为一个示例，在本发明实施例中分别选取20张存在白色塑料垃圾的遥感图像来计算散乱阈值
，20张存在其他海洋垃圾的遥感图像来计算丰富度阈值
。
当塑料散乱光斑系数大于等于散乱阈值和/或色彩丰富度大于等于丰富度阈值时，将塑料散乱光斑系数归一化并加上预设的调节系数得到第一垃圾特征值，将色彩丰富度归一化并加上预设的调节系数得到第二垃圾特征值，以第一垃圾特征值和第二垃圾特征值中的最大值与海面波纹显著度的倒数的乘积作为海洋垃圾置信值；当塑料散乱光斑系数小于散乱阈值且色彩丰富度小于丰富度阈值时，海洋垃圾置信值为0。
海面波纹显著度
描述了波纹的波峰和波纹扩散的特征的显著程度，可以此为依据在识别浅色海洋垃圾的过程中将干扰因素排除，而塑料散乱光斑系数
和色彩丰富度
分别为识别浅色海洋垃圾和较为鲜艳的海洋垃圾的依据，以这些参数为基础构建海洋垃圾置信值
。
其中，
表示调节系数，用于调节函数值域，防止
的值为零导致海洋垃圾置信值为零；
表示色彩丰富度
的归一化值，
表示塑料散乱光斑系数
的归一化值，
表示第一垃圾特征值，
表示第二垃圾特征值。
作为一个示例，在本发明实施例中调节系数
的取值为1。
其他表示的情况有三种，具体包括：
；
；
且
。
由于同一超像素块对应的塑料散乱光斑系数
和色彩丰富度
可能不为同一数量级，在获得结果时易受到数量级的影响，所以在公式中使用归一化值消除这一影响。由于计算过程中使用了归一化值，得到的海洋垃圾置信值为图片中该超像素块相对于其他超像素块的值，所以为计算过程添加限定阈值以分段函数表示，用以突出并选择超像素块对应的垃圾的特征。
当塑料散乱光斑系数
和色彩丰富度
越大，说明超像素块对应的区域越有可能为塑料垃圾；海面波纹显著度
越小时，说明超像素块对应的区域为海面波纹的可能性越小；该超像素块对应的海洋垃圾置信值
越大，该超像素块对应的区域越可能为海洋垃圾。
3、基于每张遥感图像中所有超像素块的海洋垃圾置信值识别海洋垃圾。
通过人工标记多张遥感图像的海洋垃圾，获取被标记为海洋垃圾的超像素块中海洋垃圾置信值的最小值作为置信阈值。
获取多张海面漂浮海洋垃圾和未漂浮海洋垃圾的图片，人工对每个超像素块对应的物体是否为海洋垃圾进行分类，分别标记为海洋垃圾和非海洋垃圾。将标记为海洋垃圾的所有超像素块对应的海洋垃圾置信值
中的最小值作为后续划分图片上是否含有海洋垃圾的置信阈值
。
作为一个示例，在本发明实施例中选取50张图片进行置信阈值的计算。
对于每张遥感图像，当海洋垃圾置信值大于等于置信阈值时，对应的超像素块为海洋垃圾块，基于遥感图像中海洋垃圾块的数量对遥感图像对应的海面区域进行海洋垃圾回收行为判断。
当任意一个超像素块对应的海洋垃圾置信值
大于等于置信阈值
时，即判断该超像素块对应的物体为海洋垃圾，对应的超像素块为海洋垃圾块。
当图片中被判定为海洋垃圾块的数量大于等于
时，需要对该海域进行垃圾的回收；当图片中被判定为海洋垃圾的超像素块数量小于
但大于
时，则需要对该海域垃圾情况进行重点监控，提高监控的频率；当图片中被判定为海洋垃圾的超像素块数量小于
时，则该海域不需进行垃圾的回收。
其中，
和
为数量阈值，在实施例中
的经验值为6，
的经验值为2。
综上所述，本发明实施例采集海面遥感图像，并获取遥感图像的灰度图像；将灰度图像划分为多个超像素块；遥感图像为RGB图像；对于每个超像素块，构建灰度共生矩阵并计算灰度共生矩阵的对比度；按照每个像素点的灰度值大小筛选出待拟合像素点，通过对所有待拟合像素点进行直线拟合和曲线拟合得到拟合优度；获取超像素块的质心，以质心为中心构建等比例缩小的中心区域，基于中心区域的待拟合像素点数量、拟合优度以及对比度获取波纹结构显著系数，进而得到海面波纹显著度；将每个超像素块中的像素点分为多组，基于每组的像素点灰度值筛选出散乱组；将超像素块映射到遥感图像中，并剔除散乱组中的像素点，然后获取超像素块中剩余像素点在每个通道的二阶颜色矩；统计剩余像素点的数量和灰度值，结合二阶颜色矩和散乱组的组数获取塑料散乱光斑系数；基于超像素块内所有像素点的三通道值以及灰度值获取每个超像素块的色彩丰富度；根据海面波纹显著度、塑料散乱光斑系数以及色彩丰富度获取每个超像素块的海洋垃圾置信值；基于每张遥感图像中所有超像素块的海洋垃圾置信值识别海洋垃圾。本发明实施例解决了海洋垃圾识别时海浪与浅色塑料垃圾易混淆的问题，填补了浅色塑料垃圾在海洋垃圾识别中的空白，能够准确识别海洋塑料垃圾，大大提升海洋垃圾识别的准确性。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，均应包含在本申请的保护范围之内。
Claims (6)
1.一种基于人工智能的海洋垃圾识别回收方法，其特征在于，该方法包括以下步骤：
采集海面遥感图像，并获取所述遥感图像的灰度图像；将所述灰度图像划分为多个超像素块；所述遥感图像为RGB图像；
对于每个超像素块，构建灰度共生矩阵并计算灰度共生矩阵的对比度；按照每个像素点的灰度值大小筛选出待拟合像素点，通过对所有待拟合像素点进行直线拟合和曲线拟合得到拟合优度；获取超像素块的质心，以质心为中心构建等比例缩小的中心区域，基于所述中心区域的待拟合像素点数量、所述拟合优度以及所述对比度获取波纹结构显著系数，进而得到海面波纹显著度；
将每个超像素块中的像素点分为多组，基于每组的像素点灰度值筛选出散乱组；将超像素块映射到所述遥感图像中，并剔除散乱组中的像素点，然后获取超像素块中剩余像素点在每个通道的二阶颜色矩；统计剩余像素点的数量和灰度值，结合二阶颜色矩和散乱组的组数获取塑料散乱光斑系数；
基于超像素块内所有像素点的三通道值以及灰度值获取每个超像素块的色彩丰富度；根据所述海面波纹显著度、所述塑料散乱光斑系数以及所述色彩丰富度获取每个超像素块的海洋垃圾置信值；基于每张遥感图像中所有超像素块的海洋垃圾置信值识别海洋垃圾；
所述拟合优度的获取方法为：
对所有待拟合像素点进行直线拟合，得到第一拟合优度，对所有待拟合像素点进行圆拟合，得到第二拟合优度，以第一拟合优度和第二拟合优度中的最大值作为所述拟合优度；
所述海面波纹显著度的获取步骤包括：
预设拟合优度阈值，当所述第一拟合优度和所述第二拟合优度均大于等于所述拟合优度阈值时，计算所述中心区域的待拟合像素点数量与所有待拟合像素点的数量的比值，然后乘上所述拟合优度以及所述对比度，得到的乘积结果为所述波纹结构显著系数；
当所述第一拟合优度和/或所述第二拟合优度小于所述拟合优度阈值时，对应的所述波纹结构显著系数为0；
对所述波纹结构显著系数进行归一化，以得到的归一化结果加上预设的调节系数的和作为所述海面波纹显著度；
所述塑料散乱光斑系数的获取方法为：
对于每个超像素块，以所述散乱组的组数作为分子，以三个通道的所述二阶颜色矩的和作为分母，得到第一比值；计算剩余像素点的平均灰度，然后获取每个剩余像素点与所述平均灰度的差值绝对值，以剩余像素点的数量作为分子，以所有剩余像素点的所述差值绝对值的和作为分母，得到第二比值；以所述第一比值和所述第二比值的乘积作为所述塑料散乱光斑系数；
所述海洋垃圾置信值的获取方法为：
根据多张存在白色塑料垃圾的遥感图像获取散乱阈值，根据多张存在其他海洋垃圾的遥感图像获取丰富度阈值；
当所述塑料散乱光斑系数大于等于散乱阈值和/或所述色彩丰富度大于等于丰富度阈值时，将所述塑料散乱光斑系数归一化并加上预设的调节系数得到第一垃圾特征值，将所述色彩丰富度归一化并加上预设的调节系数得到第二垃圾特征值，以第一垃圾特征值和第二垃圾特征值中的最大值与所述海面波纹显著度的倒数的乘积作为所述海洋垃圾置信值；
当所述塑料散乱光斑系数小于散乱阈值且所述色彩丰富度小于丰富度阈值时，所述海洋垃圾置信值为0。
2.根据权利要求1所述的一种基于人工智能的海洋垃圾识别回收方法，其特征在于，所述待拟合像素点的筛选方法为：
将超像素块中像素点的灰度值按照从大到小的顺序排列，从最大灰度值开始筛选预设比例的灰度值对应的像素点作为所述待拟合像素点。
3.根据权利要求1所述的一种基于人工智能的海洋垃圾识别回收方法，其特征在于，所述以质心为中心构建等比例缩小的中心区域，包括：
以所述质心为中心，按照对应的超像素块大小的
建立相同形状的区域，作为所述中心区域。
4.根据权利要求1所述的一种基于人工智能的海洋垃圾识别回收方法，其特征在于，所述散乱组的筛选方法为：
获取超像素块的灰度值均值作为第一均值，计算每个组内所有像素点的灰度值均值作为第二均值，当第二均值大于第一均值时，对应的组为散乱组。
5.根据权利要求1所述的一种基于人工智能的海洋垃圾识别回收方法，其特征在于，所述色彩丰富度的获取方法为：
计算超像素块内所有像素点的灰度值的方差，以及每个通道的平均通道值，计算每个像素点各通道值与对应通道的平均通道值的差值绝对值并求和得到通道差，以所有像素点的通道差的平均值乘上所述方差得到所述色彩丰富度。
6.根据权利要求1所述的一种基于人工智能的海洋垃圾识别回收方法，其特征在于，所述基于每张遥感图像中所有超像素块的海洋垃圾置信值识别海洋垃圾，包括：
通过人工标记多张遥感图像的海洋垃圾，获取被标记为海洋垃圾的超像素块中海洋垃圾置信值的最小值作为置信阈值；
对于每张遥感图像，当所述海洋垃圾置信值大于等于所述置信阈值时，对应的超像素块为海洋垃圾块，基于所述遥感图像中海洋垃圾块的数量对遥感图像对应的海面区域进行海洋垃圾回收行为判断。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211075630.6A CN115147733B (zh) | 2022-09-05 | 2022-09-05 | 一种基于人工智能的海洋垃圾识别回收方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211075630.6A CN115147733B (zh) | 2022-09-05 | 2022-09-05 | 一种基于人工智能的海洋垃圾识别回收方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115147733A CN115147733A (zh) | 2022-10-04 |
| CN115147733B true CN115147733B (zh) | 2022-11-25 |
Family
ID=83415411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211075630.6A Active CN115147733B (zh) | 2022-09-05 | 2022-09-05 | 一种基于人工智能的海洋垃圾识别回收方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115147733B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115331094B (zh) * | 2022-10-11 | 2023-01-24 | 山东辰升科技有限公司 | 一种基于无人机遥感的海洋安全监测方法及*** |
| CN115331119B (zh) * | 2022-10-13 | 2023-01-31 | 山东爱福地生物股份有限公司 | 一种固体废弃物识别方法 |
| CN115661173B (zh) * | 2022-11-10 | 2023-03-10 | 菏泽市土地储备中心 | 一种基于遥感图像的地块分割方法 |
| CN115797813B (zh) * | 2023-02-10 | 2023-04-25 | 山东汇蓝环保科技有限公司 | 基于航拍图像的水环境污染检测方法 |
| CN116152115B (zh) * | 2023-04-04 | 2023-07-07 | 湖南融城环保科技有限公司 | 基于计算机视觉的垃圾图像去噪处理方法 |
| CN116611676B (zh) * | 2023-07-20 | 2023-10-20 | 浙江蓝景科技有限公司 | 一种海洋塑料垃圾收集作业调度方法、*** |
| CN117911880B (zh) * | 2024-03-20 | 2024-05-31 | 浙江大学 | 基于遥感影像的城市碳排放时空分布模拟方法及*** |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107229917A (zh) * | 2017-05-31 | 2017-10-03 | 北京师范大学 | 一种基于迭代聚类的多幅遥感影像共性显著目标检测方法 |
| CN109064479A (zh) * | 2018-07-19 | 2018-12-21 | 中国石油大学(华东) | 一种基于邻近视频帧灰度动态特征的海天线检测方法 |
| CN109242870A (zh) * | 2018-07-13 | 2019-01-18 | 上海大学 | 一种基于图像划分和纹理特征的海天线检测方法 |
| CN109271900A (zh) * | 2018-08-31 | 2019-01-25 | 孔德萍 | 一种基于计算机视觉的垃圾识别方法 |
| CN109978869A (zh) * | 2019-03-29 | 2019-07-05 | 清华大学 | 一种基于灰度共生矩阵和Hough变换的海天线检测方法与*** |
| CN112215104A (zh) * | 2020-09-28 | 2021-01-12 | 国交空间信息技术（北京）有限公司 | 一种基于超像素分割的海冰提取方法、装置和设备 |
| CN112233116A (zh) * | 2020-12-11 | 2021-01-15 | 常州微亿智造科技有限公司 | 基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法 |
| CN112417931A (zh) * | 2019-08-23 | 2021-02-26 | 河海大学常州校区 | 一种基于视觉显著性的水面物体检测和分类的方法 |
| CN112528943A (zh) * | 2020-12-23 | 2021-03-19 | 哈尔滨工业大学 | 基于熵调制slic的sar图像海洋目标检测方法 |
| CN112883986A (zh) * | 2021-03-08 | 2021-06-01 | 山西支点科技有限公司 | 一种复杂背景下的静态红外靶灯识别方法 |
| CN113420658A (zh) * | 2021-04-30 | 2021-09-21 | 中国电子科技集团公司第十四研究所 | 一种基于fcm聚类和otsu分割的sar图像海陆分割方法 |
| CN114708464A (zh) * | 2022-06-01 | 2022-07-05 | 广东艺林绿化工程有限公司 | 一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102855622B (zh) * | 2012-07-18 | 2015-10-28 | 中国科学院自动化研究所 | 一种基于显著性分析的红外遥感图像海面船只检测方法 |
| US10055850B2 (en) * | 2014-09-19 | 2018-08-21 | Brain Corporation | Salient features tracking apparatus and methods using visual initialization |
| CN110120050B (zh) * | 2019-05-07 | 2021-01-29 | 西安电子科技大学 | 基于素描信息和超像素分割的光学遥感图像海陆分割方法 |
| CN110689059A (zh) * | 2019-09-12 | 2020-01-14 | 华中科技大学 | 一种垃圾自动分拣的方法 |
-
2022
- 2022-09-05 CN CN202211075630.6A patent/CN115147733B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107229917A (zh) * | 2017-05-31 | 2017-10-03 | 北京师范大学 | 一种基于迭代聚类的多幅遥感影像共性显著目标检测方法 |
| CN109242870A (zh) * | 2018-07-13 | 2019-01-18 | 上海大学 | 一种基于图像划分和纹理特征的海天线检测方法 |
| CN109064479A (zh) * | 2018-07-19 | 2018-12-21 | 中国石油大学(华东) | 一种基于邻近视频帧灰度动态特征的海天线检测方法 |
| CN109271900A (zh) * | 2018-08-31 | 2019-01-25 | 孔德萍 | 一种基于计算机视觉的垃圾识别方法 |
| CN109978869A (zh) * | 2019-03-29 | 2019-07-05 | 清华大学 | 一种基于灰度共生矩阵和Hough变换的海天线检测方法与*** |
| CN112417931A (zh) * | 2019-08-23 | 2021-02-26 | 河海大学常州校区 | 一种基于视觉显著性的水面物体检测和分类的方法 |
| CN112215104A (zh) * | 2020-09-28 | 2021-01-12 | 国交空间信息技术（北京）有限公司 | 一种基于超像素分割的海冰提取方法、装置和设备 |
| CN112233116A (zh) * | 2020-12-11 | 2021-01-15 | 常州微亿智造科技有限公司 | 基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法 |
| CN112528943A (zh) * | 2020-12-23 | 2021-03-19 | 哈尔滨工业大学 | 基于熵调制slic的sar图像海洋目标检测方法 |
| CN112883986A (zh) * | 2021-03-08 | 2021-06-01 | 山西支点科技有限公司 | 一种复杂背景下的静态红外靶灯识别方法 |
| CN113420658A (zh) * | 2021-04-30 | 2021-09-21 | 中国电子科技集团公司第十四研究所 | 一种基于fcm聚类和otsu分割的sar图像海陆分割方法 |
| CN114708464A (zh) * | 2022-06-01 | 2022-07-05 | 广东艺林绿化工程有限公司 | 一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法 |
Non-Patent Citations (5)
| Title |
|---|
| UAV trials for multi-spectral imaging target detection and recognition in maritime environment;Hugo Silva等;《OCEANS 2016 MTS/IEEE Monterey》;20161201;1-6 * |
| Unmanned Aerial Vehicle Recognition of Maritime Small-Target Based on Biological Eagle-Eye Vision Adaptation Mechanism;Haibin Duan等;《IEEE Transactions on Aerospace and Electronic Systems》;20210426;第57卷(第5期);3368-3382 * |
| 可见光遥感图像海面目标检测技术综述;刘俊琦等;《计算机科学》;20191121;I16-123 * |
| 可见光遥感图像海面目标自动检测关键技术研究;徐芳;《中国博士学位论文全文数据库 信息科技辑》;20181015;第2018年卷(第10期);I140-57 * |
| 复杂背景下显著性目标快速检测技术研究;邹强;《中国优秀硕士学位论文全文数据库 信息科技辑》;20141015;第2014年卷(第10期);I138-775 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115147733A (zh) | 2022-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115147733B (zh) | 一种基于人工智能的海洋垃圾识别回收方法 | |
| Guijarro et al. | Discrete wavelets transform for improving greenness image segmentation in agricultural images | |
| US7983486B2 (en) | Method and apparatus for automatic image categorization using image texture | |
| CN109472200B (zh) | 一种智能的海面垃圾检测方法、***和存储介质 | |
| CN110309781B (zh) | 基于多尺度光谱纹理自适应融合的房屋损毁遥感识别方法 | |
| CN116205919B (zh) | 基于人工智能的五金零件生产质量检测方法及*** | |
| CN111027446B (zh) | 一种高分辨率影像的海岸线自动提取方法 | |
| CN109376591B (zh) | 深度学习特征与视觉特征联合训练的船只目标检测方法 | |
| CN103426164B (zh) | 基于Opencv图像分析的扇贝尺寸计算方法和扇贝分拣*** | |
| CN107945200A (zh) | 图像二值化分割方法 | |
| CN114004834B (zh) | 一种图像处理中的雾天情况分析方法、设备及装置 | |
| CN116309600B (zh) | 基于图像处理的环保纺织品质量检测方法 | |
| CN109145848B (zh) | 一种麦穗计数方法 | |
| CN110428450A (zh) | 应用于矿井巷道移动巡检图像的尺度自适应目标跟踪方法 | |
| CN108710862A (zh) | 一种高分辨率遥感影像水体提取方法 | |
| CN110675396A (zh) | 遥感影像云检测方法、装置、设备及计算机可读存储介质 | |
| CN115082776A (zh) | 一种基于图像识别的电能表自动检测***及方法 | |
| CN117593193B (zh) | 一种基于机器学习的钣金图像增强方法及*** | |
| CN102354388A (zh) | 一种自适应计算图像底层特征重要性权重的方法 | |
| CN113743421B (zh) | 一种水稻叶片花青素显色区域分割及定量分析的方法 | |
| CN108694415B (zh) | 图像特征提取方法、装置及水源图像分类方法、装置 | |
| CN114120218A (zh) | 一种基于边缘计算的河道漂浮物监测方法 | |
| CN103177244A (zh) | 水下显微图像中快速检测目标生物的方法 | |
| CN116385435B (zh) | 基于图像分割的制药胶囊计数方法 | |
| CN111105390B (zh) | 一种改进的海天线检测和评估方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240319 Address after: 262306 Road South, 100 meters east of the intersection of Dalian Road and Zunyi Road in the Economic Development Zone of Rizhao City, Shandong Province Patentee after: Rizhao Jinglue Marine Services Co.,Ltd. Country or region after: Zhong Guo Address before: 276800 No. 6, row 18, wujiatai village, Shanhaitian tourist resort, Rizhao City, Shandong Province Patentee before: Shandong dongshenglan fishery Co.,Ltd. Country or region before: Zhong Guo |
|
| TR01 | Transfer of patent right |