CN113313737A - 一种基于计算机视觉的诱虫瓶昆虫计数方法以及计数装置 - Google Patents
一种基于计算机视觉的诱虫瓶昆虫计数方法以及计数装置 Download PDFInfo
- Publication number
- CN113313737A CN113313737A CN202110657187.2A CN202110657187A CN113313737A CN 113313737 A CN113313737 A CN 113313737A CN 202110657187 A CN202110657187 A CN 202110657187A CN 113313737 A CN113313737 A CN 113313737A
- Authority
- CN
- China
- Prior art keywords
- insect
- image
- platform
- insects
- counting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241000238631 Hexapoda Species 0.000 title claims abstract description 234
- 238000000034 method Methods 0.000 title claims abstract description 77
- 230000008569 process Effects 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 14
- 241000607479 Yersinia pestis Species 0.000 claims description 35
- 238000004891 communication Methods 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 16
- 230000007246 mechanism Effects 0.000 claims description 15
- 230000007797 corrosion Effects 0.000 claims description 13
- 238000005260 corrosion Methods 0.000 claims description 13
- 230000033001 locomotion Effects 0.000 claims description 13
- 230000005611 electricity Effects 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000005303 weighing Methods 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 9
- 230000001965 increasing effect Effects 0.000 claims description 7
- 238000010248 power generation Methods 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 5
- 238000012795 verification Methods 0.000 abstract description 2
- 241000255588 Tephritidae Species 0.000 description 5
- 239000005667 attractant Substances 0.000 description 4
- 230000031902 chemoattractant activity Effects 0.000 description 4
- 239000000575 pesticide Substances 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- DMBHHRLKUKUOEG-UHFFFAOYSA-N diphenylamine Chemical compound C=1C=CC=CC=1NC1=CC=CC=C1 DMBHHRLKUKUOEG-UHFFFAOYSA-N 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 238000005507 spraying Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- TVEXGJYMHHTVKP-UHFFFAOYSA-N 6-oxabicyclo[3.2.1]oct-3-en-7-one Chemical compound C1C2C(=O)OC1C=CC2 TVEXGJYMHHTVKP-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
- A01M1/00—Stationary means for catching or killing insects
- A01M1/02—Stationary means for catching or killing insects with devices or substances, e.g. food, pheronones attracting the insects
- A01M1/026—Stationary means for catching or killing insects with devices or substances, e.g. food, pheronones attracting the insects combined with devices for monitoring insect presence, e.g. termites
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
- A01M1/00—Stationary means for catching or killing insects
- A01M1/22—Killing insects by electric means
- A01M1/223—Killing insects by electric means by using electrocution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
- A01M2200/00—Kind of animal
- A01M2200/01—Insects
- A01M2200/012—Flying insects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Pest Control & Pesticides (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Insects & Arthropods (AREA)
- Wood Science & Technology (AREA)
- Zoology (AREA)
- Environmental Sciences (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Catching Or Destruction (AREA)
Abstract
本发明涉及一种昆虫计数方法,具体涉及一种基于计算机视觉的诱虫瓶昆虫计数方法。该计数方法,包括如下步骤:获取图像、处理图像和昆虫计数。该昆虫计数方法不需要杀死昆虫,即可对昆虫的数量进行实时计数,且其过程不需要人工干预,从而能省时省力;通过昆虫的方向信息和当前位置信息相互印证,能判断是否为同一只昆虫,进而避免漏记、错记的情况发生,能有效提高计数结果的准确性;解决现有计数方法费时费力,且容易发生错记、漏记的问题。
Description
技术领域
本发明涉及一种昆虫计数方法,具体涉及一种基于计算机视觉的诱虫瓶昆虫计数方法。
背景技术
昆虫诱捕计数是害虫防治工作中重要的一环,统计一片区域某种昆虫的数量,可以用于分析该区域的整体虫害受灾情况,也可以统计某种昆虫的行为规律,为后续植保设施开发,农药开发提供数据。同时,也能给因地制宜的喷洒农药提供依据,达到节省农药,科学防治的目的。
现有的诱虫计数方案有:人工计数、红外传感器计数、杀死后识别计数;人工计数传统低效,当多个诱虫器距离较远时,人工前往计数过程中,数据不能及时统计,且消耗大量人力物力,还容易发生漏记、记错;基于红外传感器设计的计数方法,当昆虫经过指定通道时,触发红外传感器,达到计数的目的,这种方法使用的通道容易被昆虫或其他生物堵塞,且不易判断昆虫进入装置的方向;杀死后识别计数的方法是经由捕杀装置(灭虫灯灯)杀死昆虫后,昆虫下落至集虫平台,通过CCD相机对集虫平台的昆虫进行识别,使用这种方式,需要先杀死昆虫,由于昆虫落到集虫平台的时间不确定,相机拍摄具有固定时间间隔,容易发生漏记、错计。
发明内容
本发明的目的在于:提供一种自动计数,不需要先杀死昆虫,且能实时、准确地计数,以解决现有计数方法费时费力,且容易发生错记、漏记问题的基于计算机视觉的诱虫瓶昆虫计数方法。
本发明的技术方案是:
一种基于计算机视觉的诱虫瓶昆虫计数方法,其特征在于:包括如下步骤:
1)、将采集的实时图像依次经滤波处理、灰度化、二值化,生成待检测图像;
2)、利用帧差法生成对应时间下的当前昆虫位置信息以及时间窗口内的昆虫移动方向信息;
3)、将待检测图像进行降噪处理生成昆虫轮廓图与预设采集平台比对,得出昆虫对应时间窗口下的当前位置信息;
4)、通过步骤2)中获得的移动方向信息与步骤3)中获得的当前位置信息比对,判断对应时间下是否为同一昆虫;
5)、若移动方向信息与当前位置信息不符合,则识别为障碍物不进行计数;
6)、若步骤4)中识别为同一昆虫时,当判定昆虫进洞,则完成增加计数;当判定昆虫出洞且离开,则完成删减计数。
所述的预设采集平台的设置过程为:
由拍摄的平台图片获得切除平台以外区域的诱虫平台图像;
将获得的平台图像进行透视变换获得修正后的诱虫平台图像;
在修正后的诱虫平台图像中对洞口进行标定。
所述的滤波处理由高斯滤波和均值滤波构成,对采集的实时图像进行多次高斯滤波后,再进行多次均值滤波;灰度化的过程为:将RGB图像通过灰度转换公式转换成灰度图像;二值化的过程为:确定二值化图像的阈值,根据阈值对转换的灰度图像处理生成待检测图像。
所述的步骤2)的具体过程为:
针对昆虫移动的速度,设置2-30帧的时间窗口,根据时间窗口建立二值图栈与帧差图栈,将生成的待检测图像输入帧差法处理模块,进入以下工作流程:
对最新输入帧差法运算模块的待检测图像与二值图栈中现存的最先进栈的检测图像求帧差,获得运动昆虫的轮廓,生成运动昆虫轮廓的二值图;
帧差法生成二值图与最新输入帧差运算模块的二值图进行对照,获得昆虫的当前位置坐标;
将二值图栈中现存最早的二值图舍弃移除,将其他二值图像在栈中的位置向前进位,将最新输入的二值图存入二值图栈;
将帧差图栈中最先生成的二值图与最新输入的二值图进行对比,对比的方式为求帧差图像中两个轮廓中点的坐标,根据坐标间的关系可以判断出昆虫在图中移动的方向;
将帧差图栈中现存最早的二值图舍弃移除,将其他二值图在栈中的位置向前进位,将最新输入的二值图存入帧差图栈中;
将当前位置坐标对应在预设采集平台的位置坐标上,所得到的昆虫位置坐标作为最终昆虫坐标。
所述的降噪处理由轮廓检测、腐蚀和膨胀操作构成,
轮廓检测为使用OpenCV的findContours函数检测采集平台上所有物体的轮廓,生成图像中所有物体的轮廓,对图像中的轮廓进行填充起来,使每一个轮廓形成一个独立区域;
腐蚀为针对需要统计的昆虫的种类,选择面积阈值,计算轮廓检测中独立区域的面积,将面积小于阈值的独立区域视作噪点,将噪点由图像中剔除,以进行降噪;
膨胀操作为针对具有半透明翅膀的昆虫或者身体由多节组成的昆虫,使用膨胀算法将识别到的多节身体轮廓或者昆虫展开的翅膀轮廓连接到昆虫的主体轮廓上,使图像中一只昆虫只对应一片独立区域;
降噪处理的顺序依次为轮廓检测、腐蚀、膨胀操作、腐蚀。
所述的步骤6)中的判定过程为:当检测到昆虫消失后,昆虫在一个连续时间阈值内,没有再次更新昆虫的坐标,且昆虫消失的位置为标定洞口范围时,判断昆虫进入了洞口,对总体计数加一;当检测到昆虫由标定洞口出现,且预测昆虫的运动方向为离开洞口向外运动且离开采集平台范围时,判定昆虫出洞,对总体计数减一。
一种基于诱虫瓶昆虫计数方法的计数装置,包括诱虫平台、高清红外摄像头、集虫箱、遮雨板、太阳能供电机构和控制箱,其特征在于:诱虫平台顶端通过多根支撑柱装有控制箱,控制箱顶端装有太阳能供电机构,太阳能供电机构与控制箱电连接,诱虫平台底端装有集虫箱,所述支撑柱上固装有遮雨板,遮雨板底端中心位置上通过安装架固装有高清红外摄像头,高清红外摄像头与控制箱电连接。
所述的高清红外摄像头一侧的遮雨板底端上通过安装架固装有环境光传感器,高清红外摄像头另一侧的遮雨板底端上通过安装架固装有温度湿度传感器,环境光传感器和温度湿度传感器与控制箱电连接。
所述的太阳能供电机构包括太阳能发电板、蓄电池和装配管,装配管底端固装在控制箱上,装配管顶端固装有太阳能发电板,装配管内部设置有蓄电池和电压转换模块,太阳能发电板通过电压转换模块与蓄电池电连接。
所述的控制箱包括箱体、计算机控制板和4G通信天线,箱体内部固装有计算机控制板,箱体外侧固装有4G通信天线,4G通信天线与计算机控制板电连接;计算机控制板上嵌入集成有CPU、GPS模块、北斗定位模块、4G通信模块、存储模块、通信接口和电源模块,CPU分别与GPS模块、北斗定位模块、4G通信模块、存储模块、通信接口和电源模块电连接;计算机控制板上集成有基于诱虫瓶昆虫计数方法的计数程序。
所述的诱虫平台为底部开口的矩形体,诱虫平台顶端面上设置有多个诱虫洞口,诱虫平台内部设置有诱虫瓶,诱虫瓶与诱虫平台内壁之间通过电极棒固定连接,电极棒与太阳能供电机构电连接。
所述的集虫箱为顶部开口的矩形体,集虫箱内部设置有电虫网,电虫网呈顶部开口的矩形状,电虫网下方的集虫箱侧壁上开设有清理口,清理口上通过铰链安装有挡板,集虫箱顶部开口左、右端边缘上间隔设置有多个电极接头,电极接头与电虫网电连接,集虫箱用过锁扣与锁环与诱虫平台连接。
所述的电虫网下方的集虫箱内设置有称重板。
本发明的有益效果在于:
该基于计算机视觉的诱虫瓶昆虫计数方法不需要杀死昆虫,即可对昆虫的数量进行实时计数,且其过程不需要人工干预,从而能省时省力;通过昆虫的方向信息和当前位置信息相互印证,能判断是否为同一只昆虫,进而避免漏记、错记的情况发生,能有效提高计数结果的准确性;解决现有计数方法费时费力,且容易发生错记、漏记的问题。
附图说明
图1是本发明的流程示意图;
图2是本发明帧差法流程示意图;
图3是本发明昆虫计数的图像处理过程示意图;
图4是本发明昆虫的行进轨迹示意图;
图5是本发明计数装置的结构示意图;
图6为本发明去掉集虫箱的立体俯视结构示意图;
图7为本发明去掉集虫箱的立体仰视结构示意图;
图8为本发明中集虫箱的立体透视结构示意图;
图9为本发明中集虫箱的立体仰视结构示意图;
图10为本发明中控制箱的电气原理图。
图中:1、诱虫平台;2、高清红外摄像头;3、集虫箱;4、遮雨板;5、诱虫洞口;6、诱虫瓶;7、电极棒;8、支撑柱;9、箱体;10、4G通信天线;11、太阳能发电板;12、装配管;13、电虫网;14、挡板;15、电极接头;16、锁扣;17、支架安装孔;18、环境光传感器;19、温度湿度传感器。
具体实施方式
实施例1
该基于计算机视觉的诱虫瓶昆虫计数方法,包括如下步骤:
通过高清摄像头拍摄摄像头视角为90度,分辨率为1080P,帧率为60FPS的诱虫视频,摄像头的焦距固定,在拍摄的画面中,诱虫平台完整的位于画面中央,诱虫瓶平台的上下两边与画面顶部与底部两边重合。
视频采集前,对诱虫平台的位置参数进行修订,即设置预设采集平台,其设置过程为:
对单帧的图像进行裁剪压缩,减小整个读数算法***的工作负载,裁剪压缩完成后将图片以三维矩阵的形式进行读取,对读取的图片采用霍夫直线检测法,检出诱虫瓶四周的四条边缘线。使用切片方法从矩阵中切除四条边缘线外的区域,得到完整且包含了整个诱虫瓶平台面的图像;
为了尽量保留原图像的图像质量,减少对图像本身内容的裁剪,将图像中四条边线的四个交点作为透视变换的顶点,利用这个四个顶点作透视变换,即可生成修正后的诱虫平台图像,具体参照以下公式:
经过透视变换之后的图片在映射视平面和原来平面不平行的情况下,通常不是平行四边形,由此需要对变换后的图片进行再次修正;
其修正过程为:重写公式1,获得以下公式:
通过公式2对变换后的图片进行再次修正,使图片修正为平行四边形;
透视变换后生成的图像是只包含了诱虫瓶和诱虫平台面的图像,且图像的四边即为诱虫器平台的四边,透视变换能够对扭曲或倾斜的图像进行修正,提高了图像数据的可用性。
图片经过透视变换修正完成后,使用霍夫圆检测方法检测图片中的圆形,从而对洞口进行标定,即定位诱虫瓶上的四个进虫洞口,洞口标定完成后,即形成完整的预设采集平台。
洞口标定在诱虫瓶上方摄像头安装后与摄像头移动后进行,四个洞口进行标定后,四个洞口在图像中的坐标位置数据和洞口直径等信息将被永久存储,直到下次标定开始,重新对洞口标定,标定后将新的坐标位置数据和洞口直径等信息进行替换。
预设采集平台形成后,将采集的实时图像依次经滤波处理、灰度化、二值化,生成待检测图像,具体为:
对实时图像进行两次高斯滤波,三次均值滤波,从而对图像进行滤波处理,以减少了摄像头CMOS传感器中噪点对实时识别结果的影响;
将实时的RGB图像按照灰度转换公式转换成灰度图像:对于纯白色诱虫瓶,使用公式Gray = R*0.299 + G*0.587 + B*0.114,将RGB图像转换为灰度图像;使用其他颜色诱虫瓶时,需要根据颜色选择合适的RGB转灰度公式。
公式Gray = R*0.299 + G*0.587 + B*0.114中的系数(即权重)由诱虫平台的颜色与昆虫的颜色决定,目的是在灰度图像中更好的区分昆虫与诱虫平台。例如当昆虫为黑色,瓶体为浅黄色,应调高公式中B分量的权重,调低R分量与G分量的权重。因为浅黄色RGB值中R与G的值较大,而B分量的值较小,调高B分量的权重可以更明显的区分浅黄色和其他颜色。
根据标定信息与当前光照强度信息结合,使用自适应阈值生成算法,确定二值化图像的的阈值,通过确定的阈值将灰度图像转化生成二值化图像,即待检测图像。
利用帧差法生成对应时间下的当前昆虫位置信息以及时间窗口内的昆虫移动方向信息;帧差法为将两帧图片的后一帧减除前一帧即可得到两帧图像中运动差异的部分,由于摄像头相对诱虫平台静止,且遮雨板遮住了部分光线,帧差法工作足够稳定,即使人眼观察时的昆虫处于静止状态,帧差法仍可以检测到昆虫极其微小的运动或振动,帧差法获得的差异部分即为昆虫,帧差法不仅能检测昆虫的位置,也能够推断昆虫的运动方向。
其具体过程为:针对昆虫移动的速度,设置2-30帧的时间窗口,根据时间窗口建立二值图栈与帧差图栈,将生成的待检测图像输入帧差法处理模块,进入以下工作流程:对最新输入帧差法运算模块的待检测图像与二值图栈中现存的最先进栈的检测图像求帧差,获得运动昆虫的轮廓,生成运动昆虫轮廓的二值图;帧差法生成二值图与最新输入帧差运算模块的二值图进行对照,获得昆虫的当前位置坐标;
将二值图栈中现存最早的二值图舍弃移除,将其他二值图像在栈中的位置向前进位,将最新输入的二值图存入二值图栈;将帧差图栈中最先生成的二值图与最新输入的二值图进行对比,对比的方式为求帧差图像中两个轮廓中点的坐标,根据坐标间的关系可以判断出昆虫在图中移动的方向;
将帧差图栈中现存最早的二值图舍弃移除,将其他二值图在栈中的位置向前进位,将最新输入的二值图存入帧差图栈中;将当前位置坐标对应在预设采集平台的位置坐标上,所得到的昆虫位置坐标作为最终昆虫坐标。
将待检测图像进行降噪处理生成昆虫轮廓图与预设采集平台比对,得出昆虫对应时间窗口下的当前位置信息;
降噪处理由轮廓检测、腐蚀和膨胀操作构成,轮廓检测为使用OpenCV的findContours函数检测采集平台上所有物体的轮廓,生成图像中所有物体的轮廓,对图像中的轮廓进行填充起来,使每一个轮廓形成一个独立区域;
腐蚀为针对需要统计的昆虫的种类,选择面积阈值,计算轮廓检测中独立区域的面积,将面积小于阈值的独立区域视作噪点,将噪点由图像中剔除,以进行降噪;
膨胀操作为针对具有半透明翅膀的昆虫或者身体由多节组成的昆虫,使用膨胀算法将识别到的多节身体轮廓或者昆虫展开的翅膀轮廓连接到昆虫的主体轮廓上,使图像中一只昆虫只对应一片独立区域;膨胀操作后再次以腐蚀方法进行一次腐蚀,进一步去除了图像中的噪点,降噪处理的顺序依次为轮廓检测、腐蚀、膨胀操作;降噪处理的顺序还可以依次为轮廓检测、膨胀操作、腐蚀;提取处理完毕的图像中每一个完整区域,视作一只昆虫,将昆虫位置信息与预设采集平台比对,得出昆虫对应时间窗口下的当前位置信息。
从信息栈中读取每一帧的昆虫位置坐标和昆虫移动方向信息;在每一个固定大小的时间窗口内,昆虫运动的方向改变幅度小,由此能够根据昆虫移动的位置与方向,连续读取昆虫坐标,作出坐标运动轨迹,不同的运动轨迹即为不同昆虫运动的轨迹;根据昆虫运动的轨迹,当昆虫第一次出现,即第一次出现轨迹时,初始化一个追踪器栈TrackerStack,该昆虫每一帧移动后的坐标将被记录到TrackerStack中;获得的移动方向信息与获得的当前位置信息比对,移动方向信息与当前位置信息符合时,判断对应时间下是为同一昆虫;若移动方向信息与当前位置信息不符合,则识别为障碍物不进行计数。
识别为同一昆虫时,当判定昆虫进洞,则完成增加计数;当判定昆虫出洞且离开,则完成删减计数,其判定过程为:
识别为同一昆虫时,当昆虫首次出现在四个洞口区域以外,最终轨迹指向洞口,检测到昆虫消失后,昆虫在一个连续时间阈值(60帧-600帧)内,没有再次更新昆虫的坐标,且昆虫消失的位置为标定洞口范围时,针对瓜果实蝇为60帧,瓜果实蝇消失在洞口且在连续60帧内,瓜果实蝇的坐标未更新时,判定瓜果实蝇进入洞口内;判断昆虫进入了洞口,对总体计数加一;
当检测到昆虫由标定洞口出现,且预测昆虫的运动方向为离开洞口向外运动且离开采集平台范围时,判定昆虫出洞,对总体计数减一。
实施例2
该基于诱虫瓶昆虫计数方法的计数装置包括诱虫平台1、高清红外摄像头2、集虫箱3、遮雨板4、太阳能供电机构和控制箱,诱虫平台1为底部开口的矩形体,诱虫平台1顶端面上径向均布设置有多个诱虫洞口5,诱虫平台1内部设置有诱虫瓶6,诱虫瓶6内装有挥发性的诱剂,散发的气味对特定的昆虫有吸引作用,诱虫瓶6与诱虫平台1内壁之间设置有电极棒7,电极棒7一端与诱虫瓶6固定连接,电极棒7另一端与诱虫平台1内壁固定连接。
诱虫平台1顶端通过四根支撑柱8装有控制箱,控制箱包括箱体9、计算机控制板和4G通信天线10,箱体9内部通过安装架固定安装有计算机控制板,计算机控制板上嵌入集成有CPU、GPS模块、北斗定位模块、4G通信模块、存储模块、通信接口和电源模块,CPU分别与GPS模块、北斗定位模块、4G通信模块、存储模块、通信接口和电源模块电连接。
箱体9外侧固定安装有4G通信天线10,4G通信天线10与计算机控制板电连接的4G通信模块电连接,4G通信天线10用于接收和发射数字信号传送至云服务器中,云服务器中的数据通过手机APP或网页登录远程查看或下载。
控制箱顶端装有太阳能供电机构,太阳能供电机构包括太阳能发电板11、蓄电池和装配管12,装配管12底端固定安装在控制箱的箱体9上,装配管12顶端固定安装有太阳能发电板11,太阳能发电板11呈倾斜状设置,装配管12内部设置有蓄电池和电压转换模块,太阳能发电板11与电压转换模块电连接,电压转换模块与蓄电池通过电连接,太阳能发电板11将电能蓄入蓄电池。
诱虫平台1的电极棒7与太阳能供电机构的蓄电池电连接。
太阳能供电机构的蓄电池与控制箱内计算机控制板的电源模块电连接,蓄电池为计算机控制板提供电能。
诱虫平台1底端装有集虫箱3,集虫箱3为顶部开口的矩形体,集虫箱3内部设置有电虫网13,电虫网13呈顶部开口的矩形状,电虫网13下方的集虫箱3侧壁上开设有清理口,清理口上通过铰链安装有挡板14,电虫网13下方的集虫箱3内设置有称重板,称重板下方的集虫箱3内底端装有压力传感器,压力传感器与称重板接触连接。
集虫箱3顶部开口左、右端边缘上间隔设置有多个电极接头15,电极接头15与电虫网13电连接,电极接头15通过导线与诱虫平台1内的电极棒7电连接。
集虫箱3顶部开口前、后端边缘上间隔设置有多个锁扣16,与锁扣16对应的诱虫平台1底部开口边缘端上设置有多个锁环,锁扣16与锁环配合卡装,集虫箱3与诱虫平台1为可拆卸式结构。
集虫箱3底端中心位置上设置有支架安装孔17,通过支架安装孔17方便该装置安装在各种场景下的支架上。
支撑柱8上固定安装有遮雨板4,遮雨板4呈伞状,遮雨板4底端中心位置上通过安装架固定安装有高清红外摄像头2,高清红外摄像头2与控制箱的计算机控制板电连接,高清红外摄像头2对诱虫平台1的顶端持续拍摄。
高清红外摄像头2一侧的遮雨板4底端上通过安装架固定安装有环境光传感器18,高清红外摄像头2另一侧的遮雨板4底端上通过安装架固定安装有温度湿度传感器19,环境光传感器18和温度湿度传感器19与控制箱的计算机控制板电连接。
遮雨板4能够保护高清红外摄像头2和各传感器免受雨水侵蚀,同时也保证了诱虫平台1的干燥,利于高清红外摄像头2获得良好的成像效果。
该基于诱虫瓶昆虫计数方法的计数装置通电工作时,针对需要诱捕计数的昆虫向诱虫瓶6内补充诱虫剂,高清红外摄像头2开始持续拍摄诱虫平台1图像。
高清红外摄像头2将采集的图像输入至计算机控制板,计算机控制板内安装有有基于诱虫瓶昆虫计数方法的计数程序,该计数程序在昆虫被吸引进入诱虫平台1的任一诱虫洞口5时,计算机控制板分析得到进虫信息,同时计算机控制板将记录的视频与图像按照当前时间录制存储在存储模块中。
该计数程序将自动更新记录进入瓶口的昆虫数量,同样的,当极少情况下,昆虫从瓶口飞出时,该计数程序也将自动减除进入瓶口昆虫数量。
该装置在默认状态下,仅传输识别结果和传感器数据,且仅当数据发生改变时传输数据,节省了大量的数据流量。
昆虫由诱虫平台1内部进入集虫箱3内部时,集虫箱3内壁即内部中央设有电虫网13,根据高清红外摄像头2记虫频率周期性对电虫网13通电,当一段时间内计虫较多时,电虫网13通电频率较高,反之较低。
昆虫进入集虫箱3后被电虫网13电击杀灭,并通过电虫网13的网眼落入集虫箱3底部的称重板上,集虫箱3底部有压力传感器,当称重板上昆虫数量太多时,触发压力传感器向计算机控制板输入称重板重量过重信号,其中计算机控制板的GPS模块,北斗模块,用于获取当前诱虫计数装置的地理位置,结合定位信息与设备识别特征码,计算机控制板通过4G通信天线10将这些数据上报到云服务器,云服务器向用户推送当前集虫箱3满建议清理的信息。
类似的,设定诱虫剂有效时间后,当诱虫剂过期时,将向用户推送诱虫剂过期建议更换信息。
存储模块中存储的视频通过远程云端可以在手机客户端或者网页上进行回放,也可以使用计算机控制板上的通信接口读取。
计算机控制板能够根据各个传感器收集到的信息,改变电源模块输出电压的大小与通电频率,从而控制电虫网13的工作状态,达到节能省电的目的。
根据定位信息与计数信息,在网页地图上标出各个地块诱虫情况数据,实时监控地块虫害情况,并保存数据,与上一时间段虫害数据进行对比,得出初步分析结论,由此完成该装置的分类计数作业。
Claims (10)
1.一种基于计算机视觉的诱虫瓶昆虫计数方法,其特征在于:包括如下步骤:
1)、将采集的实时图像依次经滤波处理、灰度化、二值化,生成待检测图像;
2)、利用帧差法生成对应时间下的当前昆虫位置信息以及时间窗口内的昆虫移动方向信息;
3)、将待检测图像进行降噪处理生成昆虫轮廓图与预设采集平台比对,得出昆虫对应时间窗口下的当前位置信息;
4)、通过步骤2)中获得的移动方向信息与步骤3)中获得的当前位置信息比对,判断对应时间下是否为同一昆虫;
5)、若移动方向信息与当前位置信息不符合,则识别为障碍物不进行计数;
6)、若步骤4)中识别为同一昆虫时,当判定昆虫进洞,则完成增加计数;当判定昆虫出洞且离开,则完成删减计数。
2.根据权利要求1所述的一种基于计算机视觉的诱虫瓶昆虫计数方法,其特征在于:所述的预设采集平台的设置过程为:
由拍摄的平台图片获得切除平台以外区域的诱虫平台图像;
将获得的平台图像进行透视变换获得修正后的诱虫平台图像;
在修正后的诱虫平台图像中对洞口进行标定。
3.根据权利要求1所述的一种基于计算机视觉的诱虫瓶昆虫计数方法,其特征在于:所述的滤波处理由高斯滤波和均值滤波构成,对采集的实时图像进行多次高斯滤波后,再进行多次均值滤波;灰度化的过程为:将RGB图像通过灰度转换公式转换成灰度图像;二值化的过程为:确定二值化图像的阈值,根据阈值对转换的灰度图像处理生成待检测图像。
4.根据权利要求1所述的一种基于计算机视觉的诱虫瓶昆虫计数方法,其特征在于:所述的步骤2)的具体过程为:
针对昆虫移动的速度,设置2-30帧的时间窗口,根据时间窗口建立二值图栈与帧差图栈,将生成的待检测图像输入帧差法处理模块,进入以下工作流程:
对最新输入帧差法运算模块的待检测图像与二值图栈中现存的最先进栈的检测图像求帧差,获得运动昆虫的轮廓,生成运动昆虫轮廓的二值图;
帧差法生成二值图与最新输入帧差运算模块的二值图进行对照,获得昆虫的当前位置坐标;
将二值图栈中现存最早的二值图舍弃移除,将其他二值图像在栈中的位置向前进位,将最新输入的二值图存入二值图栈;
将帧差图栈中最先生成的二值图与最新输入的二值图进行对比,对比的方式为求帧差图像中两个轮廓中点的坐标,根据坐标间的关系可以判断出昆虫在图中移动的方向;
将帧差图栈中现存最早的二值图舍弃移除,将其他二值图在栈中的位置向前进位,将最新输入的二值图存入帧差图栈中;
将当前位置坐标对应在预设采集平台的位置坐标上,所得到的昆虫位置坐标作为最终昆虫坐标。
5.根据权利要求1所述的一种基于计算机视觉的诱虫瓶昆虫计数方法,其特征在于:所述的降噪处理由轮廓检测、腐蚀和膨胀操作构成;
轮廓检测为使用OpenCV的findContours函数检测采集平台上所有物体的轮廓,生成图像中所有物体的轮廓,对图像中的轮廓进行填充起来,使每一个轮廓形成一个独立区域;
腐蚀为针对需要统计的昆虫的种类,选择面积阈值,计算轮廓检测中独立区域的面积,将面积小于阈值的独立区域视作噪点,将噪点由图像中剔除,以进行降噪;
膨胀操作为针对具有半透明翅膀的昆虫或者身体由多节组成的昆虫,使用膨胀算法将识别到的多节身体轮廓或者昆虫展开的翅膀轮廓连接到昆虫的主体轮廓上,使图像中一只昆虫只对应一片独立区域;
降噪处理的顺序依次为轮廓检测、腐蚀、膨胀操作、腐蚀。
6.根据权利要求1所述的一种基于计算机视觉的诱虫瓶昆虫计数方法,其特征在于:所述的步骤6)中的判定过程为:当检测到昆虫消失后,昆虫在一个连续时间阈值内,没有再次更新昆虫的坐标,且昆虫消失的位置为标定洞口范围时,判断昆虫进入了洞口,对总体计数加一;当检测到昆虫由标定洞口出现,且预测昆虫的运动方向为离开洞口向外运动且离开采集平台范围时,判定昆虫出洞,对总体计数减一。
7.一种基于诱虫瓶昆虫计数方法的计数装置,包括诱虫平台(1)、高清红外摄像头(2)、集虫箱(3)、遮雨板(4)、太阳能供电机构和控制箱,其特征在于:诱虫平台(1)顶端通过多根支撑柱(8)装有控制箱,控制箱顶端装有太阳能供电机构,太阳能供电机构与控制箱电连接,诱虫平台(1)底端装有集虫箱(3),所述支撑柱(8)上固装有遮雨板(4),遮雨板(4)底端中心位置上通过安装架固装有高清红外摄像头(2),高清红外摄像头(2)与控制箱电连接。
8.根据权利要求7所述的一种基于诱虫瓶昆虫计数方法的计数装置,其特征在于:所述的高清红外摄像头(2)一侧的遮雨板(4)底端上通过安装架固装有环境光传感器(18),高清红外摄像头(2)另一侧的遮雨板(4)底端上通过安装架固装有温度湿度传感器(19),环境光传感器(18)和温度湿度传感器(19)与控制箱电连接;所述的太阳能供电机构包括太阳能发电板(11)、蓄电池和装配管(12),装配管(12)底端固装在控制箱上,装配管(12)顶端固装有太阳能发电板(11),装配管(12)内部设置有蓄电池和电压转换模块,太阳能发电板(11)与电压转换模块电连接,电压转换模块与蓄电池通过电连接。
9.根据权利要求7所述的一种基于诱虫瓶昆虫计数方法的计数装置,其特征在于:所述的控制箱包括箱体(9)、计算机控制板和4G通信天线(10),箱体(9)内部固装有计算机控制板,箱体(9)外侧固装有4G通信天线(10),4G通信天线(10)与计算机控制板电连接;所述的计算机控制板上嵌入集成有CPU、GPS模块、北斗定位模块、4G通信模块、存储模块、通信接口和电源模块,CPU分别与GPS模块、北斗定位模块、4G通信模块、存储模块、通信接口和电源模块电连接;所述的4G通信天线(10)用于接收和发射数字信号传送至云服务器中,云服务器中的数据通过手机APP或网页登录远程查看或下载;所述的诱虫平台(1)为底部开口的矩形体,诱虫平台(1)顶端面上径向均布设置有多个诱虫洞口(5),诱虫平台(1)内部设置有诱虫瓶(6),诱虫瓶(6)与诱虫平台(1)内壁之间通过电极棒(7)固定连接,电极棒(7)与太阳能供电机构电连接。
10.根据权利要求7所述的一种基于诱虫瓶昆虫计数方法的计数装置,其特征在于:所述的集虫箱(3)为顶部开口的矩形体,集虫箱(3)内部设置有电虫网(13),电虫网(13)呈顶部开口的矩形状,电虫网(13)下方的集虫箱(3)侧壁上开设有清理口,清理口上通过铰链安装有挡板(14),集虫箱(3)顶部开口左、右端边缘上间隔设置有多个电极接头(15),电极接头(15)与电虫网(13)电连接,集虫箱(3)顶部开口前、后端边缘上间隔设置有多个锁扣(16),与锁扣(16)对应的诱虫平台(1)底部开口边缘端上设置有多个锁环,锁扣(16)与锁环配合卡装;所述的电虫网(13)下方的集虫箱(3)内设置有称重板,称重板下方的集虫箱(3)内底端装有压力传感器,压力传感器与称重板接触连接。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110657187.2A CN113313737B (zh) | 2021-06-11 | 2021-06-11 | 一种基于计算机视觉的诱虫瓶昆虫计数方法以及计数装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110657187.2A CN113313737B (zh) | 2021-06-11 | 2021-06-11 | 一种基于计算机视觉的诱虫瓶昆虫计数方法以及计数装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113313737A true CN113313737A (zh) | 2021-08-27 |
CN113313737B CN113313737B (zh) | 2023-02-03 |
Family
ID=77378748
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110657187.2A Active CN113313737B (zh) | 2021-06-11 | 2021-06-11 | 一种基于计算机视觉的诱虫瓶昆虫计数方法以及计数装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113313737B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115187636A (zh) * | 2022-07-26 | 2022-10-14 | 金华市水产技术推广站(金华市水生动物疫病防控中心) | 一种基于多窗口的鱼苗识别计数方法及*** |
CN115176780A (zh) * | 2022-05-24 | 2022-10-14 | 宁夏金礼光伏电力有限公司 | 一种电站生活区用驱虫灭虫设备 |
WO2024126759A1 (en) * | 2022-12-14 | 2024-06-20 | The Far Out Thinking Company Ltd | Apparatus for identifying and catching insects |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008099598A (ja) * | 2006-10-19 | 2008-05-01 | Nyuurii Kk | 捕虫シートの検査装置及び捕虫シートにおける捕虫の画像計数方法 |
CN206411691U (zh) * | 2017-02-07 | 2017-08-15 | 苏州市农业科学院 | 一种昆虫计数设备 |
US20170273290A1 (en) * | 2016-03-22 | 2017-09-28 | Matthew Jay | Remote insect monitoring systems and methods |
US20180279598A1 (en) * | 2015-04-13 | 2018-10-04 | University Of Florida Research Foundation, Incorporated | Wireless smart mosquito and insect trap device, network and method of counting a population of the mosquitoes or insects |
CN111462143A (zh) * | 2020-03-22 | 2020-07-28 | 华中科技大学 | 一种基于分水岭算法的虫体识别计数方法和*** |
WO2021095039A1 (en) * | 2019-11-14 | 2021-05-20 | Senecio Ltd. | System and method for automated and semi-automated mosquito separation identification counting and pooling |
-
2021
- 2021-06-11 CN CN202110657187.2A patent/CN113313737B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008099598A (ja) * | 2006-10-19 | 2008-05-01 | Nyuurii Kk | 捕虫シートの検査装置及び捕虫シートにおける捕虫の画像計数方法 |
US20180279598A1 (en) * | 2015-04-13 | 2018-10-04 | University Of Florida Research Foundation, Incorporated | Wireless smart mosquito and insect trap device, network and method of counting a population of the mosquitoes or insects |
US20170273290A1 (en) * | 2016-03-22 | 2017-09-28 | Matthew Jay | Remote insect monitoring systems and methods |
CN206411691U (zh) * | 2017-02-07 | 2017-08-15 | 苏州市农业科学院 | 一种昆虫计数设备 |
WO2021095039A1 (en) * | 2019-11-14 | 2021-05-20 | Senecio Ltd. | System and method for automated and semi-automated mosquito separation identification counting and pooling |
CN111462143A (zh) * | 2020-03-22 | 2020-07-28 | 华中科技大学 | 一种基于分水岭算法的虫体识别计数方法和*** |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115176780A (zh) * | 2022-05-24 | 2022-10-14 | 宁夏金礼光伏电力有限公司 | 一种电站生活区用驱虫灭虫设备 |
CN115176780B (zh) * | 2022-05-24 | 2023-10-27 | 宁夏金礼光伏电力有限公司 | 一种电站生活区用驱虫灭虫设备 |
CN115187636A (zh) * | 2022-07-26 | 2022-10-14 | 金华市水产技术推广站(金华市水生动物疫病防控中心) | 一种基于多窗口的鱼苗识别计数方法及*** |
CN115187636B (zh) * | 2022-07-26 | 2023-09-19 | 金华市水产技术推广站(金华市水生动物疫病防控中心) | 一种基于多窗口的鱼苗识别计数方法及*** |
WO2024126759A1 (en) * | 2022-12-14 | 2024-06-20 | The Far Out Thinking Company Ltd | Apparatus for identifying and catching insects |
Also Published As
Publication number | Publication date |
---|---|
CN113313737B (zh) | 2023-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113313737B (zh) | 一种基于计算机视觉的诱虫瓶昆虫计数方法以及计数装置 | |
US11647701B2 (en) | Plant treatment based on morphological and physiological measurements | |
Lippi et al. | A yolo-based pest detection system for precision agriculture | |
CN105184824B (zh) | 基于图像传感网的智能农业驱鸟*** | |
CN108040997B (zh) | 一种基于机器视觉的虫害监测方法 | |
CN110926430B (zh) | 一种空地一体化红树林监测***及控制方法 | |
Aravind et al. | Design and development of automatic weed detection and smart herbicide sprayer robot | |
Diago et al. | On‐the‐go assessment of vineyard canopy porosity, bunch and leaf exposure by image analysis | |
US11109586B2 (en) | System and methods for automated wildlife detection, monitoring and control | |
EP3620774B1 (en) | Method and apparatus for monitoring plant health state | |
CN110728810B (zh) | 一种分布式目标监测***和方法 | |
EP4116840A1 (en) | System and method of detection and identification of crops and weeds | |
Hadi et al. | Development of an automated multidirectional pest sampling detection system using motorized sticky traps | |
CN116686814A (zh) | 一种植保无人机的施药控制方法、***及介质 | |
Steward et al. | Real-time machine vision weed-sensing | |
McCarthy et al. | Automated variety trial plot growth and flowering detection for maize and soybean using machine vision | |
CN110689507A (zh) | 一种昆虫类型识别设备、***和方法 | |
Martin et al. | O. 50-Towards a video camera network for early pest detection in greenhouses | |
CN111144236B (zh) | 一种蜚蠊交配行为分析的方法、***及存储介质 | |
CN215454853U (zh) | 一种便携式昆虫诱捕分类计数装置 | |
CN111768221A (zh) | 基于猪体种类检测的价格大数据评估*** | |
CN115024298B (zh) | 一种基于轻量级神经网络的计数杀虫灯及计数方法 | |
CN113792715B (zh) | 粮仓害虫监测预警方法、装置、设备及存储介质 | |
Maheswaran et al. | A real time image processing based system to scaring the birds from the agricultural field | |
Kalmukov et al. | Methods for Automated Remote Sensing and Counting of Animals |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |