CN106407880B - 使用图像处理的存量、生长和风险预测 - Google Patents
使用图像处理的存量、生长和风险预测 Download PDFInfo
- Publication number
- CN106407880B CN106407880B CN201610557514.6A CN201610557514A CN106407880B CN 106407880 B CN106407880 B CN 106407880B CN 201610557514 A CN201610557514 A CN 201610557514A CN 106407880 B CN106407880 B CN 106407880B
- Authority
- CN
- China
- Prior art keywords
- trees
- image
- feature
- growth
- multiple images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 claims abstract description 123
- 238000000605 extraction Methods 0.000 claims abstract description 43
- 230000004438 eyesight Effects 0.000 claims abstract description 42
- 238000009826 distribution Methods 0.000 claims abstract description 17
- 230000000007 visual effect Effects 0.000 claims abstract description 15
- 238000004458 analytical method Methods 0.000 claims description 31
- 238000010801 machine learning Methods 0.000 claims description 24
- 230000009471 action Effects 0.000 claims description 22
- 238000005192 partition Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 17
- 238000005516 engineering process Methods 0.000 claims description 16
- 241000607479 Yersinia pestis Species 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 13
- 238000003708 edge detection Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 8
- 239000002023 wood Substances 0.000 claims description 8
- 229930002875 chlorophyll Natural products 0.000 claims description 7
- 235000019804 chlorophyll Nutrition 0.000 claims description 7
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 claims description 7
- 238000003306 harvesting Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000006740 morphological transformation Effects 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 6
- 230000001052 transient effect Effects 0.000 claims description 5
- 230000007704 transition Effects 0.000 claims description 4
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 2
- 235000008434 ginseng Nutrition 0.000 claims description 2
- 238000007670 refining Methods 0.000 claims description 2
- 241000208340 Araliaceae Species 0.000 claims 1
- 241000894007 species Species 0.000 description 29
- 238000012549 training Methods 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000004088 simulation Methods 0.000 description 7
- 241000196324 Embryophyta Species 0.000 description 6
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 239000003673 groundwater Substances 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000003971 tillage Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 229920001131 Pulp (paper) Polymers 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000009313 farming Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 206010016173 Fall Diseases 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000004615 ingredient Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000002045 lasting effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000003208 petroleum Substances 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 244000166124 Eucalyptus globulus Species 0.000 description 1
- 206010027146 Melanoderma Diseases 0.000 description 1
- 244000131316 Panax pseudoginseng Species 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000002917 insecticide Substances 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/80—Recognising image objects characterised by unique random patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/206—Drawing of charts or graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Astronomy & Astrophysics (AREA)
- Data Mining & Analysis (AREA)
- Ophthalmology & Optometry (AREA)
- Artificial Intelligence (AREA)
- Remote Sensing (AREA)
- Evolutionary Computation (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本申请的各实施例涉及使用图像处理的存量、生长和风险预测。根据示例,使用图像处理的存量、生长和风险预测可以包括在交通工具沿着交通工具路径移动期间接收由交通工具捕获的多个图像。图像可以包括多个对象。图像可以被预处理以用于特征提取。可以通过使用计算机视觉技术的组合从预处理的图像提取对象的多个特征。可以从提取的特征确定与对象有关的参数。可以基于确定的参数和提取的特征生成空间密度模型以提供对与图像的一部分有关的对象的分布密度的可视指示和/或提供和与图像的该一部分有关的对象对应的提醒。
Description
技术领域
本申请的各实施例涉及使用图像处理的存量、生长和风险预测。
背景技术
可以包括无人航空飞行器(UAV)、无人机、无人陆地交通工具、甚至协同机器人等的无人交通工具(UV)通常在无人乘坐的情况下***作。载人交通工具(比如飞行器、直升机、载人陆地交通工具等)通常在有人乘坐的情况下***作。具有成像***(比如视频相机、红外线(IR)传感器等)的包括无人或者载人交通工具的交通工具可以用来捕获兴趣区域的图像。可以关于在兴趣区域中布置的对象分析图像。
附图说明
通过在以下图中示出的示例举例说明本公开内容的特征。在以下图中,相似标号指示相似单元,其中:
图1图示了根据本公开内容的示例的使用图像处理的存量、生长和风险预测***的详细架构;
图2A图示了根据本公开内容的示例的用于图1的使用图像处理的存量、生长和风险预测***的模型生成的详细流程图;
图2B图示了根据本公开内容的示例的用于图1的使用图像处理的存量、生长和风险预测***的模型部署的详细流程图;
图3图示了根据本公开内容的示例的用于图1的使用图像处理的存量、生长和风险预测***的直方图略图;
图4图示了根据本公开内容的示例的用于图1的使用图像处理的存量、生长和风险预测***的中间输出;
图5图示了根据本公开内容的示例的用于图1的使用图像处理的存量、生长和风险预测***的树木计数和密度输出;
图6图示了根据本公开内容的示例的用于图1的使用图像处理的存量、生长和风险预测***的一个分区的计算机视觉处理;
图7图示了根据本公开内容的示例的对用于图1的使用图像处理的存量、生长和风险预测***的可动作提醒的分区处理;
图8图示了根据本公开内容的示例的用于图1的使用图像处理的存量、生长和风险预测***的风险预测仿真;
图9图示了根据本公开内容的示例的用于使用图像处理的存量、生长和风险预测的方法;
图10图示了根据本公开内容的示例的用于使用图像处理的存量、生长和风险预测的方法;以及
图11图示了根据本公开内容的示例的计算机***。
具体实施方式
为了简化和例示目的,本公开内容主要通过参照它的示例而被描述。在以下描述中,阐述了许多具体细节以便提供对本公开内容的透彻理解。然而,将容易地清楚,可以实现本公开内容而不限于这些具体细节。在其它实例中,尚未具体描述一些方法和结构以免不必要地模糊本公开内容。
贯穿本公开内容,术语“一个”旨在于表示特定要素的至少一个。如这里所用,术语“包括”意味着包括但不限于。术语“基于”意味着至少部分基于。
一般地关于交通工具(例如,UAV、无人机、无人陆地交通工具、有人飞行器、有人直升机、有人陆地交通工具、卫星等),这样的交通工具可以用来执行如这里描述的使用图像处理的存量、生长和风险预测。随着传感器、数据分析能力和编程机械化部件的改进,交通工具可以在各种模糊环境中被使用和用于各种模糊任务的执行。例如,交通工具可以用于包装递送、农业、应急服务、流水线检查等。关于区域(比如种植园、不动产、农业、农场、耕作如农业地质学和农业耕作、旷野、托儿所和可以与木材、纸浆和/或石油生产、农业耕作、农场生产等有关的其它这样的区域),比如UVA之类的交通工具可以用来飞行任务以捕获覆盖大面积的图像。然而,使用计算机视觉和预测分析就用于这样的区域的存量、生长和风险预测而言对交通工具的集成受限制。
为了解决关于比如种植园、不动产、农业、农场、耕作如农业地质学和农业耕作、旷野、托儿所和可以与木材、纸浆和/或石油生产、农业耕作、农场生产等有的关其它这样的区域的区域的存量、生长和风险预测的前述技术挑战,这里公开了一种使用图像处理的存量、生长和风险预测***以及用于使用图像处理的存量、生长和风险预测的方法。对于这里公开的***和方法,技术,比如交通工具、信号处理、计算机视觉、机器学习、保险精算损失模型和高级分析可以用来在图像例如由UAV捕获时摄取它们并且进一步分析图像以一般地标识前述区域的关键特性和用于例如与树木、农作物、灌木、植物、耕作农产品和其它这样的对象的生长和损坏的空间时间趋势。就这一点而言,虽然可以在树木、森林、种植园等中描述这里公开的示例,但是这里公开的***和方法可以一般地适用于前述区域和对象类型中的任何区域和对象类型。空间时间趋势可以与仿真技术组合以预测可能影响产量的损失风险。这里公开的***和方法可以提供对树木存量(例如,树木数目)、它们的生长的更快估计、标识具有低生长的区域、发送用于无树木或者低树木密度的区域的提醒并且标识潜在害虫问题以用于更快干预。
假定树木的形态随着不同年龄而改变,这里公开的***和方法可以学习和构建用于不同年龄组的模型(例如,用于恰在种植园之后的幼树、正在生长而未成熟的树木以及不再生长而接近收获的树木的模型)。
根据示例,这里公开的***和方法可以使用包括信号处理(例如,傅里叶和小波变换)、计算机视觉建模(例如,边缘检测、模版匹配、纹理分析和颜色分割)和机器学***改变,这些叶绿素水平改变指示对于害虫问题的可能树木损伤。及早标识这些问题可能导致更快干预和更低损失。
根据示例,这里公开的***和方法可以集成可以由现场检查者人工地执行的小样本详细检查(例如,分区的1%),这包括用使用交通工具(比如UAV)对区域的100%普查的对树木的更详细的分析。这可以基于利用贝叶斯方式和采样理论以保证100%样本UAV图像数据与小样本检查数据适当地组合以提高估计的准确性而又提供及时认识。
根据示例,这里公开的***和方法可以处理图像以标识特征比如每个树木的位置和每个树木的生长之类的特征,并且然后组合特征与有限基础采样以增加存量预计的预测概率。
根据示例,这里公开的***和方法可以通过组合信号处理、图像处理和机器学习来使用通过交通工具(比如UAV)采集的图像流以标识图像中的各个树木、树木的树冠大小和树木的空间密度。
根据示例,这里公开的***和方法可以通过学习树木林冠的颜色和树木的形状(即,形态)跨不同物种和对于相同物种在树木生长时随时间的改变来确定用于每个树木物种和年龄组的定制的模型。
根据示例,这里公开的***和方法可以利用半监督和学习方式(比如贝叶斯学习方式)以组合从交通工具数据(例如,在不同时间段内拍摄的多个图像)的推断与相对小的样本、但是详细的基础检查数据作为标示的样本以增加存量的准确性和生长预报的准确性二者。
根据示例,这里公开的***和方法可以随着树木成熟而预测长期(例如,6年)预计将来产量和由于各种因素(比如风力损坏、害虫、疾病等)的损失风险。
根据示例,这里公开的***和方法可以生成产量和生长预报模型,这些模型利用来自UAV图像数据的树冠测量以预测分区中的树木的生长。就此而言,贝叶斯预报技术可以用来并入通过在树木的生命期内通过连续UAV飞行对于相同分区和/或位置而获得的增量信息。
根据示例,这里公开的***和方法可以通过使用仿真函数来生成损失模型,这些仿真函数并入关于树木生长、由于不同因素(比如风力(例如,图像中的倒下的树木)、害虫和疾病)所致的树木损失的最新信息以提供随时间(例如,3年、4年等)对预计产量和损失的准确估计。
根据示例,这里公开的***和方法可以包括优化能力,这些优化能力利用用于整个分区的仿真产量以基于由于生长所致的预计产量增量、损失以及对于木材和/或纸浆的需求的组合来标识最优收获时间表。这里公开的***和方法也可以利用外部数据(比如天气历史)以仿真对损失(比如倒下的树木等)的影响。
基于使用交通工具(比如UAV),可以按照时间和成本高效方式以及在人可能不容易访问的区域中执行由这里公开的***和方法提供的用于森林地和种植园的存量、生长和风险预测。
根据示例,这里公开的***和方法可以利用任务控制器以在接收工作命令时指派和管理任务。任务控制器可以维护一队交通工具、传感器和工作队的知识以及关于工作命令状态和任务状态的信息。任务控制器可以通过向任务请求指派交通工具、传感器和工作队、标识交通工具的移动计划以及用于任务的目标来将工作命令翻译成任务请求。一旦任务被起动,这里公开的***和方法就可以分析在任务期间接收的通信数据(例如,遥测数据),并且可以基于检测到风险来生成警报和/或其它信息。任务控制器也可以用来例如如果UAV任务图像指示潜在害虫问题和/或空白部位则基于从先前任务标识的提醒来计划任务。可以自动地(例如,无人为干预)计划附加任务以随时间拜访相同地区以确认问题是否正在发展或者基于采取的纠正动作(例如,杀虫剂喷洒等)正在稳定。
关于任务控制器,该任务控制器跟踪关于交通工具、传感器和交通工具操作工作队的信息,可以例如按类型、可用性和用于装配特定传感器的能力来跟踪交通工具。任务控制器也可以按类型、可用性和用于装配在特定交通工具上的能力来跟踪传感器。也可以按可用性和用于操作特定交通工具的能力来跟踪交通工具操作工作队。
任务控制器可以接收与交通工具任务有关的工作命令。根据示例,工作命令可以从各种企业被接收并且覆盖各种交通工具应用。任务控制器可以将工作命令翻译成任务请求。任务请求可以例如标识用于交通工具的操作、用于完成操作的交通工具的类型、用于在交通工具上装配的至少一个传感器类型、交通工具操作工作队、移动计划和/或用于任务的目标。例如,任务请求可以指示固定翼交通工具或者四翼直升机(即,交通工具的类型)可以配备有用于拍摄种植园的图像的相片相机。在起动任务之后,交通工具可以自治地(例如,对于无人交通工具)或者哭提拔个来自任务控制器的可变程度的远程操作者指导来遵从移动计划。装配到交通工具上的传感器可以向任务控制器实时传输数据,该任务控制器可以向这里公开的***传输相关数据以用于进一步分析。对相关数据的传输可以基于带宽可用性在交通工具着陆之后(例如,对于航空交通工具)、在任务完成之后或者实时出现。
可以在广泛应用中设想这里公开的***和方法,其中基于自动或者自动化资产的数据分析可以用来减少成本、增加可靠性和增加生产率。
这里公开的***和方法可以考虑与交通工具技术的状态、规章和遵循、就绪以及安全和私密有关的方面。关于交通工具技术,这里公开的***和方法可以提供用于使用图像处理的存量、生长和风险预测的硬件和软件平台和设立。
使用这里公开的用于使用图像处理的库存、增长和风险预测的***和方法的使用图像处理的库存、增长和风险预测提供一种对例如与用于森林地和种植园的使用图像处理的库存、增长和风险预测有关的技术问题的技术解决方案。这里公开的***和方法提供图像预处理器的技术解决方案,该技术解决方案由至少一个硬件处理器执行以在交通工具(例如,UAV)沿着交通工具路径移动期间接收由交通工具捕获的多个图像,其中多个图像包括多个对象(例如,树木、农作物等),并且对多个图像进行预处理以用于从多个图像的特征提取。由至少一个硬件处理器执行的特征提取器可以通过使用计算机视觉技术的组合来从预处理的多个图像提取多个对象的多个特征(例如,树木中心、树木边缘、树冠等)。由至少一个硬件处理器执行的对象级参数生成器可以从提取的多个特征确定与多个对象有关的至少一个参数(例如,树冠大小、树木位置等)。由至少一个硬件处理器执行的分区级输出生成器可以基于确定的至少一个参数和提取的多个特征生成空间密度模型以提供与多个图像中的至少一个图像的一部分(例如,特定区域)有关的多个对象的分布密度的可视指示,和/或和与多个图像中的该至少一个图像的该一部分有关的多个对象对应的提醒。根据示例,与多个对象有关的至少一个参数可以包括与多个对象有关的至少一个位置,并且由至少一个硬件处理器执行的模型校正器可以用来利用与先前图像有关的信息以增加与多个对象有关的至少一个位置的准确性。
使用图像处理的存量、生长和风险预测***100
图1图示了根据本公开内容的示例的使用图像处理的库存、增长和风险预测***100的详细架构。***100可以包括图像加载器102,该图像加载器102由至少一个硬件处理器(例如,图10的至少一个硬件处理器1102)执行以接收在交通工具106沿着交通工具路径移动期间捕获的图像104和待监视的与交通工具106沿着交通工具路径的移动有关的遥测数据。可以从交通工具106直接地和/或从包括先前接收的图像104的图像贮存库108接收图像。遥测数据可以例如包括与交通工具106沿着交通工具路径的移动有关的移动日志信息(例如,用于航空交通工具的飞行日志信息和一般地用于基于地面或者其它类型的交通工具的移动日志信息)和与交通工具路径有关的地理参考数据。可以从任务控制器110和/或在地理参考数据的情况下从设立用户接口(未示出)接收遥测数据。任务控制器110可以是***100的部件或者如图1中所示被分离地布置和/或操作。
交通工具106可以包括一般地被标示为控制器112的各种控制,比如自动领航控制(例如,如果领航106是航空天线)、远程接收器控制等,以及一般地被标示为交通工具传感器114的各种传感器,比如飞行传感器、温度传感器等和各种成像***,比如相片或者视频相机、IR传感器等。
由至少一个硬件处理器执行的图像预处理器116可以分析图像104以执行各种操作,比如色空间变换、本地自适应直方图均衡、图像去噪(即,平滑和滤波)、阈值化和形态变换。
由至少一个硬件处理器执行的特征提取器118可以利用计算机视觉技术和机器学习以从图像104中的对象(例如,树木)提取相关特征(例如,树木中心、树木边缘、树冠等)以用于生成树木的每个树木物种和年龄特有的模型120(即每树木年龄每树木物种一个模型)。可以使用的计算机视觉技术的示例包括Canny边缘检测、基于信号处理的特征提取、模版匹配和颜色分割、直方图反向投射、分水岭、纹理分析等。提取的特征可以被存储在SQL数据库中。
由至少一个硬件处理器执行的对象级参数生成器122可以通过标识每个树木的林冠边缘并且使用凸壳以捕获最代表树冠大小的闭合多边形来标识对象(例如,树木)的各种方面,比如树冠大小。对象级参数生成器122可以进一步标识所标识的树木中的每个树木的GPS位置。
由至少一个硬件处理器执行的模型相关器124可以利用以往图像信息(例如,来自存量跟踪***126)以提高树木位置的准确性。模型校正器124可以例如在不良图像质量、变化地形和难以分离成熟树木的情况下提高图像分析的准确性。
由至少一个硬件处理器执行的分区级输出生成器128可以生成在模型120中包括的空间密度模型,其中这样的空间密度模型可以是树木的每个树木物种和年龄特有的。空间密度模型可以标识具有低树木密度和低树木生长的区域(例如,基于树冠大小)。空间密度模型可以被存储在SQL数据库中。另外,来自空间密度的树木生长(例如,在不同年龄的历史数据140)可以与用于生成风险预测模型的外部数据138(例如,降雨、风力、地下水位、害虫和疾病)组合。风险预测模型可以目标在于对外部数据138和历史数据140对产量和树木体积的影响进行仿真。
由至少一个硬件处理器执行的模型验证器130可以基于真实(on-ground)存量样本(例如,持久采样点)数据来对模型120进行验证,该真实存量样本数据可以在森林地中用来估计存量和木材体积。
由至少一个硬件处理器执行的分析输出生成器132可以生成与图像104有关的各种可视显示134和/或提醒和关键性能指示符(KPI)136。可视显示器134可以包括与树木计数、密度、树冠有关的各种显示、与特定分区有关的地图等。提醒和KPI 136可以包括与在各种显示中呈现的信息有关的参数。例如,提醒和KPI 136可以包括与树木的高度分布、低密度区域、高密度区域、区域中的空白部位等的有关的参数。可以造成提醒的附加过程例如包括低密度提醒、与基于仿真模型142的倒下树木风险对应的提醒(该仿真模型取得从图像估计的当前进货以及土壤类型、地下水位传感器、天气数据等以预测哪些区域处于高的倒下树木风险)、害虫问题等。
这里描述的***100的单元可以是在非瞬态计算机可读介质上存储的机器可读指令。附加地或者备选地,***100的单元可以是硬件或者机器可读指令和硬件的组合。
图2A图示了根据本公开内容的示例的用于***100的模型生成的详细流程图。
训练数据集合
参照图2A的块200,***100可以使用图像贮存库108以生成训练数据集合,该训练数据集合代表用于树木的每个物种和年龄组的代表样本。对于UAV,图像贮存库108可以被标示为UAV图像贮存库。图像贮存库108可以包括多个图像104,这些图像对于UAV可以被标示为UAV图像。可以从真实红-绿-蓝(RGB)彩色图像、NIR(近红外线)图像从图像贮存库108或者从具有更多通道和层的多谱相机生成训练数据集合。就这一点而言,图像贮存器108可以用来生成训练数据集合,该训练数据集合包括跨种植园(例如,用于每个树木物种和年龄组)的多个兴趣区域(例如,代表种植园的更小区域的分区,这些分区包括相同树木物种和年龄组),这些兴趣区域包括不同程度的图像非自然成分(例如,噪声)。图像非自然成分的示例可以包括杂草、大型灌木丛、道路、保护区域、边界、图像拼接问题、阴影、云、照明条件、海拔分布图、建筑物等。训练数据集可以例如由如这里公开的特征提取器118用来从具有不同噪声程度的复杂种植园图像学习和划定树冠。
图像预处理(信号处理)
参照图2A的块202,关于色空间变换,图像预处理器116可以分析图像104以去除阴影和醒目显示细节以及色饱和度,并且确定将折衷多少阴影和醒目显示细节以及色饱和度。根据示例,关于色空间变换,图像预处理器116可以利用色调、饱和度和值(HSV)以及灰度以标识在色调、饱和度和强度通道之间的差值以用于划定兴趣对象(例如,树冠)。图像预处理器116可以将每个RGB像素转换成它的对应HSV值以用于醒目显示图像细节。
参照图2A的块202,关于局部自适应直方图均衡,图像预处理器116可以应用本地自适应直方图均衡以提高图像104的局部对比度。图像像素值(例如,用于UAV图像的UAV图像像素值)可以被局限于如在图3中的300处所示的具体值范围,并且因此可能需要将如在图3中的302处所示的直方图伸展至任一端以覆盖来自图像的所有区域的像素值。图像预处理器116可以将每个图像划分成瓦片(例如,8x8个瓦片),并且应用对比度限制。
参照图2A的块204,关于用于图像104的图像去噪(即,平滑和滤波),图像预处理器116可以利用各种低通和高通信号滤波器对图像104进行滤波。低通滤波器可以提供噪声的去除或者图像的模糊。高通滤波器可以有助于图像中的边缘的标识。例如,为了去除形式为白和黑斑的噪声,可以在每个像素上对中值内核窗口(例如,5x5)进行卷积,并且可以用窗口的中值替换中央像素。相似地,图像预处理器116可以应用高斯滤波内核以用于去除大量噪声和对图像进行平滑。
参照图2A的块206,关于用于图像104的阈值化和形态变换,图像预处理器116可以对每个图像进行阈值化以隔开相似像素值。阈值化可以通过将在预定阈值以下的所有像素转变成零并且将在另一预定阈值以上的所有像素转变成一来从灰度图像创建二进制图像,这可以主要地用于图像分割。对于具有两个直方图峰的双模图像,图像预处理器116可以从峰的中间取得值作为阈值的值(例如,通过应用Otsu二值化)。
图像预处理器116可以对二进制图像应用形态变换以精化前景对象的边界。例如,形态变换可以被视为可以侵蚀掉前景对象的边界的侵蚀操作。形态变换可以例如用来去除相对小的白噪声、分开两个连接的对象等。
特征提取和机器学习模型
参照图2A的块208,特征提取器118可以生成用于树木的具体树木物种和年龄的定制的模型120(即,每树木物种和数目年龄一个模型)。模型可以用来标识给定的分区中的给定的物种的树木数目、每个树木的树冠大小和树木的空间密度。特征提取器118可以利用计算机视觉技术以从与对给定的分区中的给定的物种的树木数目、每个树木的树冠大小和树木的空间密度的标识有关的数据提取相关特征。可以使用的计算机视觉技术的示例包括Canny边缘检测、基于信号处理的特征提取、模版匹配和颜色分割、直方图反向投射、分水岭、纹理分析等。这些计算机视觉技术中的每个计算机视觉技术可以包括具体优点并且标识图像的不同特征。提取的特征的示例包括树木中心、树木边缘、树冠等。例如,Canny边缘检测技术可以提供对在不同照明条件之下的边缘的标识,并且因此更耐受由更高树木引起的阴影化对更矮数目的影响。基于纹理分析的方式可以提供对跨年轻和更老树叶的纹理改变的检测,并且检测树木的中心(例如,具有更年轻树叶和在包括更老树叶的树木之间的边界)。就这一点而言,特征提取器118可以使用机器学习技术,该机器学习技术将所有这些计算机视觉技术组合在一起,并且从训练数据集合学习以标识最好地分离个别树木并且标识每个树木的树冠的函数。就这一点而言,机器学习技术可以将这些计算机视觉技术中的一些或者所有计算机视觉技术组合在一起以确定最好地分离个别树木并且标识每个树木的树冠的组合。
特征提取器118可以使用半监督方式以减少被分析的数据量。例如,关于林业和种植园,每个图像可以覆盖数百英亩,并且大于100,000个树木。因此,对每个树木的位置的标注可能不必要地增加被分析的数据量。通过半监督学习,可以利用其它结构化的信息,比如在种植开始时提供每个树木的可能位置的建议的种植方案。
对于每个树木物种和年龄(例如,3个月、5个月、10个月、15个月等),特征提取器118可以使用包括相同物种和相似年龄组的区域的训练数据集,并且应用前述计算机视觉技术中的每个计算机视觉技术以从图像104得到特征。
关于Canny边缘检测,特征提取器118可以确定每个像素的边缘梯度和方向以去除可能不构成边缘的任何不想要的像素。就这一点而言,特征提取器118也可以在边缘是长线的假设下去除小像素噪声。特征提取器118可以使用傅里叶变换以确定图像的频率表示,并且标识在边缘点或者噪声处的信号放大。基于以颜色为基础的分割,特征提取器118可以执行颜色量化以减少图像中的颜色数目,并且标识用于树冠的对应的色空间范围。特征提取器118可以使用基于纹理的特征以标识具有不同纹理并且可以用来执行纹理分割的区域。
关于模版匹配,特征提取器118可以使用模版匹配以在输入图像之上滑动模版图像(例如,树冠),并且比较模版和在模版图像之下的输入图像小块(patch)。可以返回灰度图像,其中每个像素可以表示该像素的邻域与模版的匹配程度。
关于直方图反向投射,特征提取器118可以使用模版图像(例如,树冠)的直方图以确定每个输入图像像素属于模版的概率。基于模版的方式可以特别地适用于如下物种,这些物种包括树冠的良好定义并且不同的形状(棕榈树、成熟桉树等)。
关于分水岭,任何灰度图像可以被视为地形表面,其中高密度可以表示峰(例如,树冠的中心)和丘,而低密度可以表示谷(例如,图像背景)。特征提取器118可以创建屏障以有助于分开重叠树冠和分割结果。
关于机器学习,对于训练数据集合,相对小的子集可以用来人工地标识树木的位置。特征提取器118可以使用半监督学习方式,这些方式可以使用部分地标注的数据以学习哪些特征及其组合在标识树木的位置时最有效。未标注的树木位置可以被视为遗漏数据,该遗漏数据可以被视为生成性模型的应用,这些生成性模型利用半监督学习作为遗漏数据归因任务。
机器学习技术可以利用种植信息以标识树木间距信息,该信息可以用来标识树木可以潜在地存在于的每个点X。监督学习的目的是然后确认树木是否存在于该位置。这是因为树木可以一般地存在于其中已经执行了种植的区域中,并且随着年龄进展,种植园数目死亡但是未被重新种植。机器学习模型的目的是标识p(y|x),其中给定的点x包括标签y(0:无树木,1:树木存在)。使用贝叶斯规则,可以确定p(y|x)与p(x|y)p(y)成比例。可以推导概率函数p(x|y,θ),其中θ是在计算机视觉部件中从特征推导的参数向量。生成性模型要求未标注的数据遵循可以基于为每个图像而提供的种植信息获得的个别类分布的混合。种植信息可以提供用于每个树木位置的二维高斯分布(例如,跨纬度和经度),其中理论种植位置是该分布的中心。
半监督学习方式可以用来组合从计算机视觉技术提取的特征以标识最好地预测树木位置的函数(即,基于计算机视觉技术的组合)。树木位置信息可以与边缘检测结合用来标识每个树木的位置。
树木级参数
参照图2A的块210,对于检测到的每个树木,对象级参数生成器122可以对每个树木进行地理标注并且将像素标识到世界坐标GPS定位。对象级参数生成器122可以通过标识每个树木的林冠边缘并且使用凸壳以捕获最代表树冠大小的闭合多边形来标识树冠大小。凸壳的面积可以确定以像素为单位的树冠大小,这可以通过像素到世界映射来被转换成物理比例。
贝叶斯相关性
参照图2A的块212,模型校正器124可以利用以往图像信息(例如,来自存量跟踪***126)以提高树木位置的准确性。关于交通工具(比如UAV),由于可以在不同年龄内在相同区域之上飞过UAV任务,所以可以推导在给定的年龄(例如,36个月)的在图像中的树木数目作为在先信息(即,树木的数目及其在先前图像中标识的位置以及在新图像中提供的更新的信息)的函数。
模型相关器124可以例如在不良图像质量、变化的地形和难以分离成熟树木的情况下提高图像分析的准确性。成熟(即,更老的)树木可以包括重叠林冠,但是在更年轻年龄,这样的树木可以是可分离的。就这一点而言,模型校正器124可以在种植园的更年轻年龄利用先前图像(例如,先前UAV图像)作为在先信息以提高树木位置和计数的准确性。同时,当前图像可以包括附加信息,比如由于疾病、洪水等而损失的树木。因此,用于组合作为在先信息的更旧图像信息与新图像信息的能力可以提供每个树木位置的后验概率。
分区级输出
参照图2A的块214,分区级输出生成器128可以生成在模型120中包括的空间密度模型作为输出,其中这样的空间密度模型可以是树木的每个树木物种和年龄特有的。空间密度模型可以应用于跨其它相似种植园的相同树木物种。模型120可以用来基于每个树木物种的UAV正交图像来检测每个树木物种。
分区级输出生成器128可以使用颜色分割和机器学***的改变,这些改变指示对于害虫问题的可能树木损伤。就这一点而言,及早标识这样的问题可以造成更快干预和更低损失。
分区级输出生成器128可以生成空间密度地图以用于跨种植园对低密度区域进行可视化。就这一点而言,分区级输出生成器128可以生成用于空白部位标识的可动作提醒,以及基于在树冠直径与树木高度之间的相关性的进货和高度分布警报。
分区级输出生成器128可以利用模型输出以使用与树木的数目、基于树冠大小的估计的树木直径、包括地下水位水平、历史和预报的天气数据(例如,风速、降雨量等)的其它传感器数据有关的数据来估计来自分区的产量(例如,用于成熟树木的存量)以及存量、生长和风险预测(例如,对于更年轻树木为由于风力、害虫风险等而倒下的风险)。风险预测模型可以学习在多个变量与倒下的每个树木的风险之间的关系(例如,增加的树木密度(更高进货)可以造成在某些风力条件之下对倒下更敏感的更稀疏树木)。就这一点而言,仿真模型142可以取得在收获时的以往产量、来自在不同年龄/生长的多个树木的估计的木材体积和作为f(x1,x2,x3..)的函数的倒下树木数目,其中‘x’变量可以代表风力、地下水位、降雨量、害虫和疾病、密度等)。
模型验证和准确性
参照图2A的块216,模型验证器130可以基于真实存量样本(例如持久采样点)数据来验证模型120,该样本存量数据可以在森林地中用来估计存量和木材体积。真实采样可以涉及对树木的密集评估(例如,关于相对小的树木样本(例如,1-3%)位置、高度和树木直径(DBH))。关于UAV,基于UAV的分析可以用对于树木位置和树冠大小的估计来覆盖所有树木。就这一点而言,以机器学习方式(例如,半监督)组合这两种技术(即,真实采样和基于UAV的分析)可以有助于组合来自这两个来源的信息以提高存量预测(例如,在给定的分区中的树木的可商品体积)。
图2B图示了根据本公开内容的示例的用于针对***100的模型部署的详细流程图。
参照图2B,可以部署如这里参照图1和图2A公开的那样生成的模型120以用于对于新数据流220来分析图像104。对于UAV的示例,新数据流220可以被指明作为UAV新数据流。
在块222处,可以如这里分别参照图像预处理器116和特征提取器118公开的那样执行图像预处理和特征提取。就这一点而言,基于如这里参照图2A的块208公开的在训练阶段期间由特征提取器118利用的机器学习技术,特征提取器118可以利用计算机视觉技术的最优组合以分离个别树木并且标识每个树木的树冠。
在块224处,可以确定树木级参数并且可以如这里分别参照对象级参数生成器122和模型校正器124公开的那样执行模型校正。
在块226处,可以如这里参照分区级输出生成器128公开的那样确定分区级参数和空间密度模型。
在块228处,可以如这里参照分析输出生成器132公开的那样确定模型打分和输出以生成与图像104有关的各种可视显示134和/或提醒以及KPI 136。
图4图示了根据本公开内容的示例的用于***100的中间输出。
如这里参照图像预处理器116公开的那样,图像预处理器116可以将HSV、局部自适应直方图均衡和去噪(即,平滑和滤波)用于图像104。就这一点而言,对于如图4中所示的UAV图像104,在400处图示了在图像预处理之后的中间输出显示的示例。另外,关于阈值化,在402处图示了在图像预处理之后的中间输出显示的示例。
如这里参照特征提取器118公开的那样,特征提取器118可以生成用于树木的具体树木物种和年龄的定制的模型120(即,每树木物种和树木年龄一个模型)。模型可以用来标识在给定的分区中的给定的物种的树木数目、每个树木的树冠大小和树木的空间密度。特征提取器118可以利用计算机视觉技术以从与对给定的分区中的给定的物种的树木数目、每个树木的树冠大小和树木的空间密度的标识有关的数据提取相关特征。可以使用的计算机视觉技术的示例包括Canny边缘检测、基于信号处理的特征提取、模版匹配和颜色分割、直方图反向投射、分水岭、纹理分析等。例如,对于如图4中所示的UAV图像104,在404处图示了基于对Canny边缘检测的应用的中间输出显示的示例。
另外,如这里参照特征提取器118公开的那样,特征提取器118可以创建屏障以有助于分开重叠树冠和分割结果。就这一点而言,对于如图4中所示的UAV图像104,在406处图示了关于重叠对象(例如,树冠)、在树木之间的距离和分离的对象的中间输出显示的示例。
图5图示了根据本公开内容的示例的用于***100的树木计数和密度输出。
如这里参照分区级输出生成器128公开的那样,分区级输出生成器128可以生成在模型120中包括的空间密度模型作为输出,其中这样的空间密度模型可以是树木的每个树木物种和年龄特有的。例如,对于如图5中所示UAV图像104,在500和502处图示了关于这样的空间密度模型的中间输出显示的示例。在500和502处图示的中间输出显示以及在504和506处显示的对应的统计可以反映基于由特征提取器118使用的计算机视觉技术的第一和第二组合而生成的空间密度模型。就这一点而言,可见由特征提取器118使用的计算机视觉技术的不同组合可以造成对不同树木数目的指示(例如,对于与在500处的中间输出显示一起被使用的组合为135个树木,并且对于与在502的中间输出显示一起被使用的组合为142个树木)。
图6图示了根据本公开内容的示例的用于***100的一个分区的计算机视觉处理。
如这里参照对象级参数生成器122公开的那样,对象级参数生成器122可以地理标注每个树木并且标识像素到世界坐标GPS定位。对象级参数生成器122可以通过标识每个树木的林冠边缘并且使用凸壳以捕获最代表树冠大小的闭合多边形来标识树冠大小。例如,如图6中所示,可以在600处显示用于每个树木的纬度/经度定位和树冠面积。
图7图示了根据本公开内容的示例的用于***100的对可作用提醒的分区处理。
如这里参照分区级输出生成器128公开的那样,分区级输出生成器128可以生成在模型120中包括的空间密度模型作为输出,其中这样的空间密度模型可以是树木的每个树木物种和年龄特有的。例如,对于如图7中所示的UAV图像104,在700和702处分别图示了关于用于树冠大小分析和树木密度分析的空间密度的输出的示例。空间密度模型可以用来基于对以往和当前空间密度模型的比较来提供对树木存量、树木的当前生长和树木的将来生长的预测的指示。例如,树木的存量可以基于每给定面积的树木数目。树木的当前生长可以基于对每给定的面积的树木数目和树木的树冠大小的分析。另外,对树木的将来生长的预测可以基于比较用于以往空间密度模型的树木的数目和树冠大小(和其它因素)与当前空间密度模型。
关于树冠大小分析,空间密度模型可以例如分别在704和706处标识和/或醒目显示高密度和低密度的区域。就这一点而言,分析输出生成器132可以生成与图像104有关的各种可视显示134和/或提醒以及KPI 136。可视显示134可以包括与树木计数、密度、树冠、与特定分区有关的地图等有关的各种显示。提醒和KPI 136可以包括与在各种显示中呈现的信息有关的参数。例如,提醒和KPI 136可以包括与树木的高度分布、低密度区域、高密度区域、区域中的空白部位等有关的参数。
例如,在708处,分析输出生成器132可以生成从树冠大小推断的高度分布警报(例如,KPI 136)(例如,树冠大小X可以对应于树木高度AX,其中A代表常数)。例如,对于超过预定树冠大小阈值的树冠大小,分析输出生成器132可以生成高度分布警报,该高度分布警报指示对应的树木是否包括大于预定高度阈值的高度。
根据另一示例,在710处,分析输出生成器132可以基于分析来生成其它KPI 136,比如空白部位提醒和/或进货警报。例如,对于大于预定空白部位面积阈值(例如,300m2)的任何空白部位,分析输出生成器132可以生成空白部位提醒并且提供如图7中所示的对应的可视指示符和/或与空白部位提醒有关的报告。空白部位提醒可以与用于这样的空白部位的时间段阈值(例如,1个月,其中为存在大于时间段阈值的空白部位生成空白部位提醒)有关。另外,对于包括小于预定树木数目阈值(例如,每100m2 10个树木)的树木数目的任何区域,分析输出生成器132可以生成进货警报。附加警报可以例如包括在712处示出的警报,这些警报包括每面积的树木(例如,如果每公顷的树木数目小于或者大于可以用于树木收获目的的预定阈值)、木材体积(例如,如果用于面积的木材体积小于或者大于可以用于树木收获目的的预定阈值)、在收获之前的产量和在不同年龄水平投射(例如,六个月和十八个月)的年度生长。
风险预测仿真
图8图示了根据本公开内容的示例的使用***100的风险预测仿真。
参照图8,分区级输出生成器128可以基于来自对象级参数生成器122的确定的参数、来自特征提取器118的多个提取的特征、与在多个树木的不同年龄对多个树木的消耗有关的历史数据140和与对多个树木的外部影响有关的外部数据138(即,外部影响数据)来生成仿真模型142(即,风险预测模型)以如在800处所示对历史数据140和外部影响数据138对多个树木的消耗的影响进行仿真。
图9和图10图示了根据示例的用于使用图像处理的存量、生长和风险预测的方法900和方法1000的流程图。可以在以上通过示例而非限制参照图1至图8描述的使用图像处理的存量、增长和风险预测***100上实施方法900和方法1000。可以在其它***中实践方法900和方法1000。
参照图1和图9,在块902处,方法900可以包括在交通工具106沿着交通工具路径移动期间接收由交通工具106捕获的多个图像104,其中多个图像104可以包括多个对象。
在块904处,方法900可以包括对多个图像104进行预处理以用于从多个图像104的特征提取。
在块906处,方法900可以包括通过使用计算机视觉技术的组合来从预处理的多个图像提取多个对象的多个特征。
在块908处,方法900可以包括从提取的多个特征确定与多个对象有关的至少一个参数。
在块910处,方法900可以包括基于确定的至少一个参数和提取的多个特征来生成空间密度模型以提供与多个图像104中的至少一个图像的一部分有关的多个对象的分布密度的可视指示和/或和与多个图像104中的该至少一个图像的该一部分有关的多个对象对应的提醒。
根据示例,与多个对象有关的至少一个参数可以包括与多个对象有关的至少一个位置,并且该方法900可以包括利用与先前图像有关的信息以增加与多个对象有关的至少一个位置的准确性。
根据示例,对于方法900,多个对象可以包括树木和/或农作物。
根据示例,对于方法900,交通工具106可以包括UAV。
根据示例,方法900可以包括从多个图像104去除阴影和醒目显示细节和/或应用局部自适应直方图均衡以修改多个图像104的局部对比度。
根据示例,方法900可以包括应用低通滤波以用于从多个图像104去除噪声,并且应用高通滤波以用于标识多个对象的边缘。
根据示例,方法900可以包括利用阈值化以通过将在预定阈值以下的像素转变成第一个值和将在另一预定阈值以上的像素转变成第二个值来创建多个图像104的二进制图像104,并且对二进制图像104应用形态变换以精化前景对象的边界。
根据示例,方法900可以包括通过使用包括Canny边缘检测、基于信号处理的特征提取、模版匹配和颜色分割、直方图反向投射、分水岭和纹理分析中的至少两种计算机视觉技术的组合来从预处理的多个图像提取多个对象的多个特征。
根据示例,多个对象包括树木,并且方法900可以包括通过使用计算机视觉技术的组合来从多个预处理的图像提取多个树木的多个特征,其中通过使用机器学习技术以确定计算机视觉技术的组合以标识分离个别树木并且标识每个树木的树冠的函数。
根据示例,方法900可以包括使用机器学习技术以确定计算机视觉技术的组合以标识基于与每个树木的可能位置有关的以往种植信息、通过使用半监督机器学习技术来分离个别树木并且标识每个树木的树冠的函数。
根据示例,多个对象包括树木,并且方法900可以包括确定至少一个参数,该至少一个参数包括基于凸壳分析的多个树木中的每个树木的树冠大小和多个树木中的每个树木的位置。
根据示例,对于方法900,与多个图像104中的该至少一个图像的该一部分有关的多个对象的密度分布的可视指示可以包括与多个图像104中的该至少一个图像的该一部分有关的低密度区域和高密度区域的显示。
根据示例,多个对象可以包括树木,并且与多个图像104中的该至少一个图像的该一部分有关的多个树木的密度分布的可视指示可以包括与多个树木的高度有关的显示,其中可以基于多个树木中的每个树木的树冠大小确定多个树木的高度。
根据示例,和与多个图像104中的该至少一个图像的该一部分有关的多个对象对应的提醒可以包括基于该一部分中的低密度区域存在大于预定时间段的对低密度区域的指示。
根据示例,多个对象包括树木,并且方法900可以包括使用颜色分割以标识多个树木的叶绿素水平的改变,其中和与多个图像中的该至少一个图像的该一部分有关的多个树木对应的提醒包括基于多个树木的叶绿素水平的改变的可能害虫的指示。
参照图1和图10,在块1002处,方法1000可以包括接收在交通工具106沿着交通工具路径移动期间从交通工具106捕获的多个图像104,其中多个图像104可以包括多个对象。
在块1004处,方法1000可以包括由硬件处理器对多个图像104进行预处理以用于从多个图像104提取特征。
在块1006处,方法1000可以包括通过使用计算机视觉技术的组合从预处理的多个图像提取多个对象的多个特征。
在块1008处,方法1000可以包括从提取的多个特征确定与多个对象有关的至少一个参数。
在块1010处,方法1000可以包括基于确定的至少一个参数、提取的多个特征、与在多个对象的不同年龄对多个对象的消耗有关的历史数据140和与对多个对象的外部影响有关的外部影响数据生成仿真模型142(风险预测模型)以对历史数据140和外部影响数据对多个对象的消耗的影响进行仿真。
根据示例,多个对象可以包括树木,历史数据140可以包括在不同年龄的树木密度和在收获时的产量,并且外部影响数据可以包括对多个树木的与天气和/或害虫有关的影响,并且基于确定的至少一个参数、提取的多个特征、历史数据140和外部影响数据以生成仿真模型142(风险预测模型)以对历史数据140和外部影响数据对多个树木的消耗的影响进行仿真还可以包括基于确定的至少一个参数、提取的多个特征、历史数据140和外部影响数据生成仿真模型142(风险预测模型)以对与多个树木有关的产量和损失进行仿真。
根据示例,一种用于使用图像处理的存量、增长和风险预测的方法可以包括接收在交通工具106沿着交通工具路径移动期间接收由交通工具106捕获的多个图像104,其中多个图像104可以包括多个对象,并且对多个图像104进行预处理以用于从多个图像104提取特征。用于使用图像处理的存量、增长和风险预测的方法可以包括通过使用计算机视觉技术的组合来从预处理的多个图像提取多个对象的多个特征,并且从提取的多个特征确定与多个对象有关的至少一个参数。用于使用图像处理的存量、增长和风险预测的方法可以包括基于确定的至少一个参数和提取的多个特征生成空间密度模型以提供与多个图像104中的至少一个图像的一部分有关的多个对象的密度分布的可视指示和/或和与多个图像104中的该至少一个图像的该一部分有关的多个对象对应的提醒。用于使用图像处理的存量、增长和风险预测的方法可以包括基于确定的至少一个参数、提取的多个特征、与在多个对象的不同年龄对多个对象的消耗有关的历史数据140和与对多个对象的外部影响有关的外部影响数据生成仿真模型142(风险预测模型)以对历史数据140和外部影响数据对多个对象的消耗的影响进行仿真。用于使用图像处理的存量、增长和风险预测的方法可以包括通过使用计算机视觉技术的组合来从预处理的多个图像提取多个对象的多个特征,其中通过使用机器学习技术以确定计算机视觉技术组合以标识分离个别对象的函数。
图11示出了可以与这里描述的示例一起被使用的计算机***1100。计算机***可以代表通用平台,该通用平台包括可以在服务器或者另一计算机***中的部件。计算机***1100可以用作用于***100的平台。计算***1100可以由处理器(例如,单个或者多个处理器)或者其它硬件处理电路执行这里描述的方法、功能和其它过程。这些方法、功能和其它过程可以被体现为在计算机可读介质上存储的机器可读指令,该计算机可读介质可以是非瞬态的,比如硬件存储设备(例如,RAM(随机存取存储器)、ROM(只读存储器)、EPROM(可擦除可编程ROM)、EEPROM(电可擦除可编程ROM)、硬驱动和闪存)。
计算机***1100可以包括可以实施或者执行机器可读指令的处理器1102,这些机器可读指令执行这里描述的方法、功能和其它过程中的一些或者所有方法、功能和其它过程。可以通过通信总线1104传达来自处理器1102的命令和数据。计算机***也可以包括主存储器1106(比如随机存取存储器(RAM),其中用于处理器1102的机器可读指令和数据可以在运行时间期间驻留),以及次数据存储装置1108(该次数据存储装置1108可以是非易失性的并且存储机器可读指令和数据)。存储器和数据存储装置是计算机可读介质的示例。存储器1106可以包括使用图像的存量、生长和风险预测处理器1120,该处理器1120包括在运行时期间在存储器1106中驻留并且由处理器1102执行的机器可读指令。使用图像的存量、生长和风险预测处理器1120可以包括图1中所示的***100的单元。
计算机***1100可以包括I/O设备1110,比如键盘、鼠标、显示器等。计算机***可以包括用于连接到网络的网络接口1112。可以在计算机***中添加或者替换其它已知电子部件。
这里已经描述和图示的是示例及其变化中的一些变化。这里使用的术语、描述和图通过示例而被阐述而不是作为限制。许多变化在主题内容的精神实质和范围内是可能的,该精神实质和范围旨在于由所附权利要求(及其等效含义)限定,其中所有术语除非另有指示则在它们的最广义合理意义上被解读。
Claims (16)
1.一种使用图像处理的存量、增长和风险预测***,包括:
图像预处理器,所述图像预处理器由至少一个硬件处理器执行:
在交通工具沿着交通工具路径移动期间接收由所述交通工具捕获的多个图像,其中所述多个图像包括多个对象,并且其中所述多个对象包括树木和农作物中的至少一个,以及
对所述多个图像进行预处理以用于从所述多个图像的特征提取;
特征提取器,所述特征提取器由所述至少一个硬件处理器执行以通过使用计算机视觉技术的组合从预处理的所述多个图像提取所述多个对象的多个特征,所述计算机视觉技术的组合包括以下各项中的至少两项:
Canny边缘检测,
基于信号处理的特征提取,
模版匹配和颜色分割,
直方图反向投射,
分水岭,以及
纹理分析,其中对于包括树木的所述多个对象,所述特征提取器用于使用机器学习技术以确定所述计算机视觉技术的组合以标识分离个别树木并且标识所述树木中的每个树木的树冠的函数,并且其中所述机器学习技术包括基于与所述树木中的每个树木的可能位置有关的以往种植信息的半监督机器学习技术;
对象级参数生成器,所述对象级参数生成器由所述至少一个硬件处理器执行以从提取所述多个的特征确定与所述多个对象有关的至少一个参数;以及
分区级输出生成器,所述分区级输出生成器由所述至少一个硬件处理器执行以基于确定的所述至少一个参数和提取的所述多个特征生成空间密度模型以提供以下各项中的至少一项:
与所述多个图像中的至少一个图像的一部分有关的所述多个对象的分布密度的可视指示,以及
和与所述多个图像中的所述至少一个图像的所述一部分有关的所述多个对象对应的提醒。
2.根据权利要求1所述的使用图像处理的存量、增长和风险预测***,其中与所述多个对象有关的所述至少一个参数包括与所述多个对象有关的至少一个位置,所述***还包括:
模型校正器,所述模型校正器由所述至少一个硬件处理器执行以利用与先前图像有关的信息以增加与所述多个对象有关的所述至少一个位置的准确性。
3.根据权利要求1所述的使用图像处理的存量、增长和风险预测***,其中所述交通工具包括无人航空交通工具(UAV)。
4.根据权利要求1所述的使用图像处理的存量、增长和风险预测***,其中所述图像预处理器用于通过以下各项中的至少一项来对所述多个图像进行预处理以用于从所述多个图像的特征提取:
从所述多个图像去除阴影和醒目显示细节,以及
应用局部自适应直方图均衡以修改所述多个图像的局部对比度。
5.根据权利要求1所述的使用图像处理的存量、增长和风险预测***,其中所述图像预处理器用于通过以下各项来对所述多个图像进行预处理以用于从所述多个图像的特征提取:
应用低通滤波以用于从所述多个图像的噪声去除,以及
应用高通滤波以用于对所述多个对象的边缘的标识。
6.根据权利要求1所述的使用图像处理的存量、增长和风险预测***,其中所述图像预处理器用于通过以下各项对所述多个图像进行预处理以用于从所述多个图像的特征提取:
利用阈值化以通过将在预定阈值以下的像素转变成第一个值和将在另一预定阈值以上的像素转变成第二个值来创建所述多个图像的二进制图像,以及
对所述二进制图像应用形态变换以精化前景对象的边界。
7.根据权利要求1所述的使用图像处理的存量、增长和风险预测***,其中所述多个对象包括树木,并且其中所述对象级参数生成器用于确定包括以下各项的所述至少一个参数:
基于凸壳分析的所述多个树木中的每个树木的树冠大小,以及
所述多个树木中的每个树木的位置。
8.根据权利要求1所述的使用图像处理的存量、增长和风险预测***,其中与所述多个图像中的所述至少一个图像的所述一部分有关的所述多个对象的分布密度的所述可视指示包括:
对与所述多个图像中的所述至少一个图像的所述一部分有关的低密度区域和高密度区域的显示。
9.根据权利要求1所述的使用图像处理的存量、增长和风险预测***,其中所述多个对象包括树木,并且其中与所述多个图像中的所述至少一个图像的所述一部分有关的所述多个树木的密度分布的所述可视指示包括:
与所述多个树木的高度有关的显示,其中所述多个树木的所述高度基于所述多个树木中的每个树木的树冠大小被确定。
10.根据权利要求1所述的使用图像处理的存量、增长和风险预测***,其中和与所述多个图像中的所述至少一个图像的所述一部分有关的所述多个对象对应的所述提醒包括:
基于所述一部分中的低密度区域存在大于预定时间段的对所述低密度区域的指示。
11.根据权利要求1所述的使用图像处理的存量、增长和风险预测***,其中所述多个对象包括树木,并且其中所述分区级输出生成器用于:
使用颜色分割以标识所述多个树木的叶绿素水平的改变,其中和与所述多个图像中的所述至少一个图像的所述一部分有关的所述多个树木对应的所述提醒包括基于所述多个树木的所述叶绿素水平的改变的对可能害虫的指示。
12.一种用于使用图像处理的存量、增长和风险预测的方法,所述方法包括:
在交通工具沿着交通工具路径移动期间接收由所述交通工具捕获的多个图像,其中所述多个图像包括多个对象,并且其中所述多个对象包括树木和农作物中的至少一个;
由硬件处理器对所述多个图像进行预处理以用于从所述多个图像的特征提取;
通过使用计算机视觉技术的组合从预处理的所述多个图像提取所述多个对象的多个特征,所述计算机视觉技术的组合包括以下各项中的至少两项:
Canny边缘检测,
基于信号处理的特征提取,
模版匹配和颜色分割,
直方图反向投射,
分水岭,以及
纹理分析,其中对于包括树木的所述多个对象,所述特征提取用于使用机器学习技术以确定所述计算机视觉技术的组合以标识分离个别树木并且标识所述树木中的每个树木的树冠的函数,并且其中所述机器学习技术包括基于与所述树木中的每个树木的可能位置有关的以往种植信息的半监督机器学习技术;
从提取的所述多个特征确定与所述多个对象有关的至少一个参数;以及
基于确定的所述至少一个参数、提取的所述多个特征、与在所述多个对象的不同年龄的所述多个对象的消耗有关的历史数据和与对所述多个对象的外部影响有关的外部影响数据生成风险预测模型以对所述历史数据和所述外部影响数据对所述多个对象的所述消耗的影响进行仿真。
13.根据权利要求12所述的方法,
其中所述多个对象包括树木,所述历史数据包括在不同年龄的树木密度和在收获时的产量,并且所述外部影响数据包括对所述多个树木的与天气有关的影响和与害虫有关的影响中的至少一个,并且
其中基于确定的所述至少一个参数、提取的所述多个特征、所述历史数据和所述外部影响数据生成所述风险预测模型以对所述历史数据和所述外部影响数据对所述多个树木的所述消耗的影响进行仿真还包括:
基于确定的所述至少一个参数、提取的所述多个特征、所述历史数据和所述外部影响数据生成所述风险预测模型以对与所述多个树木有关的产量和损失进行仿真。
14.一种非瞬态计算机可读介质,所述非瞬态计算机可读介质具有存储于其上的用于使用图像处理的存量、生长和风险预测的机器可读指令,所述机器可读指令在被执行时使得至少一个硬件处理器:
在交通工具沿着交通工具路径移动期间接收由所述交通工具捕获的多个图像,其中所述多个图像包括多个对象,并且其中所述多个对象包括树木和农作物中的至少一个;
对所述多个图像进行预处理以用于从所述多个图像的特征提取;
通过使用计算机视觉技术的组合从预处理的所述多个图像提取所述多个对象的多个特征,所述计算机视觉技术的组合包括以下各项中的至少两项:
Canny边缘检测,
基于信号处理的特征提取,
模版匹配和颜色分割,
直方图反向投射,
分水岭,以及
纹理分析,其中对于包括树木的所述多个对象,所述特征提取用于使用机器学习技术以确定所述计算机视觉技术的组合以标识分离个别树木并且标识所述树木中的每个树木的树冠的函数,并且其中所述机器学习技术包括基于与所述树木中的每个树木的可能位置有关的以往种植信息的半监督机器学习技术;
从提取的所述多个特征确定与所述多个对象有关的至少一个参数;以及
基于确定的所述至少一个参数和提取的所述多个特征生成空间密度模型以提供以下各项中的至少一项:
对与所述多个图像中的至少一个图像的一部分有关的所述多个对象的分布密度的可视指示,以及
和与所述多个图像中的所述至少一个图像的所述一部分有关的所述多个对象对应的提醒;以及
基于确定的所述至少一个参数、提取的所述多个特征、与在所述多个对象的不同年龄对所述多个对象的消耗有关的历史数据和与对所述多个对象的外部影响有关的外部影响数据生成风险预测模型以对所述历史数据和所述外部影响数据对所述多个对象的消耗的影响进行仿真。
15.根据权利要求14所述的非瞬态计算机可读介质,其中与所述多个对象有关的所述至少一个参数包括与所述多个对象有关的至少一个位置,所述机器可读指令在被执行时还使得所述至少一个硬件处理器:
利用与先前图像有关的信息以增加与所述多个对象有关的所述至少一个位置的准确性。
16.根据权利要求14所述的非瞬态计算机可读介质,其中用于通过使用所述计算机视觉技术的组合从预处理的所述多个图像提取所述多个对象的所述多个特征的所述机器可读指令还包括在被执行时还使得所述至少一个硬件处理器执行以下操作的机器可读指令:
使用机器学习技术以确定所述计算机视觉技术的组合以标识分离个别对象的函数。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
SG10201506012S | 2015-07-31 | ||
SG10201506012SA SG10201506012SA (en) | 2015-07-31 | 2015-07-31 | Inventory, growth, and risk prediction using image processing |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106407880A CN106407880A (zh) | 2017-02-15 |
CN106407880B true CN106407880B (zh) | 2019-08-09 |
Family
ID=56296581
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610557514.6A Active CN106407880B (zh) | 2015-07-31 | 2016-07-14 | 使用图像处理的存量、生长和风险预测 |
Country Status (5)
Country | Link |
---|---|
US (2) | US10002416B2 (zh) |
EP (1) | EP3125151A3 (zh) |
CN (1) | CN106407880B (zh) |
MY (1) | MY181027A (zh) |
SG (1) | SG10201506012SA (zh) |
Families Citing this family (49)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107180220B (zh) * | 2016-03-11 | 2023-10-31 | 松下电器(美国)知识产权公司 | 危险预测方法 |
US10664750B2 (en) * | 2016-08-10 | 2020-05-26 | Google Llc | Deep machine learning to predict and prevent adverse conditions at structural assets |
US12004838B2 (en) * | 2020-02-13 | 2024-06-11 | Origin Research Wireless, Inc. | Method, apparatus, and system for wireless vital monitoring using high frequency signals |
WO2018191442A1 (en) * | 2017-04-11 | 2018-10-18 | Agerpoint, Inc. | Forestry management tool for assessing risk of catastrophic tree failure due to weather events |
EP3407151B1 (en) * | 2017-05-24 | 2022-08-03 | Tata Consultancy Services Limited | Systems and methods for cognitive control of data acquisition for efficient fault diagnosis |
US11204896B2 (en) | 2017-08-18 | 2021-12-21 | International Business Machines Corporation | Scalable space-time density data fusion |
US10814976B2 (en) | 2017-09-29 | 2020-10-27 | Deere & Company | Using unmanned aerial vehicles (UAVs or drones) in forestry machine-connectivity applications |
US10504007B2 (en) * | 2017-10-27 | 2019-12-10 | Facebook, Inc. | Determination of population density using convoluted neural networks |
KR101924393B1 (ko) * | 2017-10-30 | 2018-12-03 | 주식회사 엑스티엘 | 이미지 분석을 통한 해충 동정과 정보 모니터링 시스템 및 이를 이용한 모니터링 방법 |
CN107705047B (zh) * | 2017-11-08 | 2021-07-13 | 泰康保险集团股份有限公司 | 一种保险核保风险预测方法及装置 |
US10492374B2 (en) | 2017-12-28 | 2019-12-03 | X Development Llc | Capture of ground truthed labels of plant traits method and system |
CN110309933A (zh) | 2018-03-23 | 2019-10-08 | 广州极飞科技有限公司 | 植株种植数据测量方法、作业路线规划方法及装置、*** |
CN108596657A (zh) * | 2018-04-11 | 2018-09-28 | 北京木业邦科技有限公司 | 树木价值预测方法、装置、电子设备及存储介质 |
CN108764544A (zh) * | 2018-05-17 | 2018-11-06 | 广东电网有限责任公司 | 线路隐患预测方法及装置 |
EP3574751A1 (en) * | 2018-05-28 | 2019-12-04 | Bayer Animal Health GmbH | Apparatus for fly management |
US11373399B2 (en) * | 2018-07-26 | 2022-06-28 | Hall Enterprise Llc | Method of crop analysis using drone with flying and driving capability |
CN110222903B (zh) * | 2019-06-13 | 2021-08-31 | 苏州市农业科学院 | 一种基于无人机遥感的水稻产量预测方法及*** |
CN112418473A (zh) * | 2019-08-20 | 2021-02-26 | 阿里巴巴集团控股有限公司 | 农作物信息的处理方法、装置、设备及计算机存储介质 |
CN110533595A (zh) * | 2019-09-03 | 2019-12-03 | 北京麦飞科技有限公司 | 一种作物病虫害空间动态分布监测的方法和*** |
US11544899B2 (en) * | 2019-10-15 | 2023-01-03 | Toyota Research Institute, Inc. | System and method for generating terrain maps |
US11436712B2 (en) * | 2019-10-21 | 2022-09-06 | International Business Machines Corporation | Predicting and correcting vegetation state |
US11594004B2 (en) * | 2019-12-26 | 2023-02-28 | International Business Machines Corporation | Distributed vector-raster fusion |
US11816834B2 (en) * | 2020-01-06 | 2023-11-14 | The Texas A&M University System | Unmanned aerial system genotype analysis using machine learning routines |
EP4088249A4 (en) * | 2020-01-06 | 2024-01-24 | Adaviv | MOBILE DETECTION SYSTEM FOR HARVEST MONITORING |
US11580389B2 (en) * | 2020-01-14 | 2023-02-14 | International Business Machines Corporation | System and method for predicting fall armyworm using weather and spatial dynamics |
US11620613B2 (en) | 2020-02-07 | 2023-04-04 | eMeasurematics Inc. | Drone-based inventory management methods and systems |
US20210282338A1 (en) | 2020-03-11 | 2021-09-16 | Aerobotics (Pty) Ltd | Systems and methods for predicting crop size and yield |
US11216946B2 (en) | 2020-03-12 | 2022-01-04 | Agriconnect | Method and system for the management of an agricultural plot |
US11656624B2 (en) | 2020-03-25 | 2023-05-23 | Iunu, Inc. | Horticulture aided by autonomous systems |
US11730089B2 (en) * | 2020-03-25 | 2023-08-22 | Iunu, Inc. | Horticulture aided by autonomous systems |
AU2021246276A1 (en) * | 2020-04-02 | 2022-10-27 | Grace And Kowloon Holdings Limited | Tree image data acquisition |
US20210350295A1 (en) * | 2020-05-11 | 2021-11-11 | International Business Machines Corporation | Estimation of crop pest risk and/or crop disease risk at sub-farm level |
US11100641B1 (en) | 2020-06-11 | 2021-08-24 | Aerobotics (Pty) Ltd | Systems and methods for estimating plant age |
WO2021252052A1 (en) * | 2020-06-11 | 2021-12-16 | Aerobotics (Pty) Ltd | Systems and methods for estimating plant age |
CN112382407A (zh) * | 2020-11-12 | 2021-02-19 | 平安科技(深圳)有限公司 | 一种风险管控方法、装置、电子设备和存储介质 |
CN112381849B (zh) * | 2020-11-12 | 2022-08-02 | 江西理工大学 | 基于适应性差分演化的图像边缘检测方法 |
US20220198641A1 (en) * | 2020-12-23 | 2022-06-23 | International Business Machines Corporation | Tree fall management |
US11800056B2 (en) | 2021-02-11 | 2023-10-24 | Logitech Europe S.A. | Smart webcam system |
US11800048B2 (en) | 2021-02-24 | 2023-10-24 | Logitech Europe S.A. | Image generating system with background replacement or modification capabilities |
CN113160199B (zh) * | 2021-04-29 | 2022-06-17 | 武汉联影医疗科技有限公司 | 影像识别方法、装置、计算机设备和存储介质 |
US20230142863A1 (en) * | 2021-11-08 | 2023-05-11 | Wing Aviation Llc | Performance of autonomous vehicle operation in varying conditions by using imagery generated with machine learning for simulations |
WO2023090988A1 (en) * | 2021-11-16 | 2023-05-25 | Sime Darby Plantation Intellectual Property Sdn Bhd | Method for detecting and/or counting trees |
CN114396975B (zh) * | 2022-01-05 | 2023-05-23 | 深圳市金阳盛城市服务集团有限公司 | 一种树木抗倒伏监控预警方法、装置、电子设备及介质 |
CN114670787B (zh) * | 2022-03-07 | 2023-10-20 | 岚图汽车科技有限公司 | 车辆、雨刮器的控制方法和相关设备 |
CN115229808A (zh) * | 2022-05-25 | 2022-10-25 | 盐池县中赢创能新能源有限公司 | 一种光伏电站清扫机器人及控制方法 |
EP4310790A1 (en) * | 2022-07-19 | 2024-01-24 | Suzhou Cleva Precision Machinery & Technology Co., Ltd. | Image analysis method and apparatus, computer device, and readable storage medium |
CN115796558B (zh) * | 2023-02-03 | 2023-05-05 | 光泽县宏翔智能科技有限公司 | 基于深度神经网络的烟草种植面积智能管理*** |
CN117115097B (zh) * | 2023-08-14 | 2024-05-28 | 哈尔滨市科佳通用机电股份有限公司 | 基于异常检测的teds检测方法及*** |
CN116824380B (zh) * | 2023-08-30 | 2023-11-28 | 山东孟子居生态农业股份有限公司 | 一种智慧农业云平台监控*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102096825A (zh) * | 2011-03-23 | 2011-06-15 | 西安电子科技大学 | 基于图的半监督高光谱遥感图像分类方法 |
CN102096818A (zh) * | 2011-01-31 | 2011-06-15 | 中国林业科学研究院资源信息研究所 | 面向对象的遥感影像树冠轮廓及参数自动提取方法及*** |
CN102265287A (zh) * | 2008-12-24 | 2011-11-30 | 韦尔豪泽Nr公司 | 用于监视树木生长的方法和装置 |
CN103745239A (zh) * | 2013-12-18 | 2014-04-23 | 广西生态工程职业技术学院 | 一种基于卫星遥感技术的森林资源测量方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7020335B1 (en) * | 2000-11-21 | 2006-03-28 | General Dynamics Decision Systems, Inc. | Methods and apparatus for object recognition and compression |
US8224500B2 (en) * | 2008-09-11 | 2012-07-17 | Deere & Company | Distributed knowledge base program for vehicular localization and work-site management |
TW201120809A (en) * | 2009-12-15 | 2011-06-16 | Ability Entpr Co Ltd | System and method for processing an image edge |
US9113590B2 (en) | 2012-08-06 | 2015-08-25 | Superior Edge, Inc. | Methods, apparatus, and systems for determining in-season crop status in an agricultural crop and alerting users |
FR3003380A1 (fr) | 2013-03-18 | 2014-09-19 | Delta Drone | Procede de surveillance de l'etat de vegetation aux abords d'une infrastructure |
-
2015
- 2015-07-31 SG SG10201506012SA patent/SG10201506012SA/en unknown
-
2016
- 2016-05-04 US US15/146,342 patent/US10002416B2/en active Active
- 2016-05-25 MY MYPI2016000982A patent/MY181027A/en unknown
- 2016-06-29 EP EP16176812.2A patent/EP3125151A3/en active Pending
- 2016-07-14 CN CN201610557514.6A patent/CN106407880B/zh active Active
-
2018
- 2018-05-16 US US15/981,472 patent/US10614562B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102265287A (zh) * | 2008-12-24 | 2011-11-30 | 韦尔豪泽Nr公司 | 用于监视树木生长的方法和装置 |
CN102096818A (zh) * | 2011-01-31 | 2011-06-15 | 中国林业科学研究院资源信息研究所 | 面向对象的遥感影像树冠轮廓及参数自动提取方法及*** |
CN102096825A (zh) * | 2011-03-23 | 2011-06-15 | 西安电子科技大学 | 基于图的半监督高光谱遥感图像分类方法 |
CN103745239A (zh) * | 2013-12-18 | 2014-04-23 | 广西生态工程职业技术学院 | 一种基于卫星遥感技术的森林资源测量方法 |
Non-Patent Citations (4)
Title |
---|
Martin Karlson等.3、 Tree Crown Mapping in Managed Woodlands (Parklands) of Semi-Arid West Africa Using WorldView-2 Imagery and Geographic Object Based Image Analysis.《SENSORS》.2014,第14卷(第12期),第22643-22669页. * |
Michael Shank 等.2、 MAPPING VEGETATION CHANGE ON A RECLAIMED SURFACE.《America Society of Mining and Reclamation》.2009,第1227-1247页. * |
Validation of High-Density Airborne LiDAR-Based Feature Extraction Using Very High Resolution Optical Remote Sensing Data;Jawak 等;《Advances in Remote Sensing》;20130228;第297-311页 * |
城市林业中高光谱遥感技术应用现状与展望;刘东蔚 等;《广东林业科技》;20130630;第29卷(第3期);第79-83页 * |
Also Published As
Publication number | Publication date |
---|---|
EP3125151A3 (en) | 2017-02-08 |
SG10201506012SA (en) | 2017-02-27 |
US20170032509A1 (en) | 2017-02-02 |
CN106407880A (zh) | 2017-02-15 |
US20180260947A1 (en) | 2018-09-13 |
EP3125151A2 (en) | 2017-02-01 |
MY181027A (en) | 2020-12-16 |
US10614562B2 (en) | 2020-04-07 |
US10002416B2 (en) | 2018-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106407880B (zh) | 使用图像处理的存量、生长和风险预测 | |
Ampatzidis et al. | Agroview: Cloud-based application to process, analyze and visualize UAV-collected data for precision agriculture applications utilizing artificial intelligence | |
Hamylton et al. | Evaluating techniques for mapping island vegetation from unmanned aerial vehicle (UAV) images: Pixel classification, visual interpretation and machine learning approaches | |
Dash et al. | Assessing very high resolution UAV imagery for monitoring forest health during a simulated disease outbreak | |
Jiménez-Brenes et al. | Automatic UAV-based detection of Cynodon dactylon for site-specific vineyard management | |
Hartling et al. | Urban tree species classification using UAV-based multi-sensor data fusion and machine learning | |
David et al. | Vegetation indices and textures in object-based weed detection from UAV imagery | |
Poona et al. | Discriminating the occurrence of pitch canker fungus in Pinus radiata trees using QuickBird imagery and artificial neural networks | |
Buchelt et al. | Exploring artificial intelligence for applications of drones in forest ecology and management | |
Pádua et al. | Classification of an agrosilvopastoral system using RGB Imagery from an unmanned aerial vehicle | |
Zhou et al. | An automated, high-performance approach for detecting and characterizing broccoli based on UAV remote-sensing and transformers: A case study from Haining, China | |
Dersch et al. | Towards complete tree crown delineation by instance segmentation with Mask R–CNN and DETR using UAV-based multispectral imagery and lidar data | |
MohanRajan et al. | A novel fuzzy Harris hawks optimization-based supervised vegetation and bare soil prediction system for Javadi Hills, India | |
Bilodeau et al. | Identifying hair fescue in wild blueberry fields using drone images for precise application of granular herbicide | |
Olsen | Improving the accuracy of weed species detection for robotic weed control in complex real-time environments | |
Duro et al. | Hybrid object-based change detection and hierarchical image segmentation for thematic map updating | |
Lacueva-Pérez et al. | Multifactorial Evolutionary Prediction of Phenology and Pests: Can Machine Learning Help? | |
Piekkoontod et al. | Assessments of Nipa forest using Landsat imagery enhanced with unmanned aerial vehicle photography | |
Troles et al. | Task planning support for arborists and foresters: Comparing deep learning approaches for tree inventory and tree vitality assessment based on uav-data | |
Williams et al. | SLIC-UAV: A Method for monitoring recovery in tropical restoration projects through identification of signature species using UAVs | |
Xu | Obtaining forest description for small-scale forests using an integrated remote sensing approach | |
Chadwick | Enhancing post-harvest regeneration monitoring with digital aerial photogrammetry and deep learning | |
Bishop et al. | High-resolution UAS imagery in agricultural research concepts, issues, and research directions | |
Messina et al. | Preliminary results in the use of worldView-3 for the detection of Cork Oak (Quercus Suber L.): a case in Calabria (Italy) | |
Lin | Semi-Automatic Classification of Tree Species Using a Combination of RGB Drone Imagery and Mask RCNN: Case Study of the Highveld Region in Eswatini |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |