EA039345B1 - Способ получения и анализа аэрофотоснимков - Google Patents
Способ получения и анализа аэрофотоснимков Download PDFInfo
- Publication number
- EA039345B1 EA039345B1 EA201890935A EA201890935A EA039345B1 EA 039345 B1 EA039345 B1 EA 039345B1 EA 201890935 A EA201890935 A EA 201890935A EA 201890935 A EA201890935 A EA 201890935A EA 039345 B1 EA039345 B1 EA 039345B1
- Authority
- EA
- Eurasian Patent Office
- Prior art keywords
- image
- images
- spots
- pixels
- parameters
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 238000004458 analytical method Methods 0.000 title claims abstract description 54
- 241000607479 Yersinia pestis Species 0.000 claims description 80
- 238000001514 detection method Methods 0.000 claims description 38
- 239000012634 fragment Substances 0.000 claims description 35
- 238000003384 imaging method Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 22
- 230000000877 morphologic effect Effects 0.000 claims description 12
- 241000196324 Embryophyta Species 0.000 claims description 11
- 230000015556 catabolic process Effects 0.000 claims description 9
- 239000003086 colorant Substances 0.000 claims description 9
- 238000006731 degradation reaction Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000000926 separation method Methods 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 5
- 241001525654 Phyllocnistis citrella Species 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 4
- 238000000701 chemical imaging Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000010339 dilation Effects 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 230000003628 erosive effect Effects 0.000 claims description 3
- 230000001133 acceleration Effects 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 claims description 2
- 230000000593 degrading effect Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 claims 3
- 230000002596 correlated effect Effects 0.000 claims 1
- 238000000638 solvent extraction Methods 0.000 abstract description 4
- 241001124076 Aphididae Species 0.000 description 10
- 201000010099 disease Diseases 0.000 description 9
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 9
- 238000013480 data collection Methods 0.000 description 7
- 238000001454 recorded image Methods 0.000 description 7
- 241000258937 Hemiptera Species 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000009897 systematic effect Effects 0.000 description 5
- 229920000742 Cotton Polymers 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 241000207199 Citrus Species 0.000 description 3
- 235000020971 citrus fruits Nutrition 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000011835 investigation Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 241000254032 Acrididae Species 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000011065 in-situ storage Methods 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000010223 real-time analysis Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241000555825 Clupeidae Species 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 241000242583 Scyphozoa Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000012152 algorithmic method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 229930002875 chlorophyll Natural products 0.000 description 1
- 235000019804 chlorophyll Nutrition 0.000 description 1
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011496 digital image analysis Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 235000019688 fish Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 244000052769 pathogen Species 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 235000019512 sardine Nutrition 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/18—Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals
- H04W4/185—Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals by embedding added-value information into content, e.g. geo-tagging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Remote Sensing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Processing (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Catching Or Destruction (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
Предложен способ и система для получения и анализа мультиспектральных изображений, при этом способ включает запись предварительных мультиспектральных аэрофотоснимков в соответствии с заданными параметрами исследования, с предварительно выбранным разрешением, автоматическое выполнение предварительного анализа на месте или местоположении в поле с использованием крупномасштабного разбиения на пятна записанных изображений в реальном или близком к реальному времени, определение неоднородностей в пределах заданных параметров исследования и представление соответствующих им выходных данных, и определение по результатам предварительного анализа того, следует ли выполнять второй этап получения и анализа изображений с более высоким разрешением, чем предварительно выбранное разрешение. В изобретение также включен способ анализа и идентификации объекта, включающий анализ мультиспектральных изображений с высоким разрешением в соответствии с заданными параметрами объекта, когда обнаружены параметры в пределах заданных параметров объекта, выполнение разбиения на пятна на изображениях, содержащих такие параметры, чтобы идентифицировать пятна, и сравнение объектов, ограниченных этими пятнами, с заданными эталонными параметрами для идентификации объектов, имеющих заданные параметры объекта.
Description
Родственные заявки
Настоящая заявка испрашивает приоритет согласно предварительной заявке на патент США №
62/252 513, поданной 8 ноября, 2015 г.
Область техники
Изобретение относится в целом к получению и анализу изображений и, в частности, к получению и анализу аэрофотоснимков.
Уровень техники
В течение последних десятилетий быстро развивалось авиационное дистанционное зондирование. Дистанционное зондирование используется для различных целей, среди которых цели мониторинга сельскохозяйственной и другой окружающей среды. С быстрым развитием легких летательных аппаратов, таких как радиоуправляемые летательные аппараты, аппараты на воздушной подушке и многие другие типы беспилотных летательных аппаратов (БПЛА), в дополнение к доступной цене сверхлегких и легких пилотируемых летательных аппаратов, развивалось дистанционное зондирование, в том числе, получение изображений, и оно доступно даже мелким организациям и фермерам.
Летательные аппараты могут быть управляемыми и пилотируемыми дистанционно. При полете над городом или полем могут быть получены изображения для целей дистанционного зондирования. Полетное задание беспилотных летательных аппаратов, как и пилотируемых аппаратов, оснащенных автопилотом, может быть спланировано заранее для определенных маршрутов в соответствии с целями задания, а также изменено в режиме реального времени, при необходимости.
Программное обеспечение и инструментальные средства NDVI (Normalized Difference of Vegetation Index, нормализованная разность вегетационных индексов), которые являются основным средством дистанционного зондирования в сельском хозяйстве, как и многие инструментальные средства дистанционного зондирования для других целей, помогают организациям и фермерам контролировать состояние окружающей среды и полей/культур. Измерение вегетационного индекса NDVI (Normalized Difference Vegetation Index, нормализованный разностный вегетационный индекс) может быть использовано для анализа результатов дистанционного зондирования, как правило, но не обязательно, с космической платформы или летательного аппарата, и оценки того, содержит ли наблюдаемая цель живую естественную растительность.
NDVI и другие инструментальные средства мультиспектрального и гиперспектрального анализа при надлежащем использовании и на основе соответствующего оборудования для получения изображений могут указывать, например, на наличие стай медуз и стай сардин в море, боевых мин неглубоко в земле, наличие металлических предметов на земле, стресс и мощность растительности, сухие/влажные районы, здоровье и болезни лесного хозяйства, наличие вредителей и поголовье скота и т.п. Полученные результаты анализа NDVI и аналогичные инструментальные средства могут быть представлены в виде простого графического показателя (например, растровое изображение).
Однако анализ NDVI и все другие инструментальные средства обычно выполняются в автономном режиме (после сбора данных радиоуправляемым летательным аппаратом/самолетом/спутником), а результирующее изображение или совокупность изображений (ортофотоснимки), которые представляют разные области изображения в разных цветах, доставляются фермеру/пользователю после значительной задержки. Кроме того, для среднего пользователя/фермера выходные изображения этих инструментальных средств не имеют большого значения, поскольку он обычно не является экспертом и не может выполнить необходимые анализы, чтобы полностью понять, что представлено в растровом изображении. Кроме того, в большинстве случаев на основе результатов анализа пользователь отправляется в поле для более пристального рассмотрения, чтобы найти точный характер указанных неоднородностей. Существуют службы, которые анализируют изображения и отправляют отчет фермеру, но обычно эти отчеты подготовлены специалистом-экспертом, который анализирует изображения так же, как врач рассматривает рентгеновскую рентгенограмму, и такие анализы отправляются в тот же день или через несколько дней после получения изображений, и, как указано выше, во многих случаях требуют дополнительного и более детального изучения.
Хорошим примером такой необходимости может служить типичное сельскохозяйственное применение дистанционного зондирования. Если фермеру необходимо провести исследование, чтобы своевременно обнаружить присутствие белокрылок или тлей в культурах, а размер как белокрылок, так и тлей может быть всего 1-2 мм, ясно, что при их поиске невозможно отображать каждый дюйм посевов. Однако могут существовать изменения, которые очевидны в изображениях с низким разрешением (визуальные, гиперспектральные или мультиспектральные изображения), указывающие на то, что определенная область поля, возможно, инфицирована некоторыми не идентифицированными вредителями или болезнями. К сожалению, лучшие спутниковые снимки (например, GeoEye-1) имеют разрешение 1 пиксель на 40 см, что далеко недостаточно для своевременного обнаружения таких вредителей. Аэрофотосъемка с помощью радиоуправляемых летательных аппаратов, например, с 25-миллиметровым объективом на высоте трех метров над землей, может охватывать прямоугольную область 1,6х2,4 м (3,84 квадратных метра). При использовании 10 мегапиксельной камеры, это означает 26 пикселей на квадратный сантиметр. Такие детальные изображения могут обеспечить идентификацию белокрылки, но получение изо- 1 039345 бражений сотен акров при таком разрешении потребует чрезмерных ресурсов и сделает этот процесс непрактичным.
Соответственно, существует потребность в интеллектуальном способе автоматического анализа и системе поддержки принятия решений, что позволит не только улучшить дистанционное зондирование, но и немедленно или в сжатые сроки предоставить конечным пользователям (организациям/фермерам) результаты анализа и рекомендации, поскольку во многих случаях советы с задержкой могут быть бесполезными, а ущерб от анализа с опозданием может быть необратимым.
Известны компьютерные программы обработки изображений для анализа полученных изображений объекта неизвестной формы и сравнения их с формами в базе данных для идентификации объекта. Метод классификации изображений, основанный на методе глубокой нейронной сети, является одним из наиболее часто используемых методов для этой цели.
В анализе компьютерных изображений известны методы обнаружения пятен для определения в цифровом изображении областей, которые отличаются по свойствам, таким как яркость или цвет, по сравнению с окружающими областями. Неформально пятно представляет собой область изображения, в которой некоторые свойства являются постоянными или приблизительно постоянными; все точки в пятне в каком-то смысле можно считать похожими друг на друга. В методологии разбиения на пятна каждое цифровое изображение состоит из уровней яркости серого, то есть 256 уровней яркости. Каждый пиксель изображения увязывается с одним из этих уровней. В способе разбиения на пятна группируются соседние пиксели одинаковой яркости и представляются на дисплее как дискретный объект или пятно. Другими словами, размер каждого пятна определяется количеством включенных пикселей.
Раскрытие сущности изобретения
В соответствии с настоящим изобретением предложен способ автоматического анализа и система поддержки принятия решений, позволяющая собирать и анализировать данные мультиспектрального изображения, предпочтительно в реальном или близком к реальному времени. В частности, этот способ включает в себя получение исходного изображения и разбиение на пятна в крупном масштабе, составляющем от нескольких сотен до нескольких тысяч пикселей на каждое пятно, для первоначального анализа, чтобы определить, следует ли продолжать получение второго изображения и разбиение на пятна в мелком масштабе, с группированием десятков пикселей на пятно, в соответствии с выбранными критериями, чтобы исследовать неоднородности исходных изображений.
В соответствии с изобретением предложен способ получения и анализа мультиспектральных изображений, который включает в себя запись предварительных мультиспектральных аэрофотоснимков в соответствии с заданными параметрами исследования, с предварительно выбранным разрешением, автоматическое выполнение предварительного анализа на месте или местоположении в поле с использованием крупномасштабного разбиения на пятна записанных изображений в реальном или близком к реальному времени, определение неоднородностей в пределах заданных параметров исследования и представление соответствующих им выходных данных, и определение по результатам предварительного анализа того, следует ли выполнять второй этап получения и анализа изображений с более высоким разрешением, чем предварительно выбранное разрешение.
В соответствии с вариантами реализации изобретения способ также включает в себя увязку данных GPS с обнаруженными неоднородностями, направление устройства для получения изображений в реальном или близком к реальному времени для записи дополнительных изображений по меньшей мере одной из обнаруженных неоднородностей с более высоким разрешением, чем предварительно выбранное разрешение, с использованием связанных данных GPS, и выполнение анализа с использованием мелкомасштабного разбиения на пятна записанных изображений в реальном или близком к реальному времени.
Кроме того, в соответствии с изобретением предложена система для получения и анализа мультиспектральных изображений, которая содержит по меньшей мере одно устройство для записи мультиспектрального изображения, процессор, соединенный с устройством для записи изображения, модуль обработки изображений под управлением процессора, содержащий модуль разбиения на пятна для автоматического анализа записанных изображений путем разбиения на пятна в соответствии с заданными параметрами исследования и обеспечения выходных данных, соответствующих неоднородностям на каждом изображении, вписывающимся в указанные заданные параметры исследования, причем модуль разбиения на пятна способен выполнять как крупномасштабное разбиение на пятна, так и мелкомасштабное разбиение на пятна, и индикатор географического местоположения, приспособленный и выполненный с возможностью обеспечения указания географического местоположения неоднородностей, при этом процессор выполнен с возможностью автоматического определения того, следует ли направлять одно из устройств для записи мультиспектральных изображений в указанное географическое местоположение для записи изображений неоднородностей в ответ на выходные данные.
В соответствии с изобретением также предложен способ анализа и идентификации объекта, включающий анализ мультиспектральных изображений с высоким разрешением в соответствии с заданными параметрами объекта, когда обнаружены параметры в пределах заданных параметров объекта, выполнение разбиения на пятна на изображениях, содержащих такие параметры, чтобы идентифицировать пятна, и сравнение объектов, ограниченных этими пятнами, с заданными эталонными параметрами для иденти- 2 039345 фикации объектов, имеющих заданные параметры объекта.
Краткое описание чертежей
Настоящее изобретение будет лучше понято и оценено из следующего подробного описания, рассматриваемого в сочетании с графическими материалами, на которых фиг. 1а представляет пару изображений, снятых с БПЛА, пролетающего над полем насаждений, с использованием подходящих фильтров для получения видимых изображений и изображений в ближней ИК области спектра поля в соответствии с одним вариантом реализации настоящего изобретения;
фиг. 1b представляет пиксели по фиг. 1а, связанные с выбранными значениями NDVI, наложенные на видимое изображение;
фиг. 1с представляет совокупность наибольших 34 пятен с фиг. 1b, полученных из данной совокупности пикселей;
фиг. 2а представляет пару видимых изображений и изображений в ближней ИК области спектра данного поля насаждений;
фиг. 2b представляет пиксели, связанные с выбранными значениями NDVI, диапазона, полученного из изображений по фиг. 2а;
фиг. 2с представляет совокупность точек, связанных с многоугольниками, имеющими наибольшие значения плотности, с фиг. 2b;
фиг. 3a и 3b иллюстрируют способ, в котором признается обнаружение, согласно одному варианту реализации настоящего изобретения;
фиг. 4а и 4b представляют совокупность обнаруженных SMS вредителей, полученных вследствие выделения мелких пятен, цвета которых ограничены интервалом близкого к белому цвета;
фиг. 5а и 5b иллюстрируют высокую корреляцию, отмечающую наличие SMS вредителей;
фиг. 6а, 6b и 6с иллюстрируют отметку обнаружения вредителей, когда критерий корреляции превышает заданное пороговое значение;
фиг. 7а, 7b и 7с иллюстрируют оригинального CMS вредителя, двоичное изображение, полученное вследствие проецирования пикселей наибольших трех пятен оригинального вредителя, и результирующие границы вредителя после обработки, соответственно;
фиг. 8а и 8b иллюстрируют способ обнаружения на базе разбиения пятна CMS;
фиг. 9а представляет типичную кладку (мину) цитрусовой минирующей моли;
фиг. 9b и 9с представляют границы и вычисленные угловые точки изображения по фиг. 9а;
фиг. 10 иллюстрирует использование обработки цветного изображения для усиления цветов в растении, которые связаны с деградацией, и фиг. 11 представляет иллюстрацию блок-схемы системы, созданной и функционирующей в соответствии с вариантами реализации настоящего изобретения.
Подробное описание сущности изобретения
В настоящем изобретении обеспечен инновационный способ получения и анализа изображений и система поддержки принятия решений, которая обеспечит лучшее дистанционное зондирование и предоставит конечным пользователям (организациям/фермерам) улучшенное получения изображений, результаты анализа и рекомендации. В частности, способ обеспечивает одно- или двухэтапное получение и анализ мультиспектральных изображений, причем по меньшей мере анализ первого этапа с низким разрешением на большой площади выполняется в реальном или близком к реальному времени. По результатам этого анализа устанавливается, следует ли проводить второй этап получения и анализа мультиспектральных изображений с высоким разрешением на меньшей площади. Анализ может быть выполнен на месте, то есть во время получения каждого изображения или кадра с последующим добавлением географических указаний, или анализ может быть выполнен на геотегированном ортофотоснимке большей площади. Для целей настоящего изобретения анализ в близком к реальному времени для каждого полученного изображения, в частности, при локальном (в поле) анализе, означает не более нескольких секунд (5 с или менее) после сеанса сбора данных, и для создания и анализа геотегированного ортофотоснимка, охватывающего поле в несколько десятков гектаров или более, в режиме близкого к реальному времени означает несколько минут (15 мин или меньше) после сбора данных. Обеспечение процессора на борту летательного аппарата, который записывает мультиспектральные изображения, позволяет анализировать отдельные записанные кадры и идентифицировать представляющие интерес области в режиме реального времени. В соответствии с настоящим изобретением также возможно выполнение такого анализа в реальном времени или близком к реальному времени, если записанные изображения передаются по беспроводной сети к платформе обработки данных (например компьютер) на земле.
Согласно изобретению, анализ изображений с низким разрешением выполняется с использованием разбиения на пятна в крупном масштабе с целью выявления неоднородностей или областей, представляющих интерес. На втором этапе анализа используется разбиение на пятна в мелком масштабе при анализе результатов получения изображений с высоким разрешением, например, для обнаружения и идентификации вредителей. В частности, в изобретении используется получение и анализ мультиспектральных данных, а не только изображений в видимом диапазоне. В соответствии с некоторыми вариантами реализации изобретения определение того, выполнять ли второй этап сбора данных и анализа, произво- 3 039345 дится автоматически.
Такая автоматическая система поддержки принятия решений будет анализировать полученные изображения, помогать управлению процессом сбора данных, и позволяет получать более подробные изображения отдельных географических областей на основе первоначального анализа предварительно записанных изображений, что позволяет изучать представляющие интерес точки в исследованных областях с разрешением, которое нецелесообразно получать на большей площади. Среди других задач улучшенное получение изображений связано с точным оконтуриванием областей с конкретными заданными свойствами, заранее определенными специалистом, заказавшим исследование, такими как определенный желаемый диапазон значений NDVI или другие критерии.
Настоящее изобретение обеспечивает эффективное решение для автоматического определения областей, связанных с желаемыми значениями NDVI или другими значениями на основе вегетационных индексов, или любыми другими выбранными параметрами, путем обеспечения способа дополнительного эффективного автоматического получения и анализа визуальных и гиперспектральных или мультиспектральных аэрофотоснимков. Это выполняется за счет получения изображений с разрешением, называемым получение с низким разрешением, достаточным при анализе для обеспечения точного обнаружения пятен, связанные значения которых ограничены требуемым NDVI или другим диапазоном параметров. Это выполняется, как правило, путем автоматического поиска пятен, указывающих на растительность в состоянии какого-либо стресса (например, как показано в значениях NDVI, которые в среднем ниже на 15-20%, чем оптимальное значение NDVI). Стресс может указывать на различные проблемы, касающиеся состояния и здоровья растительности, такие как влагосодержание, мощность, вредители и болезни.
Понятно, что устройство для получения изображений может быть выполнено с возможностью получения мультиспектральных изображений в широкой полосе спектра. В качестве альтернативы или в дополнение, устройство для получения изображений может быть выполнено с возможностью получения изображений во множестве предварительно выбранных полос или цветовых каналов, выбранных в соответствии с объектами, искомыми в исследовании. В любом случае, анализ мультиспектрального изображения будет выполняться с использованием полученных цветовых каналов, выбранных в соответствии с объектами, искомыми в исследовании.
Предпочтительно, в устройстве сбора данных с низким разрешением используется камера с низким искажением, предпочтительно с использованием шарнирного соединения NADIR. Это позволяет обеспечить вид сверху, что минимизирует искажения из-за угла наклона камеры. В качестве альтернативы могут быть использованы другие подходящие устройства для сбора данных с низким разрешением. Предпочтительно устройство для получения изображений оборудовано автоматическим цифровым устройством калибровки, что позволяет обрабатывать отдельно записанные изображения без необходимости в сложном выравнивании цветовых каналов, и избегать необходимости в предварительной обработке, такой как трансформация изображений и коррекция искажений. Примеры подходящего устройства для записи изображений описаны в заявке на патент США № 62/260 272, поданной 26 ноября 2015 г.
Настоящее изобретение позволяет быстро и даже в реальном времени анализировать полученные изображения за счет уникального способа получения изображений и типа файла. Получение мультиспектрального изображения предпочтительно должно выполняться с использованием файла типа (например, JPEG, RAW, TIFF или любого другого формата файла изображения), в то время как мультиспектральные каналы (синий, зеленый, красный, красный край, в ближней ИК области спектра - все или некоторые из них) сохраняются как изображения нескольких каналов рядом друг с другом. Это может быть выполнено наиболее эффективно с использованием нескольких объективов (как описано в заявке на получение изображения, цитируемой выше), используя один датчик, разделенный на отдельные области, хотя изобретение не ограничивается этими примерами. При использовании такой камеры (с несколькими объективами и одним датчиком) различные каналы RGB (Red Green Blue, красный, зеленый, синий) и NIR (Near InfraRed, ближняя ИК область спектра) могут быть сохранены отдельно. Так, например, красный канал может записываться с левой стороны датчика, а канал ближней ИК области спектра может записываться с правой стороны датчика. Кроме того, различные диапазоны зеленого и синего могут быть записаны на разных участках датчика, тогда как все каналы затем сохраняются в одном файле. Такой процесс записи обеспечивает простое разделение до 6 отличных каналов с использованием двух объективов с одним датчиком. Любая сторона может содержать оптимально до трех каналов оттенков красного, зеленого и синего. Такая файловая структура обеспечивает простое и быстрое разделение каналов. Поскольку различные типы красного (650 нм или 710 нм) сохраняются рядом с каналом 850 нм, и таким же образом могут иметься разные узкие синие и зеленые каналы, разделение каналов на RGB и разделение изображения на два (в случае двух объективов), будет создавать все различные каналы. Такой формат файла может представлять собой любой стандартный формат файла RGB, например, JPG, BMP, PNG, TIFF и т.п., тогда как эти файлы ограничены 3 полосами или 3 полосами и гамма-каналом. Поскольку для точного определения представляющих интерес пятен в важных используемых в настоящее время вегетационных индексах используется более двух полос (таких как ARVI - Atmospherically Resistance Vegetation Index, вегетационный индекс атмосферной устойчивости, в котором используются красно-синий диапа- 4 039345 зоны и диапазоны в ближней ИК области спектра), такое совместное разделение крайне необходимо для правильной идентификации представляющих интерес пятен.
В настоящем изобретении используются способы обнаружения пятен для обнаружения областей в цифровых изображениях, которые отличаются по свойствам, таким как яркость или цвет, по сравнению с окружающими областями. Такие области или неоднородности указывают на возможные проблемные области, требующие дальнейшего изучения. Обнаружение пятен, связанных с заданными параметрами в обследуемой области, приводит ко второму этапу задания по получению изображений, этапу высокого разрешения. Такое наведение может быть выполнено путем увязки данных GPS с этими пятнами и направления устройства для сбора изображений на БПЛА/радиоуправляемом летательном аппарате/аппарате на воздушной подушке/сверхлегком летательном аппарате и т.п. для получения дополнительных высокодетализированных (более высокого разрешения) изображений представляющих интерес точек (неравномерностей), либо в режиме близкого к реальному времени, реального времени или после обработки. Такое получение подробных изображений может быть выполнено одним и тем же летательным аппаратом и устройством для записи или одним и тем же транспортным средством с использованием другого устройства для записи, или другим летательным аппаратом с устройством записи с более высоким разрешением, или наземным транспортным средством с устройством записи.
После получения высокодетализированных изображений (VIS, гиперспектральных или мультиспектральных изображений) можно анализировать полученные изображения и помогать фермеру в принятии решения о том, какие шаги он должен предпринять, немедленно или в краткосрочной перспективе, или в долгосрочной перспективе. Этот второй этап анализа также выполняется с использованием разбиения на пятна, обычно мелкомасштабного разбиения на пятна.
Другими словами, в настоящем изобретении применен автоматический анализ первых изображений с низким разрешением и последующих изображений с высоким разрешением, чтобы создать полностью автоматическую систему поддержки принятия решений с использованием устройств дистанционного зондирования. Изображения с низким разрешением могут быть получены в результате большой высоты и/или камеры с низким разрешением, и/или короткофокусной аэрофотосъемки. Поскольку более низкое разрешение обеспечивает меньшее количество данных для обработки, сканирование с низким разрешением происходит намного быстрее и эффективнее. Детальные изображения с высоким разрешением могут быть получены путем получения изображений на низкой высоте и/или камеры с высоким разрешением, и/или длиннофокусного получения (переменного фокусного расстояния), или даже получения изображений с земли.
В соответствии с настоящим изобретением для каждого этапа процесса получения изображения используют различные способы, чтобы эффективно использовать устройства записи изображения и выполнять быстрое и практичное сканирование окружающей среды/полей, где это возможно, в режиме реального времени или в близком к реальному времени, наряду с ориентированием в изображениях с высоким разрешением на представляющих интерес пятнах и определением, по возможности, точно, их характера в соответствии с заказанным исследованием. В целях для сельского хозяйства, например, в настоящем изобретении реализованы автоматические системы для идентификации вредителей, болезней и мощности растительности, и других аспектов сельскохозяйственных культур.
Важно уточнить, что представляющие интерес пятна определяют заранее, в соответствии с целью конкретного исследования. Если, например, должны быть обнаружены фугасы, то пиксели, отображающие их графическое представление, после соответствующего анализа (с использованием NDVI или любого другого показателя на основе вегетационного индекса или предварительно выбранных параметров) будут определены как представляющие интерес пиксели. Если, например, должен быть обнаружен покров хлопчатника, то пиксели, отображающие белые хлопковые коробочки, будут определены как представляющие интерес пиксели и пятна.
Первый этап одного возможного варианта реализации в соответствии с настоящим изобретением включает в себя получение аэрофотоснимков мультиспектральных изображений с относительно низким разрешением. Такое низкое разрешение может составлять 1 пиксель на 100 квадратных сантиметров (10x10 см) или даже 1 пиксель на квадратный метр или любое другое разрешение, аналогичное записанному спутниками, которое на протяжении многих лет доказывало, что оно адекватно дистанционному зондированию для заказанного исследования. Другими словами, если, например, сельскохозяйственное исследование ориентировано на хлопковый покров, уже известно (как описано в различных публикациях DOA (Министерство Армии США), что получение изображений может осуществляться с высоты нескольких сотен метров с использованием камеры с фокусным расстоянием 50 мм. В таком случае известно, что мультиспектральная камера с четырьмя спектральными полосами (красный, зеленый, синий и ближний инфракрасный) может получить требуемые изображения для представления NDVI.
Второй этап этого примера дистанционного зондирования в сельском хозяйстве, согласно настоящему изобретению, включает в себя анализ, в соответствии с NDVI (и/или одно из инструментальных средств, основанных на нем). Полученные в результате анализа значения могут быть представлены как изображение, в котором представлены области, покрытые хлопчатником, в одном цвете, и не покрытые хлопчатником - в другом цвете. Тот же принцип применяется к большинству сельскохозяйственных ис- 5 039345 следований, где сухая или нездоровая растительность, или сорняки будут окрашены одним цветом, а здоровая растительность будет окрашена другим цветом. Эти цветные пиксели просто представляют результаты анализов удобным для пользователя способом, а автоматический анализ использует значения, которые приданы этим пикселям.
Третий этап, согласно настоящему изобретению, включает в себя автоматический подбор пикселей, связанных с заданными параметрами, например значениями NDVI (или любого другого показателя сельскохозяйственного вегетационного индекса) во время анализа изображений в пятнах. Создание таких пятен влечет за собой операцию равномерного квантования, в зависимости от заказанного исследования. В некоторых исследованиях (например, обнаружение белокрылки) незначительное количество пикселей невозможно игнорировать, и даже мелкие пятна имеют значение, в то время как в других исследованиях (например, обнаружение косяка тунцов) важны только крупные пятна. Поскольку NDVI фактически представляет собой синтетическое изображение, то есть каждый пиксель имеет вычисленное значение, взятое из каналов красной и ближней ИК области спектра, перед любым таким созданием пятна отображение NDVI может быть подвергнуто предварительной операции очистки от шумов, позволяющей создавать непрерывные пятна, которые оптимально сохраняют важные особенности полученного изображения.
Этот предварительный анализ используется системным процессором для определения того, требуется ли второй этап получения и анализа изображений, например, если наблюдаются неоднородности и, если их протяженность или размер превышает предварительно выбранное пороговое значение. Если это не так, исследование заканчивается, и эта информация отправляется специалисту, заказавшему исследование. С другой стороны, если будет установлено, что второй этап является оправданным, процессор либо автоматически продолжает исследование, как описано ниже, либо уведомляет специалиста, заказавшего исследование, и ожидает инструкций. В качестве альтернативы анализ изображений после разбиения на пятна может быть выполнен вручную (визуально специалистом), чтобы определить, следует ли перейти ко второму этапу получения.
В случае автоматического получения и анализа четвертый этап включает привязку данных GPS к пятнам, указывающим неоднородности, на которые ориентировано исследование (инфицированные вредителями поля, утечки воды и т.п.). Данные GPS могут быть увязаны с изображениями различными способами. Некоторые камеры снабжены встроенным GPS-датчиком. В других случаях камерами управляют беспроводным способом с помощью рабочего смартфона (как в случае с линзообразной камерой Sony QX1 и камерой Olympus Air A01, которая может добавлять данные GPS с рабочего смартфона или платформы автопилота/обработки данных, прикрепленной к камере). Предпочтительным решением в соответствии с настоящим изобретением, благодаря лучшей точности, является добавление данных GPS от GPS-датчика летательного аппарата, который обычно размещается на верхней части летательного аппарата и подключается к автопилоту или непосредственно к камере (если поддерживается камерой). Синхронизация времени записи изображений и данных GPS имеет большое значение, поскольку летательные аппараты могут быстро перемещаться. Понятно, что каждый кадр может иметь связанные с ним данные GPS, или ортофотоснимок большей области может быть геотегированным.
Другой способ, и самый точный, заключается в создании ортофотоснимка полученных изображений и согласование его с точной картой. Такое согласование, хотя оно медленное и требует довольно объемных вычислений, преодолевает смещение и отклонение из-за искажения объектива, отсутствия спутниковых сигналов и угла наклона транспортного средства при получении изображений.
Пятый этап согласно настоящему изобретению включает в себя автоматическую подготовку к получению высокодетализированных изображений областей, представленных пятнами, представляющими интерес. Устройство для получения изображений (например, бортовая или наземная камера), которая предпочтительно представляет собой мультиспектральную или гиперспектральную камеру, отправляется в географическое местоположение этих пятен, чтобы фиксировать подробные изображения этих местоположений. Некоторыми возможными способами получения высокодетализированных изображений являются использование аппарата на воздушной подушке с низкой высотой полета или геликоптера, летающего на высоте нескольких футов/метров над сельскохозяйственной культурой, или отправка наземного робота и/или специалиста для получения изображений с ближайшего возможного расстояния. Другой способ заключается в использовании камеры с более длинным фокусным расстоянием с изменением масштаба изображения. Однако этот метод является довольно дорогостоящим и неэффективным, если требуется гиперспектральное или мультиспектральное высокодетализированное изображение. Точность данных GPS играет важную роль, так как тщательное рассмотрение представляющих интерес пятен может означать, например, получение изображений в виде прямоугольника размером 0,8х1,2 м при 10 мегапикселях, как описано выше.
Следует заметить, что в некоторых исследованиях (например, при обнаружении косяка тунцов) GPS-данные пятна в одном изображении могут быть недостаточными, и траектория должна прогнозироваться на основе ряда последовательных изображений с дополнительным анализом изменений GPSданных пятен. Такой анализ, рассчитанный с учетом времени обработки и получения, позволит системе следовать за требуемыми, представляющими интерес пятнами, которые не являются неподвижными, и
- 6 039345 получать подробные изображения таких пятен в прогнозируемом местоположении.
Шестой этап согласно настоящему изобретению включает автоматическую систематизацию и идентификацию результатов. Систематика или систематическая биология для целей изобретения включает, среди прочего, описание и предоставление классификаций для организмов, ключи для их идентификации и данные об их распределении. Этот этап является довольно сложным этапом, и сам включает несколько подэтапов. Понятно, что автоматическая систематизация и идентификация объектов, описанная ниже, может быть использована для анализа изображений с высоким разрешением, записанных каким-либо образом, а не только с помощью методов автоматического получения изображений и системы, описанных выше.
Во-первых, полученные изображения анализируются в соответствии с типом исследования. Например, идентификация зеленой тли на зеленых листьях сложнее, чем идентификация белокрылки, если полученные изображения имеют только видимый спектр. Тем не менее, добавление изображений в ближней ИК области спектра зеленой тли на зеленых листьях устраняет зеленый камуфляж тли, поскольку зеленая тля не отражает ближний инфракрасный спектр так, как хлорофилл.
Во-вторых, как только обнаружено наличие подозрительных объектов (тли, зеленой тли, червей, кузнечиков и т.п.) фрагменты изображений, содержащие такие объекты, выделяются, как правило, путем вычерчивания прямоугольных квадратов, центрированных в центре масс каждого фрагмента, причем квадраты имеют несколько пикселей в длину. Предпочтительно, чтобы обеспечить лучшую классификацию и идентификацию, каждый фрагмент содержит один объект с минимальным фоновым шумом. Подозрительные объекты предпочтительно сначала классифицируются путем использования удаленного сервера, содержащего справочную базу данных вредителей, в соответствии с типом исследования. Например, предпочтительный способ классификации вредителей/болезней в сельскохозяйственном исследовании будет включать местоположение, тип культуры и ссылку на банк потенциальных вредителей/болезней, которые имеют отношение к этому конкретному типу культуры. Однако также возможна автоматическая систематизация на платформе для сбора данных. В этом случае платформа для сбора данных будет оснащена внутренней программой, способной идентифицировать вредителя, сравнивая его с небольшим набором данных справочных изображений вредителей, хранящихся в памяти платформы обработки данных. Седьмой этап включает идентификацию подозреваемых (и классифицированных, если они были классифицированы на предыдущем этапе) объектов.
Основополагающий принцип идентификации объектов на этом этапе связан с утверждением о том, что правильное разбиение полученного изображения на изображения ограниченного размера гарантирует с большой вероятностью, что, если подозрительные объекты имеются в детализированном полученном изображении, они, вероятно, будут найдены во фрагментах изображения ограниченного размера.
Размер фрагментов изображений ограниченного размера устанавливается в соответствии с типом исследования, путем сравнения размера изображения с размером пятен, которые, предположительно, представляют объекты, на которые ориентировано исследование. После того как будет подготовлена совокупность таких фрагментов изображений ограниченного размера, которые содержат пятна, процесс идентификации объектов в этой совокупности фрагментов изображений может быть выполнен либо путем отправки совокупности этих фрагментов изображений на удаленный сервер для идентификации, либо путем идентификации объекта на месте посредством активации локального идентификационного кода.
В настоящем изобретении подробно описаны различные способы разбиения изображений и соответствующие методы обнаружения. Обычно выполняется поиск двух типов объектов, объектов, имеющих простую структуру, и объектов, имеющих сложную структуру. Для каждого типа предназначено несколько конкретных методов на основе разбиения изображений.
Восьмой этап, в соответствии с настоящим изобретением, включает отправку результатов анализа адресату (заказчику исследования или поставщику услуг). Результаты включают возможную идентификацию результатов, и они могут также включать рекомендации относительно этапов, которые необходимо выполнить для того, чтобы, например, уничтожить вредителей или потушить пожар, или поставить забор и предупредительные знаки вокруг старых фугасов (в зависимости от исследования). Результаты могут быть отправлены с небольшими фрагментами изображений из облака (Интернет) или даже с летательного аппарата, например, когда платформа обработки данных представляет собой смартфон, оснащенный сотовой связью (например, 3G или ТТЕ). В некоторых возможных вариантах реализации настоящего изобретения фрагменты изображений, местоположение и рекомендации пользователю отправляют через службу обмена мультимедийными сообщениями (MMS) или через службу мгновенного обмена сообщениями (IM), такую как Messenger, WhatsApp, Skype, и т.п.
Подробное описание некоторых из этапов в примерах сельскохозяйственного исследования
Идентификация областей, сопоставленных с конкретными значениями NDVI (и аналогичных показателей)
Предпочтительный процесс будет включать следующие этапы.
1. Запись визуальных и/или гиперспектральных или мультиспектральных изображений из эффективного диапазона (предпочтительно высота от нескольких десятков метров до нескольких сотен метров
- 7 039345 и даже больше).
2. Анализ изображений в соответствии с требуемым исследованием (например, сухость, мощность растительности, вредители, болезни и т.п.).
3. Определение представляющих интерес областей в изображениях, которые требуют более подробного изучения путем крупномасштабного разбиения на пятна.
4. Привязка точных данных GPS к представляющим интерес областям.
5. Автоматическое направление одного и того же летательного аппарата или другого транспортного средства с устройством записи изображения в эти области, представляющие интерес, и направление его для получения подробных (более высокого разрешения) изображений в соответствии с типом исследования. Как правило, критериями направления платформы для получения высокой разрешающей способности, будет наличие пятен, которые связаны со значениями NDVI, на 10% или на 20% меньшими оптимального значения NDVI, т.е. индикация стресса растительности.
Общая цель здесь заключается в том, чтобы автоматически обнаруживать с летательного аппарата изображения с относительно низким разрешением представляющей интерес области, которые связаны с конкретными значениями NDVI (или некоторыми другими инструментальными средствами). Такие представляющие интерес области, могут обычно указывать на стресс/мощность растительности, влажные области, области, покрытые водой, спелые культуры, мощность растительности и т.п. Поскольку отображение NDVI (или другой вегетационный индекс) представляет собой фактически синтетическое изображение, это вызывает чрезвычайно большое количество шумов. Следовательно, может выполняться операция очистки от шумов. В настоящем изобретении предпочтительно используется усовершенствованный алгоритм очистки от шумов, который сохраняет ключевые особенности изображения NDVI. (См., например, Total Variation Filter Chambolle 2004). В качестве альтернативы может быть использован любой другой подходящий алгоритм очистки от шумов.
Автоматическое обнаружение таких областей может быть выполнено путем подбора в пикселях пятен, которые указывают на отклонение от нормальных значений для требуемого исследования (например, NDVI или EVI, или любой аналогичный показатель), предпочтительно на основе настраиваемого количества и плотности пикселей.
Одним из возможных вариантов реализации процесса с использованием показателя NDVI является следующий.
Входные данные для вычислений представляют собой матрицу значений NDVI в диапазоне от -1 до 1, полученную с помощью мультиспектральной бортовой камеры. Полоса в ближней ИК области спектра и полоса видимого спектра используются для получения значений NDVI, используя формулу NDVI=(NIR-VIS RED)/(NIR+VIS RED). Такие полосы NIR и VIS Red могут представлять собой узкие полосы от 20 до 70 нм, причем центр полос составляет 650 и 850 нм.
В одном из возможных вариантов реализации изобретения после применения предварительной операции очистки от шумов на отображении NDVI выполняется поиск пятен, имеющих диапазон требуемых значений NDVI. Пиксели, связанные с требуемыми значениями NDVI, подбирают, чтобы выявить пятна посредством следующей трехэтапной процедуры:
Этап 1. В предположении, что представляющая интерес область связана с известным диапазоном значений NDVI или другими заранее определенными значениями параметров, алгоритм строит двоичное отображение изображения NDVI, где соответствующие пиксели, связанные с соответствующим диапазоном значений NDVI, установлены равными 1, а остальные пиксели установлены равными 0.
Этап 2. С использованием, например, алгоритма кластерных меток или другого подходящего алгоритма создается совокупность всех возможных пятен (кластеров), связанных с двоичным отображением, полученным на этапе 1. Данный алгоритм основан на алгоритме кластерных меток ХошенаКопельмана (1975). В сущности, алгоритм Хошена-Копельмана, который используется в настоящем изобретении, выполняет растровое сканирование двоичного отображения и за один проход находит все пятна в ходе процесса сканирования, и присваивает им текущий индекс.
Также могут быть использованы другие методы построения пятен, такие как различные методы исчерпывающего поиска соседних пикселей, хотя они и влекут вычислительную нагрузку.
Этап 3. Критерий принятия решения для определения данной группы пятен в качестве неоднородности или области интереса, относящейся к требуемым значениям NDVI, определяется следующим образом:
1. Если количество пикселей, являющихся частью данного одиночного пятна, превышает заданный пороговый параметр.
2. Количество пикселей, являющихся частью совокупности пятен, все из которых ограничены заданным радиусом (из центра масс вышеуказанной совокупности пятен), превышает заданное пороговое значение.
Фиг 1а, 1b и 1с изображают ход выполнения процедуры. Фиг. 1а представляет пару изображений, снятых с БПЛА, пролетающего над полем насаждений, с использованием подходящих фильтров для получения видимых изображений и изображений в ближней ИК области спектра поля. Фиг. 1b представляет пиксели, связанные со значениями NDVI в диапазоне от -0,3 до -0,1 (окрашенные в красный цвет) (за- 8 039345 данный представляющий интерес диапазон), наложенные на видимое изображение. Эти пиксели отмечают влажные области в поле. Фиг. 1с представляет совокупность из 34 самых больших пятен (каждое пятно, произвольно окрашенное, содержащее количество пикселей, превышающее 200), полученную из этого совокупности пикселей, которая была рассчитана автоматически с использованием алгоритма, описанного выше.
В другом варианте реализации настоящего изобретения обнаружение областей, связанных с предварительно выбранными значениями NDVI, осуществляется посредством следующей процедуры.
Двоичное отображение пикселей, связанных с требуемыми значениями NDVI, разбивается на многоугольники с равными площадями, и вычисляется плотность каждого многоугольника. Затем выбираются многоугольники с большой плотностью для представления центров областей, связанных с требуемыми значениями NDVI.
Фиг. 2а, 2b и 2с представляют ход выполнения процедуры. Фиг. 2а представляет пару видимых изображений и изображений в ближней ИК области спектра данного поля насаждений. Фиг. 2b представляет пиксели, связанные со значениями NDVI в диапазоне от 0,75 до 0,9 (заданный представляющий интерес диапазон), полученные из изображений на фиг. 2а. Фиг. 2с представляет совокупность точек (отмеченных белым цветом), связанных с многоугольниками (фактически блоками размером 4x4), имеющими самые высокие значения плотности. Красные точки левого изображения отображают совокупность всех пикселей, значения NDVI которых находятся в диапазоне от 0,75 до 0,9.
Описанный выше способ может быть реализован посредством системы 10 для получения и анализа мультиспектральных изображений, схематически показанной на фиг. 11. Система 10 содержит по меньшей мере одно устройство 12 записи мультиспектральных изображений и процессор 14, соединенный с устройством записи изображений 12. Предпочтительно процессор имеет двустороннюю связь с пользователем 20 для обмена данными и инструкциями. Процессор управляет модулем 16 обработки изображений, содержащим модуль 18 разбиения на пятна, для автоматического анализа записанных изображений путем разбиения на пятна в соответствии с заранее определенными параметрами исследования, и обеспечения выходных данных, соответствующих неоднородностям на каждом изображении, вписывающимся в заранее определенные параметры исследования. Как описано выше, эти выходные данные могут быть использованы процессором 14 или представлены пользователю 20. Модуль 18 разбиения на пятна может осуществлять как крупномасштабное разбиение на пятна, так и мелкомасштабное разбиение на пятна. Система дополнительно содержит индикатор 22 географического местоположения, приспособленный и выполненный с возможностью обеспечения указания географического местоположения неоднородностей. Хотя индикатор 22 географического местоположения проиллюстрирован в этом варианте реализации как отдельный блок, в соответствии с другими вариантами реализации изобретения он может быть частью устройства 12 записи изображений. Процессор дополнительно выполнен с возможностью автоматического определения того, следует ли направлять одно из устройств записи мультиспектральных изображений в указанное географическое местоположение для записи изображений неоднородностей в ответ на выходные данные.
Настоящее изобретение также относится к способу идентификации объектов на мультиспектральных изображениях. Способ включает анализ мультиспектральных изображений с высоким разрешением в соответствии с заданными параметрами объекта и, когда найдены параметры в пределах заданных параметров объекта, выполнение разбиения на пятна на изображениях, содержащих такие параметры, для идентификации пятен. Объекты, ограниченные этими пятнами, сравниваются с заданными справочными параметрами для идентификации объектов, имеющих заданные параметры объекта. Согласно некоторым вариантам реализации изобретения перед сравнением объекты классифицируются. Ряд не имеющих ограничительного характера примеров использования этого способа заключается в следующем.
Автоматическая идентификация объектов простой морфологии
Некоторые объекты, выбранные для идентификации, обладают свойством очень простой морфологии (формы и структуры) (далее SMS, Simple Morphology Structure - структура с простой морфологией), как правило, в виде мелкого пятна. Один полезный метод обнаружения объектов SMS связан с вычислением совокупности очень мелких пятен (от 1 до 15 пикселей), выделением небольшого изображения вокруг каждого мелкого пятна и поиском выбранного объекта на этом изображении. Как правило, такой поиск включает в себя активацию внутренней программы сравнения шаблонов между мелкими пятнами и справочными шаблонами.
Одним из важных вариантов реализации обнаружения объектов SMS является его применение для обнаружения мелких вредителей. Изображения вредителей SMS обычно имеют форму мелкого пятна, границы которого могут быть приближенно выражены формой эллипса.
Компьютеризированная идентификация вредителей SMS в инфицированных областях основана на следующих предположениях, основанных на наблюдении:
a. Изображения SMS являются геометрически значимыми, обладающими эллипсовидной формой и, как правило, цветовой контраст вредителя SMS относительно его окружения очень резкий.
b. Видимая морфология инфицированного растения, содержит высокую концентрацию пятен вредителей SMS - по сравнению с неинфицированным растением. Таким образом, инфицированное рас-
- 9 039345 тение можно отличить от неинфицированного растения, сравнивая концентрацию пятен посредством подходящего инструментального средства для обработки изображений.
В настоящем изобретении используются способы автоматического обнаружения вредителей SMS на основе преобразования описанных выше предположений на основе наблюдений в эффективные алгоритмы.
В одном варианте реализации алгоритма этих наблюдений, полученное изображение (видимое изображение или изображение в ближней ИК области спектра, или изображение NDVI, или любое разделение каналов, такое как CMYK (голубой, пурпурный, желтый и черный), сначала преобразуется в полутоновое изображение, а затем подвергается разбиению на основе пятен по уровню серого. В зависимости от качества изображения, эффективное разбиение на пятна обычно влечет за собой операцию равномерного квантования. Для большинства вариантов применения обычно достаточно 32 значений 25 уровней серого. Двоичное отображение каждого из значений уровня серого подвергается обработке с помощью описанного выше алгоритма кластерных меток Хошена-Копельмана, и, наконец, создается и сохраняется совокупность всех возможных пятен, состоящих из всех значений уровня серого.
Из этой совокупности вычисленных пятен выделяют только мелкие пятна, имеющие размер, меньший порогового количества пикселей (как правило, но, не ограничиваясь этим, размером менее 10 пикселей).
Изображение разбивается на несколько фрагментов изображений равного размера. В каждом фрагменте изображения подсчитывается количество мелких пятен, созданных описанным выше способом. Обнаружение наличия вредителей SMS признается, если количество мелких пятен в данном проценте фрагментов изображений превышает заданное откалиброванное пороговое значение. Такая настройка порогового значения может быть установлена в соответствии с политикой сельскохозяйственного опрыскивания.
В другом варианте реализации алгоритма согласно настоящему изобретению изображение преобразуется в полутоновое изображение и подвергается разбиению на пятна по уровню серого с использованием того же способа, описанного выше. Из совокупности подвергнутых разбиению на пятна выбираются пятна, имеющие очень малый размер (как правило, но не ограничиваясь этим, размером менее 10 пикселей), и регистрируются их центры масс.
Все фрагменты изображений вокруг каждого зарегистрированного центра масс (с длиной от радиуса 15 до, как правило, но, не ограничиваясь этим, менее 50 пикселей) выделяются и сравниваются со справочными изображениями вредителей SMS, обычно имеющими эллиптическую форму, хранящимися в памяти, используя оператор корреляции или запрограммированную функцию классификатора глубокой нейронной сети. Если корреляция превышает заданное пороговое значение, и/или отмечена успешная классификация, признается обнаружение. Фиг. 3a и 3b демонстрируют ход выполнения данного способа. Два полутоновых изображения отображают инфицированное хлопковое поле. Совокупность красных точек, наложенных на изображение на фиг. 3 a, показывает центры масс всех мелких пятен, количество пикселей которых меньше 50, что вычислено по способу, описанному выше. В этом примере полутоновое изображение было уменьшено до 32 уровней. Небольшие изображения размером 16x16 пикселей вокруг каждой из этих точек выделялись и сравнивались со справочными изображениями с использованием оператора корреляции. Совокупность красных точек, наложенных на изображение на фиг. 3b, отображает все фрагменты изображений, найденные оператором корреляции.
В другом варианте реализации алгоритма выбор мелких пятен ограничен совокупностью пятен, имеющих цвет, близкий к эталонному цвету, который, как правило, характеризует вредителей SMS, о которых идет речь. В настоящем изобретении расстояние между двумя данными цветами RGB определяется следующим образом:
Если Х1 = {R1 ,G1 ,В1} и Х2 = {R2,G2,B2} то
Расстояние [Х1,Х2] = Max{Abs[R1-R2], Abs[G1-G2], Abs[B1-B2]};
Фиг. 4а и 4b представляют ход выполнения этой процедуры. Фиг. 4а представляет лист, содержащий совокупность вредителей SMS (белый цвет). Фиг. 4b представляет совокупность обнаруженных вредителей SMS (обозначенных пурпурными точками, наложенными на изображение на фиг. 4а) в результате выделения мелких пятен, цвета которых ограничены расстоянием близко в определенном выше смысле (в этом примере, меньше, чем 40 единиц цветности) к белому цвету. Понятно, что цвет, выбранный для обозначения вредителей в отображении, сам по себе не имеет смысла, и отображение может быть любого выбранного цвета.
В другом варианте реализации алгоритма анализа обнаружение вредителей SMS выполняется с использованием следующего способа. Полученное полутоновое изображение видимого изображения разбивается на несколько, например, четыре, очень похожие неперекрывающиеся изображения, путем формирования построчного и постолбцового оператора чередования, в результате чего образуются четыре фрагмента изображений, объединение которых точно охватывает исходное изображение. Здесь предполагается, что исходное полутоновое изображение помечено как X, а Х1, Х2, X3 и Х4 являются результи- 10 039345 рующими фрагментами изображений вследствие применения оператора чередования.
Определение изображения А (изображения ускорения X) как: А=(Х1+Х4-2*ХЗ); дает изображение А, которое усиливает контрасты. Заявлено, что выделение из А совокупности предварительно выбранного количества пикселей, имеющих самые высокие значения яркости, дает совокупность пикселей, которая с очень высокой вероятностью включает вредителей SMS. Небольшие фрагменты изображения вокруг совокупности вычисленных пикселей высокого значения выделяются, а их содержимое сравнивается со справочными изображениями вредителей SMS, хранящимися в памяти. Высокая корреляция будет указывать на наличие вредителей SMS. Фиг. 5а и 5b иллюстрируют этот принцип. Фиг. 5а представляет инфицированный лист, содержащий вредителей SMS, а фиг. 5b представляет совокупность красных точек, наложенных на фиг. 5а. Красные точки представляют собой точки, созданные описанным выше способом, для которых коррелятор идентифицировал соответствующие выделенные небольшие фрагменты изображений как содержащие вредителей SMS.
В другом варианте реализации указанного принципа алгоритма обнаружение вредителей SMS выполняется с использованием следующего способа. Уровень серого видимого изображения или изображения в ближней ИК области спектра обрабатывается с помощью оператора обнаружения края. Из результирующего изображения обнаруженного края выбирается совокупность пикселей, значения интенсивности которых превышают заданное пороговое значение.
Выделяются небольшие фрагменты изображений вокруг этих пикселей, и их содержимое сравнивается с известными справочными изображениями с использованием метода корреляции. Если показатель корреляции превышает заданное пороговое значение, то будет отмечено обнаружение вредителей. Фиг. 6а, 6b и 6с иллюстрируют этот принцип. Фиг. 6а представляет лист, содержащий вредителей SMS (окрашены в белый цвет), фиг. 6b представляет применение обнаружения края, показанное на фиг. 6а, и фиг. 6с представляет совокупность точек (желтых), наложенных на фиг. 6а, что является результатом выделения соответствующих точек из фиг. 6b в соответствии с описанным способом.
В другом варианте реализации указанного принципа алгоритма обнаружение вредителей SMS выполняется с использованием следующего способа. Уровень серого видимого изображения или изображения в ближней ИК области спектра претерпевает двоичную пороговую операцию. Пороговый уровень вычисляется следующим образом: начиная с очень высокого порогового значения (темный кадр) пороговый уровень постепенно уменьшается, так что, если количество белых точек (в результате пороговой операции) превышает заданный уровень, то признается желаемый порог.
Из результирующего изображения выбирается совокупность пикселей, значения интенсивности которых превышают указанное заданное пороговое значение. Выделяются небольшие фрагменты изображений вокруг этих пикселей, и их содержимое сравнивается с известными справочными изображениями с использованием метода корреляции. Если показатель корреляции превышает заданное пороговое значение, то будет отмечено обнаружение вредителей.
Автоматическая идентификация объектов сложной морфологии
Некоторые объекты, идентификация которых требуется, обладают сложной структурой (complex structure, далее CMS). Общий метод обнаружения объектов CMS включает разбиение изображения на пятна, имеющие умеренный размер, в зависимости от конкретной требуемой морфологии объекта. Заявлено, что, если объекты CMS имеются в полученном изображении, они, с большой вероятностью, будут найдены в нескольких изображениях, окружающих такие пятна умеренного размера, как правило, путем передачи этих довольно небольших изображений (обычно ограниченных лишь несколькими десятками пикселей) на удаленный сервер для идентификации, предпочтительно, но не ограничиваясь этим, с использованием метода глубокой нейронной сети. Другой вариант идентификации заключается в активации внутреннего кода (например, описанного ниже), способного идентифицировать объект.
Далее описаны несколько способов идентификации вредителей CMS.
Примерами вредителей CMS являются муха, кузнечик, насекомые и т.п. Наблюдение структур этих вредителей отображает очень сложную морфологию, обнаружение которой обычно требует сложного кода сравнения.
В одном варианте реализации способа обнаружения CMS вредителей полученное изображение (необязательно видимое и/или в ближней ИК области спектра, и/или NDVI, и/или другое изображение на основе вегетационного индекса) сначала подвергается преобразованию уровня серого и выравниванию гистограммы. Затем изображение подвергается разбиению на пятна с использованием описанного выше алгоритма кластерных меток Хошена-Копельмана.
Выбираются пятна, имеющие количество пикселей от среднего до большого, и выбираются фрагменты изображений, окружающие центры масс этих пятен, имеющие радиус, меньший, чем заданный уровень (как правило, но, не ограничиваясь этим, 32 пикселя).
Каждое из выбранных фрагментов изображений подвергается дополнительному разбиению на пятна, предпочтительно используя 4 значения уровня серого. В качестве альтернативы может быть использовано другое количество значений интенсивности. Вычисленные пятна располагаются с учетом их размера в пикселях. Выделяется выбранное количество, например, первые три крупных пятна, и создается двоичное изображение, содержащее связанные пиксели. В случае если вредитель записан в указанном
- 11 039345 выделенном фрагменте изображения, и с целью определения морфологических границ, к двоичному отображению, содержащему крупные пятна, применяются два двоичных оператора морфологии: двоичный оператор дилатации и двоичный оператор эрозии. Наконец, вычисляется разность между дилатированным и эродированным изображениями, в результате получается изображение, которое приблизительно фиксирует границы морфологии вредителей.
Фиг. 7а, 7b и 7с демонстрируют ход выполнения данного алгоритма. Каждое изображение на фиг. 7а отображает оригинального вредителя CMS. Каждое изображение на фиг. 7b представляет двоичное изображение, полученное в результате проекции пикселей из трех самых крупных пятен соответствующего изображения на фиг. 7а. Каждое изображение на фиг. 7с представляет результирующие границы соответствующего вредителя по фиг. 7а после применения двоичных операторов эрозии и дилатации. Полученные изображения на фиг. 7с затем сравнивают с изображениями аналогичного типа, например с границами вредителей CMS, с использованием процедуры корреляции и/или процедуры классификации с использованием глубокой нейронной сети или другого метода машинного зрения, такого как прогнозатор и классификатор.
В другом варианте реализации способа обнаружения на основе разбиения на пятна CMS уровень серого видимого изображения или изображения в ближней ИК области спектра, или изображения NDVI, или другого вегетационного индекса подвергается разбиению на пятна (предпочтительно, но, не ограничиваясь этим, 4 уровня интенсивности), и выделяются пятна, имеющие выбранный размер пикселей, например, от 50 до 300 пикселей. Изображение, окружающее каждое такое пятно, выделяется и отправляется на удаленный сервер для классификации по подходящей категории вредителей CMS, используя метод глубокой нейронной сети или другой метод машинного зрения, такой как прогнозатор и классификатор, по сравнению с большим набором данных изображений вредителей, которые использовались в качестве учебной совокупности для классификации вредителей. Фиг. 8а и 8b иллюстрируют этот принцип. Фиг. 8а изображает лист, инфицированный тлей CMS, а фиг. 8b представляет совокупность пятен, размеры которых составляют от 100 до 200 пикселей. Соответствие между вредителями и выделенными пятнами является значимым.
Автоматическая косвенная идентификация объектов
В некоторых случаях, в частности в случае автоматической идентификации вредителей, наличие вредителя может быть обнаружено благодаря его уникальному воздействию на окружение. Другими словами, бывает трудно или невозможно уловить настоящего вредителя в полученных изображениях, но о наличии вредителя можно сделать вывод по состоянию растения. Два таких случая, из многих таких ситуаций, представлены ниже с помощью не имеющих ограничительного характера примеров.
Одним из хороших примеров может служить вредитель, известный как цитрусовая минирующая моль. Наличие извилистых кладок, характерных для этого вредителя, обычно обнаруживается на поверхности листа. Таким образом, обнаружение такой кладки служит доказательством наличия этого вредителя. В настоящем изобретении представлены два алгоритмических метода идентификации этого вредителя:
А. Использование способа автоматической идентификации сложной морфологической структуры, как описано в предыдущем разделе, в котором выделяются изображения вокруг пятен, имеющих относительно большое количество пикселей (обычно от 100 до 700), и содержимое этого изображения сравнивается с различными справочными изображениями, содержащими цитрусовую минирующую моль.
В. Конкретный алгоритм обнаружения цитрусовой минирующей моли описывается следующим образом: Выделяются изображения пятен, имеющих относительно большое количество пикселей. Вычисляются границы вероятных объектов, находящихся на этих изображениях. На каком-либо таком изображении применяется фильтр угла изображения (Image Corner Filter), и подсчитывается количество вычисляемых координат углов. Если количество координат углов превышает заданное пороговое значение, признается обнаружение цитрусовой минирующей моли.
Фиг. 9а, 9b и 9с иллюстрируют этот принцип: фиг. 9а представляет типичную кладку цитрусовой минирующей моли (в окружении желтого цвета), фиг. 9b представляет ее границы, а фиг. 9с представляет результирующие угловые точки, полученные в результате применения фильтра угла (нижняя фигура). Очевидно, существует довольно большое количество таких точек, что указывает на наличие кладки.
Понятно, что внешний вид объекта относительно его фона отличается при рассмотрении в разных спектральных полосах. Согласно вариантам реализации настоящего изобретения это явление может быть использовано для улучшения выделения и идентификации различных объектов, представляющих интерес. Например, мультиспектральное изображение с высоким разрешением может сначала подвергаться обработке цветного изображения, чтобы усилить и выделить внешний вид искомого объекта из остальных объектов изображения. Такая обработка может включать в себя объединение некоторых из исходных мультиспектральных видимых полос и некоторых каналов из цветового пространства CMYK (Cyan Magenta Yellow Key (Black), голубой, пурпурный, желтый и (черный) основные цвета) и/или цветового пространства HLS (Hue Lightness Saturation, оттенок-освещенность-насыщенность), и/или любого другого цветового пространства или пространств. Использование мультиспектральных узких полос в этом изобретении в различных комбинациях между отдельными полосами из цветового пространства RGB,
- 12 039345 цветового пространства CMYK, цветового пространства HSL и, возможно, других цветовых пространств, позволяет улучшить выделение искомого объекта из окружающего фона.
После того, как индивидуальный характер внешнего вида заболевания или другой объект исследуется в различных цветовых каналах и матрицах, выбирается арифметическое вычисление, которое усиливает этот вид. Такие комбинации полос могут быть осуществлены с использованием различных средств обработки изображений, таких как Image Difference (дифференцирование изображений), Add<Subtract (сложение<вычитание), Lightest/Darkest (самые светлые/темные) пиксели, настройка изображения и т.п. Такая комбинация может быть выполнена между двумя каналами/матрицами или более, в зависимости от внешнего вида объекта в различных матрицах. Это дает гораздо лучшее выделение объектов из фонового цвета, чем использование только цветового пространства RGB. Дополнительное выделение искомого объекта, как правило, может быть достигнуто путем включения определенной красной полосы 650 нм мультиспектрального спектра. В этом случае ярко выраженный белый цвет указывает на обнаружение объекта. Выполнение перекрестного обнаружения различных цветовых комбинаций может улучшить обнаружение. Различные цветовые комбинации, как описано выше, могут быть предварительно выбраны и приспособлены к конкретным видам вредителей, что увеличивает шансы обнаружения вредителей.
Другой важный пример автоматической косвенной идентификации вредителей в соответствии с этими вариантами реализации настоящего изобретения представлен здесь со ссылкой на явления деградации растений. Деградация растений относится к симптомам воздействия на растения в ответ на инфицирование патогенным организмом. Обычно это связано с коричневым цветом и высыханием листьев. В соответствии с настоящим изобретением автоматический поиск деградации выполняется с использованием полученного мультиспектрального изображения с высоким разрешением. Полученное изображение сначала подвергается цветовой обработке, как описано выше, для усиления и выделения внешнего вида деградации из других объектов изображения. Использование различных комбинаций между отдельными узкими полосами из цветового пространства RGB, цветового пространства CMYK, цветового пространства HST и, возможно, других цветовых пространств, позволяет по существу выделить инфицированные деградирующие листья из окружающего фона. Обычно это зеленая часть листа или коричневый цвет почвы.
Успешная обработка цветного изображения обычно очень четко демонстрирует деградирующую часть, обычно с двумя (или более) ярко выраженными доминирующими цветами. Для удобства их называют основным цветом и дополнительным цветом. Эти значения цвета зависят от выполняемой конкретной обработки цветного изображения. Фиг. 10 иллюстрирует данный пример. Здесь обработка цветного изображения заключалась в том, чтобы установить различие изображений между визуальным изображением, состоящим из каналов RGB, и пурпурным каналом, связанным с цветом CMYK изображения. Лист в центре ясно отображает два цвета - коричневый и пурпурный. Алгоритм автоматического обнаружения деградации сначала выделяет все пиксели, связанные с основным цветом, и применяет разбиение на пятна к этой совокупности. Пятна, имеющие пиксели, связанные с дополнительным цветом в непосредственной близости, признаются связанными с деградацией.
Хотя этот принцип обработки цветного изображения приведен выше со ссылкой на деградацию, должно быть понятно, что его можно использовать во многих различных вариантах применения, либо при поиске различных типов вредителей или болезней, либо мониторинге совершенно других объектов. Важными этапами являются запись мультиспектральных изображений и, после разбиения на пятна, выполнение разделения изображений на различные цветовые пространства и перекрестное обнаружение выбранных цветовых каналов, чтобы привести к выделению искомых объектов из остальной части изображения.
Понятно, что, хотя настоящее изобретение было приведено выше в качестве примера в отношении сельскохозяйственных исследований, оно также применимо ко многим другим ситуациям, в которых необходимо сканировать область на суше или на море, чтобы выявлять местные неоднородности для дополнительного исследования, например, поиск косяков рыб или фугасов, или других неоднородностей поверхности на местах.
Хотя изобретение было описано в отношении ограниченного числа вариантов реализации, должно быть понятно, что может быть выполнено множество вариантов, изменений и других вариантов применения настоящего изобретения. Также должно быть понятно, что изобретение не ограничено приведенным выше просто в качестве примера описанием. Напротив, изобретение ограничено только следующими пунктами формулы изобретения.
- 13 039345
Список цитированной литературы
J. Hoshen and R. Kopelman (1976). Percolation and Cluster Distribution.
Phys. Rev. B. 1(14): 3438-3445 http://ipe.oxfordiournals.orq/content/1/1/9.full
Дистанционное зондирование изображений в картографии растительности: обзор
Ссылка на Министерство сельского хозяйства США относительно дистанционного зондирования и спектральных диапазонов.
www.mdpi.com%2f20724292%2F6%2F6%2P5257%2Fpdf&usq:::AFQiCNErQY£2iPKfPKwtJYLnXXfB0iWN5K A&siq2=9bMbqR.XFMNqmqMlrr2TWqA An Airborne Multi-spectral Imaging System Based on Two Consumer-Grade Cameras for Agricultural Remote Sensing
Систематическая биология (далее называемая просто систематикой) (а) предоставляет научные названия для организмов, (б) описывает их, (в) сохраняет их коллекции, (г) предоставляет классификации для организмов, ключи для их идентификации и данные об их распределении, (е) исследует их эволюционные истории и (f) рассматривает их адаптацию к окружающей среде. *** *** Wikipedia - Systematics
Изображения БПЛА, как описано в US DO А, в лучшем случае используют только пиксель на 0,1 м (10 см), что на 12,5 меньше разрешения, чем описанный выше сценарий, в то время как использование 50миллиметрового объектива в вышеупомянутом сценарии приведет к трехмбетровой высоте с разрешением х50 по сравнению с лучшим разрешением исследования DOA - более 100 пикселей на квадратный сантиметр!
Чувствительные поля в таком разрешении позволяют идентифицировать тип вредителя и даже дистанционную дифференциацию между тлями и мухами.
Chambolle, А. (2004). An algorithm for total variation minimization and applications. Journal of Mathematical Imaging and Vision. 20: 89-97.
ФОРМУЛА ИЗОБРЕТЕНИЯ
Claims (25)
- ФОРМУЛА ИЗОБРЕТЕНИЯ1. Способ получения и анализа мультиспектральных изображений, содержащий получение мультиспектральных аэрофотоснимков в соответствии с предварительно заданными параметрами исследования с предварительно выбранным разрешением;автоматическое выполнение предварительного анализа полученных изображений в соответствии с предварительно заданными параметрами исследования и с использованием крупномасштабного разбиения на пятна полученных изображений, содержащих такие параметры исследования, чтобы идентифицировать пятна, в реальном или близком к реальному времени;определение неоднородностей в анализируемых данных изображения в соответствии с предварительно заданными параметрами исследования и обеспечение соответствующих им выходных данных;соотнесение данных GPS с обнаруженными неоднородностями и автоматическое определение по указанным выходным данным того, следует ли выполнять второй этап получения изображений с более высоким разрешением, чем предварительно выбранное разрешение, и анализ с использованием мелкомасштабного разбиения на пятна.
- 2. Способ по п.1, также включающий направление устройства для получения изображений для записи дополнительных мультиспектральных изображений по меньшей мере одной из указанных обнаруженных неоднородностей при более высоком разрешении, чем предварительно выбранное разрешение, с использованием соотнесенных данных GPS и выполнение анализа с использованием мелкомасштабного разбиения на пятна дополнительных мультиспектральных изображений в реальном или близком к реальному времени.
- 3. Способ по п.2, в котором этап направления включает автоматическое направление устройства для- 14 039345 получения изображений.
- 4. Способ по п.1 или 2, в котором этап определения включает построение двоичного отображения изображения, где соответствующие пиксели, связанные с предварительно заданным диапазоном значений параметров, установлены равными 1, а остальные пиксели установлены равными 0;создание совокупности всех возможных пятен, связанных с двоичным отображением, путем растрового сканирования двоичного отображения, обнаружение пятен во время процесса сканирования и присвоение им текущего индекса;определение групп пятен в качестве неоднородности, когда:a) количество пикселей, принадлежащих некоторому заданному одиночному пятну, превышает предварительно заданный пороговый параметр илиb) количество пикселей, принадлежащих совокупности пятен, все из которых ограничены некоторым заданным радиусом (из центра масс совокупности пятен), превышает заданное пороговое значение.
- 5. Способ по п.2, также включающий сравнение морфологии по меньшей мере одной из указанных обнаруженных неоднородностей с морфологией известных объектов.
- 6. Способ по любому из предшествующих пунктов, в котором указанные мультиспектральные изображения содержат по меньшей мере два изображения, выбранные из группы, включающей видимые изображения и изображения в ближней ИК области спектра.
- 7. Система для получения и анализа мультиспектральных изображений, содержащая по меньшей мере одно устройство для получения мультиспектральных изображений;пр оцессор, соединенный с указанным устройством для получения изображений;при чем процессор управляет модулем обработки изображений, содержащим модуль разбиения на пятна, для автоматического анализа полученных изображений путем разбиения на пятна в соответствии с заранее определенными параметрами исследования и обеспечения выходных данных, соответствующих неоднородностям на каждом изображении, вписывающимся в заранее определенные параметры исследования;при этом модуль разбиения на пятна может осуществлять как крупномасштабное разбиение на пятна, так и мелкомасштабное разбиение на пятна, и инд икатор географического местоположения, приспособленный и выполненный с возможностью обеспечения указания географического местоположения неоднородностей;при этом процессор выполнен с возможностью автоматического определения того, следует ли направлять по меньшей мере одно из устройств получения мультиспектральных изображений в указанное географическое местоположение для получения изображений указанных неоднородностей в ответ на указанные выходные данные.
- 8. Система по п.7, в которой процессор имеет двустороннюю связь с пользователем для обмена данными и инструкциями.
- 9. Способ идентификации объектов в мультиспектральных изображениях, полученных способом по любому из пп.1-6, содержащий ана лиз мультиспектральных изображений с высоким разрешением в соответствии с предварительно заданными параметрами объекта;ког да обнаружены параметры в пределах заданных параметров объекта, выполнение разбиения на пятна на указанных изображениях, содержащих такие параметры, чтобы идентифицировать пятна;сравнение объектов, ограниченных указанными пятнами, с предварительно заданными эталонными параметрами для идентификации объектов, имеющих указанные параметры объекта.
- 10. Способ по п.9, также включающий классификацию указанных объектов перед этапом сравнения.
- 11. Способ по любому из пп.9 или 10, также включающий разбиение полученных изображений на совокупность фрагментов изображений ограниченного размера в соответствии с типом исследования, сопоставление размера изображений с размером пятен и идентификацию объектов в совокупности фрагментов изображений с помощью одного из действий:отправки совокупности указанных фрагментов изображений на удаленный сервер для идентификации или идентификации объекта на месте посредством активации локального идентификационного кода.
- 12. Способ по любому из пп.9 или 10, также включающий активацию внутренней программы сопоставления шаблонов между пятнами и справочными шаблонами для обнаружения выбранного объекта со структурой с простой морфологией (SMS) в изображении.
- 13. Способ по любому из пп.9 или 10, также включающий преобразование изображения в полутоновое изображение, которое подвергают разбиению на основе пятен по уровню серого;обработку двоичного отображения каждого из значений уровня серого с помощью алгоритма кластерных меток Хошена-Копельмана и создание и сохранение совокупности всех возможных пятен, со- 15 039345 стоящих из всех значений уровня серого;выделение из указанной совокупности вычисленных пятен только мелких пятен, имеющих размер, меньший предварительно заданного порогового количества пикселей;разбиение изображения на несколько фрагментов изображений равного размера;подсчет количества мелких пятен в каждом фрагменте изображения;заявление об обнаружении наличия вредителей простой морфологической структуры, если количество мелких пятен в некотором заданном проценте фрагментов изображений превышает предварительно заданное откалиброванное пороговое значение.
- 14. Способ по любому из пп.9 или 10, также включающий преобразование указанного изображения в полутоновое изображение, которое подвергают разбиению на пятна по уровню серого;выбор из совокупности пятен, подвергнутых разбиению, пятен, имеющих предварительно заданный очень мелкий размер и регистрацию их центров масс;выделение фрагментов изображений вокруг каждого зарегистрированного центра масс и сравнение выделенных фрагментов изображений со справочными изображениями вредителей простой морфологической структуры с использованием метода машинного зрения, и заявление об обнаружении наличия вредителей простой морфологической структуры, если корреляция превышает предварительно заданное пороговое значение, и/или отмечена успешная классификация.
- 15. Способ по любому из пп.9 или 10, также включающий выполнение разбиения на пятна мультиспектральных изображений;выбор мелких пятен, имеющих цвет, близкий к предварительно выбранному эталонному цвету, который как правило характеризует вредителей простой морфологической структуры, причем расстояние между двумя некоторыми заданными цветами RGB определяют следующим образом:если X1={R1,G1,B1} и X2={R2,G2,B2}, тоРасстояние [Х1,Х2]=Max{Abs[R1-R2], Abs[G1-G2], Abs[B1-B2]}.
- 16. Способ по любому из пп.9 или 10, также включающий разбиение полученного полутонового изображения X видимого изображения на несколько очень похожих неперекрывающихся изображений путем формирования построчного и постолбцового оператора чередования, в результате чего образуются четыре фрагмента изображений Х1, Х2, X3 и Х4, объединение которых точно охватывает исходное изображение;определение изображения А как изображения ускорения X: А=(Х1+Х4-2*Х3); дает изображение А, которое усиливает контрасты;выделение из А совокупности предварительно выбранного количества пикселей, имеющих самые высокие значения яркости для получения совокупности пикселей;выделение небольших фрагментов изображений вокруг совокупности вычисленных пикселей с высоким значением и сравнение их содержимого со справочными изображениями вредителей простой морфологической структуры, хранящимися в памяти, и отметку наличия вредителей простой морфологической структуры, если имеется высокая корреляция.
- 17. Способ по любому из пп.9 или 10, также включающий пре образование видимого изображения или изображения в ближней ИК области спектра в полутоновое изображение;выз ывание обработки уровня серого изображения с помощью оператора обнаружения края;выб ор из результирующего изображения обнаруженного края совокупности пикселей, значения интенсивности которых превышают некоторое заданное пороговое значение;выд еление небольших фрагментов изображений вокруг указанных пикселей;сравнение содержимого указанных фрагментов изображений с известными справочными изображениями с использованием метода корреляции и отметку обнаружения вредителей, если показатель корреляции превышает заданное пороговое значение.
- 18. Способ по любому из пп.9 или 10, также включающий вып олнение двоичной пороговой операции на полутоновом изображении видимого изображения или изображения в ближней ИК области спектра;выб ор из результирующего изображения совокупности пикселей, значение интенсивности которых превышает заданное пороговое значение;выд еление небольших фрагментов изображений вокруг указанных пикселей;сравнение содержимого выделенных небольших фрагментов изображений с известными справочными изображениями с использованием метода корреляции и отметку обнаружения вредителей простой морфологической структуры, если показатель корреля- 16 039345 ции превышает заданное пороговое значение.
- 19. Способ по любому из пп.9 или 10, также включающий выполнение преобразования уровня серого и выравнивание гистограммы на полученном изображении;вып олнение разбиения на пятна на полутоновом изображении;выб ор пятен, имеющих количество пикселей от умеренного до высокого, и выделение фрагментов изображений, окружающих центры масс указанных пятен, имеющих радиус, меньший, чем предварительно выбранный размер;вып олнение дополнительного разбиения на пятна на каждом из выбранных фрагментов изображений;рас положение вычисленных пятен с учетом их размера в пикселях;выд еление выбранного количества больших пятен и создание двоичного изображения, содержащего связанные пиксели;в случае, когда в выделенном фрагменте изображения получен вредитель сложной морфологической структуры, применение к двоичному отображению, содержащему крупные пятна, двух двоичных операторов морфологии: двоичного оператора дилатации и двоичного оператора эрозии;вычисление разности между дилатированным и эродированным изображениями, в результате чего получается изображение, которое приблизительно фиксирует границы морфологии вредителей, и сравнение вычисленных границ с сохраненными справочными изображениями границ вредителей сложной морфологической структуры (CMS).
- 20. Способ по любому из пп.9 или 10, также включающий пре образование видимого изображения или изображения в ближней ИК области спектра в полутоновое изображение;вып олнение разбиения на пятна на полутоновом изображении;выд еление пятен, имеющих выбранный размер пикселей;выделение изображения, окружающего каждое такое пятно, и классификацию каждого такого изображения на удаленном сервере по категории вредителей сложной морфологической структуры (CMS) с использованием метода машинного зрения.
- 21. Способ по любому из пп.9 или п.10, также включающий выд еление изображений пятен, имеющих относительно большое количество пикселей;выч исление границ вероятных объектов, находящихся в выделенных изображениях;применение фильтра угла изображения к каждому указанному изображению, подсчет количества вычисленных координат углов и если вычисленное количество координат углов превышает некоторое заданное пороговое значение, заявление об обнаружении цитрусовой минирующей моли посредством косвенной идентификации.
- 22. Способ по любому из пп.9 или 10, также включающий вып олнение обработки цветного изображения на мультиспектральных изображениях растения для усиления цветов в растении, которые связаны с деградацией;вып олнение разбиения на пятна для совокупности всех пикселей в изображении, связанных с основным доминирующим цветом, с использованием заданного допуска;пои ск соответствия для обнаруженных пятен основного цвета с пикселями, соотнесенными с дополнительным доминирующим цветом в непосредственной близости к указанному пятну;заявление о деградирующем листе, если такое соответствие обнаружено.
- 23. Способ по любому из пп.9 или 10, также включающий выполнение обработки цветного изображения на мультиспектральном изображении с высоким разрешением для усиления и выделения внешнего вида объекта из остальных объектов в изображении;выполнение разбиения на пятна на обработанном изображении;разделение изображений на цветовые каналы в соответствии по меньшей мере с двумя цветовыми пространствами и объединение выбранных цветовых каналов по меньшей мере из двух цветовых пространств для усиления внешнего вида объекта.
- 24. Способ по п.23, также включающий выполнение перекрестного обнаружения различных цветовых комбинаций для улучшения выделения объекта из фонового цвета.
- 25. Способ по п.23 или 24, в котором этап объединения также включает включение красной полосы на 650 нм мультиспектрального спектра.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562252513P | 2015-11-08 | 2015-11-08 | |
| PCT/IL2016/051205 WO2017077543A1 (en) | 2015-11-08 | 2016-11-08 | A method for aerial imagery acquisition and analysis |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| EA201890935A1 EA201890935A1 (ru) | 2018-11-30 |
| EA039345B1 true EA039345B1 (ru) | 2022-01-17 |
Family
ID=58662917
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| EA201890935A EA039345B1 (ru) | 2015-11-08 | 2016-11-08 | Способ получения и анализа аэрофотоснимков |
Country Status (11)
| Country | Link |
|---|---|
| US (1) | US10943114B2 (ru) |
| EP (1) | EP3374928B1 (ru) |
| JP (1) | JP6921095B2 (ru) |
| KR (1) | KR102623403B1 (ru) |
| CN (1) | CN108369635B (ru) |
| AU (1) | AU2016350155B2 (ru) |
| BR (1) | BR112018009108B1 (ru) |
| CA (1) | CA3004388C (ru) |
| EA (1) | EA039345B1 (ru) |
| MX (1) | MX2018005714A (ru) |
| WO (1) | WO2017077543A1 (ru) |
Families Citing this family (119)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11277465B2 (en) | 2004-03-16 | 2022-03-15 | Icontrol Networks, Inc. | Generating risk profile using data of home monitoring and security system |
| US10339791B2 (en) | 2007-06-12 | 2019-07-02 | Icontrol Networks, Inc. | Security network integrated with premise security system |
| US11489812B2 (en) | 2004-03-16 | 2022-11-01 | Icontrol Networks, Inc. | Forming a security network including integrated security system components and network devices |
| US11113950B2 (en) | 2005-03-16 | 2021-09-07 | Icontrol Networks, Inc. | Gateway integrated with premises security system |
| US10200504B2 (en) | 2007-06-12 | 2019-02-05 | Icontrol Networks, Inc. | Communication protocols over internet protocol (IP) networks |
| US11582065B2 (en) | 2007-06-12 | 2023-02-14 | Icontrol Networks, Inc. | Systems and methods for device communication |
| US11343380B2 (en) | 2004-03-16 | 2022-05-24 | Icontrol Networks, Inc. | Premises system automation |
| US9141276B2 (en) | 2005-03-16 | 2015-09-22 | Icontrol Networks, Inc. | Integrated interface for mobile device |
| US7711796B2 (en) | 2006-06-12 | 2010-05-04 | Icontrol Networks, Inc. | Gateway registry methods and systems |
| US11916870B2 (en) | 2004-03-16 | 2024-02-27 | Icontrol Networks, Inc. | Gateway registry methods and systems |
| US9531593B2 (en) | 2007-06-12 | 2016-12-27 | Icontrol Networks, Inc. | Takeover processes in security network integrated with premise security system |
| US11190578B2 (en) | 2008-08-11 | 2021-11-30 | Icontrol Networks, Inc. | Integrated cloud system with lightweight gateway for premises automation |
| US11201755B2 (en) | 2004-03-16 | 2021-12-14 | Icontrol Networks, Inc. | Premises system management using status signal |
| US10142392B2 (en) | 2007-01-24 | 2018-11-27 | Icontrol Networks, Inc. | Methods and systems for improved system performance |
| US10522026B2 (en) | 2008-08-11 | 2019-12-31 | Icontrol Networks, Inc. | Automation system user interface with three-dimensional display |
| US20170118037A1 (en) | 2008-08-11 | 2017-04-27 | Icontrol Networks, Inc. | Integrated cloud system for premises automation |
| US10721087B2 (en) | 2005-03-16 | 2020-07-21 | Icontrol Networks, Inc. | Method for networked touchscreen with integrated interfaces |
| US9729342B2 (en) | 2010-12-20 | 2017-08-08 | Icontrol Networks, Inc. | Defining and implementing sensor triggered response rules |
| US11677577B2 (en) | 2004-03-16 | 2023-06-13 | Icontrol Networks, Inc. | Premises system management using status signal |
| US11159484B2 (en) | 2004-03-16 | 2021-10-26 | Icontrol Networks, Inc. | Forming a security network including integrated security system components and network devices |
| US11244545B2 (en) | 2004-03-16 | 2022-02-08 | Icontrol Networks, Inc. | Cross-client sensor user interface in an integrated security network |
| US10156959B2 (en) | 2005-03-16 | 2018-12-18 | Icontrol Networks, Inc. | Cross-client sensor user interface in an integrated security network |
| US20090077623A1 (en) | 2005-03-16 | 2009-03-19 | Marc Baum | Security Network Integrating Security System and Network Devices |
| US11316958B2 (en) | 2008-08-11 | 2022-04-26 | Icontrol Networks, Inc. | Virtual device systems and methods |
| US10237237B2 (en) | 2007-06-12 | 2019-03-19 | Icontrol Networks, Inc. | Communication protocols in integrated systems |
| US10348575B2 (en) | 2013-06-27 | 2019-07-09 | Icontrol Networks, Inc. | Control system user interface |
| US11811845B2 (en) | 2004-03-16 | 2023-11-07 | Icontrol Networks, Inc. | Communication protocols over internet protocol (IP) networks |
| JP2007529826A (ja) | 2004-03-16 | 2007-10-25 | アイコントロール ネットワークス， インコーポレイテッド | 対象事項管理ネットワーク |
| US11368429B2 (en) | 2004-03-16 | 2022-06-21 | Icontrol Networks, Inc. | Premises management configuration and control |
| US11700142B2 (en) | 2005-03-16 | 2023-07-11 | Icontrol Networks, Inc. | Security network integrating security system and network devices |
| US11496568B2 (en) | 2005-03-16 | 2022-11-08 | Icontrol Networks, Inc. | Security system with networked touchscreen |
| US11615697B2 (en) | 2005-03-16 | 2023-03-28 | Icontrol Networks, Inc. | Premise management systems and methods |
| US20110128378A1 (en) | 2005-03-16 | 2011-06-02 | Reza Raji | Modular Electronic Display Platform |
| US9306809B2 (en) | 2007-06-12 | 2016-04-05 | Icontrol Networks, Inc. | Security system with networked touchscreen |
| US10999254B2 (en) | 2005-03-16 | 2021-05-04 | Icontrol Networks, Inc. | System for data routing in networks |
| US20120324566A1 (en) | 2005-03-16 | 2012-12-20 | Marc Baum | Takeover Processes In Security Network Integrated With Premise Security System |
| US20170180198A1 (en) | 2008-08-11 | 2017-06-22 | Marc Baum | Forming a security network including integrated security system components |
| US10079839B1 (en) | 2007-06-12 | 2018-09-18 | Icontrol Networks, Inc. | Activation of gateway device |
| US11706279B2 (en) | 2007-01-24 | 2023-07-18 | Icontrol Networks, Inc. | Methods and systems for data communication |
| US7633385B2 (en) | 2007-02-28 | 2009-12-15 | Ucontrol, Inc. | Method and system for communicating with and controlling an alarm system from a remote server |
| US8451986B2 (en) | 2007-04-23 | 2013-05-28 | Icontrol Networks, Inc. | Method and system for automatically providing alternate network access for telecommunications |
| US11601810B2 (en) | 2007-06-12 | 2023-03-07 | Icontrol Networks, Inc. | Communication protocols in integrated systems |
| US11423756B2 (en) | 2007-06-12 | 2022-08-23 | Icontrol Networks, Inc. | Communication protocols in integrated systems |
| US11316753B2 (en) | 2007-06-12 | 2022-04-26 | Icontrol Networks, Inc. | Communication protocols in integrated systems |
| US10523689B2 (en) | 2007-06-12 | 2019-12-31 | Icontrol Networks, Inc. | Communication protocols over internet protocol (IP) networks |
| US11212192B2 (en) | 2007-06-12 | 2021-12-28 | Icontrol Networks, Inc. | Communication protocols in integrated systems |
| US11089122B2 (en) | 2007-06-12 | 2021-08-10 | Icontrol Networks, Inc. | Controlling data routing among networks |
| US11646907B2 (en) | 2007-06-12 | 2023-05-09 | Icontrol Networks, Inc. | Communication protocols in integrated systems |
| US12003387B2 (en) | 2012-06-27 | 2024-06-04 | Comcast Cable Communications, Llc | Control system user interface |
| US11218878B2 (en) | 2007-06-12 | 2022-01-04 | Icontrol Networks, Inc. | Communication protocols in integrated systems |
| US11237714B2 (en) | 2007-06-12 | 2022-02-01 | Control Networks, Inc. | Control system user interface |
| US10223903B2 (en) | 2010-09-28 | 2019-03-05 | Icontrol Networks, Inc. | Integrated security system with parallel processing architecture |
| US11831462B2 (en) | 2007-08-24 | 2023-11-28 | Icontrol Networks, Inc. | Controlling data routing in premises management systems |
| US11916928B2 (en) | 2008-01-24 | 2024-02-27 | Icontrol Networks, Inc. | Communication protocols over internet protocol (IP) networks |
| US20170185278A1 (en) | 2008-08-11 | 2017-06-29 | Icontrol Networks, Inc. | Automation system user interface |
| US11792036B2 (en) * | 2008-08-11 | 2023-10-17 | Icontrol Networks, Inc. | Mobile premises automation platform |
| US11729255B2 (en) | 2008-08-11 | 2023-08-15 | Icontrol Networks, Inc. | Integrated cloud system with lightweight gateway for premises automation |
| US11758026B2 (en) | 2008-08-11 | 2023-09-12 | Icontrol Networks, Inc. | Virtual device systems and methods |
| US11258625B2 (en) * | 2008-08-11 | 2022-02-22 | Icontrol Networks, Inc. | Mobile premises automation platform |
| US8638211B2 (en) | 2009-04-30 | 2014-01-28 | Icontrol Networks, Inc. | Configurable controller and interface for home SMA, phone and multimedia |
| US8836467B1 (en) | 2010-09-28 | 2014-09-16 | Icontrol Networks, Inc. | Method, system and apparatus for automated reporting of account and sensor zone information to a central station |
| US11750414B2 (en) | 2010-12-16 | 2023-09-05 | Icontrol Networks, Inc. | Bidirectional security sensor communication for a premises security system |
| US9147337B2 (en) | 2010-12-17 | 2015-09-29 | Icontrol Networks, Inc. | Method and system for logging security event data |
| US11146637B2 (en) | 2014-03-03 | 2021-10-12 | Icontrol Networks, Inc. | Media content management |
| US11405463B2 (en) | 2014-03-03 | 2022-08-02 | Icontrol Networks, Inc. | Media content management |
| CN109982928A (zh) | 2016-09-08 | 2019-07-05 | 沃尔玛阿波罗有限责任公司 | 用于经由无人交通工具施与杀虫剂以防卫包含农作物的区域免受有害生物的***和方法 |
| US11266054B2 (en) * | 2017-01-24 | 2022-03-08 | Cnh Industrial America Llc | System and method for automatically estimating and adjusting crop residue parameters as a tillage operation is being performed |
| JP6868304B2 (ja) * | 2017-03-12 | 2021-05-12 | 株式会社ナイルワークス | 作物撮影用ドローン |
| WO2018175552A1 (en) * | 2017-03-21 | 2018-09-27 | Gauvreau Paul Richard Jr | Unmanned aerial vehicle for augmenting plant pollination |
| US11543836B2 (en) * | 2017-04-28 | 2023-01-03 | Optim Corporation | Unmanned aerial vehicle action plan creation system, method and program |
| IL253260B (en) | 2017-07-02 | 2021-07-29 | Manna Irrigation Ltd | Methods and systems for directing irrigation |
| EP3425572A1 (en) * | 2017-07-06 | 2019-01-09 | Bayer Aktiengesellschaft | Apparatus for automated weed control |
| US11856937B2 (en) * | 2017-07-06 | 2024-01-02 | Discovery Purchaser Corporation | Apparatus for weed control |
| CN109406412A (zh) * | 2017-08-18 | 2019-03-01 | 广州极飞科技有限公司 | 一种植物健康状态监控方法及装置 |
| US10491778B2 (en) | 2017-09-21 | 2019-11-26 | Honeywell International Inc. | Applying features of low-resolution data to corresponding high-resolution data |
| US11227382B2 (en) * | 2018-01-11 | 2022-01-18 | Intelinair, Inc. | Change detection system |
| US11235874B2 (en) | 2018-03-30 | 2022-02-01 | Greensight Agronomics, Inc. | Automated drone-based spraying system |
| US11205073B2 (en) | 2018-03-30 | 2021-12-21 | Greensight Agronomics, Inc. | System to automatically detect and report changes over time in a large imaging data set |
| US11116145B2 (en) | 2018-03-30 | 2021-09-14 | Greensight Argonomics, Inc. | Automated optimization of agricultural treatments based on raster image data system |
| IL258665B (en) | 2018-04-12 | 2021-12-01 | Manna Irrigation Ltd | Growth constants and their use for guiding irrigation |
| CN112352256B (zh) | 2018-05-30 | 2024-06-25 | 谷歌有限责任公司 | 优化地理区域选择 |
| AU2019301825B2 (en) | 2018-07-12 | 2022-09-22 | TerraClear Inc. | Object identification and collection system and method |
| IL260844B (en) * | 2018-07-29 | 2019-09-26 | Benedek Nadav | System and method for locating and destroying insects |
| CN109100350B (zh) * | 2018-08-21 | 2022-01-28 | 珠海市博恩科技有限公司 | 一种面粉麸星检测方法 |
| US10813262B2 (en) * | 2018-10-16 | 2020-10-27 | Cnh Industrial America Llc | System and method for generating a prescription map for an agricultural implement based on yield map and/or crop biomass |
| JP7292850B2 (ja) * | 2018-10-17 | 2023-06-19 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| CN109492541B (zh) * | 2018-10-18 | 2021-02-19 | 广州极飞科技有限公司 | 目标对象类型的确定方法及装置、植保方法、植保*** |
| US10778916B2 (en) | 2018-10-24 | 2020-09-15 | Honeywell International Inc. | Applying an annotation to an image based on keypoints |
| CN115580709A (zh) * | 2018-10-26 | 2023-01-06 | 深圳市道通智能航空技术股份有限公司 | 航拍相机的图像处理方法、图像处理***及无人机 |
| CN111191488B (zh) * | 2018-11-15 | 2023-06-27 | 中国电信股份有限公司 | 活体检测方法、装置、***和计算机可读存储介质 |
| CN109684938A (zh) * | 2018-12-06 | 2019-04-26 | 广西大学 | 一种基于作物冠层航拍俯视图的甘蔗株数自动识别方法 |
| CN109919088B (zh) * | 2019-03-06 | 2022-09-23 | 贵州师范大学 | 一种喀斯特地区火龙果单株识别自动提取方法 |
| CA3132115C (en) * | 2019-03-22 | 2023-12-19 | Basf Coatings Gmbh | Method and system for defect detection in image data of a target coating |
| JP6690106B1 (ja) * | 2019-03-26 | 2020-04-28 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | 決定装置、撮像システム、及び移動体 |
| CN110334372B (zh) * | 2019-04-22 | 2023-02-03 | 武汉建工智能技术有限公司 | 一种基于图纸配准的bim增强现实仿真方法 |
| JP7415348B2 (ja) * | 2019-07-03 | 2024-01-17 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム、センシングシステム |
| WO2021062459A1 (en) * | 2019-10-04 | 2021-04-08 | Single Agriculture Pty Ltd | Weed mapping |
| CN110866493B (zh) * | 2019-11-14 | 2022-03-22 | 生态环境部南京环境科学研究所 | 基于遥感影像的规模化生猪养殖场识别方法 |
| KR102254491B1 (ko) * | 2019-11-22 | 2021-05-21 | (주)가시 | 지능형 영상 분석 모듈을 탑재한 자율비행 드론 |
| CN111027441B (zh) * | 2019-12-03 | 2023-05-05 | 西安石油大学 | 一种基于机载高光谱遥感影像的道路提取方法 |
| CN111047566B (zh) * | 2019-12-04 | 2023-07-14 | 昆明市滇池高原湖泊研究院 | 无人机和多光谱卫星影像进行水生植被年变化统计的方法 |
| CN112948371A (zh) * | 2019-12-10 | 2021-06-11 | 广州极飞科技股份有限公司 | 数据处理方法、装置、存储介质、处理器 |
| US11263454B2 (en) * | 2020-05-25 | 2022-03-01 | Jingdong Digits Technology Holding Co., Ltd. | System and method for video-based pig counting in the crowd |
| KR102162342B1 (ko) * | 2020-06-17 | 2020-10-06 | 주식회사 아이온커뮤니케이션즈 | 태양광 패널 검사용 고품질 영상 획득을 위한 무인 비행체 및 그의 비행 제어 방법 |
| KR102187654B1 (ko) * | 2020-07-09 | 2020-12-07 | 주식회사 이노드 | 저고도 무인 비행체 및 이를 포함하는 작물 재배 정보 획득 시스템 |
| CN112034512B (zh) * | 2020-09-02 | 2023-03-14 | 中海石油(中国)有限公司 | 基于深度学习模型的地震数据不连续性检测方法和*** |
| KR102218863B1 (ko) * | 2020-10-16 | 2021-02-24 | 네이버시스템(주) | 드론을 이용한 실시간 변량 살포 방법 및 드론을 이용한 실시간 변량 살포 시스템 |
| KR102267022B1 (ko) * | 2020-10-30 | 2021-06-18 | 주식회사 스페이스소프트인더스트리 | 액제 혹은 입제를 변량 살포하기 위한 드론 |
| WO2022155565A1 (en) * | 2021-01-15 | 2022-07-21 | Medici Land Governance | Enhancement of coarse resolution imagery using super-resolution and convolution neural networks to be used for fit-for-purpose systematic land titling and land valuation |
| CN112906648A (zh) * | 2021-03-24 | 2021-06-04 | 深圳前海微众银行股份有限公司 | 一种地块中对象的分类方法、装置及电子设备 |
| KR102300349B1 (ko) * | 2021-04-13 | 2021-09-09 | 주식회사 프로펠 | 탐지 상황에 따라 자동으로 이동 경로를 설정하는 무인 항공기, 및 운용 방법 |
| KR102300348B1 (ko) * | 2021-04-13 | 2021-09-09 | 주식회사 프로펠 | 실시간 이미지 분석을 기반으로 현장 상황을 공유하는 무인 항공기, 및 제어 방법 |
| CN113177956B (zh) * | 2021-05-11 | 2024-06-14 | 南通大学 | 一种面向无人机遥感影像的语义分割方法 |
| CN113361350A (zh) * | 2021-05-25 | 2021-09-07 | 东南大学 | 一种地表生境因子量化解析方法 |
| JP2023170711A (ja) * | 2022-05-19 | 2023-12-01 | 横河電機株式会社 | データ取得装置、データ取得方法、および、データ取得プログラム |
| CN116258785A (zh) * | 2023-02-14 | 2023-06-13 | 国家海洋信息中心 | 一种基于数值特征统计的海洋环境遥感可视化表达方法 |
| CN116733472B (zh) * | 2023-06-05 | 2024-06-04 | 江西华丽丰科技有限公司 | 一种基于智能算法的金属矿石采选控制*** |
| CN117014584B (zh) * | 2023-09-28 | 2023-12-29 | 中国科学院空天信息创新研究院 | 植被遥感产品获取***及方法 |
| CN117611784A (zh) * | 2023-11-30 | 2024-02-27 | 华北电力大学 | 面向多光谱高时效性放电检测的协同控制方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6178253B1 (en) * | 1997-10-10 | 2001-01-23 | Case Corporation | Method of determining and treating the health of a crop |
| US20010016053A1 (en) * | 1997-10-10 | 2001-08-23 | Monte A. Dickson | Multi-spectral imaging sensor |
| US6567537B1 (en) * | 2000-01-13 | 2003-05-20 | Virginia Commonwealth University | Method to assess plant stress using two narrow red spectral bands |
| WO2014147041A1 (fr) * | 2013-03-18 | 2014-09-25 | Delta Drone | Procede de surveillance de l'etat de vegetation aux abords d'une infrastructure |
| WO2014147043A1 (fr) * | 2013-03-18 | 2014-09-25 | Delta Drone | Procédé d'analyse d'une parcelle agricole cultivée |
| US20140312165A1 (en) * | 2013-03-15 | 2014-10-23 | Armen Mkrtchyan | Methods, apparatus and systems for aerial assessment of ground surfaces |
| US20150186727A1 (en) * | 2013-12-27 | 2015-07-02 | Weyerhaeuser Nr Company | Method and apparatus for distinguishing between types of vegetation using near infrared color photos |
| US20150254800A1 (en) * | 2014-03-06 | 2015-09-10 | F12 Solutions, Llc | Nitrogen status determination in growing crops |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000194833A (ja) * | 1998-12-28 | 2000-07-14 | Hitachi Ltd | 観測衛星を利用した地域管理システム，地域管理方法と農業育成管理システム及び観測衛星運用システム |
| US7161665B2 (en) * | 2002-12-18 | 2007-01-09 | University Of Wyoming | High resolution imaging fountain flow cytometry |
| US7208733B2 (en) | 2004-08-24 | 2007-04-24 | International Electronic Machines Corp. | Non-visible radiation imaging and inspection |
| US8009871B2 (en) * | 2005-02-08 | 2011-08-30 | Microsoft Corporation | Method and system to segment depth images and to detect shapes in three-dimensionally acquired data |
| US8503794B2 (en) | 2010-07-28 | 2013-08-06 | Microsoft Corporation | Data difference guided image capturing |
| JP5560157B2 (ja) * | 2010-10-19 | 2014-07-23 | 株式会社日立製作所 | スペクトル情報抽出装置 |
| CA2920251A1 (en) * | 2013-08-02 | 2015-02-05 | Xactware Solutions, Inc. | System and method for detecting features in aerial images using disparity mapping and segmentation techniques |
| US9734399B2 (en) * | 2014-04-08 | 2017-08-15 | The Boeing Company | Context-aware object detection in aerial photographs/videos using travel path metadata |
| CN104851113B (zh) * | 2015-04-17 | 2017-11-03 | 华中农业大学 | 多分辨率遥感影像的城市植被自动提取方法 |
| US9989965B2 (en) * | 2015-08-20 | 2018-06-05 | Motionloft, Inc. | Object detection and analysis via unmanned aerial vehicle |
-
2016
- 2016-11-08 BR BR112018009108-1A patent/BR112018009108B1/pt active IP Right Grant
- 2016-11-08 KR KR1020187015897A patent/KR102623403B1/ko active IP Right Grant
- 2016-11-08 CA CA3004388A patent/CA3004388C/en active Active
- 2016-11-08 JP JP2018543475A patent/JP6921095B2/ja active Active
- 2016-11-08 MX MX2018005714A patent/MX2018005714A/es unknown
- 2016-11-08 US US15/774,287 patent/US10943114B2/en active Active
- 2016-11-08 CN CN201680071121.2A patent/CN108369635B/zh active Active
- 2016-11-08 EA EA201890935A patent/EA039345B1/ru unknown
- 2016-11-08 AU AU2016350155A patent/AU2016350155B2/en active Active
- 2016-11-08 WO PCT/IL2016/051205 patent/WO2017077543A1/en active Application Filing
- 2016-11-08 EP EP16861733.0A patent/EP3374928B1/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6178253B1 (en) * | 1997-10-10 | 2001-01-23 | Case Corporation | Method of determining and treating the health of a crop |
| US20010016053A1 (en) * | 1997-10-10 | 2001-08-23 | Monte A. Dickson | Multi-spectral imaging sensor |
| US6567537B1 (en) * | 2000-01-13 | 2003-05-20 | Virginia Commonwealth University | Method to assess plant stress using two narrow red spectral bands |
| US20140312165A1 (en) * | 2013-03-15 | 2014-10-23 | Armen Mkrtchyan | Methods, apparatus and systems for aerial assessment of ground surfaces |
| WO2014147041A1 (fr) * | 2013-03-18 | 2014-09-25 | Delta Drone | Procede de surveillance de l'etat de vegetation aux abords d'une infrastructure |
| WO2014147043A1 (fr) * | 2013-03-18 | 2014-09-25 | Delta Drone | Procédé d'analyse d'une parcelle agricole cultivée |
| US20150186727A1 (en) * | 2013-12-27 | 2015-07-02 | Weyerhaeuser Nr Company | Method and apparatus for distinguishing between types of vegetation using near infrared color photos |
| US20150254800A1 (en) * | 2014-03-06 | 2015-09-10 | F12 Solutions, Llc | Nitrogen status determination in growing crops |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102623403B1 (ko) | 2024-01-12 |
| KR20180081104A (ko) | 2018-07-13 |
| AU2016350155A1 (en) | 2018-05-24 |
| EP3374928A1 (en) | 2018-09-19 |
| EP3374928B1 (en) | 2024-03-27 |
| BR112018009108A8 (pt) | 2019-02-26 |
| CN108369635A (zh) | 2018-08-03 |
| EA201890935A1 (ru) | 2018-11-30 |
| MX2018005714A (es) | 2019-08-16 |
| JP2018534714A (ja) | 2018-11-22 |
| US10943114B2 (en) | 2021-03-09 |
| AU2016350155B2 (en) | 2021-08-19 |
| EP3374928A4 (en) | 2019-06-05 |
| CN108369635B (zh) | 2022-07-29 |
| JP6921095B2 (ja) | 2021-08-25 |
| BR112018009108B1 (pt) | 2023-10-24 |
| US20190073534A1 (en) | 2019-03-07 |
| WO2017077543A1 (en) | 2017-05-11 |
| CA3004388C (en) | 2024-02-13 |
| BR112018009108A2 (pt) | 2018-11-06 |
| CA3004388A1 (en) | 2017-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102623403B1 (ko) | 항공 이미지 획득 및 분석을 위한 방법 | |
| US11719680B2 (en) | Methods and systems for analyzing a field | |
| Barbosa et al. | RGB vegetation indices applied to grass monitoring: A qualitative analysis | |
| Kitpo et al. | Early rice disease detection and position mapping system using drone and IoT architecture | |
| Onishi et al. | Automatic classification of trees using a UAV onboard camera and deep learning | |
| Laliberte et al. | Image processing and classification procedures for analysis of sub-decimeter imagery acquired with an unmanned aircraft over arid rangelands | |
| US20200244890A1 (en) | Unmanned aerial vehicle | |
| Williams et al. | A method for automatic segmentation and splitting of hyperspectral images of raspberry plants collected in field conditions | |
| Diago et al. | On‐the‐go assessment of vineyard canopy porosity, bunch and leaf exposure by image analysis | |
| KR102098259B1 (ko) | 무인항공기를 이용한 산림병해충 의심목 선별 시스템 | |
| Passos et al. | Toward improved surveillance of Aedes aegypti breeding grounds through artificially augmented data | |
| Yuba et al. | Counting of Pennisetum alopecuroides at heading stage in a grazed pasture using images from an unmanned aerial vehicle | |
| Duveiller et al. | Batch processing of hemispherical photography using object-based image analysis to derive canopy biophysical variables | |
| Lozano et al. | Detection and Monitoring of Alien Weeds Using Unmanned Aerial Vehicle in Agricultural Systems in Sardinia (Italy) | |
| Wijesingha et al. | Mapping invasive Lupinus polyphyllus Lindl. in semi-natural grasslands using object-based analysis of UAV-borne images | |
| Chen | Image Analysis and Machine Learning in Agricultural Research | |
| Haddadi Amlashi | Improved Watershed Segmentation Algorithm for Tree Crowns Extraction from Multi-Spectral Uav-Based Aerial Images | |
| Carnegie et al. | Remote sensing & machine learning applications for urban forest biosecurity surveillance | |
| Baron | Mapping invasive plants using RPAS and remote sensing | |
| Berry et al. | Estimation of grapevine lateral leaf area (LLA) from RGB imagery using color thresholds and automatic k-means image segmentation | |
| JP2023140607A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| Connell et al. | Using Oblique Imagery to Identify Invasive Plant Species in Onondaga County, NY: A Feasability Study | |
| Metternicht | Geospatial Technologies and the Management of Noxious Weeds in Agricultural and Rangelands Areas of Australia |