RU2777572C2 - System for monitoring external fish parasite in aquaculture - Google Patents
System for monitoring external fish parasite in aquaculture Download PDFInfo
- Publication number
- RU2777572C2 RU2777572C2 RU2020123608A RU2020123608A RU2777572C2 RU 2777572 C2 RU2777572 C2 RU 2777572C2 RU 2020123608 A RU2020123608 A RU 2020123608A RU 2020123608 A RU2020123608 A RU 2020123608A RU 2777572 C2 RU2777572 C2 RU 2777572C2
- Authority
- RU
- Russia
- Prior art keywords
- fish
- camera
- parasite
- external
- detector
- Prior art date
Links
- 241000251468 Actinopterygii Species 0.000 title claims abstract description 252
- 244000045947 parasites Species 0.000 title claims abstract description 82
- 238000009360 aquaculture Methods 0.000 title claims description 7
- 244000144974 aquaculture Species 0.000 title claims description 7
- 238000005286 illumination Methods 0.000 claims description 41
- 238000001514 detection method Methods 0.000 claims description 32
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000003287 optical Effects 0.000 claims description 17
- 230000001537 neural Effects 0.000 claims description 10
- 239000000203 mixture Substances 0.000 claims 3
- 230000003595 spectral Effects 0.000 claims 3
- 230000001902 propagating Effects 0.000 claims 1
- 241001674048 Phthiraptera Species 0.000 abstract description 47
- 206010061217 Infestation Diseases 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 5
- 239000000126 substance Substances 0.000 abstract description 3
- 230000002265 prevention Effects 0.000 abstract 1
- 235000019688 fish Nutrition 0.000 description 201
- 238000000034 method Methods 0.000 description 30
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 15
- 238000003384 imaging method Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 11
- 238000010200 validation analysis Methods 0.000 description 9
- 210000001519 tissues Anatomy 0.000 description 7
- 229910052724 xenon Inorganic materials 0.000 description 7
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon(0) Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 7
- 241000894007 species Species 0.000 description 6
- 241000972773 Aulopiformes Species 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 235000019515 salmon Nutrition 0.000 description 5
- 241000239250 Copepoda Species 0.000 description 4
- 235000009508 confectionery Nutrition 0.000 description 4
- 235000013601 eggs Nutrition 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 230000000366 juvenile Effects 0.000 description 4
- 239000002245 particle Substances 0.000 description 4
- 239000002965 rope Substances 0.000 description 4
- 239000000725 suspension Substances 0.000 description 4
- 210000004369 Blood Anatomy 0.000 description 3
- 210000002816 Gills Anatomy 0.000 description 3
- 241001149911 Isopoda Species 0.000 description 3
- 210000001503 Joints Anatomy 0.000 description 3
- 241001247234 Lepeophtheirus salmonis Species 0.000 description 3
- 210000003097 Mucus Anatomy 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 239000008280 blood Substances 0.000 description 3
- 230000000875 corresponding Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000003071 parasitic Effects 0.000 description 3
- 230000001105 regulatory Effects 0.000 description 3
- 206010063659 Aversion Diseases 0.000 description 2
- 241001247232 Caligidae Species 0.000 description 2
- 210000002310 Elbow Joint Anatomy 0.000 description 2
- 241000545744 Hirudinea Species 0.000 description 2
- 210000003491 Skin Anatomy 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 210000004027 cells Anatomy 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000002708 enhancing Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 239000011780 sodium chloride Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 206010003694 Atrophy Diseases 0.000 description 1
- 239000002028 Biomass Substances 0.000 description 1
- 241001611011 Caligus Species 0.000 description 1
- 241001611004 Caligus rogercresseyi Species 0.000 description 1
- 241000238424 Crustacea Species 0.000 description 1
- 241000114702 Cymothoa Species 0.000 description 1
- 210000002969 Egg Yolk Anatomy 0.000 description 1
- 210000003414 Extremities Anatomy 0.000 description 1
- 210000001035 Gastrointestinal Tract Anatomy 0.000 description 1
- 241000213418 Gnathiidae Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241001247233 Lepeophtheirus Species 0.000 description 1
- 208000009874 Lice Infestations Diseases 0.000 description 1
- 241000124008 Mammalia Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000133262 Nauplius Species 0.000 description 1
- 210000001331 Nose Anatomy 0.000 description 1
- 241001247231 Siphonostomatoida Species 0.000 description 1
- 241000242541 Trematoda Species 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 230000002745 absorbent Effects 0.000 description 1
- 239000002250 absorbent Substances 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 239000003096 antiparasitic agent Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001488 breeding Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000001419 dependent Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 201000009910 diseases by infectious agent Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 244000078703 ectoparasites Species 0.000 description 1
- 244000079386 endoparasites Species 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000001524 infective Effects 0.000 description 1
- 230000004301 light adaptation Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000116 mitigating Effects 0.000 description 1
- 230000004899 motility Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- MYMOFIZGZYHOMD-UHFFFAOYSA-N oxygen Chemical compound O=O MYMOFIZGZYHOMD-UHFFFAOYSA-N 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000000737 periodic Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004805 robotic Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001360 synchronised Effects 0.000 description 1
- 230000001131 transforming Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 238000002255 vaccination Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 230000003442 weekly Effects 0.000 description 1
Images
Abstract
Description
Область техникиTechnical field
Изобретение относится к системе для мониторинга наружного паразита рыбы, такого, как морские вши, в аквакультуре, причем система содержит:The invention relates to a system for monitoring an external fish parasite such as sea lice in aquaculture, the system comprising:
- съемочный аппарат, пригодный для погружения в морскую ферму, пригодную для содержания рыб, причем съемочный аппарат выполнен с возможностью захвата изображений рыб; и- a camera suitable for immersion in a marine farm suitable for keeping fish, and the camera is configured to capture images of fish; and
- электронную систему обработки изображений, конфигурация которой обеспечивает идентификацию наружного паразита рыбы, такого, как морские вши, на рыбах путем анализа захваченных изображений.an electronic imaging system configured to identify an external fish parasite such as sea lice on fish by analyzing captured images.
В этом описании изобретения термин «мониторинг» обозначает любую деятельность, целью которой является разработка эмпирической основы для принятия решения о том, заражена ли некоторая заданная популяция рыбы наружными паразитами. Термин «мониторинг» также может охватывать способ определения того, до какой степени рыба заражена наружными паразитами. Хотя мониторинг можно сочетать с мерами для уничтожения или морения паразитов, термин «мониторинг» сам по себе не охватывает такие меры.In this specification, the term "monitoring" refers to any activity the purpose of which is to develop an empirical basis for deciding whether a given population of fish is infested with external parasites. The term "monitoring" can also encompass a method of determining to what extent a fish is infested with external parasites. While monitoring can be combined with measures to kill or kill parasites, the term monitoring does not by itself cover such measures.
Уровень техникиState of the art
Подобно людям и другим млекопитающим, рыбы страдают от болезней и паразитов. Паразиты могут быть внутренними (эндопаразитами) или наружными (эктопаразитами). Жабры рыбы представляют собой предпочтительную среду обитания многих наружных паразитов рыбы, пристраивающихся к жабрам, но живущим вне их. Наиболее распространенными являются моногенетические сосальщики и определенные группы паразитирующих веслоногих ракообразных, которые могут быть исключительно многочисленными. Другими наружными паразитами рыбы, находящимися на жабрах, являются пиявки и - в морской воде - личинки гнатиидов (изопод, т.е., равноногих ракообразных). Изоподные паразиты рыбы чаще всего являются наружными и питаются кровью. Пьявки семейства Gnathiidae и половозрелые цимотодиды имеют прокалывающие и сосущие ротовые части и когтистые конечности, приспособленные для цепляния на их хозяев. Cymothoa exigua - это паразит различных морских рыб. Он вызывает атрофию языка рабы и занимает его место, считаясь при этом первым случаем обнаружения функциональных возможностей паразита, заменяющего структуру-хозяина у животных. Среди наиболее распространенных наружных паразитов рыбы - так называемые морские вши.Like humans and other mammals, fish suffer from diseases and parasites. Parasites can be internal (endoparasites) or external (ectoparasites). The gills of fish are the preferred habitat for many external parasites of fish that attach themselves to the gills but live outside them. The most common are monogenetic flukes and certain groups of parasitic copepods, which can be extremely numerous. Other external parasites of fish found on the gills are leeches and, in seawater, gnathiid larvae (isopods, i.e., isopods). Isopod parasites of fish are most often external and feed on blood. Leeches of the family Gnathiidae and sexually mature cymothodids have piercing and sucking mouthparts and clawed limbs adapted for clinging to their hosts. Cymothoa exigua is a parasite of various marine fish. It causes atrophy of the slave's tongue and takes its place, being considered the first case of finding the functionality of a parasite that replaces the host structure in animals. Among the most common external parasites of fish are the so-called sea lice.
Морские вши - это малые паразитические ракообразные (семейства Caligidae), которые питаются слизью, тканями и кровью морских рыб. Морская вошь (множественное число - морские вши) является членом отряда Siphonostomatoida семейства Caligidae. Существуют около 559 видов в 37 родах, включая приблизительно 162 вида Lepeophtheirus и 268 видов Caligus. Хотя морские вши присутствуют во многочисленных существующих в природе популяциях лосося, особенно значительные проблемы представляют заражения морскими вшами в популяциях искусственно разводимого лосося. В целях борьбы с этой напастью разработаны несколько противопаразитарных препаратов. Основным видом морской вши, причиняющим беспокойство в Норвегии, является лососевая вошь (L. salmonis). Основным паразитом, причиняющим беспокойство на лососевых фермах в Чили стали науплии (Caligus rogercresseyi).Sea lice are small, parasitic crustaceans (of the Caligidae family) that feed on the mucus, tissue, and blood of marine fish. The sea louse (plural is sea lice) is a member of the order Siphonostomatoida of the family Caligidae . There are about 559 species in 37 genera, including approximately 162 species of Lepeophtheirus and 268 species of Caligus . While sea lice are present in numerous wild salmon populations, sea lice infestations are particularly problematic in farmed salmon populations. In order to combat this scourge, several antiparasitic drugs have been developed. The main sea louse of concern in Norway is the salmon louse ( L. salmonis ). Nauplii ( Caligus rogercresseyi ) have become a major pest of concern to salmon farms in Chile.
В жизни морских вшей есть как стадия свободного плавания (планктонная), так и стадия паразитическая. Все стадии разделены линьками. Скорость развития L. salmonis от икринки до половозрелой особи изменяется от 17 до 72 суток в зависимости от температуры. Из икринок выводятся личинки науплиус I, которые линяют, переходя во вторую науплиарную стадию; на обеих науплиарных стадиях не предусматривается питание в зависимости от резервов желтка для энергии и имеет место адаптация для плавания. Стадия копепод является инфекционной стадией, и она ищет подходящего хозяина, вероятно - по хемо- и механосенсорным подсказкам.In the life of sea lice, there is both a free-swimming stage (planktonic) and a parasitic stage. All stages are separated by molts. The rate of development of L. salmonis from an egg to a sexually mature individual varies from 17 to 72 days, depending on the temperature. The eggs hatch into nauplius I larvae, which molt, passing into the second naupliar stage; in both naupliar stages, nutrition is not provided depending on the reserves of the yolk for energy and adaptation for swimming takes place. The copepod stage is an infective stage, and it searches for a suitable host, probably based on chemo- and mechanosensory cues.
Сразу же после пристраивания к хозяину, стадия копепод начинает питание и начинает развиваться в первую стадию халимуса. Стадии копепод и халимуса имеют развитый желудочно-кишечный тракт и питаются слизью и тканями в пределах области, в которой пристроились. Еще не половозрелые и половозрелые морские вши, особенно - икряные самки, являются агрессивными фагами, в некоторых случаях питающимися кровью в дополнение к тканям и слизи.Immediately after being attached to the host, the copepod stage begins to feed and begins to develop into the first stage of the chalimus. The stages of copepods and chalimus have a developed gastrointestinal tract and feed on mucus and tissues within the area in which they nestled. Immature and mature sea lice, especially female eggs, are aggressive phages, in some cases feeding on blood in addition to tissues and mucus.
Время и издержки, связанные с работами по ликвидации последствий, и повышение смертности рыбы увеличивают стоимость производства рыбы приблизительно на 0,2 евро/кг. Соответственно, наружный паразит рыбы, такой, как морские вши, - главная забота современных фермеров лосося, которые выделяют значительные ресурсы на предотвращение заражений и соблюдение государственных норм, направленных на предотвращение более широких экологических последствий.The time and cost associated with clean-up operations and increased fish mortality increase the cost of fish production by approximately 0.2 €/kg. Accordingly, an external parasite of fish such as sea lice is a major concern of today's salmon farmers, who dedicate significant resources to preventing infestations and enforcing government regulations to prevent wider environmental impacts.
Как эффективное смягчение последствий (например, оценка потребности и сроков вакцинации или химической очистки), так и соблюдение требований регламентирующих органов, зависят от точного количественного определения наружного паразита рыбы, такого, как популяции морских вшей, в рамках отдельных операций разведения. В настоящее время, подсчет наружного паразита рыбы, такого, как морские вши, является полностью ручным процессом и поэтому требует большого расхода времени. Например, в Норвегии подсчеты следует делать и сообщать о них еженедельно, и только это приводит к ежегодным прямые затратам 24 миллиона долларов США. Столь же хлопотной является сомнительная достоверность статистики на основе ручных подсчетов, когда подсчет наружного паразита рыбы, такого, как половозрелые самки морских вшей, на основе данных выборки численностью между 10 и 20 особями находящейся под наркозом рыбы, экстраполируют, чтобы определить надлежащую обработку для популяций рыбы численностью свыше 50000 особей. Вследствие этого, распространены как избыточная обработка, так и недостаточная обработка.Both effective mitigation (e.g. assessment of the need and timing of vaccination or chemical cleaning) and compliance with regulatory requirements depend on the accurate quantification of external fish parasites, such as sea lice populations, within individual breeding operations. Currently, enumeration of external fish parasites such as sea lice is a completely manual process and is therefore time consuming. For example, in Norway, counts must be made and reported weekly, and this alone results in an annual direct cost of US$24 million. Equally troublesome is the questionable validity of statistics based on manual counts, where external fish parasite counts such as mature female sea lice from a sample of between 10 and 20 anesthetized fish are extrapolated to determine the appropriate treatment for fish populations. numbering over 50,000 individuals. As a consequence, both over-processing and under-processing are common.
В документе WO 2017/068127 A1 описана система того типа, о которой идет речь в преамбуле п.1 формулы изобретения, направленная на создание возможности автоматического и точного обнаружения и подсчета наружного паразита рыбы, такого, как морские вши, в пределах популяций рыбы.WO 2017/068127 A1 describes a system of the type referred to in the preamble of claim 1 aimed at enabling automatic and accurate detection and enumeration of external fish parasite such as sea lice within fish populations.
Любая такая система, основанная на оптическом формировании изображений, должна преодолеть несколько существенных затруднений, связанных с морской средой и поведением животных.Any such system based on optical imaging must overcome several significant challenges related to the marine environment and animal behavior.
- Оптическое искажение из-за градиентов плотности. Турбулентное смешение теплой и холодной воды или - особенно - соленой и пресной воды (например, в пределах фиордов) генерирует маломасштабные изменения плотности, вызывающие оптическое искажение. Особенно серьезным оказывается влияние на формирование изображений объектов размером менее 1 — 3 мм (например, молоди морских вшей).- Optical distortion due to density gradients. Turbulent mixing of warm and cold water or - especially - salt and fresh water (eg within fiords) generates small scale density changes causing optical distortion. The influence on the formation of images of objects less than 1–3 mm in size (for example, juvenile sea lice) is especially serious.
- Отвращение рыбы к незнакомым источникам света. Рыба может проявлять реакцию страха или неприятия более общего характера к незнакомым источникам света незнакомого места, незнакомой интенсивности или незнакомых спектров. Искажение косяков рыбы вокруг такого источника света создаст в общем случае увеличение типичного расстояния от устройства формирования изображений до рыбы, уменьшая эффективную остроту зрения системы формирования изображений. Цитируемый документ предусматривает решение этой проблемы путем разработки направляющей системы для направления рыбы по желаемой траектории формирования изображений.- Aversion of fish to unfamiliar sources of light. The fish may exhibit a more general fear or rejection response to unfamiliar light sources of unfamiliar location, unfamiliar intensity, or unfamiliar spectra. Distorting schools of fish around such a light source will generally increase the typical distance from the imaging device to the fish, reducing the effective visual acuity of the imaging system. The document cited provides a solution to this problem by developing a guiding system to guide the fish along the desired imaging trajectory.
- Отслеживание фокуса в высокодинамичных морских средах. Доступные для приобретения системы отслеживания фокуса не работают должным образом в быстро изменяющейся обстановке, когда в пределах поля обзора одновременно присутствует большое количество быстро движущихся адекватно сфокусированных целей (т.е., стая плавающих рыб).- Focus tracking in highly dynamic marine environments. Commercially available focus tracking systems do not work properly in a rapidly changing environment where a large number of fast moving, adequately focused targets (i.e., a school of swimming fish) are simultaneously present within the field of view.
Задача данного изобретения состоит в том, чтобы разработать систему и способ, направленные на решение этих проблем и обеспечение точных автоматизированных подсчетов, чтобы снизить объем человеческого труда, связанного с наружными паразитами рыб, такого, как подсчеты морских вшей, а также создание возможности более эффективного прогнозирования и предотвращения вредных заражений паразитами.It is an object of the present invention to provide a system and method to address these problems and provide accurate automated counts to reduce human labor associated with external fish parasites such as sea lice counts, as well as enable more efficient forecasting. and preventing harmful infestations by parasites.
Сущность изобретенияThe essence of the invention
Чтобы решить эту задачу, система, соответствующая изобретению, характеризуется тем, что электронная система обработки изображений содержит детектор рыб, конфигурация которого обеспечивает распознавание силуэта рыбы на захваченном изображении, и детектор наружных паразитов рыб, конфигурация которого обеспечивает обнаружение наружного паразита рыбы, такого, как морские вши, в некоторой заданной области в пределах силуэта рыбы.To solve this problem, the system according to the invention is characterized in that the electronic imaging system comprises a fish detector configured to recognize the silhouette of a fish in the captured image, and a fish external parasite detector configured to detect an external fish parasite such as marine fish. lice, in some given area within the silhouette of the fish.
Вместо того, чтобы пытаться вести рыбу по некоторой определенной траектории, подход, соответствующий изобретению, предусматривает запуск съемочного аппарата только тогда, когда рыба обнаруживается в пределах некоторого пригодного диапазона расстояний. Таким образом, рыбе дают возможность вести себя естественно в стае, а съемочный аппарат и определяющий дальность детектор можно установить около пути, по которому - благодаря своему естественному поведению - вероятно последует рыба, например - вдоль границы морской фермы.Instead of trying to guide the fish along some specific trajectory, the approach of the invention only triggers the camera when the fish is detected within some useful range of distances. In this way, the fish are allowed to behave naturally in the school, and the camera and the ranging detector can be positioned near the path that - due to their natural behavior - the fish are likely to follow, for example along the border of a marine farm.
Поскольку система захватывает изображение только тогда, когда рыба действительно обнаружена, количество изображений, подлежащих захвату, и - соответственно - количество изображений, подлежащих анализу, можно ограничить. Кроме того, поскольку освещение необходимо лишь в момент, когда изображение действительно снимают, раздражение рыбы источниками освещения тоже снижается.Since the system only captures an image when a fish is actually detected, the number of images to be captured and thus the number of images to be analyzed can be limited. In addition, since lighting is needed only when the image is actually taken, irritation to the fish from the lights is also reduced.
Способность определяющего дальность детектора выдавать надежные данные расстояния используется для более точного управления фокусом съемочного аппарата, а вследствие этого повышается качество захваченных изображений.The ability of the range detector to provide reliable distance data is used to more precisely control the camera's focus, thereby improving the quality of the captured images.
Более конкретные признаки изобретения, предусматриваемые по выбору, указаны в зависимых пунктах формулы изобретения.More specific optional features of the invention are indicated in the dependent claims.
В предпочтительном варианте система способна обнаруживать и распределять по категориям морские вши обоих полов на различных жизненных стадиях - неподвижности, подвижности и метания икры (например, молоди, еще не половозрелых особей, половозрелых самцов, половозрелых самок, мечущих икру, и половозрелых самок, не мечущих икру).In a preferred embodiment, the system is capable of detecting and categorizing sea lice of both sexes in different life stages - immobility, motility and spawning (e.g., juveniles, not yet sexually mature individuals, sexually mature males, sexually mature females that lay eggs, and sexually mature females that do not spawn caviar).
Помимо этого, система могла бы сформировать основу для встраиваемой платформы поддержки принятия решений, повышающей эксплуатационные рабочие характеристики, улучшая здоровье животных и обеспечивая устойчивое развитие аквакультуры, расположенной в океане.In addition, the system could form the basis for an embedded decision support platform that enhances operational performance, improves animal health and ensures the sustainable development of ocean-based aquaculture.
Краткое описание чертежейBrief description of the drawings
Теперь, будут описаны примеры вариантов осуществления изобретения со ссылкой на чертежи, на которых:Now, examples of embodiments of the invention will be described with reference to the drawings, in which:
фиг.1 - вид сбоку узла съемочного аппарата и осветительного оборудования в соответствии с предпочтительным вариантом осуществления изобретения;1 is a side view of a camera and lighting equipment assembly in accordance with a preferred embodiment of the invention;
фиг.2 - вид морской фермы с подвешенным на ней оборудованием в соответствии с фиг.1;figure 2 is a view of the marine farm with equipment suspended from it in accordance with figure 1;
фиг.3 - вид спереди узла съемочного аппарата и осветительного оборудования;Fig.3 is a front view of the node of the filming apparatus and lighting equipment;
фиг.4 - вид сбоку углового поля обзора определяющего дальность детектора, установленного на оборудовании;Fig. 4 is a side view of the angular field of view of the ranging detector mounted on the equipment;
фиг.5 и 6 - диаграммы, иллюстрирующие результаты обнаружения посредством определяющего дальность детектора; 5 and 6 are diagrams illustrating detection results with a ranging detector;
фиг.7-10 - кадры изображений, иллюстрирующие несколько этапов процедуры захвата и анализа изображений;Fig.7-10 - frames of images illustrating several stages of the procedure for capturing and analyzing images;
фиг.11 - блок-схема последовательности операций, детализирующая процесс аннотирования изображений и обучения, валидации и тестирования детектора наружных паразитов рыб в пределах электронной системы обработки изображений (системы машинного зрения) в соответствии с вариантом осуществления изобретения; и11 is a flowchart detailing the process of image annotation and training, validation, and testing of a fish external parasite detector within an electronic imaging system (machine vision system) according to an embodiment of the invention; and
фиг.12 - блок-схема последовательности операций, детализирующая работу детектора наружных паразитов рыб в режиме логических выводов.12 is a flowchart detailing the operation of the external fish parasite detector in inference mode.
подробное описание изобретенияdetailed description of the invention
Система захвата изображений Image capture system
Как показано на фиг.1, система захвата изображений содержит узел 10 съемочного аппарата и осветительного оборудования и систему 12 управления съемочным аппаратом и освещением, позволяющие автоматически получать высококачественные изображения рыбы.As shown in FIG. 1, the image capture system includes a camera and
Узел 10 съемочного аппарата и осветительного оборудования содержит вертикальный опорный элемент 14, верхнюю стрелу 16, нижнюю стрелу 18, кожух 20 съемочного аппарата, верхнюю осветительную матрицу 22 и нижнюю осветительную матрицу 24. Кожух 20 съемочного аппарата крепится к вертикальному опорному элементу 14 и предпочтительно является регулируемым по высоте. Вертикальное позиционирование съемочного аппарата предпочтительно таково, что поле обзора съемочного аппарата, по меньшей мере, частично (предпочтительно - большей частью или полностью) покрыто световыми конусами верхней и нижней осветительных матриц 22, 24. В предпочтительном варианте также есть существенное угловое смещение между геометрической осью поля обзора съемочного аппарата и геометрическими осями световых конусов. Это минимизирует количество света, рассеиваемого (частицами в воде) обратно в съемочный аппарат, максимизируя (относительно) количество света, возвращающегося от ткани рыбы. При показанной наладке, съемочный аппарат можно устанавливать на некоторой высоте, измеряемой от торца опорного элемента 14 и находящейся в диапазоне между 1/4 и 3/4 длины вертикального опорного элемента.The camera and
Верхняя стрела 16 и нижняя стрела 18 сочленены с вертикальным несущим элементом 14 в локтевых шарнирах 26 и 28, соответственно, которые обеспечивают угловые шарнирные сочленения верхней стрелы и нижней стрелы относительно вертикального опорного элемента. Верхняя осветительная матрица 22 и нижняя осветительная матрица 24 сочленены с верхней стрелой и нижней стрелой в поворотных шарнирах 30 и 32, соответственно, которые обеспечивают угловые шарнирные сочленения верхней осветительной матрицы и нижней осветительной матрицы относительно верхней стрелы и нижней стрелы.The
В показанном примере подвесные канаты 34 составляют бифилярную подвеску для узла 10 съемочного аппарата и осветительного оборудования. Подвесные канаты позволяют управлять позицией оборудования по азимуту и могут крепиться к кронштейну 36 в разных положениях, тем самым удерживая оборудование в равновесии при заданной конфигурации стрел 16 и 18. Это дает возможность точного регулирования ориентации (т.е., угла установки) узла съемочного аппарата и осветительного оборудования, поскольку центр масс узла съемочного аппарата и осветительного оборудования оказывается ниже точки крепления.In the example shown, the
В предпочтительном варианте, перенос всех данных и питания, требуемых верхней осветительной матрицей и нижней осветительной матрицей, происходит по кабельному шлангу 38, который также несет кожух съемочного аппарата и проходит между узлом съемочного аппарата и осветительного оборудования и системой 12 управления съемочным аппаратом и освещением.In the preferred embodiment, the transfer of all data and power required by the upper light array and the lower light array occurs through
На фиг.2 показан чертеж узла 10 съемочного аппарата и осветительного оборудования, погруженных в морскую ферму 40. Показанная возможная морская ферма окружена доком 42, от которого простираются вверх вертикальные опорные элементы 44. Между опорными элементами проходят натянутые кабели 46. Подвесные канаты 34 можно крепить к натянутым кабелям 46, обеспечивая введение узла 10 съемочного аппарата и осветительного оборудования в морскую ферму и отвод их от нее, а также управление горизонтальным положением оборудования относительно дока 42.Figure 2 shows a drawing of the
Вместе с тем, следует отметить, что морская ферма также может иметь форму, отличающуюся от той, которая показана на фиг.2.However, it should be noted that the marine truss may also have a shape different from that shown in Fig.2.
Протяженность несущих кабелей и канатов также обеспечивает регулирование глубины узла съемочного аппарата и осветительного оборудования ниже поверхности воды. В предпочтительном варианте, узел съемочного аппарата и осветительного оборудования размещают на глубине, при которой положение кожуха 20 съемочного аппарата оказывается ниже поверхностных смешивающихся слоев, где сильнее всего проявляется турбулентное смешение теплой и холодной воды или соленой и пресной воды. Это дополнительно снижает оптическое искажение, связанное с градиентами плотности. Требуемая глубина зависит от местонахождения и времени года, но в типичных случаях предпочтительна глубина 2-3 м.The length of the supporting cables and ropes also provides for the regulation of the depth of the camera assembly and lighting equipment below the water surface. Preferably, the camera and lighting equipment assembly is located at a depth where the position of the
Как показано на фиг.3, верхняя осветительная матрица 22 и нижняя осветительная матрица 24 содержат горизонтальные элементы 48, которые служат опорой одному или нескольким осветительным приборам 50 в пределах осветительной матрицы вдоль их длины. В варианте осуществления, показанном на фиг.3, каждая из верхней осветительной матрицы и нижней осветительной матрицы содержит по два осветительных прибора 50; вместе с тем, можно использовать разные количества осветительных приборов. Горизонтальные элементы 48 сочленены с верхней стрелой и нижней стрелой в поворотных шарнирах 30, 32.As shown in FIG. 3, the
Локтевые шарниры 26, 28 между вертикальным опорным элементом 14 и верхней стрелой 16 и нижней стрелой 18 и поворотные шарниры 30, 32 между верхней стрелой и нижней стрелой и горизонтальными элементами 48 совместно обеспечивают независимое регулирование:The elbow joints 26, 28 between the
- горизонтального смещения между кожухом 20 съемочного аппарата и верхней осветительной матрицей 22;- horizontal displacement between the
- горизонтального смещения между кожухом 20 съемочного аппарата и нижней осветительной матрицей 24,- horizontal displacement between the casing 20 of the shooting apparatus and the
- угловой ориентации осветительных приборов 50 в пределах верхней осветительной матрицы 22; и- the angular orientation of the
- угловой ориентации осветительных приборов 50 в пределах нижней осветительной матрицы 24.- the angular orientation of the
В общем случае, верхняя осветительная матрица и нижняя осветительная матрица расположены относительно кожуха съемочного аппарата так, что обеспечивают адекватное освещение в пределах некоторой целевой области, где будет изображена рыба для обнаружения наружного паразита рыбы, такого, как морские вши. Вертикальная в продольном направлении конструкция и конфигурация узла 10 съемочного аппарата и осветительного оборудования максимизирует вероятность того, что рыбы (которые проявляют отвращение к длинным, горизонтально ориентированным объектам) будут плавать в непосредственной близости к кожуху съемочного аппарата. Помимо этого, отдельные и независимо регулируемые верхняя осветительная матрица и нижняя осветительная матрица обеспечивают алгоритмы освещения, разработанные конкретно для решения проблем освещения, характерных для рыбы, подробнее обсуждаемых ниже.In general, the upper illumination array and the lower illumination array are positioned relative to the camera housing so as to provide adequate illumination within a certain target area where a fish will be imaged to detect an external fish parasite such as sea lice. The longitudinally vertical design and configuration of the camera and
Кожух 20 съемочного аппарата, который показан посредством вида спереди на фиг.3, содержит съемочный аппарат 52, определяющий дальность детектор 54, например - определяющий дальность блок с использованием света и обнаружением времени его распространения, и датчик 56 положения, включающий в себя, например, магнитометр и инерциальный измерительный блок (ИИБ), или другие известные системы определения положения.The
Съемочный аппарат предпочтительно представляет собой доступный для приобретения цифровой съемочный аппарат с высокочувствительным малошумящим датчиком, выполненный с возможностью захвата четких изображений быстро плывущих рыб при относительно слабом освещении. В одном предпочтительном варианте осуществления изобретения используется съемочный аппарат Raytrix C42i, обеспечивающий горизонтальное поле обзора приблизительно 60° и вертикальное поле обзора приблизительно 45°. Конечно, в качестве альтернативы можно использовать любой другой съемочный аппарат с аналогичными свойствами (включая электронное управление фокусом).The camera is preferably a commercially available digital camera with a high sensitivity low noise sensor capable of capturing clear images of fast swimming fish in relatively low light. In one preferred embodiment of the invention, a Raytrix C42i imaging camera is used, providing a horizontal field of view of approximately 60° and a vertical field of view of approximately 45°. Of course, any other camera with similar properties (including electronic focus control) can be used as an alternative.
Определяющий дальность детектор 54 используется для обнаружения дальности и пеленга рыбы, плавающей в пределах поля обзора съемочного аппарата 52. Этот детектор содержит Излучающее оптическое средство 58 и принимающее оптическое средство 60. Излучающее оптическое средство 58 создает веер света, ориентированного в вертикальном направлении, но - предпочтительно - коллимированного в горизонтальном направлении. То есть, веер расходится по дифференту - параллельно вертикальному опорному элементу, но относительно мало расходится по рысканию - перпендикулярно вертикальному опорному элементу.A ranging
Принимающее оптическое средство 60 содержит матрицу светодетекторных элементов, каждый из которых обнаруживает свет, падающий из пределов угла восприятия, раствор которого занимает, по меньшей мере, участок вертикального поля обзора съемочного аппарата. Углы смежных детекторных элементов примыкают друг к другу по дифференту, совместно образуя веер восприятия, который полностью покрывает вертикальное поле обзора. Эти ориентация и конфигурация излучающего и принимающего оптических средств оптимизированы для обнаружения и определения местонахождения туловищ рыб (которые обычно имеют высокое отношение длины к ширине), плавающих параллельно горизонтальной поверхности воды.The receiving
В предпочтительном варианте определяющий дальность детектор 54 работает на длине волны света, обеспечивающей его эффективное пропускание в пределах воды. Например, для обеспечения эффективного пропускания в пределах морской воды можно использовать синий свет или зеленый свет. В предпочтительном варианте осуществления изобретения, определяющий дальность детектор представляет собой детектор LEDDAR® (Light-Emitting-Diode Detection And Ranging detector - светодиодный обнаруживающий и определяющий дальность детектор), такой, как LeddarTech M16, излучающий и принимающий свет на длине волны 465 нм. Конечно, изобретение не ограничивается этим вариантом осуществления определяющего дальность детектора.In the preferred embodiment,
В тоже предпочтительном варианте осуществления изобретения веер освещения, генерируемый излучающим оптическим средством, расходится приблизительно на 45° по дифференту, что, в сущности, дает раствор, охватывающий вертикальное поле обзора съемочного аппарата, и расходится приблизительно на 7,5° по рысканию. Принимающее оптическое средство 60 содержит матрицу из 16 детекторных элементов, каждый - с полем обзора, раствор которого занимает приблизительно 3° по дифференту и приблизительно 7,5° по рысканию. Конечно, количество детекторных элементов может быть меньше или больше, чем 16, а предпочтительно составляет не менее 4. В предпочтительном варианте, и веер освещения, и веер восприятия горизонтально центрированы в пределах поля обзора съемочного аппарата, гарантируя возможность захвата обнаруженной рыбы съемочным аппаратом полностью.In a similarly preferred embodiment of the invention, the illumination fan generated by the emitting optics diverges about 45° trim, essentially giving an aperture spanning the vertical field of view of the camera, and diverges about 7.5° yaw. The receiving
Можно также предусмотреть системы с двумя или более определяющими дальность детекторами. Например, можно было бы расположить веер «выше по течению» (как определяется преобладающем направлением плавания рыбы) от геометрической оси, чтобы обеспечить «заблаговременное предупреждение» о попадании рыбы в кадр. Аналогичным образом, можно было бы разместить некоторый блок «ниже по течению», чтобы подтвердить выход рыбы из кадра.Systems with two or more ranging detectors may also be envisaged. For example, one could position the fan "upstream" (as determined by the predominant swimming direction of the fish) from the geometry axis to provide "early warning" of fish entering the frame. Likewise, some block "downstream" could be placed to confirm the exit of the fish from the frame.
ИИБ в датчике 56 положения содержит акселерометр и гироскоп, например - аналогичные тем, которые можно найти в доступных для приобретения смартфонах. В одном предпочтительном варианте осуществления изобретения магнитометр и ИИБ расположены вместе на единственной печатной плате внутри кожуха 20 съемочного аппарата. ИИБ и магнитометр совместно измеряют ориентацию кожуха съемочного аппарата (а значит - и изображений, получаемых съемочным аппаратом) относительно поверхности воды и морской фермы. Поскольку рыба в общем случае плывет параллельно поверхности воды и вдоль краев морской фермы, эту информацию можно использовать для того, чтобы информировать систему машинного зрения об ожидаемой ориентации рыбы в пределах получаемых изображений.The ISS in the
Верхняя осветительная матрица 22 и нижняя осветительная матрица 24 могут включать в себя одну или несколько ламп различных типов (например, накаливания, газоразрядных или светодиодных), излучающих свет на любом количестве длин волн. В предпочтительном варианте выбирают конкретные типы ламп, чтобы предоставить достаточную цветовую информацию (т.е., достаточно широкий спектр излучения), чтобы адекватно отличить наружного паразита рыбы, такого, как морские вши, от ткани рыбы. Кроме того, типы и интенсивность ламп в пределах верхней осветительной матрицы и нижней осветительной матрицы предпочтительно выбирают дающими относительно равномерную интенсивность света, отражаемого к съемочному аппарату, несмотря на типичные, создающие заметный обратно-теневой эффект туловища рыб.The
В предлагаемом здесь варианте осуществления верхняя осветительная матрица 22 содержит пару ксеноновых ламп-вспышек. Нижняя осветительная матрица 24 содержит пару светодиодных ламп, каждая из которых содержит чип со 128 кристаллами светоизлучающих диодов (СИДов) белого цвета свечения. Эта гибридная осветительная система обеспечивает больший диапазон интенсивности освещения, чем тот, которого можно достичь с помощью однотипного освещения. В частности, лампы-вспышки обеспечивают короткое, но интенсивное освещение (приблизительно 3400 лк) рыб сверху, синхронизированное с работой затвора съемочного аппарата. Это гарантирует адекватный свет, отражаемый к съемочному аппарату от, как правило, темных, обладающих высокой светопоглощающей способностью верхних поверхностей рыб. (Это требует большей интенсивности света, чем та, которую могли бы давать светодиодные лампы нижней осветительной матрицы.) Соответственно, светодиодные лампы обеспечивают адекватную интенсивность освещения для являющихся в типичных случаях светлыми нижних поверхностей рыб. (Это требует интенсивности ниже той, которую могли бы давать ксеноновые лампы-вспышки верхней осветительной матрицы.) Результирующий равномерно яркий свет, отражаемый от рыб, позволяет эксплуатировать съемочный аппарат при относительно низкой чувствительности (например, ниже ISO 3200), обеспечивая изображения с низким уровнем шума для системы машинного зрения. В заключение отметим, что и ксеноновые лампы-вспышки, и светодиодные лампы обеспечивают адекватно широкий спектр, позволяя отличить наружного паразита рыбы, такого, как морские вши, от ткани рыб.In the embodiment proposed herein, the
Как описано выше, верхняя осветительная матрица 22 и нижняя осветительная матрица 24 расположены так, что обеспечивают желаемое освещение по всей целевой области. Целевая область характеризуется вертикальным полем обзора съемочного аппарата, а также ближней и дальней границами вдоль оси съемочного аппарата. Расстояние от съемочного аппарата до ближней границы является большим из (a) ближайшего достижимого фокусного расстояния съемочного аппарата и (b) расстояния, на котором типичная рыба перегораживает весь угол горизонтального обзора съемочного аппарата. Расстояние от съемочного аппарата до дальней границы - это расстояние, на котором угловое разрешение съемочного аппарата больше не позволяет обнаруживать наименьшего наружного паразита рыбы, такого, как морские вши, которые должны быть обнаружены. Ближняя граница «a» и дальняя граница «b» иллюстрируются на фиг.4.As described above, the
Каждая из ламп в пределах верхней осветительной матрицы и нижней осветительной матрицы обеспечивает в общем случае осесимметричную картину освещения. Поскольку в пределах каждой матрицы вдоль длины горизонтальных элементов имеются несколько ламп, картину освещения можно эффективно охарактеризовать угловым раствором в плоскости дифферента. Длину вертикального опорного элемента 14, угловое положение верхней стрелы 16 и нижней стрелы 18 и угловую ориентацию верхней осветительной матрицы 22 и нижней осветительной матрицы 24 предпочтительно регулируют так, что угловой раствор верхней осветительной матрицы и нижней осветительной матрицы эффективно покрывает целевую область. Расстояние от съемочного аппарата до «зоны наилучшего восприятия» зависит от размера рыбы, подлежащей мониторингу, и может находиться, например, в диапазоне от 200 мм до 2000 мм. В случае, например, лосося, подходящее значение может составлять около 700 мм.Each of the lamps within the upper light array and the lower light array provides a generally axisymmetric lighting pattern. Since there are several lamps within each matrix along the length of the horizontal elements, the illumination pattern can be effectively characterized by the angled opening in the trim plane. The length of the
На практике, интенсивности освещения, обеспечиваемого верхней осветительной матрицей и нижней осветительной матрицей, не вполне равномерны по всему своему угловому раствору. Вместе с тем, вышеизложенный подход гарантирует, что по целевой области обеспечивается приемлемая величина освещенности. Это также приводит к нахождению «зоны наилучшего восприятия” на коротком расстоянии за пределами ближней границы, где угол освещения между верхней осветительной матрицей, нижней осветительной матрицей и съемочным аппаратом оказывается оптимальным. Это приводит к наилучшим образом освещенным изображениям, обеспечивая также наилучшее угловое разрешение, достижимое съемочным аппаратом и минимально страдающее от искажений вследствие градиентов плотности. In practice, the illumination intensities provided by the upper illumination matrix and the lower illumination matrix are not perfectly uniform throughout their entire angular opening. However, the above approach ensures that an acceptable amount of illumination is provided over the target area. This also results in a "sweet spot" a short distance outside the near boundary where the angle of illumination between the upper light array, lower light array and camera is optimal. This results in the best illuminated images, while also providing the best angular resolution achievable by the camera and minimally suffering from distortion due to density gradients.
В рамках объема притязаний изобретения можно использовать широкий ассортимент других съемочных аппаратов и большое разнообразие геометрий освещения. В частности, можно сконструировать узел съемочного аппарата и осветительного оборудования для расположения в ориентациях, отличающихся от вертикальной ориентации согласно фиг.1. Например, узел съемочного аппарата и осветительного оборудования можно ориентировать горизонтально - параллельно поверхности воды. Можно также сконструировать узел съемочных аппаратов и осветительного оборудования для поддержания одного или нескольких съемочных аппаратов в фиксированных положениях (относительно целевого района), отличающихся от тех, которые показаны фиг.1. Кроме того, некоторые варианты осуществления изобретения могут предусматривать несколько узлов съемочных аппаратов и осветительного оборудования, например, два узла съемочных аппаратов и осветительного оборудования, симметрично расположенные впереди и позади целевой области, создавая возможность одновременного захвата изображений с обеих сторон одной рыбы.A wide variety of other cameras and a wide variety of lighting geometries can be used within the scope of the invention. In particular, the camera and lighting equipment assembly can be designed to be located in orientations other than the vertical orientation of FIG. For example, the assembly of the camera and lighting equipment can be oriented horizontally - parallel to the surface of the water. It is also possible to design an assembly of cameras and lighting equipment to maintain one or more cameras in fixed positions (relative to the target area) other than those shown in Fig.1. In addition, some embodiments of the invention may include multiple camera and lighting assemblies, such as two camera and lighting assemblies symmetrically placed in front of and behind the target area, allowing images to be captured from both sides of the same fish at the same time.
Система управления съемочным аппаратом и освещениемCamera and lighting control system
Система 12 управления съемочным аппаратом и освещением управляет работой системы захвата изображений. Система управления съемочным аппаратом и освещением:The camera and
- принимает и анализирует данные из определяющего дальность детектора 54, определяя надлежащее фокусное расстояние съемочного аппарата;- receives and analyzes data from the ranging
- управляет фокусом и затвором съемочного аппарата;- controls the focus and shutter of the camera;
- управляет синхронизацией освещения верхней осветительной матрицы 22 и нижней осветительной матрицы 24 относительно затвора съемочного аппарата 52; и- controls the synchronization of illumination of the
- принимает, анализирует и сохраняет данные изображений и метаданные изображений, включая замеры, получаемые из определяющего дальность детектора, магнитометра и из ИИБ.- receives, analyzes and saves image data and image metadata, including measurements obtained from the ranging detector, magnetometer and from the IMU.
В данном варианте осуществления система 12 управления съемочным аппаратом и освещением содержит компьютер 62 и блок 64 управления питанием, которые находятся в некотором сухом месте (например, доке 42), физически близком к узлу 10 съемочного аппарата и осветительного оборудования. В альтернативных вариантах осуществления, по меньшей мере, часть функциональных возможностей системы управления съемочным аппаратом и освещением, обеспечиваемых компьютером, воплощается системой, погруженной под поверхностью воды (например, установленной на вертикальный опорный элемент 14 или встроенной внутри кожуха съемочного аппарата). В общем случае, компьютер 62 включает в себя драйверы устройств для каждого датчика в пределах узла 10 съемочного аппарата и осветительного оборудования. В частности, компьютер включает в себя драйверы устройств для съемочного аппарата 52, определяющего дальность детектора 54 и магнитометра, а также ИИБ датчика 56 положения. Драйверы устройств позволяют компьютеру получать данные измерения из связанных с ним датчиков и посылать в них данные управления. В одном предпочтительном варианте осуществления, между устройствами и процессами, проходящими на компьютере, происходит обмен данными измерения и данными управления как сообщениями в робототехнической операционной системе (РОС). Данные из датчиков (включая определяющий дальность детектор) поступают с частотой 10 Гц, а замеры из магнитометра и ИИБ поступают с частотой 100 Гц. Каждое из сообщений заносится на диск на компьютере.In this embodiment, the camera and
Компьютер 62 выдает сигналы управления в блок 64 управления питанием и - по выбору - принимает диагностические данные из блока управления питанием. Блок управления питанием подает питание по кабельному шлангу 38 на верхнюю осветительную матрицу 22 и нижнюю осветительную матрицу 24. В предпочтительном варианте осуществления блок 64 управления питанием получает питание напряжением 220 В переменного тока, которое можно подавать непосредственно в зарядное устройство батареи конденсаторов для ксеноновых ламп-вспышек в пределах верхней осветительной матрицы 22 (когда ее запускают). Блок управления питанием передает питание в подводную соединительную коробку (не показана), которая преобразует питание переменного тока в питание постоянного тока (например, 36 В или 72 В) для светодиодных ламп в пределах верхней осветительной матрицы 24.The
Процесс вычисления фокуса, проводимый компьютером 62, cобуславливает непрерывный мониторинг данных определения дальности для обнаружения присутствия и определения дальности до рыбы в пределах целевой области. Данные определения дальности состоят из одного или нескольких расстояний для каждого детекторного элемента, от которого свет отражался обратно к детекторному элементу из пределов его угла восприятия в пределах веера восприятия.The focus calculation process by
На фиг.4 показан вид сбоку угловых полей 66 обзора определяющих дальность детекторных элементов в принимающем оптическом средстве 60 в пределах определяющего дальность веера 68 восприятия. Как описано выше, апертурные углы смежных детекторов примыкают друг к другу по дифференту, совместно создавая веер восприятия. На фиг.4 показана матрица из 16 детекторов, каждый - с полем обзора, раствор которого занимает приблизительно 3° по дифференту.Figure 4 shows a side view of the
На фиг.4 показаны средние углы установки детекторов в пределах определяющего дальность веера 68 восприятия. Каждый средний угол установки иллюстрируется геометрической осью 70, делящей пополам поле 66 обзора соответствующего детектора. Средний угол установки - это угол между делящей пополам геометрической осью 70 (биссектрисой) и геометрической осью веера 68 восприятия в целом, которая в общем случае параллельна оптической оси съемочного аппарата 52.Figure 4 shows the average installation angles of the detectors within the range-determining
На фиг.4 также показан вид сбоку расстояний и средних углов установки для нескольких детекторных элементов, загороженных рыбами 72, 74 в пределах определяющего дальность веера 68 восприятия. В общем случае, процесс вычисления фокуса обеспечивает обнаружение рыб, когда несколько смежных детекторных элементов сообщают аналогичные расстояния. В предпочтительном варианте осуществления изобретения рыба обнаруживается, когда М или более смежных детекторных элементов информируют об аналогичных расстояниях di. Количество М может находиться в диапазоне от 1 до 1/2 общего количества детекторов (т.е., 8-ми в этом примере). В частности, процесс вычисления фокуса обуславливает поиск смежных множеств из М или более смежных расстояний di, для которых [max(di)—min(di)]≤W. М и W - это параметры, которые может регулировать оператор системы захвата изображений, причем W представляет максимальную допустимую толщину, приблизительно соответствующую половине толщины самой крупной рыбы, которая будет обнаружена. В зависимости от размера или возраста рыбы, параметры М и W оптимизируют для каждой системы или каждой фермы. При каждом таком обнаружении вычисление фокуса предусматривает вычисление среднего расстоянияFigure 4 also shows a side view of the distances and average installation angles for several detector elements obstructed by
и среднего пеленга and middle bearing
где βi - средние углы установки каждого из смежных детекторных элементов. Затем процесс вычисления фокуса возвращает фокусное расстояние Df = D × cos β, которое представляет собой расстояние от съемочного аппарата до рекомендуемой фокальной плоскости вдоль оптической оси съемочного аппарата.where β i - the average installation angles of each of the adjacent detector elements. The focus calculation process then returns the focal length D f = D × cos β, which is the distance from the camera to the recommended focal plane along the optical axis of the camera.
Благодаря рассеянным частицам в воде или объекту (например, рыбе), который противолежит лишь части угла восприятия детектора, один детектор может сообщать о нескольких расстояниях. В варианте практического осуществления, в тех случаях, где один детектор сообщает о нескольких расстояниях, при вычислении фокуса используется наибольшее расстояние. Это минимизирует количество ложных обнаружений, обуславливаемых частицами в пределах воды. В случае, если несколько расстояний действительно связаны с двумя рыбами, одна из которых заслоняет лишь часть угла восприятия детектора, вероятно, что соседние детекторы будут по-прежнему успешно обнаруживать частично заслоняющую рыбу.Due to scattered particles in water or an object (such as a fish) that opposes only part of the detection angle of the detector, a single detector can report several distances. In an embodiment, in cases where one detector reports multiple distances, the largest distance is used in the focus calculation. This minimizes the number of false positives caused by particles within the water. In the event that multiple distances are indeed associated with two fish, one of which only obscures part of the detector's perception angle, it is likely that adjacent detectors will still successfully detect the partially obscuring fish.
Информацию о присутствии рыб и дальности до них, определяемую посредством процесса вычисления фокуса, можно использовать для управления получением изображений съемочным аппаратом. Например, захват изображений возможен лишь тогда, когда рыба обнаруживается в пределах некоторого предварительно определенного расстояния до «зоны наилучшего восприятия», обеспечивающей оптимальное освещение. Например, если «зона наилучшего восприятия» отстоит на 700 мм, захват изображений возможен лишь тогда, когда рыба обнаруживается в пределах некоторого диапазона расстояния от 600 до 800 мм. Всякий раз, когда происходит захват изображений, система управления съемочным аппаратом и освещением задает фокусное расстояние съемочного аппарата равным самому последнему значению дальности, определенному посредством процесса вычисления фокуса.The fish presence and range information determined through the focus calculation process can be used to control the acquisition of images by the camera. For example, image capturing is only possible when a fish is detected within some predetermined distance to a "sweet spot" that provides optimal illumination. For example, if the "sweet spot" is 700 mm away, images can only be captured when fish are detected within a certain distance range of 600 to 800 mm. Whenever images are captured, the camera and lighting control system sets the focal length of the camera to the most recent range value determined through the focus calculation process.
В одном предпочтительном варианте осуществления изобретения система управления съемочным аппаратом и освещением непрерывно запускает съемочный аппарат, чтобы получать изображения периодически, например, с частотой 4 Гц или, в более общем случае, частотой между 2 и 10 Гц. Процесс вычисления фокуса предусматривает непрерывное и периодическое (например, с частотой 10 Гц или, в более общем случае, с частотой от 4 до 20 Гц) сообщение о текущем фокусном расстоянии на основе самых последних обнаружений дальностей рыб, а система управления съемочным аппаратом и освещением задает фокусное расстояние съемочного аппарата равным самому последнему известному фокусному расстоянию.In one preferred embodiment of the invention, the camera and lighting control system continuously fires the camera to acquire images periodically, for example at a frequency of 4 Hz, or more generally between 2 and 10 Hz. The focus calculation process provides for continuous and periodic (e.g. at 10 Hz or more generally at 4 to 20 Hz) reporting of the current focal length based on the most recent fish range detections, and the camera and lighting control system sets camera focal length equal to the latest known focal length.
Когда затвор съемочного аппарата открывается, съемочный аппарат посылает в систему 12 управления съемочным аппаратом и освещением сигнал синхронизации, который пропускается в блок 64 управления питанием. Блок управления питанием обеспечивает свечение верхней осветительной матрицы 22 и нижней осветительной матрицы 24 синхронизировано со срабатыванием затвора, гарантируя надлежащее освещение захваченного изображения. В тех вариантах осуществления изобретения, где лампы (такие, как ксеноновые лампы-вспышки согласно предпочтительному варианту осуществления изобретения) в пределах верхней осветительной матрицы или нижней осветительной матрицы не способны поддерживать продолжительность включения, одинаковую с съемочным аппаратом, блок управления питанием также может предусматривать процесс стабилизации освещения, включающий в себя непрерывную оценку того, должен ли блок управления питанием обеспечивать свечение верхней осветительной матрицы и нижней осветительной матрицы. В одном предпочтительном варианте осуществления изобретения, освещение стабилизируют если либо (a) архив данных по работе ксеноновых ламп-вспышек в пределах верхней осветительной матрицы свидетельствует, что они приближаются к своему верхнему тепловому пределу, либо (b) процесс вычисления фокуса не привел к недавнему обнаружению рыбы и сообщению обновленной дальности.When the camera shutter is opened, the camera sends a synchronization signal to the camera and
В одном предпочтительном варианте осуществления изобретения, менее интенсивные светодиодные лампы в пределах нижней осветительной матрицы освещаются в продолжение экспозиции съемочного аппарата. Длительность экспозиции задают на уровне минимальной длительности, требуемой для того, чтобы светодиодные лампы могли обеспечить эквивалентное освещение. Длительность вспышки ксеноновых ламп-вспышек в верхней осветительной матрице регулируют так, чтобы обеспечить сбалансированное освещение с учетом защитной окраски типичной рыбы.In one preferred embodiment of the invention, the less intense LED lamps within the lower illumination array are illuminated during exposure of the camera. The exposure time is set to the minimum duration required for the LED lamps to provide equivalent illumination. The flash duration of the xenon flash lamps in the upper light array is adjusted to provide a balanced illumination based on the camouflage of a typical fish.
Интенсивность освещения, обеспечиваемого светодиодными лампами в пределах нижней осветительной матрицы, предпочтительно является достаточно большой, чтобы обеспечить достаточно короткую экспозицию для того, чтобы дать приемлемо низкую размытость движения в пределах захваченных изображений плавающих рыб. В предпочтительном варианте осуществления изобретения датчик внутри съемочного аппарата (в частности, его количество пикселей), оптику съемочного аппарата (в частности, угловой раствор поля обзора) и расстояние до целевой области выбирают, гарантируя, что (a) в пределах поля обзора съемочного аппарата возможен захват рыбы целиком, да еще и (b) что возможно адекватное разрешение по молоди наружного паразита рыбы, такого, как морские вши. При обеспечении 10 пикселей на каждые 2 мм (что сравнимо с размером молоди морских вшей) на целевом расстоянии, на котором раствор 60° горизонтального поля обзора съемочного аппарата охватывает ширину типичной половозрелой рыбы, требуется угловой шаг пикселей, составляющий 7,6×10−3° на пиксель. Для рыб, плавающих с типичной скоростью 0,2 м/сек, размытость движения на уровне субпикеселей гарантируется временами срабатывания затвора менее чем 0,6×10−3 с. Для предоставления адекватных изображений с низким уровнем шума в систему машинного зрения, предпочтителен коэффициент усиления датчика менее чем ISO 3200. Это, в свою очередь, требует освещенности приблизительно 3000 люкс по всей целевой области.The intensity of illumination provided by the LED lamps within the lower illumination array is preferably high enough to provide a sufficiently short exposure to give acceptably low motion blur within captured images of swimming fish. In a preferred embodiment of the invention, the sensor inside the camera (in particular, its number of pixels), the optics of the camera (in particular, the angular opening of the field of view) and the distance to the target area are chosen, ensuring that (a) within the field of view of the camera, capturing whole fish, and (b) that an adequate resolution of the juveniles of an external fish parasite such as sea lice is possible. Providing 10 pixels for every 2 mm (comparable to the size of juvenile sea lice) at the target distance at which the 60° horizontal field of view of the camera spans the width of a typical mature fish requires a pixel pitch of 7.6×10 −3 ° per pixel. For fish swimming at a typical speed of 0.2 m/s, motion blur at the sub-pixel level is guaranteed by shutter times of less than 0.6×10 −3 s. To provide adequate low noise images to a machine vision system, a sensor gain of less than ISO 3200 is preferred. This in turn requires an illumination of approximately 3000 lux over the entire target area.
На фиг.5 иллюстрируются результаты, которые были бы получены с помощью определяющего дальность детектора 54 в ситуации, изображенной на фиг.4. То, что показано, это результаты обнаружения из детекторных элементов с полями обзора, имеющими геометрические оси в диапазоне от +6° до —15°. Каждая черная точка на фиг.5 представляет событие обнаружения, где отраженный свет принят надлежащим детекторным элементом. Положение точки в направлении оси d представляет расстояние до обнаруженного объекта, рассчитанное исходя из времени прохождения светового сигнала от излучающего оптического средства 58 до объекта и обратно к принимающему оптическому средству 60. FIG. 5 illustrates the results that would be obtained with a ranging
Как описано ранее, рыбы 72 и 74 представлены обнаружениями на приблизительно одинаковых расстояниях d1 и d2, соответственно, для некоторого количества смежных детекторов. Для каждого индивидуального детектора, расстояние до рыбы является наибольшим среди расстояний, измеренных тем детектором. Точки на меньших расстояниях представляют шум, обуславливаемый мелкими частицами в веере восприятия.As previously described,
В ситуации, проиллюстрированной на фиг.4 и 5, рыба 74 частично заслонена рыбой 72, так что изображение всего силуэта рыбы можно получить только для рыбы 72, находящейся на меньшем расстоянии d1. Следовательно, фокус съемочного аппарата будет отрегулирован до получения того расстояния d1.In the situation illustrated in FIGS. 4 and 5, the
На фиг.6 представлена временная диаграмма, демонстрирующая обнаружения на расстоянии d1 как функцию времени t. Можно увидеть, что полученные обнаружения рыбы 72 для углов β в диапазоне от —3° до —15° стабильны в течение длительного периода времени, соответствующего времени, которое у рыбы уходит на то, чтобы проплыть через веер 68 восприятия. Следовательно, можно было бы также отфильтровать шум, накладывая требование, что обнаружение должно быть стабильным на некотором определенном минимальном интервале времени или, что эквивалентно, путем интегрирования сигнала, принимаемого от каждого детекторного элемента в течение некоторого определенного времени, а затем - регулирования порога результата интегрирования.6 is a timing chart showing detections at a distance d1 as a function of time t. It can be seen that the obtained detections of
В принципе, архив обнаружений того типа, которые проиллюстрированы на фиг.6, также можно было бы использовать для оптимизации интервала времени, в котором съемочный аппарат 52 получает последовательность снимков, чтобы убедиться, что, с одной стороны, количество снимков не становится необоснованно большим и, с другой стороны, что последовательность снимков включает в себя, по меньшей мере, один снимок, на котором вся рыба находится в пределах поля обзора съемочного аппарата. Например, как показано на фиг.6, в момент времени t1, когда некоторое определенное количество смежных детекторных элементов (три) обнаружат объект, который мог бы быть рыбой, можно запустить некоторый таймер. Потом - с некоторой определенной задержкой - в момент времени t2 можно запустить съемочный аппарат, чтобы начать съемку последовательности снимков, а остановлена эта последовательность будет - самое позднее - в момент времени t3, когда детекторные элементы указывают, что конец хвоста рыбы покидает веер восприятия.In principle, a detection archive of the type illustrated in FIG. 6 could also be used to optimize the time interval in which the
На фиг.7 показано поле 76 обзора съемочного аппарата в момент времени t1, показанный на фиг.6, когда нос рыбы 72 только что пересек веер 68 восприятия.FIG. 7 shows the field of
На фиг.8 показано изображение, захваченное съемочным аппаратом 52 в момент времени, наступивший несколько позже момента времени t2, показанного на фиг.6, когда весь силуэт рыбы 72 оказывается в пределах поля 76 обзора. В этот момент, из результатов обнаружения детекторными элементами при β в диапазоне от —3° до —15° согласно фиг.6, можно сделать вывод, что геометрическая ось рыбы будет проходить под углом β = —9°, как показано на фиг.8. Эта информация может быть передана в систему обработки изображений и может способствовать распознаванию контура рыбы на захваченном изображении.FIG. 8 shows an image captured by the
Возвращаясь к фиг.1, отмечаем, что компьютер 62 системы 12 управления съемочным аппаратом и освещением соединен с системой 78 обработки изображений, которая имеет доступ к базе 80 данных через систему 82 управления данными.Returning to FIG. 1, the
Система управления данным Data management system
Автоматизированная система для обнаружения и подсчета наружного паразита рыбы, такого, как морские вши, также включает в себя систему 82 управления данными, которая включает в себя интерфейсы, поддерживающие получение, хранение, поиск, выборку и распределение данных изображений, метаданных изображений, аннотаций изображений и данных обнаружений, создаваемых при эксплуатации системы 78 обработки изображений.An automated system for detecting and enumerating an external fish parasite such as sea lice also includes a
Хранилище данных Data store
Система 82 управления данными принимает изображения из системы захвата изображений, например, в форме «пакетов» РОС. Система управления данными распаковывает каждый пакет, например, в изображение формата JPEG или PNG и метаданные объектной нотации на мультипарадигмальном языке программирования JavaScript (JSON). Каждое из изображений формата JPEG хранится в хранилище данных.The
База данных Database
Метаданные JSON, не распакованные из каждого пакета РОС, хранятся в базе 80 данных, связанной с хранилищем данных. В общем случае, метаданные описывают параметры захвата изображения, относящиеся к связанному с ними изображению формата JPEG или PNG. Например, метаданные включают в себя указание ячейки пикселя центроида в пределах силуэта рыбы (например, пикселя, центрированного горизонтально в пределах изображения, на продольной геометрической оси), обнаруживаемого блоком LEDDAR (обнаружения и определения дальности посредством светоизлучающих диодов). Эту ячейку пикселя может - по выбору - использовать система обработки изображений (подробнее описываемая ниже), чтобы облегчить обнаружение рыб в пределах изображения.The JSON metadata not decompressed from each POC package is stored in a
База 80 данных также хранит данные аннотаций, созданные в течение процесса аннотирования (подробнее описываемого ниже) для обучения системы 78 обработки изображений. Кроме того, база данных хранит информацию, характеризующую местонахождение, размер и тип рыбы и наружного паразита рыбы, такого, как морские вши, обнаруживаемого системой машинного зрения. В заключение отметим, что, база данных хранит учетные данные для аутентификации, дающие пользователям возможность входить в различные интерфейсы (например, интерфейс аннотаций или интерфейс конечного пользователя) через модуль аутентификации.The
Система обработки изображений Imaging system
В определенном варианте осуществления изобретение предусматривает применение системы 78 обработки изображений для выполнения задачи обнаружения наружного паразита рыбы, такого, как морские вши. В предпочтительном варианте осуществления изобретения, для обеспечения детектора 84 рыб и детектора 86 наружных паразитов рыб, обучают отдельные нейронные сети. Сначала детектор 84 рыб обнаруживает индивидуальных рыб в пределах изображений, получаемых системой захвата изображений. Затем детектор 86 наружных паразитов рыб обнаруживает таких индивидуальных наружных паразитов рыб, как морские вши (если они есть) на поверхности каждой обнаруженной рыбы. В предпочтительном варианте детектор наружных паразитов рыб также классифицирует пол и жизненную стадию каждой обнаруженной вши.In a specific embodiment, the invention provides for the use of an
Детекторы обучают посредством некоторой процедуры машинного обучения, которая обеспечивает усвоение корпуса аннотированных человеком изображений. Применение нейронной сети устраняет необходимость определения в явном виде характеристик (например, протяженности, формы, яркости, цвета или текстуры) рыб или наружного паразита рыбы, такого, как морские вши, а вместо этого делает выводы непосредственно на основе знания, которым обладают аннотаторы-люди, закодированного в пределах корпуса аннотированных изображений.The detectors are trained through some kind of machine learning procedure which ensures that a corpus of human annotated images is learned. The use of a neural network eliminates the need to explicitly define characteristics (e.g., length, shape, brightness, color, or texture) of a fish or an external fish parasite such as sea lice, and instead draw inferences directly from the knowledge possessed by human annotators encoded within the corpus of annotated images.
На фиг.9 показаны положение и силуэт рыбы 72 в поле 76 обзора, обнаруживаемые детектором 84 рыб. Другая рыба 74, показанная на фиг.4, 7 и 8 исключена из рассмотрения в этом варианте осуществления, поскольку ее частично заслоняет рыба 72. Однако в модифицированном варианте осуществления было бы возможно обнаруживать также рыбу 74 и отыскивать наружного паразита рыбы, такого, как морские вши, на коже рыбы 74, постольку, поскольку она видна.Figure 9 shows the position and silhouette of the
В одном варианте осуществления изобретения глубина фокуса съемочного аппарата 52 выбрана такой, что четкое изображение получается для всего силуэта рыбы 72. В модифицированном варианте осуществления, как показано на фиг.9, силуэт рыбы, распознаваемый детектором рыб, разделен на подзоны 88, которые отличаются по их расстоянию от съемочного аппарата 52. Расстояния в разных подзонах 88 рассчитывают на основе результата определения дальности, полученного из определяющего дальность детектора 54. Значения расстояний, полученных посредством различных детекторных элементов определяющего дальность детектора, отражают уже эффект углового рассогласования между геометрической осью 70 поля обзора и оптической осью съемочного аппарата в направлении дифферента. Кроме того, для каждой точки в пределах силуэта рыбы 72, вывод об эффекте углового рассогласования в горизонтальном направлении можно сделать исходя из положения пикселя на рыбе в поле 76 обзора. По выбору, можно внести в расстояние поправку на рельеф туловища рыбы в горизонтальном направлении, причем этот рельеф, по меньшей мере, приближенно известен для рассматриваемых видов рыб.In one embodiment of the invention, the depth of focus of the
Затем, когда снимают серию изображений рыбы 72 (например, с частотой 4 Гц, как описано выше), фокус можно изменять от изображения к изображению таким образом, что произойдет соответственная адаптация фокуса к одной из подзон 88, показанных на фиг.9. Это позволяет получать с высоким разрешением изображения всех подзон 88 рыбы с уменьшенной глубиной фокуса и - соответственно - с уставкой диафрагмы съемочного аппарата, которая потребует меньшей интенсивности света при освещении.Then, when a series of
На фиг.10 показано нормализованное изображение рыбы 72, которое впоследствии предоставляется в детектор 86 наружных паразитов рыб. По выбору, это изображение может быть составлено из нескольких изображений подзон 88, захваченных с отличающимся фокусом съемочного аппарата. Далее, изображение, показанное на фиг.10 можно нормализовать по размеру, приводя его к некоторому стандартному размеру, что облегчает сравнение захваченного изображения рыбы с аннотированными изображениями.FIG. 10 shows a normalized image of a
Будет заметно, что изображение рыбы 72, распознанное и показанное на фиг.9, может подвергаться искажению (горизонтальному сжатию), если рыба ориентирована не под прямым углом к оптической оси съемочного аппарата. Процесс нормализации, приводящий к силуэту рыбы, показанному на фиг.10, может компенсировать это искажение.It will be seen that the
Кроме того, на фиг.10 иллюстрируется предусматриваемый по выбору вариант осуществления, в котором силуэт рыбы разделен на разные области 90, 92 и 94—100. Области 90 и 92 позволяют системе обработки изображений устанавливать различия верхней стороны и нижней стороны, для чего, с одной стороны, с высоким разрешением будет цвет кожи рыбы, а с другой стороны, интенсивности и спектры освещения, обеспечиваемого верхней и нижней осветительными матрицами 22 и 24 будут отличающимися друг от друга. Знание области 90 или 92, где пиксель находится на рыбе, упрощает детектору 86 наружных паразитов рыб поиск характерных особенностей на контрасте между наружным паразитом рыбы, таким, как морские вши, и тканью рыбы.In addition, FIG. 10 illustrates an optional embodiment in which the silhouette of a fish is divided into
Дополнительные области 94-100, показанные в этом примере, обозначают избранные анатомические особенности рыбы, которые коррелируют с характерными плотностями популяции наружного паразита рыбы, такого, как морские вши разных видов, на рыбе. Те же самые анатомические области 94-100 также будут идентифицированы на аннотированных изображениях, используемых для машинного обучения. Это позволяет обучать или конфигурировать детектор наружных паразитов рыб таким образом, что уровни доверительной вероятности для обнаружения наружного паразита рыбы, такого, как морские вши, адаптируются к области, обследуемой в данный момент.Additional areas 94-100 shown in this example indicate selected anatomical features of the fish that correlate with characteristic population densities of an external fish parasite, such as sea lice of various species, on the fish. The same anatomical regions 94-100 will also be identified in the annotated images used for machine learning. This allows the external fish parasite detector to be trained or configured such that the confidence levels for detecting an external fish parasite, such as sea lice, are adapted to the area currently being examined.
Более того, когда детектор 86 наружных паразитов рыб эксплуатируют в режиме логических выводов, появляется возможность обеспечить отдельные статистики для разных областей 94—100 на рыбе, что может дать информацию, полезную для идентификации вида, пола и/или жизненной стадии наружного паразита рыбы, такого, как морские вши, и/или степени заражения.Moreover, when the external
Аннотирование, обучение, валидация и тестированиеAnnotation, training, validation and testing
На фиг.11 показана блок-схема последовательности операций, детализирующая аннотирование изображений и обучение, валидацию и тестирование детекторов 84, 86 в пределах системы 78 обработки изображений. Процесс аннотирования и обучения начинается с получения изображений. Интерфейс 102 аннотаций дает людям возможность создавать множество аннотаций, которое, когда оно связано с соответствующими изображениями, дает корпус аннотированных изображений.FIG. 11 shows a flowchart detailing image annotation and training, validation, and testing of
В предпочтительном варианте осуществления изобретения интерфейс аннотирования обменивается информацией с медиасервером, который подключен к хранилищу данных в базе 80 данных. Интерфейс аннотирования может быть на основе языка описания гипертекстовых документов (HTML), позволяя людям-аннотаторам загружать, просматривать и аннотировать изображения в пределах некоторого веб-браузера. Для каждого изображения аннотатор создает некоторый полигон, в котором заключена каждая явно видимая рыба, и ограничивающий прямоугольник, охватывающий любого наружного паразита рыбы, такого, как морские вши, присутствующего на поверхности рыбы. В предпочтительном варианте интерфейс аннотирования также позволяет аннотатору создавать ограничивающие прямоугольники, охватывающие глаза рыбы (которые могут оказаться визуально аналогичными наружному паразиту рыбы, такому, как морские вши). В предпочтительном варианте аннотатор также указывает вид, пол и жизненную стадию каждой вши.In the preferred embodiment of the invention, the annotation interface communicates with a media server that is connected to a data store in the
Аннотации, созданные с помощью интерфейса 102 аннотаций, хранятся в базе 80 данных. При введении в базу данных и выборке из нее, аннотации для одиночного изображения сериализуются как объект JSON с указателем на связанное с ним изображение. Это упрощает усвоение аннотированного корпуса процедурой машинного обучения.Annotations created using the
В предпочтительном варианте осуществления изобретения процедура машинного обучения предусматривает обучение нейронных сетей на корпусе аннотированных изображений. Как показано на фиг.11, аннотированные изображения можно разделить на три множества изображений. Первые два множества изображений используют для обучения и валидации нейронной сети. Конкретнее, первое множество изображений (например, приблизительно 80 % аннотированных изображений) используют для итеративного регулирования весов в пределах нейронной сети. Периодически (т.е., после некоторого определенного количества дополнительных итераций) используют второе множество изображений (приблизительно 10 % аннотированных изображений) для валидации детектора эволюции, защищающего от избыточного обучения (переобучения). Результатом процесса обучения и одновременной валидации является обученный детектор 84, 86. Третье множество изображений (например, приблизительно 10 % аннотированных изображений) используют для тестирования обученного детектора. Процедура тестирования характеризует производительность обученного детектора, в результате чего получается множество метрик 104 производительности.In a preferred embodiment of the invention, the machine learning procedure involves training neural networks on a corpus of annotated images. As shown in Fig. 11, the annotated images can be divided into three sets of images. The first two sets of images are used to train and validate the neural network. More specifically, the first set of images (eg, approximately 80% of the annotated images) is used to iteratively adjust the weights within the neural network. Periodically (ie, after a certain number of additional iterations), a second set of images (approximately 10% of the annotated images) is used to validate the evolution detector that protects against overfitting (overfitting). The result of the learning and concurrent validation process is a trained
Как показано на фиг.11, весь процесс обучения, валидации и тестирования можно итерировать несколько раз как часть более широкого процесса проектирования нейронной сети до тех пор, пока не достигаются приемлемые метрики производительности. Как отмечалось выше, в предпочтительном варианте осуществления изобретения процесс согласно фиг.11 проводят, по меньшей мере, один раз, чтобы создать детектор 84 рыб, и, по меньшей мере, один раз, чтобы создать детектор 86 наружных паразитов рыб.As shown in FIG. 11, the entire training, validation, and testing process can be iterated multiple times as part of the larger neural network design process until acceptable performance metrics are achieved. As noted above, in the preferred embodiment of the invention, the process of FIG. 11 is performed at least once to create a
В альтернативных вариантах осуществления изобретения, чтобы повысить качество процесса обучения, валидации и тестирования, процедура машинного обучения включает в себя процесс аугментации данных для увеличения размера аннотированного корпуса. Например, применение таких методов аугментации, как накопление шума и перспективное преобразование аннотированного людьми корпуса, может увеличивать размер обучающего корпуса в 64 раза.In alternative embodiments of the invention, in order to improve the quality of the training, validation and testing process, the machine learning procedure includes a data augmentation process to increase the size of the annotated corpus. For example, the use of augmentation techniques such as noise accumulation and perspective transformation of a human-annotated corpus can increase the size of the training corpus by a factor of 64.
РаботаWork
Сразу же после завершения процесса обучения, валидации и тестирования согласно фиг.11, детекторы можно запускать в режиме логических выводов для обнаружения рыб и наружного паразита рыбы, такого, как морские вши, во вновь получаемых (неаннотированных) изображениях.Once the training, validation and testing process of FIG. 11 is complete, the detectors can be run in inference mode to detect fish and external fish parasite such as sea lice in newly acquired (non-annotated) images.
Конкретно, каждое изображение, подлежащее обработке, сначала пропускают в детектор 84 рыб. Если детектор рыб локализует один или несколько участков в пределах изображения, которое он считает рыбой, это изображение пропускают в детектор 86 рыб с точным воспроизведением силуэтов рыб (и - по выбору - областей 90—100).Specifically, each image to be processed is first passed into the
На фиг.12 показана блок-схема последовательности операций, детализирующая работу детектора 86 наружных паразитов рыб в режиме логических выводов в системе 78 обработки изображений. Система обработки изображений сначала рассчитывает метрики качества изображения для каждого из получаемых изображений. Метрики качества оценивают пригодность изображений для использования при обнаружении различных жизненных стадий наружного паразита рыбы, такого, как морские вши, на рыбе. В предпочтительном варианте осуществления изобретения метрики качества изображения включают в себя:FIG. 12 is a flowchart detailing the operation of the external
- долю переэкспонированных пикселей; это доля пикселей в пределах изображения со значениями яркости выше максимального допустимого значения (составляющую, например, 250 для пикселей с глубиной цвета 8 бит);- proportion of overexposed pixels; it is the proportion of pixels within the image with brightness values above the maximum allowable value (component, for example, 250 for pixels with a color depth of 8 bits);
- долю недоэкспонированных пикселей; это доля пикселей в пределах изображения со значениями яркости ниже минимального допустимого значения (составляющую, например, 10 для пикселей с глубиной цвета 8 бит);- proportion of underexposed pixels; is the proportion of pixels within the image with brightness values below the minimum acceptable value (component, for example, 10 for pixels with a color depth of 8 bits);
- балльную оценку фокуса; это мера качества фокуса в пределах изображения, рассчитанная по дисперсии значений пикселей или дисперсии накладываемого на значения пикселей выходного сигнала фильтра Лапласа.- scoring focus; is a measure of the quality of focus within an image, calculated from the variance of the pixel values, or the variance of the Laplace filter output superimposed on the pixel values.
Полученное изображение, соответствующее метрикам качества изображения и обученному детектору, получаемое в результате процедуры обучения, валидации и тестирования, пропускают на операцию обнаружения, которая приводит к обнаружению одного или нескольких классов наружного паразита рыбы, такого, как морские вши (т.е., наружного паразита рыбы, такого, как морские вши, на некоторой конкретной жизненной стадии) в пределах некоторой области, например - 90, изображения, идентифицированного детектором рыб. Затем обнаружения фильтруют на основе метрик качества изображения; если метрики качества изображения указывают, что качество изображения оказалось недостаточным для обеспечения надежного обнаружения некоторого конкретного класса наружного паразита рыбы, такого, как морские вши, обнаружения этого класса исключаются. При исключении некоторого обнаружения, изображение полностью исключается из вычислений показателя обнаружения для того класса. (То есть, обнаружение исключается из числителя показателя обнаружения, а изображение исключается из знаменателя показателя обнаружения). Отфильтрованные обнаружения можно хранить в базе 106 данных обнаружений.The resulting image, corresponding to the image quality metrics and the trained detector, resulting from the training, validation and testing procedure, is passed to the detection operation, which results in the detection of one or more classes of external fish parasite, such as sea lice (i.e., external fish parasite, such as sea lice, at some particular life stage) within a certain area, eg -90, of the image identified by the fish detector. The detections are then filtered based on image quality metrics; if the image quality metrics indicate that the image quality was insufficient to provide reliable detection for a particular class of external fish parasite, such as sea lice, detections for that class are excluded. If you exclude some detection, the image is completely excluded from the calculation of the detection score for that class. (That is, the detection is excluded from the numerator of the detection score, and the image is excluded from the denominator of the detection score). The filtered detections may be stored in the
Затем система 78 обработки изображений объединяет обнаружения в базе данных обнаружений с метриками 104 производительности, являющимися результатом процедуры обучения, валидации и тестирования, чтобы смоделировать статистику популяции наружного паразита рыбы, такого, как морские вши. На основании известных метрик производительности, система машинного зрения проводит экстраполяцию с показателей обнаружения в пределах полученных изображений на реальную распространенность наружного паразита рыбы, такого, как морские вши, в пределах популяции рыбы.The
Как отмечалось выше, система 78 обработки изображений может - по выбору - предусматривать использование информации о местонахождении рыбы, определяемой определяющим дальность детектором, чтобы информировать об обнаружении им рыбы. Конкретно, детектор рыб может понижать порог доверительной вероятности, требуемый для обнаружения рыбы в окрестности продольной геометрической оси, сообщаемой для каждого изображения.As noted above, the
В вариантах осуществления изобретения, предусматривающих несколько съемочных аппаратов с отличающимися ориентациями, система обработки изображений также может использовать информацию об ориентации, сообщаемую датчиком 56 положения внутри кожуха 20 съемочного аппарата при захвате изображений. Например, поскольку рыбы в типичных случаях плавают параллельно поверхности воды, информацию об ориентации можно использовать для смещения обнаружения рыб к участкам с высоким отношением длины к ширине и большей осью, ориентированной перпендикулярно вектору гравитации. Определение ориентации рыб относительно съемочного аппарата также позволяет создать систему обработки изображений с детектором рыб, включающим в себя несколько нейронных сетей, каждая из которых обучена для конкретной ориентации рыб (например, для относительно темной верхней поверхности или относительно светлой нижней поверхности). Ориентация рыб также может информировать о работе детектора наружных паразитов рыб применительно к такому наружному паразиту рыбы, как морские вши, которые с большей вероятностью пристраиваются к конкретным местам на рыбах.In embodiments involving multiple cameras with different orientations, the image processing system may also use the orientation information provided by the
Интерфейс конечного пользователяEnd user interface
В заключение отметим, что, система в соответствии с изобретением может включать в себя интерфейс 108 конечного пользователя (фиг.1). Интерфейс конечного пользователя обеспечивает доступ к результатам операций обнаружения в системе машинного зрения. Например, некоторый медиасервер, подключаемый к базе 80 данных и хранилищу данных, может предоставлять изображения с генерируемыми машиной аннотациями, указывающими области в изображении, где были обнаружены рыбы и наружный паразит рыбы, такой, как морские вши. Интерфейс конечного пользователя также может выдавать сводную статистику (например, подсчеты рыб, подсчеты наружного паразита рыбы, такого, как морские вши, темпы заражения) для интересующей популяции рыбы (например, в пределах некоторой индивидуальной морской ферме или по всей ферме).Finally, the system according to the invention may include an end user interface 108 (FIG. 1). The end user interface provides access to the results of detection operations in the machine vision system. For example, some media server connected to the
В предпочтительном варианте осуществления изобретения интерфейс конечного пользователя также включает в себя инструменты, которые упрощают соблюдение требований регламентирующих органов. Например, результаты операций обнаружения из системы обработки изображений можно автоматически суммировать и передавать регламентирующим органам согласно требуемым формам. Интерфейс конечного пользователя также может предусматривать инструменты прогностической аналитики, предсказание темпов заражения для популяции рыбы, предсказание итогового экономического эффекта и оценку возможных порядков действия (например, химических очисток). Интерфейс конечного пользователя также может интегрироваться с более широким набором инструментов аквакультуры (например, инструментов мониторинга биомассы, уровней кислорода и уровней солености).In the preferred embodiment of the invention, the end user interface also includes tools that facilitate regulatory compliance. For example, the results of detection operations from the image processing system can be automatically summarized and submitted to regulatory authorities according to the required forms. The end user interface may also provide predictive analytics tools, prediction of infection rates for a fish population, prediction of net economic impact, and evaluation of possible courses of action (eg, chemical cleanups). The end user interface can also be integrated with a wider range of aquaculture tools (eg biomass monitoring tools, oxygen levels and salinity levels).
По выбору, интерфейс конечного пользователя включает в себя вышеописанный интерфейс 102 аннотаций, дающий продвинутым конечным пользователям возможность повышать или расширять рабочие характеристики системы машинного зрения. Также - по выбору - интерфейс конечного пользователя может включать в себя интерфейс, позволяющий регулировать параметры, управляющие поведением системы управления съемочным аппаратом и освещением.Optionally, the end user interface includes the
Claims (38)
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762608418P | 2017-12-20 | 2017-12-20 | |
US62/608,418 | 2017-12-20 | ||
EP18154093.1 | 2018-01-30 | ||
EP18154093 | 2018-01-30 | ||
PCT/EP2018/085800 WO2019121887A1 (en) | 2017-12-20 | 2018-12-19 | System for external fish parasite monitoring in aquaculture |
Publications (3)
Publication Number | Publication Date |
---|---|
RU2020123608A RU2020123608A (en) | 2022-01-20 |
RU2020123608A3 RU2020123608A3 (en) | 2022-02-02 |
RU2777572C2 true RU2777572C2 (en) | 2022-08-08 |
Family
ID=
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2178362A1 (en) * | 2007-07-09 | 2010-04-28 | Feed Control Norway AS | Means and method for average weight determination and appetite feeding |
WO2011115496A1 (en) * | 2010-02-05 | 2011-09-22 | Esben Beck | Method and device for destroying parasites on fish |
WO2013053597A1 (en) * | 2011-10-12 | 2013-04-18 | Salvision As | Method and system for detecting a louse on fish |
WO2017204660A1 (en) * | 2016-05-24 | 2017-11-30 | Itecsolutions Systems & Services As | Arrangement and method for measuring the biological mass of fish, and use of the arrangement |
RU2700086C2 (en) * | 2015-05-28 | 2019-09-12 | СФАй СИСТЕМ АйВС | Device and method for reducing number of external parasites on fish |
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2178362A1 (en) * | 2007-07-09 | 2010-04-28 | Feed Control Norway AS | Means and method for average weight determination and appetite feeding |
WO2011115496A1 (en) * | 2010-02-05 | 2011-09-22 | Esben Beck | Method and device for destroying parasites on fish |
WO2013053597A1 (en) * | 2011-10-12 | 2013-04-18 | Salvision As | Method and system for detecting a louse on fish |
RU2700086C2 (en) * | 2015-05-28 | 2019-09-12 | СФАй СИСТЕМ АйВС | Device and method for reducing number of external parasites on fish |
WO2017204660A1 (en) * | 2016-05-24 | 2017-11-30 | Itecsolutions Systems & Services As | Arrangement and method for measuring the biological mass of fish, and use of the arrangement |
Non-Patent Citations (1)
Title |
---|
NAVAL PROSPERO C, DAVID LAURA T "FishDrop: Estimation of reef fish population density and biomass using stereo cameras", 2016 Techno-Ocean (Techno-Ocean), 06.10.2016, стр. 527-531. * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DK181352B1 (en) | System for external fish parasite monitoring in aquaculture | |
CN111526716B (en) | Method and system for fish ectoparasite monitoring in aquaculture | |
US11825814B2 (en) | System for external fish parasite monitoring in aquaculture | |
CN111491508B (en) | System for fish ectoparasite monitoring in aquaculture | |
CN111511203B (en) | Method and system for fish ectoparasite monitoring in aquaculture | |
RU2777572C2 (en) | System for monitoring external fish parasite in aquaculture | |
RU2777990C2 (en) | System for monitoring external fish parasites in aquaculture | |
RU2776717C2 (en) | Method and system for monitoring of external fish parasites in aquaculture | |
RU2778096C2 (en) | Monitoring system for external fish parasites in aquaculture | |
RU2778254C2 (en) | Monitoring system for external fish parasites in aquaculture |