RU2782702C1 - Device for supporting object positioning - Google Patents
Device for supporting object positioning Download PDFInfo
- Publication number
- RU2782702C1 RU2782702C1 RU2022108687A RU2022108687A RU2782702C1 RU 2782702 C1 RU2782702 C1 RU 2782702C1 RU 2022108687 A RU2022108687 A RU 2022108687A RU 2022108687 A RU2022108687 A RU 2022108687A RU 2782702 C1 RU2782702 C1 RU 2782702C1
- Authority
- RU
- Russia
- Prior art keywords
- landing
- uav
- light sources
- light source
- group
- Prior art date
Links
- 239000003086 colorant Substances 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 3
- 239000000126 substance Substances 0.000 abstract description 3
- 230000002093 peripheral Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 230000000875 corresponding Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000009434 installation Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000000295 emission spectrum Methods 0.000 description 2
- 230000003287 optical Effects 0.000 description 2
- 230000037250 Clearance Effects 0.000 description 1
- 230000003044 adaptive Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000035512 clearance Effects 0.000 description 1
- 230000001419 dependent Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000003203 everyday Effects 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 230000035784 germination Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000000717 retained Effects 0.000 description 1
Images
Abstract
Description
Область техники, к которой относится изобретениеThe technical field to which the invention belongs
Настоящее изобретение относится к области управления движением транспорта и, более конкретно, к устройству для поддержки позиционирования объекта.The present invention relates to the field of traffic control and, more specifically, to a device for supporting the positioning of an object.
Уровень техникиState of the art
Беспилотные летательные аппараты (БПЛА, UAV) постепенно становятся частью повседневной жизни – они выполняют доставку грузов, различные исследования, анализ окружающего пространства, контроль объектов, фото- и видеосъемку, используются в спасательных операциях и находят множество других применений. Как и в случае с другими видами транспорта, по всему миру ведутся разработки, направленные на полную автоматизацию работы БПЛА.Unmanned aerial vehicles (UAVs, UAVs) are gradually becoming a part of everyday life - they perform cargo delivery, various studies, analysis of the surrounding space, object control, photo and video shooting, are used in rescue operations and find many other applications. As is the case with other modes of transport, developments are underway around the world aimed at fully automating the operation of UAVs.
Одной из задач автоматизации БПЛА является его автономная посадка. Из уровня техники известно множество различных способов, которые можно условно разделить на 2 группы: посадка на подготовленную поверхность – например, на посадочную площадку, и на неподготовленную поверхность – например, на поверхность земли.One of the tasks of UAV automation is its autonomous landing. Many different methods are known from the prior art, which can be divided into 2 groups: landing on a prepared surface - for example, on a landing site, and on an unprepared surface - for example, on the ground.
Традиционно для посадки БПЛА применяется навигация на основе глобальной навигационной спутниковой системы (ГНСС, GNSS), однако если стоит задача высокоточной посадки в заданном местоположении и с заданной ориентацией, то навигации непосредственно и только на основе ГНСС недостаточно, так как она обеспечивает точность лишь в пределах 5-8 метров. Одним из решений этой проблемы может быть применение систем дифференциальной коррекции, однако во многих сценариях работы БПЛА такие системы могут быть недоступны.Traditionally, navigation based on the global navigation satellite system (GNSS, GNSS) is used for UAV landing, however, if the task is high-precision landing at a given location and with a given orientation, then navigation directly and only on the basis of GNSS is not enough, since it provides accuracy only within 5-8 meters. One of the solutions to this problem can be the use of differential correction systems, however, in many scenarios of UAV operation, such systems may not be available.
С целью увеличения точности во многих известных решениях используются способы дополнительной навигации. Некоторые такие способы применяют навигацию на основе связи между посадочной платформой и БПЛА, однако они требуют наличия дополнительного коммуникационного оборудования как на посадочной платформе, так и на борту БПЛА, что усложняет систему и возможности ее широкого применения.In order to increase accuracy, many well-known solutions use additional navigation methods. Some of these methods use communication based navigation between the landing platform and the UAV, however, they require additional communication equipment both on the landing platform and on board the UAV, which complicates the system and its wide application possibilities.
Известны также способы дополнительной навигации, основанные на использовании установленной на БПЛА камеры. Камера в типичном случае является штатным бортовым средством, поэтому такие способы не требуют установки на БПЛА дополнительного оборудования. Существует множество способов, в которых в месте посадки размещается черно-белый маркер квадратной или иной формы, камера захватывает изображение, выполняется распознавание маркера, и тем самым определяется точное место посадки и/или положение камеры относительно маркера, что позволяет выполнять достаточно точную посадку. Тем не менее, такие способы имеют ряд недостатков: требуется высокое разрешение камеры, маркер должен полностью захватываться камерой, его не видно издалека и его не видно в сложных условиях окружающей среды (ночь, туман, осадки). Для решения этой проблемы в некоторых решениях используются источники света.There are also known methods of additional navigation based on the use of a camera installed on the UAV. The camera in a typical case is a regular on-board tool, therefore, such methods do not require the installation of additional equipment on the UAV. There are many ways in which a black-and-white marker of a square or other shape is placed at the landing site, the camera captures an image, marker recognition is performed, and thereby the exact landing site and / or the position of the camera relative to the marker is determined, which allows for a fairly accurate landing. However, such methods have a number of disadvantages: a high resolution of the camera is required, the marker must be completely captured by the camera, it is not visible from afar and it is not visible in difficult environmental conditions (night, fog, precipitation). To solve this problem, some solutions use light sources.
Например, в документе CN 111506091 A раскрывается система управления посадкой, в которой на поверхности посадочной платформы размещен LED-экран (экран из светодиодов) высокого разрешения, который показывает один паттерн на всю площадь, когда БПЛА находится на большой высоте над платформой, а затем показывает 5 маленьких двумерных паттернов, когда БПЛА приблизился к платформе. В качестве паттернов используются AprilTag. Однако, такое решение является весьма дорогим и сложным конструктивно и алгоритмически, требует согласования между платформой и БПЛА относительно того, какие паттерны показывать в данный момент в соответствии с текущей высотой БПЛА, а также требует высокого разрешения экрана, что делает невозможным использование источников света большой мощности, что существенно ухудшает возможность использования на большой дальности и в сложных условиях окружающей среды. Для корректного распознавания подобного паттерна он должен быть виден целиком. В поисках компромисса между размером и яркостью отдельных светодиодов и общим разрешением экрана экран может быть увеличен, но тогда он будет занимать много места и загромождать платформу, из-за чего сложно реализовать его на платформе малого размера с неплоской геометрией и сложно размещать на ней иное оборудование. Все эти недостатки существенно ограничивают возможность широкого применения такого решения.For example, CN 111506091 A discloses a landing control system in which a high-resolution LED screen (light-emitting diode screen) is placed on the surface of the landing platform, which shows one pattern over the entire area when the UAV is at a high altitude above the platform, and then shows 5 small 2D patterns as the UAV approached the platform. AprilTag are used as patterns. However, such a solution is very expensive and complex structurally and algorithmically, requires agreement between the platform and the UAV regarding which patterns to show at the moment in accordance with the current height of the UAV, and also requires a high screen resolution, which makes it impossible to use high-power light sources. , which significantly impairs the possibility of using it at a long range and in difficult environmental conditions. For correct recognition of such a pattern, it must be visible in its entirety. In order to compromise between the size and brightness of individual LEDs and the overall screen resolution, the screen can be increased, but then it will take up a lot of space and clutter the platform, which makes it difficult to implement it on a small platform with non-planar geometry and difficult to place other equipment on it . All these shortcomings significantly limit the possibility of wide application of such a solution.
Известно также решение, раскрытое в документе KR 10-1524936 B1, где описывается устройство хранения и зарядки БПЛА, содержащее множество посадочных платформ. По углам каждой платформы расположены матрицы n*n из светодиодных и ИК-ламп. Светодиодные лампы работают днем, а ИК-лампы работают ночью. Матрицы в совокупности формируют уникальный паттерн. Когда БПЛА подлетает достаточно близко к платформе, он обнаруживает и распознает этот паттерн, определяет свое местоположение, сообщает его платформе, получает от нее оптимальную траекторию посадки и разрешение на посадку и выполняет посадку. Необходимость использования в каждой ячейке матрицы светодиодной и ИК-ламп увеличивает сложность и снижает надежность конструкции, а также снижает максимально возможную яркость лампы. Кроме того, такое решение, как и предыдущее, требует согласования посадки между платформой и БПЛА. Конкретные типы паттернов и методы их распознавания в этом документе не раскрыты. Для корректного распознавания известных паттернов они должны быть видны целиком, то есть камера должна захватывать все углы платформы. Если в поле обзора камеры попадет только одна или две матрицы или если распознались не все лампы в матрице, то может возникнуть неопределенность. Если же попытаться в каждой матрице отображать известные паттерны наподобие применяемого в предыдущем решении, то это приведет к необходимости увеличения разрешения матриц, что либо снижает максимально возможную яркость ламп, либо делает каждую матрицу излишне громоздкой.Also known is the solution disclosed in document KR 10-1524936 B1, which describes an UAV storage and charging device containing a plurality of landing platforms. At the corners of each platform there are n*n matrices of LED and IR lamps. LED lamps work during the day, and IR lamps work at night. The matrices together form a unique pattern. When the UAV flies close enough to the platform, it detects and recognizes this pattern, determines its location, communicates it to the platform, obtains the optimal landing path and landing clearance from it, and lands. The need to use LED and IR lamps in each cell of the matrix increases the complexity and reduces the reliability of the design, and also reduces the maximum possible brightness of the lamp. In addition, such a solution, like the previous one, requires landing coordination between the platform and the UAV. Specific types of patterns and methods for their recognition are not disclosed in this document. For correct recognition of known patterns, they must be visible in their entirety, that is, the camera must capture all corners of the platform. If only one or two matrices fall into the camera's field of view, or if not all lamps in the matrix are recognized, then uncertainty may arise. If you try to display known patterns in each matrix, similar to the one used in the previous solution, then this will lead to the need to increase the resolution of the matrices, which either reduces the maximum possible brightness of the lamps, or makes each matrix unnecessarily cumbersome.
Таким образом, в уровне техники существует потребность в создании конструктивно простого решения, которое обеспечивало бы возможность автономной посадки БПЛА в широком диапазоне условий окружающей среды.Thus, there is a need in the prior art to create a structurally simple solution that would allow autonomous landing of UAVs in a wide range of environmental conditions.
Сущность изобретенияThe essence of the invention
С целью устранения по меньшей мере некоторых из вышеупомянутых недостатков предшествующего уровня техники настоящее изобретение направлено на создание устройства для поддержки позиционирования объекта.In order to overcome at least some of the aforementioned shortcomings of the prior art, the present invention is directed to a device for supporting the positioning of an object.
Устройство для поддержки позиционирования объекта содержит по меньшей мере один блок группы источников света,The object positioning support device comprises at least one block of a group of light sources,
каждый блок группы источников света содержит по меньшей мере один блок главного источника света и по меньшей мере два блока вспомогательных источников света,each light source group block contains at least one main light source block and at least two auxiliary light source blocks,
блок главного источника света содержит по меньшей мере один главный источник света,the main light source block contains at least one main light source,
каждый из блоков вспомогательных источников света содержит по меньшей мере один вспомогательный источник света,each of the blocks of auxiliary light sources contains at least one auxiliary light source,
цвет излучения блока главного источника света отличается от цвета излучения блоков вспомогательных источников света,the emission color of the main light source unit differs from the emission color of the auxiliary light source units,
точное расположение источников света в рамках устройства для поддержки позиционирования объекта и их цвета заранее известны позиционируемому объекту.the exact location of the light sources within the device to support the positioning of the object and their colors are known in advance to the positioned object.
Технический результатTechnical result
Настоящее изобретение позволяет повысить эффективность устройств, систем и способов для автономной посадки беспилотного летательного аппарата. При этом обеспечивается:The present invention improves the efficiency of devices, systems and methods for autonomous landing of an unmanned aerial vehicle. This provides:
- упрощение конструкции посадочной платформы по сравнению с платформами, содержащими экраны высокого разрешения или сложные матрицы из множества источников света;- simplification of the design of the landing platform compared to platforms containing high-resolution screens or complex matrices of multiple light sources;
- упрощение конструкции БПЛА за счет отсутствия необходимости установки на него дополнительного оборудования помимо камеры и блока управления;- simplifying the design of the UAV due to the absence of the need to install additional equipment on it in addition to the camera and the control unit;
- снижение требований к характеристикам камеры БПЛА, таким как разрешение и угол обзора, по сравнению с решениями, использующими посадочные платформы с экранами высокого разрешения или сложными матрицами из множества источников света;- reduced requirements for UAV camera characteristics, such as resolution and viewing angle, compared to solutions using landing platforms with high-resolution screens or complex arrays of multiple light sources;
- упрощенная интеграция с посадочной платформой, имеющей неплоскую геометрию;- simplified integration with a landing platform having a non-planar geometry;
- повышение точности при сложных условиях окружающей среды;- improving accuracy under difficult environmental conditions;
- уменьшение шума в радиоэфире за счет отсутствия необходимости осуществления связи между БПЛА и посадочной платформой;- reduction of radio noise due to the absence of the need for communication between the UAV and the landing platform;
- возможность уменьшения размеров посадочной платформы;- the possibility of reducing the size of the landing platform;
- повышенная точность под большими углами к посадочной платформе;- increased accuracy at large angles to the landing platform;
- повышенная точность при попадании лишь части посадочной платформы в поле обзора камеры;- increased accuracy when only part of the landing platform enters the camera's field of view;
- достаточная точность при успешном распознавании не всех источников света в группе (при увеличении количества распознанных источников света точность увеличивается);- sufficient accuracy with successful recognition of not all light sources in the group (with an increase in the number of recognized light sources, the accuracy increases);
- увеличение дальности распознавания посадочной платформы.- increasing the recognition range of the landing platform.
Следует понимать, что не каждый из вариантов осуществления может обеспечивать одновременно все указанные преимущества по сравнению со всеми известными решениями из уровня техники. Соответственно, некоторые варианты осуществления могут обладать лишь некоторыми из указанных преимуществ или иными преимуществами относительно некоторых известных решений.It should be understood that not each of the embodiments can simultaneously provide all of these advantages over all known prior art solutions. Accordingly, some embodiments may have only some of these advantages or other advantages over some known solutions.
Эти и другие преимущества настоящего изобретения станут понятны при прочтении нижеследующего подробного описания со ссылкой на сопроводительные чертежи.These and other advantages of the present invention will become apparent upon reading the following detailed description with reference to the accompanying drawings.
Краткое описание чертежейBrief description of the drawings
На Фиг. 1 показана система автономной посадки БПЛА согласно настоящему изобретению On FIG. 1 shows the UAV autonomous landing system according to the present invention.
Фиг. 2 показывает эквивалентную схему типового примера расположения источников света на посадочной платформе.Fig. 2 shows an equivalent circuit of a typical example of the arrangement of light sources on a landing platform.
Фиг. 3 иллюстрирует блок-схему способа автономной посадки.Fig. 3 illustrates a flowchart of an autonomous landing method.
На Фиг. 4 проиллюстрирован пример результата цветовой сегментации изображения.On FIG. 4 illustrates an example of the result of color segmentation of an image.
На Фиг. 5 проиллюстрирован пример группировки вспомогательных источников света.On FIG. 5 illustrates an example of grouping auxiliary light sources.
На Фиг. 6 проиллюстрирован пример соотнесения главного источника света с группой вспомогательных источников света.On FIG. 6 illustrates an example of correlating a main light source with a group of auxiliary light sources.
На Фиг. 7-9 представлены примеры обнаружения посадочной платформы в условиях плохого освещения на разном расстоянии между БПЛА и посадочной платформой.On FIG. Figures 7-9 show examples of landing platform detection in poor lighting conditions at different distances between the UAV and the landing platform.
На Фиг. 10 показано устройство для поддержки позиционирования объекта.On FIG. 10 shows a device for supporting object positioning.
На Фиг. 11 показан пример практической реализации устройства для поддержки позиционирования объекта.On FIG. 11 shows an example of a practical implementation of a device for supporting object positioning.
Следует понимать, что фигуры могут быть представлены схематично и не в масштабе и предназначены, главным образом, для улучшения понимания настоящего изобретения.It should be understood that the figures may be represented schematically and not to scale and are intended primarily to improve understanding of the present invention.
Подробное описаниеDetailed description
Общий обзор системы посадкиGeneral overview of the landing system
Далее со ссылкой на Фиг. 1 будет описан пример системы для автономной посадки БПЛА согласно настоящему изобретению. Следует отметить, что данный пример не является ограничивающим и предназначен лишь для того, чтобы предоставить общее понимание предложенных принципов посадки и позиционирования БПЛА. Ниже в данном описании будут также приведены и другие примеры, отличающиеся от представленного на Фиг. 1, но также входящие в объем изобретения.Next, with reference to FIG. 1, an example of a UAV autonomous landing system according to the present invention will be described. It should be noted that this example is not limiting and is only intended to provide a general understanding of the proposed UAV landing and positioning principles. Other examples other than those shown in FIG. 1, but also within the scope of the invention.
Беспилотный летательный аппарат (БПЛА, UAV) 110 осуществляет посадку на посадочную платформу 120 с использованием устройства 130 для поддержки позиционирования объекта. Устройство 130 для поддержки позиционирования объекта содержит 5 групп светодиодов (LED), каждая группа светодиодов содержит 4 светодиода, расположенных друг относительно друга в форме квадрата. 4 группы (131, 132, 133, 134) расположены по углам платформы и формируют квадрат, а 5-я группа (135) расположена в центре квадрата. Пунктирные линии на Фиг. 1 от обозначения 130 к группам 131, 132, 133, 134, 135 указывают их иллюстративные линии связи с общим блоком управления (не показан) устройства 130 для поддержки позиционирования объекта.The unmanned aerial vehicle (UAV) 110 lands on the
Один из светодиодов в группе является главным, остальные светодиоды в группе являются вспомогательными. Каждая группа светодиодов позволяет однозначно идентифицировать направление к центру платформы. Для этого цвет главного светодиода в каждой группе отличается от цвета дополнительных светодиодов в этой группе. Цвет главного светодиода в центральной группе 135 отличается от цвета всех остальных светодиодов всех групп. Например, как изображено на Фиг. 1, главный светодиод в центральной 5-й группе 135 имеет красный цвет, главные светодиоды в остальных 4 угловых группах 131, 132, 133, 134 имеют зеленый цвет, и вспомогательные светодиоды во всех 5 группах 131, 132, 133, 134, 135 имеют синий цвет. Схема местоположений светодиодов относительно посадочной платформы 120 и их цветов (или иными словами, паттерн) заранее известны БПЛА 110.One of the LEDs in the group is the main one, the rest of the LEDs in the group are auxiliary. Each group of LEDs allows you to uniquely identify the direction to the center of the platform. To do this, the color of the main LED in each group is different from the color of the additional LEDs in that group. The color of the main LED in the
Пользуясь средствами навигации (например, GPS), БПЛА 110 на некоторой высоте подлетает к области посадки, где приблизительно должна быть расположена посадочная платформа 120. БПЛА 110 выполняет поиск устройства 130 для поддержки позиционирования объекта, используя бортовую камеру, которая захватывает изображение приблизительной области посадки, и бортовой блок управления автономной посадкой. Когда работает камера, все светодиоды устройства 130 для поддержки позиционирования объекта включены. В процессе обработки захваченных камерой изображений блок управления автономной посадкой БПЛА 110 обнаруживает по меньшей мере часть по меньшей мере одной группы светодиодов устройства 130 для поддержки позиционирования объекта и с использованием сохраненной в памяти информации о паттерне определяет местоположение и ориентацию посадочной платформы 120 относительно БПЛА 110. Чем больше групп светодиодов обнаруживаются БПЛА 110, тем выше точность позиционирования. Затем БПЛА 110 приближается к посадочной платформе 120 на основании полученных данных, по возможности обнаруживает как можно большее число групп светодиодов устройства 130 для поддержки позиционирования объекта, уточняет местоположение и ориентацию посадочной платформы 120 относительно БПЛА 110 и в конечном счете совершает автономную посадку.
В примере, приведенном на Фиг. 1, используются светодиоды, однако в общем случае могут использоваться любые другие подходящие источники света / оптического (видимого) излучения.In the example shown in FIG. 1, LEDs are used, but in general any other suitable light/optical (visible) source may be used.
Соответственно, камера БПЛА 110 должна быть способна регистрировать свет / оптическое излучение. Камера БПЛА 110 может быть фото- и/или видеокамерой. Для целей настоящего изобретения достаточно использования монокулярной камеры, однако при необходимости может также использоваться стереокамера.Accordingly, the
В примере, приведенном на Фиг. 1, используется 4 группы светодиодов, расположенных по углам квадрата, и 1 группа светодиодов в центре квадрата, однако в общем случае могут использоваться иные паттерны. Источники света, находящиеся в одной группе, далее в данном документе будет называться соседними источниками света. Группа источников света, расположенная наиболее близко к центру посадочной платформы и/или к центру паттерна, далее в данном документе будет называться центральной группой источников света, а остальные группы будут называться периферийными группами источников света (или угловыми, если они расположены по углам условного многоугольника). При этом необходимо отметить, что наличие центральной группы источников света не является обязательным для реализации базовых принципов настоящего изобретения. Кроме того, количество источников света в группе может отличаться как в рамках одного устройства 130 для поддержки позиционирования объекта, так и между разными устройствами для поддержки позиционирования объекта.In the example shown in FIG. 1, 4 groups of LEDs are used in the corners of a square and 1 group of LEDs in the center of the square, however other patterns can be used in general. Lights that are in the same group will be referred to as neighboring lights in this document. The group of lights located closest to the center of the landing platform and/or to the center of the pattern will be referred to hereinafter as the central group of lights, and the remaining groups will be called peripheral groups of lights (or corner if they are located at the corners of the conditional polygon) . It should be noted, however, that the presence of a central group of light sources is not necessary to implement the basic principles of the present invention. In addition, the number of light sources in a group may differ both within the same object
Эквивалентная схема типового примера 4х4 (то есть расположенные в виде квадрата 4 группы по 4 светодиода в каждой) показана на Фиг. 2. Вспомогательные светодиоды 201, 202 и 203 (показаны синим цветом) расположены по внешним относительно центра посадочной платформы краям (углам) группы, а главный светодиод 204 (показан зеленым цветом) расположен с внутреннего края (угла) группы, то есть относительно своей группы он направлен к центру посадочной платформы. Группа светодиодов 201, 202, 203 и 204 вместе образует квадрат со стороной d in . Более конкретно, под d in на Фиг. 2 подразумевается расстояние между центрами светодиодов, образующих сторону квадрата. Центр посадочной платформы условно обозначен в виде квадрата 205 (показан красным цветом). Для упрощения остальные 3 группы не показаны на Фиг. 2. Для каждой группы светодиодов известен относительный вектор R c , имеющий начало в центре группы и конец в центре посадочной платформы. Пунктирными линиями на Фиг. 2 показаны положения еще одной, центральной группы светодиодов, которая могла бы использоваться для указания или уточнения ориентации посадочной платформы. В общем случае может использоваться любая конфигурация источников света внутри групп и любая конфигурация групп относительно центра посадочной платформы. Некоторые конкретные примеры с другими конфигурациями будут описаны позднее в данном документе.An equivalent circuit of a typical 4x4 example (i.e., 4 groups of 4 LEDs arranged in a square) is shown in FIG. 2.
В примере, приведенном на Фиг. 1, устройство 130 для поддержки позиционирования объекта является частью посадочной платформы 120, однако в других вариантах осуществления устройство 130 может быть отдельным устройством, которое может быть установлено на поверхности посадочной платформы 120 или на любой иной поверхности, на которую должен произвести посадку БПЛА 110. Далее в настоящем документе для удобства описания может упоминаться именно вариант осуществления с посадкой на посадочную платформу, но следует учитывать, что возможны и иные варианты осуществления.In the example shown in FIG. 1, the
В качестве БПЛА 110 для целей настоящего изобретения может рассматриваться, например, дрон, квадрокоптер, мультикоптер, беспилотный вертолет, самолет вертикального взлета и посадки (СВВП, VTOL) или любой другой летательный аппарат, на который установлены или могут быть установлены камера и блок управления автономной посадкой, с тем чтобы он был способен выполнять автономную посадку.
Посадочная платформа также может взаимозаменяемо называться посадочной площадкой или просто платформой или площадкой.A landing platform may also be referred to interchangeably as a landing pad, or simply a platform or platform.
Способ автономной посадкиAutonomous landing method
Обработка, выполняемая в БПЛА, будет описана далее со ссылкой на Фиг. 3, которая иллюстрирует блок-схему способа автономной посадки.The processing performed in the UAV will be described next with reference to FIG. 3 which illustrates a flowchart of the autonomous landing method.
Координаты области посадки заранее известны БПЛА, и на этапе S310 БПЛА может использовать типовые средства позиционирования (например, глобальную навигационную спутниковую систему (ГНСС, GNSS) или инерциальную навигационную систему) для предварительного перемещения к координатам области посадки. Точность типовых средств позиционирования может быть недостаточной для совершения высокоточной посадки в заданную точку с заданной ориентацией, поэтому в общем случае то местоположение, куда фактически переместился БПЛА на этапе S310, является точкой лишь над приблизительной областью посадки. Для дальнейшего уточнения местоположения и ориентации БПЛА использует обнаружение предложенного в настоящем изобретении устройства для поддержки позиционирования объекта.The landing area coordinates are known in advance by the UAV, and in step S310, the UAV may use conventional positioning aids (eg, global navigation satellite system (GNSS) or inertial navigation system) to advance to the landing area coordinates. The accuracy of typical positioning aids may not be sufficient to make a high-precision landing at a given point with a given orientation, so in general, the location where the UAV actually moved in step S310 is only a point above the approximate landing area. To further refine the location and orientation of the UAV uses the detection of the device proposed in the present invention to support the positioning of the object.
На этапе S320 камера, установленная на БПЛА, захватывает изображение, попадающее в ее поле обзора. Чтобы в поле обзора попадала хотя бы одна группа источников света устройства для поддержки позиционирования объекта, камера должна захватывать приблизительную область посадки, где оно расположено. Чем больше угол обзора камеры, тем больше вероятность попадания источников света в поле обзора. Если камера БПЛА является зафиксированной (стационарной), то для повышения вероятности попадания источников света в поле обзора БПЛА может начинать съемку с относительно большой высоты. Если камера БПЛА является подвижной (поворотной), то она может быть направлена на приблизительную область посадки.In step S320, the camera mounted on the UAV captures an image falling within its field of view. In order for at least one group of light sources of the object positioning support device to fall into the field of view, the camera must capture the approximate landing area where it is located. The larger the camera's field of view, the more likely it is that light sources will enter the field of view. If the UAV camera is fixed (stationary), then to increase the probability of light sources entering the field of view, the UAV can start shooting from a relatively high altitude. If the UAV camera is movable (rotary), then it can be directed to the approximate landing area.
В поле обзора камеры (то есть на изображение) могут попадать источники света или свечения, отличные от источников света устройства для поддержки позиционирования объекта. Чтобы уменьшить число таких посторонних источников света и воздействие окружающего света, в качестве источников света устройства для поддержки позиционирования объекта могут использоваться источники, имеющие большую интенсивность излучения, а камера может снимать в режиме малой выдержки – например, 1/500, 1/1000. Такой вариант осуществления меньше зависит от времени суток и от погодных условий. Кроме того, в одном из вариантов осуществления изобретения выдержка камеры может изменяться в зависимости от времени суток и от погодных условий. Такая зависимость может быть предварительно заданной или адаптивной - например, на основании количества распознаваемых на дальнейших этапах источников света в кадре и их качества.The camera's field of view (i.e., the image) may be exposed to light or glow sources other than the light sources of the object positioning support device. In order to reduce the number of such extraneous light sources and the effect of ambient light, the light sources of the object positioning support device can be used with high intensity sources, and the camera can shoot at a fast shutter speed, such as 1/500, 1/1000. This embodiment is less dependent on time of day and weather conditions. In addition, in one of the embodiments of the invention, the shutter speed of the camera may vary depending on the time of day and weather conditions. Such a dependence can be predefined or adaptive - for example, based on the number of light sources recognized in the further stages in the frame and their quality.
На этапе S330 блок управления автономной посадкой, получив изображение от камеры, выполняет преобразование цветовой модели изображения в HSV (Тон-Насыщенность-Значение, Hue-Saturation-Value, или HSB (Тон-Насыщенность-Яркость, Hue-Saturation-Brightness)), если исходная цветовая модель (цветовое пространство, палитра), используемая камерой, отличается от HSV. В частности, существует множество палитр, в которых камера может снимать изначально: RGB, BGR, YUYV, YUY, CMYK и тд.In step S330, the autonomous landing control unit, having received the image from the camera, converts the image color model to HSV (Hue-Saturation-Value, Hue-Saturation-Value, or HSB (Hue-Saturation-Brightness, Hue-Saturation-Brightness)), if the original color model (color space, palette) used by the camera is different from HSV. In particular, there are many palettes in which the camera can shoot natively: RGB, BGR, YUYV, YUY, CMYK, and so on.
Палитра HSV используется для того, чтобы выполнять сегментацию изображения по цветам, так как выполнять такую операцию в других палитрах с высокой точностью сложнее.The HSV palette is used to perform image segmentation by color, since it is more difficult to perform such an operation in other palettes with high accuracy.
На этапе S340 блок управления автономной посадкой выполняет обнаружение вспомогательных источников света. Для этого, зная цвет вспомогательных источников света, блок управления автономной посадкой выполняет поиск контуров вспомогательных источников света в цветовом пространстве HSV с помощью цветовой сегментации. В частности, выполняется поиск участков изображения, цвет которых попадает в предварительно заданный интервал спектра в палитре HSV, приблизительно соответствующий заранее известному спектру излучения вспомогательных источников света. Такого подхода может быть вполне достаточно для многих применений.In step S340, the autonomous landing control unit performs auxiliary light source detection. To do this, knowing the color of the auxiliary light sources, the autonomous landing control unit searches for the contours of the auxiliary light sources in the HSV color space using color segmentation. In particular, a search is made for areas of the image whose color falls within a predetermined spectrum interval in the HSV palette, approximately corresponding to the previously known emission spectrum of auxiliary light sources. This approach may be sufficient for many applications.
В другом варианте осуществления может дополнительно выполняться фильтрация найденных источников света по интенсивности излучения - например, может выполняться определение, попадает ли интенсивность излучения данного источника света в предварительно заданный интервал интенсивности. Такой подход может быть полезен, когда окружающее пространство является относительно зашумленным с точки зрения попадания в кадр множества посторонних источников света, похожих по цвету на искомые источники света. Предварительно заданный интервал интенсивности может ограничиваться только нижним значением интенсивности - в таком случае отбрасываться будут лишь наименее яркие источники, которые наиболее вероятно не являются требуемыми источниками света. Предварительно заданный интервал интенсивности может ограничиваться также и верхним значением интенсивности - в таком случае отбрасываться будут также и чересчур яркие источники, которые с высокой долей вероятности не являются требуемыми источниками света.In another embodiment, the found light sources can be further filtered by the intensity of the radiation - for example, it can be determined whether the intensity of the radiation of a given light source falls within a predetermined intensity interval. This approach can be useful when the surrounding space is relatively noisy in terms of multiple extraneous light sources entering the frame, similar in color to the desired light sources. The predetermined intensity range can only be limited to the lower intensity value - in which case only the least bright sources, which are most likely not the required light sources, will be discarded. The preset intensity interval can also be limited by the upper intensity value - in this case, too bright sources will also be rejected, which with a high degree of probability are not the required light sources.
Еще в одном варианте осуществления требуемый интервал интенсивности может быть не предварительно заданным, а может определяться блоком управления автономной посадкой. Например, может определяться плотность распределения интенсивности всех найденных источников света. Далее в качестве требуемого может выбираться интервал интенсивности, в котором плотность распределения наиболее высокая. В другом варианте осуществления может приниматься во внимание ожидаемое количество источников света, и в качестве требуемого может выбираться интервал интенсивности, в котором плотность распределения наиболее близка к ожидаемой. Например, посадочная платформа содержит 12 вспомогательных источников света, на изображении найдено 30 контуров источников света с подобным цветом, но с разной интенсивностью; диапазон интенсивностей делится на 5 равных интервалов, и 12 контуров попадают в 4-й интервал, 13 контуров попадают в 1-й интервал, а остальные 5 контуров распределены по остальным трем интервалам. Поскольку ожидается найти 12 как можно более ярких источников света, в качестве требуемого выбирается 4-й интервал, а остальные отбрасываются. Тем самым, может быть повышена точность.In yet another embodiment, the desired intensity interval may not be predetermined, but may be determined by the autonomous landing control unit. For example, the intensity distribution density of all found light sources can be determined. Further, the intensity interval in which the distribution density is the highest can be chosen as the required one. In another embodiment, the expected number of light sources may be taken into account, and the intensity interval in which the distribution density is closest to the expected one may be selected as required. For example, the landing platform contains 12 auxiliary light sources, 30 contours of light sources are found in the image with a similar color, but with different intensities; the intensity range is divided into 5 equal intervals, and 12 contours fall into the 4th interval, 13 contours fall into the 1st interval, and the remaining 5 contours are distributed over the remaining three intervals. Since 12 brightest light sources are expected to be found, the 4th interval is chosen as the required one, and the rest are discarded. Thus, the accuracy can be improved.
Для каждого найденного контура (или иными словами, для каждого найденного вспомогательного источника света) блок управления автономной посадкой находит центр (например, методом k-средних - по ближайшему расстоянию).For each found contour (or in other words, for each found auxiliary light source), the autonomous landing control unit finds the center (for example, by the method of k-means - by the nearest distance).
На этапе S350 блок управления автономной посадкой выполняет обнаружение главных источников света. Для этого, зная цвет главных источников света, блок управления автономной посадкой выполняет поиск контуров главных источников света в цветовом пространстве HSV. В частности, выполняется поиск участков изображения, цвет которых попадает в предварительно заданный интервал спектра в палитре HSV, приблизительно соответствующий заранее известному спектру излучения главных источников света.In step S350, the autonomous landing control unit performs main light source detection. To do this, knowing the color of the main light sources, the autonomous landing control unit searches for the contours of the main light sources in the HSV color space. In particular, a search is made for areas of the image whose color falls within a predetermined spectrum interval in the HSV palette, approximately corresponding to the predetermined emission spectrum of the main light sources.
Для каждого найденного контура (или иными словами, для каждого найденного главного источника света) блок управления автономной посадкой находит центр (например, методом k-средних - по ближайшему расстоянию). При этом, если в устройстве для поддержки позиционирования объекта используются только периферийные группы источников света, то выполняется поиск контуров и центров только для главных источников света периферийных групп. Если же используются и периферийные, и центральная группы источников света, то выполняется поиск контуров и центра также для главного источника центральной группы.For each found contour (or in other words, for each found main light source), the autonomous landing control unit finds the center (for example, by the k-means method - by the nearest distance). In this case, if only peripheral groups of light sources are used in the device to support the positioning of an object, then the search for contours and centers is performed only for the main light sources of peripheral groups. If both peripheral and central groups of light sources are used, then the contours and center are also searched for the main source of the central group.
Если ни один источник света не найден на этапе S340 или на этапе S350, то такой кадр будет пропущен, не учтен. Способ переходит к этапу S320 для получения нового изображения области посадки.If no light source is found in step S340 or in step S350, then such a frame will be skipped, not taken into account. The method proceeds to step S320 to acquire a new landing area image.
На Фиг. 4 проиллюстрирован пример визуализации результата выполнения этапов S340-S350. В частности, показано, что найдено множество синих контуров/точек, предположительно соответствующих вспомогательным источникам света (этап S340), множество красных контуров/точек, предположительно соответствующих главным периферийным источникам света (этап S350), и один зеленый контур/точка, предположительно соответствующий главному центральному источнику света (этап S350). При этом полупрозрачные красные точки на самом деле являются шумами.On FIG. 4 illustrates an example of visualizing the result of performing steps S340-S350. In particular, it is shown that a plurality of blue contours/dots, presumably corresponding to the auxiliary light sources (step S340), a plurality of red contours/dots, presumably corresponding to the main peripheral lights (step S350), and one green contour/dot, presumably corresponding to the main to the central light source (step S350). At the same time, translucent red dots are actually noise.
После того, как найдены по отдельности вспомогательные источники света и/или главные источники света, необходимо определить, как они между собой соотносятся.Once the auxiliary light sources and/or main light sources have been found separately, it is necessary to determine how they relate to each other.
Для этого сначала на этапе S360 блок управления автономной посадкой выполняет кластеризацию вспомогательных источников света (если таковые были найдены на этапе S340), то есть определяет принадлежность каждого вспомогательного источника света к той или иной группе. В частности, используется метод k-средних. При этом, как известно, для метода k-средних требуется заранее задать требуемое число кластеров, на которые должно быть произведено разбиение найденного множества точек. В настоящем изобретении предлагается использовать следующий подход:To do this, first, at step S360, the autonomous landing control unit performs clustering of the auxiliary light sources (if any were found at step S340), that is, determines whether each auxiliary light source belongs to one or another group. In particular, the k-means method is used. In this case, as is known, for the k-means method, it is required to pre-specify the required number of clusters into which the found set of points should be partitioned. The present invention proposes to use the following approach:
где N – это округленное вверх целое число групп (кластеров),where N is an integer number of groups (clusters) rounded up,
M al – это общее число вспомогательных источников света, найденных в кадре, M al is the total number of auxiliary lights found in the frame,
a – это число вспомогательных источников света в каждой группе. a is the number of auxiliary lights in each group.
Например, если на этапе S340 найдено 10 вспомогательных источников света, а в каждой группе используется по 3 вспомогательных источника света, то число групп составит 
Следует отметить, что принцип определения числа N групп по формуле (1) на самом деле является первым приближением, гипотезой, которая часто оказывается верной в силу особенностей предложенного способа. В качестве проверки гипотезы может выполняться определение расстояния между соседними источниками света в группе и сравнение его с предварительно заданным интервалом от минимального расстояния до максимального расстояния между источниками света в группе. Например, если изначально по формуле (1) определено, что обнаруженные 4 источника света должны быть поделены на N=2 группы, а при проверке выяснилось, что во 2-й группе расстояние между соседними источниками света не попадает в предварительно заданный интервал от 5 до 15 см, то способ может переходить к гипотезе N=3 группы (получается приращением к ранее вычисленному значению N=2). В другом варианте осуществления те источники света, которые не попадают в предварительно заданный интервал, могут просто не учитываться (отбрасываться), а первоначально определенное число групп может сохраняться.It should be noted that the principle of determining the number N of groups according to formula (1) is actually a first approximation, a hypothesis that often turns out to be true due to the features of the proposed method. As a hypothesis test, the distance between adjacent lights in the group can be determined and compared with a predetermined interval from the minimum distance to the maximum distance between the lights in the group. For example, if initially according to formula (1) it is determined that the detected 4 light sources should be divided into N = 2 groups, and when checking it turned out that in the 2nd group the distance between adjacent light sources does not fall within a predetermined interval from 5 to 15 cm, then the method can proceed to the hypothesis of N=3 groups (obtained by an increment to the previously calculated value of N=2). In another embodiment, those light sources that do not fall within a predetermined interval may simply be ignored (discarded), and the initially determined number of groups may be retained.
Соответственно, блок управления автономной посадкой выполняет кластеризацию вспомогательных источников света методом k-средних на определенное число групп.Accordingly, the autonomous landing control unit performs k-means clustering of the auxiliary light sources into a certain number of groups.
На Фиг. 5 проиллюстрирован пример группировки вспомогательных источников света. В частности, показано, что с помощью метода k-средних выявлено, что найденные ранее (см. Фиг. 4) вспомогательные источники света принадлежат 4 разным группам.On FIG. 5 illustrates an example of grouping auxiliary light sources. In particular, it is shown that using the k-means method, it was revealed that the auxiliary light sources found earlier (see Fig. 4) belong to 4 different groups.
Затем на этапе S370 блок управления автономной посадкой определяет расстояния между группами вспомогательных источников света и найденными главными источниками света (если таковые были найдены на этапе S350). В частности, вычисляются координаты центра каждой найденной группы и вычисляется матрица D расстояний между центрами всех найденных групп и центрами всех найденных главных источников света.Then, in step S370, the autonomous landing control unit determines the distances between the groups of auxiliary light sources and the found main lights (if any were found in step S350). In particular, the coordinates of the center of each found group are calculated and the matrix D of distances between the centers of all found groups and the centers of all found main light sources is calculated.
где C i – это координаты центра i-й группы (кластера),where C i are the coordinates of the center of the i -th group (cluster),
P j – это координаты центра j-го главного источника света, P j are the coordinates of the center of the j -th main light source,
N – это число групп, N is the number of groups
K – это число найденных главных источников света. K is the number of found main light sources.
Далее на этапе S380 блок управления автономной посадкой определяет соответствия между группами вспомогательных источников света и главными источниками света. В частности, в матрице D расстояний, вычисленной на этапе S370, в каждой i-й строке определяется минимальный элемент min(D i,j ), или иными словами, в каждой i-й группе определяется минимальное расстояние d min =min(D i,j ) до главного источника света. Индекс j у этого элемента D i,j указывает на то, что j-й главный источник света из K найденных главных источников света соответствует i-й группе из N групп (находится в ней, принадлежит ей).Next, in step S380, the autonomous landing control unit determines correspondences between groups of auxiliary light sources and main light sources. Specifically, in the distance matrix D calculated in step S370, in each i th row, the minimum element min(D i,j ) is determined, or in other words, in each i th group, the minimum distance d min =min(D i ,j ) to the main light source. The index j of this element D i,j indicates that the j -th main light source from the K found main light sources corresponds to the i -th group of N groups (is in it, belongs to it).
На Фиг. 6 проиллюстрирован пример соотнесения главного источника света с группой вспомогательных источников света. В частности, показано, что в результате выполнения этапов S370-S380 по принципу минимального расстояния d min один из найденных на этапе S350 главных периферийных источников света (красного цвета) сопоставлен с одной из найденных на этапе S360 групп вспомогательных источников света. При этом вероятность наличия в кадре постороннего источника света, ложно распознанного как главный, еще ближе расположенного к вспомогательным источникам света одной группы, чем истинный главный источник света этой группы, крайне мала, так как это может произойти только в случае если посторонний источник света с интенсивностью свечения и с цветом (спектром), которые подобны искомому главному источнику света, находится либо на самой посадочной платформе внутри периметра группы (что практически исключено в силу того, что конфигурация посадочной платформы и устройства для поддержки позиционирования объекта контролируется лицом, использующим данное изобретение), либо в пространстве между посадочной платформой / устройством для поддержки позиционирования объекта (то есть является фиксированным подвесным источником света или находится на летательном аппарате - и то, и другое маловероятно). Таким образом, подход с поиском минимального расстояния d min является относительно простым и вместе с тем высокоточным.On FIG. 6 illustrates an example of correlating a main light source with a group of auxiliary light sources. In particular, it is shown that by performing steps S370 to S380 according to the principle of minimum distance d min , one of the main peripheral light sources (red) found in step S350 is compared with one of the auxiliary light source groups found in step S360. At the same time, the probability of an extraneous light source in the frame, falsely recognized as the main one, located even closer to the auxiliary light sources of one group than the true main light source of this group, is extremely small, since this can only happen if an extraneous light source with intensity luminosity and with a color (spectrum) that is similar to the desired main light source, is located either on the landing platform itself inside the perimeter of the group (which is practically excluded due to the fact that the configuration of the landing platform and the device to support the positioning of the object is controlled by the person using this invention), either in the space between the landing platform/object positioning support device (i.e. is a fixed overhead light source or is on an aircraft - both are unlikely). Thus, the approach with the search for the minimum distance d min is relatively simple and at the same time highly accurate.
После этого на этапе S390 блок управления автономной посадкой определяет местоположение и ориентацию области посадки (например, посадочной платформы) относительно БПЛА.Thereafter, in step S390, the autonomous landing control unit determines the location and orientation of the landing area (eg, landing platform) relative to the UAV.
В частности, для каждой i-й группы решается задача Perspective-n-Point (PnP), то есть задача определения ориентации и расположения камеры в пространстве по изображению, полученному с ее помощью, посредством получения перспективной проекции точек на изображении на плоскость сенсора камеры. Как известно, условием для решения такой задачи являются n соответствий между точками изображения и точками модели объекта, а также известное взаимное расположение точек модели объекта. В данном случае известной для БПЛА моделью объекта служит устройство для поддержки позиционирования объекта и расположение групп и источников света на нем.In particular, for each i -th group, the Perspective-n-Point (PnP) problem is solved, that is, the problem of determining the orientation and location of the camera in space from the image obtained with its help, by obtaining a perspective projection of points in the image onto the camera sensor plane. As is known, the condition for solving such a problem is n correspondences between the points of the image and the points of the object model, as well as the known relative position of the points of the object model. In this case, a well-known object model for the UAV is a device for supporting the positioning of the object and the arrangement of groups and light sources on it.
А именно, вычисляется местоположение P i центра области посадки и ориентация R i центра области посадки (как указывалось выше, R i – это относительный вектор, указывающий направление от i-й группы к центру области посадки). Конкретные методы решения задачи PnP известны специалистам в данной области техники и не раскрываются здесь более подробно. В качестве неограничивающего примера может применяться алгоритм, раскрытый в публикации Y. Wu and Z. Hu, “Pnp problem revisited,” Journal of Mathematical Imaging and Vision, vol. 24, no. 1, pp. 131–141, 2006.Namely, the location P i of the center of the landing area and the orientation R i of the center of the landing area are calculated (as mentioned above, R i is a relative vector indicating the direction from the i th group to the center of the landing area). Specific methods for solving the PnP problem are known to those skilled in the art and are not disclosed here in more detail. As a non-limiting example, the algorithm disclosed in Y. Wu and Z. Hu, “Pnp problem revisited,” Journal of Mathematical Imaging and Vision, vol. 24, no. 1, pp. 131–141, 2006.
Когда получены значения местоположения P i и ориентации R i для каждой i-й группы, с помощью вычисления медианы этих значений определяется уточненное местоположение P и ориентация R центра области посадки:When the values of location P i and orientation R i for each i -th group are obtained, by calculating the median of these values, the refined location P and orientation R of the center of the landing area are determined:
где N – это число групп.where N is the number of groups.
Затем блок управления автономной посадкой оказывает управляющее воздействие на исполнительные механизмы БПЛА самостоятельно или отправляет определенные на этапе S390 данные о местоположении и ориентации области посадки на полетный контроллер БПЛА, с тем чтобы БПЛА приближался к области посадки на основании полученных данных. Тем самым, способ автономной посадки дополнительно содержит этап S395 (не показан на Фиг. 3), на котором БПЛА выполняет перемещение в направлении области посадки.Then, the autonomous landing control unit controls the UAV actuators by itself, or sends the location and orientation data of the landing area determined in step S390 to the UAV flight controller so that the UAV approaches the landing area based on the received data. Thus, the autonomous landing method further comprises step S395 (not shown in FIG. 3) in which the UAV performs movement towards the landing area.
По мере приближения, когда БПЛА выполнил некоторое очередное перемещение в направлении области посадки, БПЛА может вновь повторять этапы S320-S395, выполняя съемку области посадки, обнаруживая как можно большее число источников света, уточняя местоположение и ориентацию области посадки относительно БПЛА и перемещаясь ближе к области посадки. В конечном счете, выполнив необходимое число итераций, БПЛА совершает автономную посадку с повышенной точностью в заданную точку и с заданной ориентацией даже в условиях плохой видимости.As it approaches, when the UAV has made some next movement towards the landing area, the UAV may again repeat steps S320-S395, surveying the landing area, detecting as many light sources as possible, refining the location and orientation of the landing area relative to the UAV, and moving closer to the area. landing. Ultimately, after completing the required number of iterations, the UAV makes an autonomous landing with increased accuracy at a given point and with a given orientation, even in conditions of poor visibility.
Предложенный способ испытан на практике для посадки БПЛА в автономном режиме на посадочную платформу. Использованная в качестве образца посадочная платформа имеет квадратную форму размером 40х40 см, размах лучей БПЛА имеет сопоставимые размеры, группы светодиодов расположены по углам платформы на расстоянии 30 см друг от друга. В качестве источников света использованы адресные диоды WS2812B. Светодиоды в группе расположены так, что образуют квадрат, при этом расстояние между ними (сторона квадрата) составляет 5 см. БПЛА успешно приземляется в заданную точку с заданной ориентацией. Точность позиционирования составляет приблизительно 1-7 см в зависимости от расстояния между БПЛА и посадочной платформой - чем ближе БПЛА к посадочной платформе и чем больше обнаружено групп источников света, тем выше точность.The proposed method has been tested in practice for landing a UAV in autonomous mode on a landing platform. The landing platform used as a sample has a square shape 40x40 cm in size, the UAV beam span is comparable in size, the groups of LEDs are located at the corners of the platform at a distance of 30 cm from each other. WS2812B addressable diodes were used as light sources. The LEDs in the group are arranged so that they form a square, while the distance between them (the side of the square) is 5 cm. The UAV successfully lands at a given point with a given orientation. The positioning accuracy is approximately 1-7 cm depending on the distance between the UAV and the landing platform - the closer the UAV is to the landing platform and the more groups of light sources detected, the higher the accuracy.
Примеры обнаружения посадочной платформы в условиях плохого освещения на разном расстоянии между БПЛА и посадочной платформой представлены на Фиг. 7-9. В частности, на Фиг. 7 показан случай на расстоянии 2 м, на Фиг. 8 – 5 м, на Фиг. 9 – 10 м.Examples of detection of the landing platform in poor lighting conditions at different distances between the UAV and the landing platform are shown in Fig. 7-9. In particular, in FIG. 7 shows the case at a distance of 2 m, FIG. 8 - 5 m, in Fig. 9 - 10 m.
Как видно на Фиг. 7-9, блок управления автономной посадкой успешно справляется с задачей обнаружения хотя бы некоторых групп светодиодов, несмотря на ночное время суток. При этом на Фиг. 7 видно, что посадочная платформа расположена под достаточно большим углом относительно камеры БПЛА, но это не воспрепятствовало обнаружению групп светодиодов. За счет особенностей предложенного способа, даже когда удалось обнаружить не все группы, центр посадочной платформы определяется успешно.As seen in FIG. 7-9, the autonomous landing control unit successfully copes with the task of detecting at least some groups of LEDs, despite the night time. Meanwhile, in FIG. 7 shows that the landing platform is located at a sufficiently large angle relative to the UAV camera, but this did not prevent the detection of LED groups. Due to the features of the proposed method, even when not all groups could be found, the center of the landing platform is determined successfully.
На испытательном БПЛА была использована стационарная типовая камера, и даже учитывая относительно небольшие габариты БПЛА и невыдающиеся характеристики самой камеры, предложенный способ позволил успешно детектировать посадочную платформу для выполнения автономной посадки уже на высоте 20 м в условиях плохой видимости. Использование камеры с более высоким разрешением позволило бы увеличить дальность/высоту, при которой предложенный способ мог бы эффективно выполняться.A stationary typical camera was used on the test UAV, and even taking into account the relatively small dimensions of the UAV and the unremarkable characteristics of the camera itself, the proposed method made it possible to successfully detect the landing platform for autonomous landing already at a height of 20 m in poor visibility conditions. The use of a higher resolution camera would increase the range/altitude at which the proposed method could be effectively performed.
Фактически, в предложенном способе, для того чтобы определить местоположение области посадки, достаточно обнаружить хотя бы одну группу источников света. Если в поле обзора камеры БПЛА обнаруживается больше одной группы источников света, точность позиционирования увеличивается. Также точность позиционирования увеличивается при увеличении числа групп источников света на посадочной платформе и при улучшении характеристик камеры (разрешение, светосила, тип матрицы, качество оптики, вычислительные возможности, используемые алгоритмы обработки данных и т.д.).In fact, in the proposed method, in order to determine the location of the landing area, it is sufficient to detect at least one group of light sources. If more than one group of light sources is detected in the field of view of the UAV camera, the positioning accuracy increases. Also, the positioning accuracy increases with an increase in the number of groups of light sources on the landing platform and with an improvement in camera characteristics (resolution, aperture ratio, matrix type, optics quality, computing capabilities, data processing algorithms used, etc.).
Кроме того, принимая во внимание габариты упомянутого выше испытательного образца, даже размера группы источников света в 5х5 см оказалось достаточно для автономной посадки БПЛА на посадочную платформу в условиях плохой видимости, то есть предложенный способ можно использовать, даже если имеется мало свободного пространства.In addition, taking into account the dimensions of the test sample mentioned above, even the size of a group of light sources of 5x5 cm turned out to be sufficient for autonomous landing of the UAV on the landing platform in poor visibility conditions, that is, the proposed method can be used even if there is little free space.
Более того, обеспечивается возможность использования посадочной платформы, имеющей сложную (неплоскую) геометрию, потому что монтаж на ней небольших отдельных независимых друг от друга групп источников света выполнить проще, чем монтаж единого относительно большого плоского паттерна / светодиодной матрицы.Moreover, it is possible to use a landing platform having a complex (non-planar) geometry, because it is easier to mount small separate independent groups of light sources on it than mounting a single relatively large flat pattern / LED array.
Выше упоминалось, что для целей настоящего изобретения при необходимости может использоваться камера с двумя объективами вместо одного. Использование стереокамеры позволит повысить точность предложенного способа за счет наличия дополнительных данных, которые можно, например, усреднить, сопоставить, обработать независимо, выбрать лучшие и т.д.It was mentioned above that for the purposes of the present invention, if necessary, a camera with two lenses instead of one can be used. The use of a stereo camera will improve the accuracy of the proposed method due to the availability of additional data that can, for example, be averaged, compared, processed independently, selected the best, etc.
Варианты конфигурацииConfiguration options
Выше также упоминалось, что в общем случае может использоваться любая конфигурация источников света внутри групп и любая конфигурация групп относительно центра посадочной платформы.It has also been mentioned above that, in general, any configuration of light sources within groups and any configuration of groups relative to the center of the landing platform can be used.
В одном из вариантов осуществления конфигурация может представлять собой схему «3х3 треугольником». Источники света в каждой группе расположены друг относительно друга с образованием треугольника, одна из вершин которого направлена к центру посадочной платформы и заключает в себе главный источник света.In one embodiment, the configuration may be a 3x3 triangle pattern. The light sources in each group are located relative to each other to form a triangle, one of the vertices of which is directed towards the center of the landing platform and contains the main light source.
В другом варианте осуществления конфигурация может включать в себя одну или более групп источников света, расположенных друг относительно друга с образованием круга или дуги.In another embodiment, the configuration may include one or more groups of light sources arranged relative to each other to form a circle or arc.
В других вариантах осуществления конфигурация может включать в себя группы источников света, образующие другие геометрические объекты (фигуры, ломаные, кривые, отрезки).In other embodiments, the implementation of the configuration may include groups of light sources that form other geometric objects (shapes, polylines, curves, line segments).
Основной принцип состоит в том, что в каждой группе имеются вспомогательные источники света, излучающие в одном цвете, и главный источник света, излучающий в другом цвете. Заранее известные для БПЛА взаимное расположение и цвета источников света позволяют определить местоположение и ориентацию области посадки.The basic principle is that in each group there are auxiliary lights emitting in one color and a main light source emitting in another color. The relative positions and colors of the light sources known in advance to the UAV make it possible to determine the location and orientation of the landing area.
Приведенный выше способ автономной посадки БПЛА предусматривает определение ориентации посадочной платформы. Следует отметить, что в некоторых применениях достаточно использовать конфигурации, которые позволяют определить только направления углов посадочной платформы без точного определения ориентации посадочной платформы в целом. Например, это применимо для случая, когда используется многолучевой БПЛА, и неважно, какой из лучей окажется в каком углу посадочной платформы при посадке.The above method for autonomous landing of the UAV provides for determining the orientation of the landing platform. It should be noted that in some applications it is sufficient to use configurations that allow only the direction of the angles of the landing platform to be determined without accurately determining the orientation of the landing platform as a whole. For example, this applies to the case where a multi-beam UAV is used, and it does not matter which of the beams will be in which corner of the landing platform when landing.
Если же необходимо выполнять посадку с более точной ориентацией, то могут использоваться конфигурации источников света, позволяющие точно определить ориентацию посадочной платформы относительно БПЛА. Для этого, например, может использоваться центральная группа источников света, либо цвет главного источника света или вспомогательных источников света в одной периферийной группе может отличаться, соответственно, от цвета главных источников света или вспомогательных источников света в других периферийных группах, либо цвет одного или более вспомогательных источников света может отличаться от цвета других вспомогательных источников света в пределах одной и той же группы, либо взаимное расположение групп друг относительно друга может быть несимметричным относительно центра области посадки, либо расположение или цвета главных источников света или вспомогательных источников света могут быть несимметричными относительно центра области посадки и т.д.If it is necessary to land with a more precise orientation, then configurations of light sources can be used to accurately determine the orientation of the landing platform relative to the UAV. For this, for example, a central group of light sources may be used, or the color of the main light source or auxiliary light sources in one peripheral group may differ, respectively, from the color of the main light sources or auxiliary light sources in other peripheral groups, or the color of one or more auxiliary light sources may differ from the color of other auxiliary lights within the same group, or the relative position of the groups relative to each other may be asymmetrical about the center of the landing area, or the location or colors of the main lights or auxiliary lights may be asymmetrical about the center of the area landings, etc.
Далее будет описано устройство для автономной посадки согласно настоящему изобретению.Next, the autonomous landing device according to the present invention will be described.
Следует понимать, что данное устройство в целом соответствует вышеописанному блоку управления автономной посадкой и выполняет его функции в способе 200, и если какая-либо информация не раскрывается применительно к устройству, но раскрывается применительно к способу, и наоборот, то это не подразумевает, что в устройстве или способе эта функция или этап не может выполняться, а сделано лишь для того, чтобы не загромождать описание повторением подробностей.It should be understood that this device generally corresponds to the autonomous landing control unit described above and performs its functions in the method 200, and if any information is not disclosed in relation to the device, but is disclosed in relation to the method, and vice versa, then this does not imply that in device or method, this function or step cannot be performed, but is done only in order not to clutter up the description with repetition of details.
Устройство для автономной посадки содержит процессор и память, соединенную с процессором и содержащую инструкции, которые предписывают процессору выполнять следующие операции:The autonomous landing device comprises a processor and a memory coupled to the processor and containing instructions that cause the processor to perform the following operations:
отправлять в камеру команду на захват изображения, когда БПЛА совершил перемещение к области посадки, как это описывалось применительно к этапам S310-S320;send a command to the camera to capture an image when the UAV has moved to the landing area, as described in relation to steps S310-S320;
получать от камеры изображение области посадки;receive an image of the landing area from the camera;
преобразовывать, как это описывалось применительно к этапу S330, цветовое пространство изображения в цветовое пространство HSV;convert, as described in step S330, the color space of the image to the HSV color space;
обнаруживать на изображении, как это описывалось применительно к этапу S340, по меньшей мере один вспомогательный источник света, расположенный в области посадки, с помощью цветовой сегментации в цветовом пространстве HSV;detect in the image, as described in relation to step S340, at least one auxiliary light source located in the landing area, using color segmentation in the HSV color space;
обнаруживать на изображении, как это описывалось применительно к этапу S350, по меньшей мере один главный источник света, расположенный в области посадки, с помощью цветовой сегментации в цветовом пространстве HSV;to detect in the image, as described in relation to step S350, at least one main light source located in the landing area, using color segmentation in the HSV color space;
формировать на изображении, как это описывалось применительно к этапу этапам S360-S380, группы из обнаруженных источников света;form on the image, as described in relation to the step steps S360-S380, groups of detected light sources;
определять, как это описывалось применительно к этапу S390, местоположение и ориентацию области посадки посредством решения задачи PnP; иdetermine, as described in relation to step S390, the location and orientation of the landing area by solving the PnP task; and
оказывать управляющее воздействие на исполнительные механизмы БПЛА, с тем чтобы БПЛА приближался к области посадки на основании определенного местоположения и ориентации области посадки.control the actuators of the UAV so that the UAV approaches the landing area based on the determined location and orientation of the landing area.
Устройство для автономной посадки может располагаться на самом БПЛА - в таком случае обеспечивается полная автономность БПЛА за счет отсутствия необходимости осуществлять связь с посадочной платформой.The device for autonomous landing can be located on the UAV itself - in this case, the complete autonomy of the UAV is ensured due to the absence of the need to communicate with the landing platform.
В другом варианте осуществления устройство для автономной посадки может быть внешним по отношению к БПЛА. В таком случае устройство для автономной посадки дополнительно содержит блок беспроводной связи для осуществления связи с БПЛА, чтобы получать от БПЛА сообщение о совершении перемещения к области посадки, отправлять в камеру команду на захват изображения, получать изображения с камеры, установленной на БПЛА, и отправлять на БПЛА команды для оказания управляющего воздействия на исполнительные механизмы БПЛА. При этом БПЛА освобождается от вычислительной нагрузки, связанной с определением местоположения и ориентации области посадки и формирования управляющих воздействий на исполнительные механизмы. В некоторых случаях это может снизить энергопотребление БПЛА и снизить требования к производительности вычислительных модулей БПЛА. Характеристики камеры БПЛА и ее точное расположение относительно БПЛА либо заранее известны устройству для автономной посадки, либо передаются на него от БПЛА в соответствующем сообщении. In another embodiment, the autonomous landing device may be external to the UAV. In such a case, the device for autonomous landing further comprises a wireless communication unit for communicating with the UAV to receive a message from the UAV about the movement to the landing area, send an image capture command to the camera, receive images from the camera installed on the UAV, and send to UAV commands for exerting a control effect on the actuators of the UAV. In this case, the UAV is released from the computational load associated with determining the location and orientation of the landing area and the formation of control actions on the actuators. In some cases, this can reduce the power consumption of the UAV and reduce the performance requirements for UAV computing modules. The characteristics of the UAV camera and its exact location relative to the UAV are either known in advance to the device for autonomous landing, or transmitted to it from the UAV in a corresponding message.
Еще в одном варианте осуществления устройство для автономной посадки может само содержать камеру. Камера, процессор и память устройства для автономной посадки могут располагаться в едином корпусе. Это особенно полезно, если БПЛА не содержит камеру, но требуется выполнять автономную посадку согласно настоящему изобретению. В данном варианте устройство может целиком монтироваться на БПЛА и подключаться проводным или беспроводным образом, например, к его полетному контроллеру, чтобы получать от него сообщение о совершении перемещения к области посадки и отправлять на него управляющее воздействие на исполнительные механизмы БПЛА.In yet another embodiment, the autonomous landing device may itself comprise a camera. The camera, processor and memory of the autonomous landing device can be located in a single housing. This is especially useful if the UAV does not include a camera but is required to perform an autonomous landing according to the present invention. In this embodiment, the device can be completely mounted on the UAV and connected by wire or wirelessly, for example, to its flight controller in order to receive from it a message about the movement to the landing area and send a control action to the UAV actuators.
Далее со ссылкой на Фиг. 10 будет более подробно описано устройство для поддержки позиционирования объекта.Next, with reference to FIG. 10, a device for supporting object positioning will be described in more detail.
Устройство для поддержки позиционирования объекта содержит по меньшей мере один блок 1000 группы источников света.The object positioning support device comprises at least one light
Каждый блок 1000 группы источников света содержит блок 1010 главного источника света, блоки 1020, 1030, 1040 вспомогательных источников света, разъемы 1050 и 1060 и блок 1070 управления.Each light
Блок 1010 главного источника света содержит по меньшей мере один главный источник света. В конкретном примере это может быть один светодиод или несколько близко расположенных друг к другу светодиодов, формирующих единый источник света (например, светодиодную матрицу или светодиодную линейку).
Каждый из блоков 1020, 1030, 1040 вспомогательных источников света содержит по меньшей мере один вспомогательный источник света. В конкретном примере это может быть один светодиод или несколько близко расположенных друг к другу светодиодов, формирующих единый источник света (например, светодиодную матрицу или светодиодную линейку). В общем случае количество блоков вспомогательных источников света равно двум или более.Each of the
Цвет излучения блока 1010 главного источника света отличается от цвета излучения блоков 1020, 1030, 1040 вспомогательных источников света.The emission color of the main
Цвет излучения каждого из блоков 1020, 1030, 1040 вспомогательных источников света может при необходимости быть разным (например, для повышения вероятности определения направления к центру посадочной площадки даже в случае нахождения контуров малого количества источников света), однако в предпочтительном варианте является одинаковым, поскольку это упрощает конструкцию и может увеличить скорость распознавания.The emission color of each of the
Точное расположение источников света в области посадки и их цвета заранее известны устройству для автономной посадки, чтобы можно было успешно решать задачу PnP для камеры, расположенной на БПЛА.The exact location of the lights in the landing area and their colors are known in advance to the autonomous landing device so that the PnP task for the camera located on the UAV can be successfully solved.
В разных вариантах осуществления блоки 1010, 1020, 1030, 1040 источников света в каждом блоке 1000 группы источников света расположены друг относительно друга с образованием треугольника, квадрата, круга, дуги, других геометрических объектов (фигур, ломаных, кривых, отрезков) или их комбинации.In various embodiments, the light source blocks 1010, 1020, 1030, 1040 in each light
Также и устройство для поддержки позиционирования объекта в целом может содержать несколько блоков 1000 группы источников света – например, 3 блока 1000, расположенных треугольником, 4 блока 1000, расположенных квадратом, 5 блоков 1000, из которых 4 расположены квадратом, а 1 находится в центре, и т.д.Also, the device for supporting the positioning of the object as a whole may contain
Блок 1000 группы источников света при необходимости может иметь собственный источник питания в целях обеспечения повышенной автономности и мобильности устройства для поддержки позиционирования объекта. В другом варианте осуществления питание блока 1000 группы источников света осуществляется от внешнего источника питания. При этом внешний по отношению к блоку 1000 группы источников света источник питания может по-прежнему быть частью устройства для поддержки позиционирования объекта, то есть оно может содержать один источник питания на все входящие в устройство отдельные блоки 1000. В другом варианте осуществления питание может быть внешним и по отношению к устройству для поддержки позиционирования объекта. Это может несколько повысить энергопотребление, но позволяет использовать более мощные источники света, что обеспечивает повышение вероятности распознавания, точности позиционирования и точности посадки.The light
Блок 1070 управления является опциональным. Если каждый блок 1000 группы источников света имеет собственный блок управления, то может не потребоваться внешний блок управления, повышается универсальность и компактность устройства для поддержки позиционирования объекта. В другом варианте осуществления устройство для поддержки позиционирования объекта может содержать один блок управления на все входящие в устройство отдельные блоки 1000.The
Разъемы 1050 и 1060 являются опциональными, они могут быть необходимы для получения питания от внешнего блока питания, для получения внешнего управления и т.д. Точное количество и конфигурация разъемов зависит от требований конкретного применения.
Блок 1000 группы источников света также содержит различные схемные компоненты (не показаны на Фиг. 10), такие как резисторы, конденсаторы и т.д., для обеспечения необходимого режима работы источников света и других компонентов блока 1000.The light
Все компоненты одного блока 1000 группы источников света могут быть размещены на одной печатной плате, как показано в примере на Фиг. 11. Соединяя разные блоки 1000 группы источников света между собой с помощью разъемов, можно подключать их в последовательную цепь, что позволяет уменьшить количество проводов и упростить монтаж по сравнению с подключением звездой от источника питания и единого блока управления. При этом каждый отдельный блок 1000 группы источников света по-прежнему остается независимым и компактным, что позволяет использовать предложенное устройство для поддержки позиционирования объекта на посадочных платформах с различной поверхностью, в том числе неплоской.All components of one
В другом варианте осуществления все блоки 1000 группы источников света могут быть размещены на единой печатной плате. Такая конструкция является жесткой и не требует проведения замеров и калибровки по факту монтажа или соблюдения высокой точности при монтаже, так как все размеры и взаимное расположение источников света являются неизменными.In another embodiment, all
ПрименениеApplication
Устройства, системы и способы согласно настоящему изобретению можно использовать для автономной посадки БПЛА, выполняющих, в частности, доставку грузов, различные исследования, анализ окружающего пространства, контроль объектов, фото- и видеосъемку, спасательные операции, автономный мониторинг для задач охраны сельхозугодий, картографии, дистанционного химико-физического анализа, контроля всхожести и спелости урожая, химической обработки и т.д.Devices, systems and methods according to the present invention can be used for autonomous landing of UAVs, performing, in particular, the delivery of goods, various studies, analysis of the surrounding space, object control, photography and video filming, rescue operations, autonomous monitoring for the tasks of protecting farmland, cartography, remote chemical and physical analysis, control of germination and ripeness of the crop, chemical treatment, etc.
Claims (7)
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2782702C1 true RU2782702C1 (en) | 2022-11-01 |
Family
ID=
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2615587C1 (en) * | 2016-03-18 | 2017-04-05 | Общество с ограниченной ответственностью "ЛЕ ТАЛО РОБОТИКС" | Method of accurate landing of unmanned aircraft |
| US20200130864A1 (en) * | 2018-10-29 | 2020-04-30 | California Institute Of Technology | Long-duration, fully autonomous operation of rotorcraft unmanned aerial systems including energy replenishment |
| RU2724908C1 (en) * | 2019-06-17 | 2020-06-26 | Общество С Ограниченной Ответственностью "Скайлайн" | Aircraft-type unmanned aerial vehicle landing method to runway using optical devices of different range |
| US10705541B2 (en) * | 2015-03-27 | 2020-07-07 | Planck Aerosystems Inc. | Unmanned aircraft navigation system and method |
| US20210229834A1 (en) * | 2018-05-14 | 2021-07-29 | 3M Innovative Properties Company | Guidance of unmanned aerial inspection vehicles in work environments using optical tags |
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10705541B2 (en) * | 2015-03-27 | 2020-07-07 | Planck Aerosystems Inc. | Unmanned aircraft navigation system and method |
| RU2615587C1 (en) * | 2016-03-18 | 2017-04-05 | Общество с ограниченной ответственностью "ЛЕ ТАЛО РОБОТИКС" | Method of accurate landing of unmanned aircraft |
| US20210229834A1 (en) * | 2018-05-14 | 2021-07-29 | 3M Innovative Properties Company | Guidance of unmanned aerial inspection vehicles in work environments using optical tags |
| US20200130864A1 (en) * | 2018-10-29 | 2020-04-30 | California Institute Of Technology | Long-duration, fully autonomous operation of rotorcraft unmanned aerial systems including energy replenishment |
| RU2724908C1 (en) * | 2019-06-17 | 2020-06-26 | Общество С Ограниченной Ответственностью "Скайлайн" | Aircraft-type unmanned aerial vehicle landing method to runway using optical devices of different range |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109242890B (en) | Laser speckle system and method for aircraft | |
| CN108873943B (en) | Image processing method for centimeter-level accurate landing of unmanned aerial vehicle | |
| US10401872B2 (en) | Method and system for collision avoidance | |
| CN110595476B (en) | Unmanned aerial vehicle landing navigation method and device based on GPS and image visual fusion | |
| US20160122038A1 (en) | Optically assisted landing of autonomous unmanned aircraft | |
| CN106527487A (en) | Autonomous precision landing system of unmanned aerial vehicle on motion platform and landing method | |
| CN108919838A (en) | A kind of unmanned plane transmission line of electricity automatic tracking method based on binocular vision | |
| US20190197908A1 (en) | Methods and systems for improving the precision of autonomous landings by drone aircraft on landing targets | |
| US20170193271A1 (en) | Positioning method and positioning device for unmanned aerial vehicle | |
| CN111709994B (en) | Autonomous unmanned aerial vehicle visual detection and guidance system and method | |
| US10109074B2 (en) | Method and system for inertial measurement having image processing unit for determining at least one parameter associated with at least one feature in consecutive images | |
| US20230222642A1 (en) | Inundation damage determination device, inundation damage determination method, and program | |
| Claro et al. | ArTuga: A novel multimodal fiducial marker for aerial robotics | |
| CN114729804A (en) | Multispectral imaging system and method for navigation | |
| US20230356863A1 (en) | Fiducial marker detection systems and methods | |
| RU2782702C1 (en) | Device for supporting object positioning | |
| RU2792974C1 (en) | Method and device for autonomous landing of unmanned aerial vehicle | |
| KR20190097350A (en) | Precise Landing Method of Drone, Recording Medium for Performing the Method, and Drone Employing the Method | |
| RU2785076C1 (en) | Method for autonomous landing of unmanned aircraft | |
| CN112580489A (en) | Traffic light detection method and device, electronic equipment and storage medium | |
| RU2794046C1 (en) | Object positioning method | |
| CN115097846B (en) | Unmanned vehicle and unmanned vehicle cooperative landing method and system | |
| CN111580551A (en) | Navigation system and method based on visual positioning | |
| WO2024001111A1 (en) | Aircraft landing guiding apparatus and method, and aircraft landing control method and system | |
| EP3819654B1 (en) | System and method for ensuring precision landing |