RU2773978C1 - Method for accurate landing of an unmanned aerial vehicle and device for implementing the method - Google Patents

Method for accurate landing of an unmanned aerial vehicle and device for implementing the method Download PDF

Info

Publication number
RU2773978C1
RU2773978C1 RU2021134723A RU2021134723A RU2773978C1 RU 2773978 C1 RU2773978 C1 RU 2773978C1 RU 2021134723 A RU2021134723 A RU 2021134723A RU 2021134723 A RU2021134723 A RU 2021134723A RU 2773978 C1 RU2773978 C1 RU 2773978C1
Authority
RU
Russia
Prior art keywords
landing
unmanned aerial
aerial vehicle
aircraft
platform
Prior art date
Application number
RU2021134723A
Other languages
Russian (ru)
Inventor
Татьяна Юрьевна Гайнутдинова
Владимир Григорьевич Гайнутдинов
Руслан Рустемович Латыпов
Фаиль Фанилевич Мухаметзянов
Original Assignee
федеральное государственное автономное образовательное учреждение высшего образования "Казанский (Приволжский) федеральный университет" (ФГАОУ ВО КФУ)
Общество с Ограниченной Ответственностью "ТНГ-Групп"
Filing date
Publication date
Application filed by федеральное государственное автономное образовательное учреждение высшего образования "Казанский (Приволжский) федеральный университет" (ФГАОУ ВО КФУ), Общество с Ограниченной Ответственностью "ТНГ-Групп" filed Critical федеральное государственное автономное образовательное учреждение высшего образования "Казанский (Приволжский) федеральный университет" (ФГАОУ ВО КФУ)
Application granted granted Critical
Publication of RU2773978C1 publication Critical patent/RU2773978C1/en

Links

Images

Abstract

FIELD: unmanned aerial vehicles.
SUBSTANCE: inventions group relates to a method and device for precise landing of an unmanned aerial vehicle. For an accurate landing of the aircraft, at least two monochrome optical marks in the form of a triangle and a square with known geometric dimensions and clear rectilinear boundaries are applied, a sequence of frames coming from a digital camera installed on the aircraft is processed using the aircraft computer, an image of optical signals is detected and recognized. According to the coordinates of the corner points of the mark image on the camera, the corresponding coordinates of the corner points of the mark on the landing platform are calculated and the angular position of the unmanned aerial vehicle, height and distance relative to the landing platform are determined in a certain way. This data is transmitted to the on-board control computer, which calculates the control signals. The device contains monochrome optical marks on the landing platform in the form of a square and a triangle, and on board the unmanned aerial vehicle - a digital optical camera, a computer, an automatic control system controller, inertial sensors, angular velocity and acceleration sensors, a magnetometer, a pressure sensor, a satellite navigation receiver, radio altimeter.
EFFECT: increased landing accuracy of unmanned aerial vehicle.
2 cl, 8 dwg

Description

Изобретение относится к способам точной посадки беспилотных летательных аппаратов (БПЛА) самолетного или вертолетного типа, оснащенных бортовыми электронными устройствами наблюдения, навигации и автоматического управления полетом путем измерения угловой ориентации летательного аппарата и расстояния относительно посадочной платформы с оптическими метками. The invention relates to methods for precise landing of unmanned aerial vehicles (UAVs) of an airplane or helicopter type, equipped with on-board electronic devices for observation, navigation and automatic flight control by measuring the angular orientation of the aircraft and the distance relative to the landing platform with optical marks.

Повышение точности измерения в зависимости от расстояния до посадочной платформы достигается посредством специально разработанной оптической системы на базе цифровой видеокамеры с предельно минимальным разрешением экрана до 800 на 800 пиксел с использованием комбинации различных по геометрическим размерам групп оптических меток, выполненных в виде монохромного квадрата и треугольника с разными размерами сторон, при этом, для захода на посадку с дальнего расстояния используются метки большей размерности, например, на расстоянии до 250 метров используются отметки с габаритами 5 на 5 метров, при приближении к точке посадки до 100 метров - размерность меток составляет 1 метр на один метр, а при достижении расстояния до 30 метров используются метки размером 0,2 метра на 0,2 метра соответственно. An increase in measurement accuracy depending on the distance to the landing platform is achieved by means of a specially designed optical system based on a digital video camera with an extremely minimum screen resolution of up to 800 by 800 pixels using a combination of groups of optical marks of different geometric sizes, made in the form of a monochrome square and a triangle with different dimensions of the sides, while for landing from a long distance, marks of a larger dimension are used, for example, at a distance of up to 250 meters, marks with dimensions of 5 by 5 meters are used, when approaching the landing point up to 100 meters - the dimension of the marks is 1 meter per one meter, and when reaching a distance of up to 30 meters, marks of 0.2 meters by 0.2 meters are used, respectively.

При этом следует обратить внимание на факт того, что точность измерений также зависит от разрешающей способности матрицы-экрана цифровой камеры. At the same time, attention should be paid to the fact that the accuracy of measurements also depends on the resolution of the matrix-screen of a digital camera.

Система посадки БПЛА независимо от способа посадки решает задачу вывода БПЛА в заданную точку (область) пространства с требуемой точностью и заданными значениями углов ориентации БПЛА, линейных и угловых скоростей. Автоматическая точная посадка БПЛА характеризуется высоким уровнем сложности технической реализации и определяет допустимые условия его применения, гибкость, мобильность, маневренность, автономность, всепогодность, оперативность повторного применения. The UAV landing system, regardless of the landing method, solves the problem of bringing the UAV to a given point (region) in space with the required accuracy and given values of the UAV orientation angles, linear and angular velocities. Automatic precise landing of UAVs is characterized by a high level of complexity of technical implementation and determines the permissible conditions for its use, flexibility, mobility, maneuverability, autonomy, all-weather capability, efficiency of re-use.

Далее в тексте заявителем приведены термины, которые необходимы для облегчения однозначного понимания сущности заявленных материалов и исключения противоречий и/или спорных трактовок при выполнении экспертизы по существу.Further in the text, the applicant gives the terms that are necessary to facilitate an unambiguous understanding of the essence of the claimed materials and to exclude contradictions and / or controversial interpretations when performing an examination on the merits.

БПЛА (беспилотный летательный аппарат) – летательный аппарат без экипажа на борту; UAV (unmanned aerial vehicle) - an aircraft without a crew on board;

ПП – посадочная платформа; PP - landing platform;

GPS (англ. Global Positioning System-система глобального позиционирования, читается Джи-ПиЭс) – спутниковая система навигации, обеспечивающая измерение расстояния, времени и определяющая местоположение во всемирной системе координат WGS84; GPS (Eng. Global Positioning System-Global Positioning System, read by GPS) is a satellite navigation system that provides distance and time measurements and determines the location in the WGS84 world coordinate system;

ГЛОНАСС (Глобальная навигационная спутниковая система) – советская/российская спутниковая система навигации; GLONASS (Global Navigation Satellite System) - Soviet/Russian satellite navigation system;

Фильтр Калмана – эффективный рекурсивный фильтр, оценивающий вектор состояния динамической системы, используя ряд неполных и зашумленных измерений; The Kalman filter is an efficient recursive filter that estimates the state vector of a dynamical system using a number of incomplete and noisy measurements;

Open CV (англ. Open Source Computer Vision Library, библиотека компьютерного зрения с открытым исходным кодом) – библиотека алгоритмов компьютерного зрения, обработки изображений и численных алгоритмов общего назначения с открытым кодом. Open CV (Eng. Open Source Computer Vision Library, open source computer vision library) is a library of computer vision algorithms, image processing and general-purpose numerical algorithms with open source.

На дату представления заявленных материалов существует насущная проблема поAt the date of submission of the submitted materials, there is a pressing problem regarding

повышению точности посадки беспилотных летательных аппаратов, не до конца решена задача автоматической точной посадки на посадочные платформы морского базирования. Решение данной проблемы позволит существенно снизить потери дорогостоящей авиационной техники, снизит число аварий и катастроф, связанных с неудачной посадкой, наиболее сложным и опасным маневром с превалирующим количеством аварийных ситуаций. improving the landing accuracy of unmanned aerial vehicles, the problem of automatic precise landing on sea-based landing platforms has not been fully solved. The solution of this problem will significantly reduce the loss of expensive aviation equipment, reduce the number of accidents and disasters associated with an unsuccessful landing, the most difficult and dangerous maneuver with a prevailing number of emergency situations.

Все выявленные заявителем способы посадки беспилотных летательных аппаратов и устройства для их реализации сводятся к следующим основным схемам: посадка по самолетному (на взлетно-посадочную полосу ВПП); посадка по вертолетному (на посадочную платформу ПП); посадка с использованием парашюта; посадка в улавливающее устройство [Системы адаптивного управления летательными аппаратами/ А.С. Новоселов, В.Е. Болнокин, П.И. Чинаев, А.Н. Юрьев. - М. Машиностроение, 1987. 280 с.] [1]. All methods of landing unmanned aerial vehicles and devices for their implementation identified by the applicant are reduced to the following basic schemes: landing on an airplane (on the runway runway); landing by helicopter (on the landing platform); landing using a parachute; landing in the catching device [Systems of adaptive control of aircraft / A.S. Novoselov, V.E. Bolnokin, P.I. Chinaev, A.N. Yuriev. - M. Mashinostroenie, 1987. 280 p.] [1].

Известен механический способ точной посадки по патенту US20130233964 «Привязная аэросистема для сбора данных» (Tethered aerial system for data gathering) [2]. Known mechanical method of precise landing on the patent US20130233964 "tethered aerial system for data gathering" (Tethered aerial system for data gathering) [2].

Сущностью известного технического решения является способ обеспечения безопасности при использовании привязного летательного аппарата, включающий следующие этапы: передачу электрического сигнала от наземной станции к летательному аппарату через трос и обратно к наземной станции через тот же трос; прослушивание электрического сигнала на наземной станции; при этом электрический сигнал, принятый на наземной станции, используется как значение принятого сигнала; при этом значение принятого сигнала устанавливается равным нулю или нулю, когда электрический сигнал не принимается на наземной станции; сравнение принятого значения сигнала с переданным электрическим сигналом для определения значения потери сигнала; запускают наземную станцию для прекращения передачи энергии через трос, когда значение принятого сигнала равно нулю или нулю; указание каждому летательному аппарату, связанному с тросом, вернуться к наземной станции, когда значение потери сигнала превысило предварительно определенное пороговое значение потери сигнала; а также разрешение каждому воздушному транспортному средству, связанному с тросом, продолжать выполнение своего текущего плана полета, когда значение потери сигнала не превышает предварительно заданное пороговое значение потери сигнала.The essence of the known technical solution is a method of ensuring safety when using a tethered aircraft, including the following steps: transmission of an electrical signal from the ground station to the aircraft through a cable and back to the ground station through the same cable; listening to an electrical signal at a ground station; wherein the electrical signal received at the ground station is used as the value of the received signal; wherein the value of the received signal is set to zero or zero when the electrical signal is not received at the ground station; comparing the received signal value with the transmitted electrical signal to determine a signal loss value; start the ground station to stop the transmission of energy through the cable, when the value of the received signal is zero or zero; directing each aircraft associated with the tether to return to the ground station when the signal loss value has exceeded a predetermined signal loss threshold; and allowing each aircraft associated with the tether to continue its current flight plan when the signal loss value does not exceed a predefined signal loss threshold.

Данный способ имеет следующие недостатки: This method has the following disadvantages :

а) пригоден только для привязных аппаратов;a) only suitable for tethered vehicles;

б) масса кабеля-троса значительно снижает массу полезной нагрузки, которую аппарат способен нести;b) the mass of the cable-rope significantly reduces the mass of the payload that the apparatus is capable of carrying;

в) аппарат имеет возможность подниматься на небольшую высоту, определяемой длиной кабеля-троса.c) the device has the ability to rise to a small height, determined by the length of the cable-rope.

Известный способ был реализован израильской фирмой Sky Sapience в проекте Hover Mast. Беспилотные летательные аппараты мультироторного типа поднимается на определенную высоту, для питания используется медный кабель. Высота подъема ограничена длиной кабеля с возможностью следования за передвигающимся базовым мобильным средством. Точная посадка обеспечивается тем, что БПЛА затягивается на платформу мобильного средства кабелем питания [Проект Hover Mast [http://www.skysapience.com]] [3].The known method was implemented by the Israeli company Sky Sapience in the Hover Mast project. Multi-rotor type unmanned aerial vehicles rise to a certain height, a copper cable is used for power. The lifting height is limited by the length of the cable with the ability to follow the moving base mobile vehicle. Accurate landing is provided by the fact that the UAV is pulled onto the platform of the mobile vehicle with a power cable [Project Hover Mast [http://www.skysapience.com]] [3].

Данный способ имеет следующие недостатки: This method has the following disadvantages :

а) пригоден только для посадки привязных аппаратов;a) only suitable for landing tethered craft;

б) масса медного кабеля значительно снижает массу полезной нагрузки, которую аппарат способен нести;b) the mass of the copper cable significantly reduces the mass of the payload that the apparatus is capable of carrying;

в) аппарат имеет возможность подниматься на небольшую высоту (не более 50м,) и небольшое удаление от мобильной платформы.c) the device has the ability to rise to a small height (no more than 50m) and a small distance from the mobile platform.

Известен способ посадки компании DJI по патенту US20140236390 «Малоразмерный беспилотный летательный аппарат вертикального взлета и посадки (VTOL) с воздушной системой беспроводного мониторинга нефтегазопроводов» (Vertical take-off and landing (vtol) small unmanned aerial system for monitoring oil and gas pipelines) [4]. Сущностью способа является система, включающая: автономное и дистанционное управление оператором летательным аппаратом, имеющим множество воздушных винтов для вертикального взлета и посадки; датчики для управления полетом самолета по заданной траектории, при этом снабжен дополнительными датчиками для определение уровня газа в атмосфере на заданной траектории полета; подключение летательного аппарата к сети, обеспечивающей облачные вычисления для оценки на месте обнаруженного уровня газа в атмосфере на траектории полета; запись данных с датчиков; систему автономной посадки самолета на посадочную платформу; передачу записанных данных с летательного аппарата во время стыковки самолета с платформой; а также подзарядку аккумуляторных батарей самолета от источника питания на платформе. There is a known method of landing by DJI according to patent US20140236390 "Small unmanned aerial system for monitoring oil and gas pipelines" (Vtol) [4 ]. The essence of the method is a system that includes: autonomous and remote control by the operator of an aircraft with a plurality of propellers for vertical takeoff and landing; sensors for controlling the flight of the aircraft along a given trajectory, while equipped with additional sensors for determining the level of gas in the atmosphere on a given flight trajectory; connection of the aircraft to a network providing cloud computing for on-site assessment of the detected level of gas in the atmosphere on the flight path; recording data from sensors; aircraft autonomous landing system on the landing platform; transmission of recorded data from the aircraft during docking of the aircraft with the platform; as well as recharging the aircraft batteries from the power source on the platform.

Данный способ имеет следующие недостатки: This method has the following disadvantages :

а) для осуществления автоматической посадки используется система глобального позиционирования GPS, которая обеспечивает точность посадки 1 - 1,5 метра;a) for automatic landing, the GPS global positioning system is used, which provides a landing accuracy of 1 - 1.5 meters;

б) способ автоматической посадки применим только для посадки на неподвижную посадочную площадку с известными координатами. b) the automatic landing method is applicable only for landing on a fixed landing site with known coordinates.

в) способ применим только для посадки аппаратов вертолетного типа. c) the method is applicable only for landing helicopter-type vehicles.

Известен способ посадки компании SKYCATCH по патенту CN204250382U «Механизм позиционирования и базовая станция БПЛА (беспилотный летательный аппарат) с использованием механизма позиционирования» (Positioning mechanism an UAV (Unmanned Aerial Vehicle) base station using positioning mechanism) [5]. Сущностью является механизм позиционирования, отличающийся тем, что он содержит: основание с площадкой для приземления и зону для позиционирования на площадке приземления; и направляющую для направления объекта к позиционирующей части, направляющая подвижно расположена в зоне посадки, включает в себя направляющую поверхность; при этом состояние подвижного направляющего элемента относительно основания включает в себя нерабочее состояние и рабочее состояние, а форма направляющего элемента в нерабочем состоянии отличается от формы в рабочем состоянии, и направляющая поверхность может примыкать к позиционирующей части в рабочем состоянии. There is a known method of landing by SKYCATCH according to the patent CN204250382U “Positioning mechanism an UAV (Unmanned Aerial Vehicle) base station using positioning mechanism” [5]. The essence is a positioning mechanism, characterized in that it contains: a base with a landing area and a positioning area on the landing area; and a guide for guiding an object to the positioning part, the guide being movably located in the landing area, includes a guide surface; wherein the state of the movable guide member relative to the base includes a non-working state and a running state, and the shape of the guide member in the non-working state is different from the shape in the running state, and the guide surface can be adjacent to the positioning part in the running state.

Данный способ имеет следующие недостатки: This method has the following disadvantages :

б) способ автоматической посадки применим только для посадки на неподвижную посадочную площадку с известными координатами. b) the automatic landing method is applicable only for landing on a fixed landing site with known coordinates.

в) способ применим только для посадки аппаратов вертолетного типа. c) the method is applicable only for landing helicopter-type vehicles.

Таким образом, в известных патентах US20140236390 и CN204250382U используется система глобального позиционирования для обеспечения автоматической посадки беспилотных летательных аппаратов вертолетного типа на неподвижную посадочную площадку с известными координатами. Thus, the well-known patents US20140236390 and CN204250382U use a global positioning system to ensure automatic landing of helicopter-type unmanned aerial vehicles on a fixed landing site with known coordinates.

Известны изобретения способов точной посадки с применением систем технического зрения, в которых используются данные, полученные с помощью цифровой камеры, установленной на борту БПЛА. Known inventions of precision landing methods using vision systems that use data obtained using a digital camera installed on board the UAV.

Известно изобретение по патенту WO2017160192A1 «Способ точной посадки беспилотного летательного аппарата» [6]. Сущностью является способ точной посадки беспилотного летательного аппарата (БПЛА), включающий в себя этапы, на которых: -получают временную последовательность кадров, закодированную в битовый поток, получаемую с оптической камеры, установленной на БПЛА, и содержащую данные, по меньшей мере, об одной оптической метке, расположенной в точке посадки БПЛА; -определяют, по меньшей мере, два угла смещения при помощи алгоритмов компьютерного зрения; -получают данные, по меньшей мере, о двух углах наклона БПЛА и высоте БПЛА; -обрабатывают полученные данные, по меньшей мере, о двух углах наклона БПЛА и высоте БПЛА при помощи, по меньшей мере, одного рекурсивного фильтра; - определяют вектор смещения БПЛА; -формируют и направляют сигналы управления при помощи пропорционально- интегрально-дифференцирующего (ПИД) регулятора на полетный контроллер БПЛА; -корректируют траекторию посадки БПЛА. The invention is known according to the patent WO2017160192A1 "Method of precise landing of an unmanned aerial vehicle" [6]. The essence is a method for precise landing of an unmanned aerial vehicle (UAV), which includes the steps at which: - a time sequence of frames is received, encoded in a bit stream, received from an optical camera installed on the UAV, and containing data on at least one optical label located at the UAV landing point; - determine at least two offset angles using computer vision algorithms; - receive data on at least two angles of inclination of the UAV and the height of the UAV; - processing the received data, at least two angles of inclination of the UAV and the height of the UAV using at least one recursive filter; - determine the UAV displacement vector; - form and send control signals using a proportional-integral-differentiating (PID) controller to the UAV flight controller; -correct the landing trajectory of the UAV.

Таким образом, в WO2017160192A1 изложено техническое решение точной посадки аппарата БПЛА вертолетного типа за счет использования полетного контроллера, спутниковой системы навигации, гироскопа, акселерометра, магнитометра, барометра, сонара, бортового компьютера, оптической камеры и, по меньшей мере, одной оптической метки, приведены простые соотношения для вычисления требуемых значений смещений по распознанному изображению оптической метки на экране-матрице электронной камеры. Величины расчетных смещений передаются в блок расчета сигналов управления по крену и тангажу БПЛА, обеспечивающих точную посадку. Thus, in WO2017160192A1, a technical solution for the precise landing of a helicopter-type UAV apparatus through the use of a flight controller, a satellite navigation system, a gyroscope, an accelerometer, a magnetometer, a barometer, a sonar, an on-board computer, an optical camera and at least one optical mark is presented. simple ratios for calculating the required displacement values from the recognized image of the optical mark on the screen-matrix of the electronic camera. The values of the calculated displacements are transmitted to the UAV pitch and roll control signal calculation unit, which ensures an accurate landing.

Данный способ имеет следующие недостатки: This method has the following disadvantages :

а) он пригоден только для вертикальной посадки БПЛА вертолетного типа; a) it is only suitable for vertical landing of helicopter-type UAVs;

б) смещения от точки посадки определяются дополнительными составляющими к текущим значениям углов крена и тангажа, для пересчета этих углов в физические смещения необходимо знать высоту полета БПЛА, которая должна быть определена какими-то другими аппаратными средствами, например, лазерными дальномерами или сонарами;b) offsets from the landing point are determined by additional components to the current values of the roll and pitch angles, in order to convert these angles into physical offsets, it is necessary to know the UAV flight altitude, which must be determined by some other hardware, for example, laser rangefinders or sonars;

в) в способе не предусмотрена процедура идентификации – распознания посадочной метки. c) the method does not provide for an identification procedure - recognition of the landing mark.

Известно изобретение по патенту РФ №2378664 «Способ определения местоположения и углов ориентации летательного аппарата относительно взлетно-посадочной полосы и устройство для его осуществления» [7]. Сущностью является способ определения местоположения и углов ориентации летательного аппарата относительно взлетно-посадочной полосы, основанный на формировании области излучения посадочной траектории, приеме сигналов от источников излучения и определении местоположения летательного аппарата (ЛА) относительно взлетно-посадочной полосы (ВПП), отличающийся тем, что в качестве источников излучения используют два одинаковых лазерных маяка, регистрируют излучение каждого из двух лазерных маяков с известными координатами, установленных вдоль ВПП на полосах безопасности, посредством двух разнесенных оптико-локационных блоков, установленных на борту ЛА и выполненных каждый в виде плоской фотоматрицы, размещенной в фокальной плоскости фотообъектива, осуществляют обработку оцифрованного изображения, снимаемого с фотоматрицы для определения координат изображений лазерных маяков, вычисляют координаты двух лазерных маяков относительно летательного аппарата; вычисляют углы ориентации ЛА относительно ВПП - углы рыскания Ψ, крена γ, тангажа υ, вычисляют матрицу направляющих косинусов, вычисляют координаты ЛА относительно ВПП - горизонтальную дальность до точки касания Х'о, высоту полета Y'o, боковое отклонение от оси ВПП Z'о. An invention is known according to RF patent No. 2378664 "Method for determining the location and orientation angles of an aircraft relative to the runway and a device for its implementation" [7]. The essence is a method for determining the location and orientation angles of an aircraft relative to the runway, based on the formation of the radiation area of the landing path, receiving signals from radiation sources and determining the location of the aircraft (LA) relative to the runway, characterized in that two identical laser beacons are used as radiation sources, the radiation of each of the two laser beacons with known coordinates, installed along the runway on the safety strips, is recorded by means of two spaced optical-location units installed on board the aircraft and each is made in the form of a flat photomatrix placed in the focal plane of the photolens, carry out the processing of the digitized image taken from the photomatrix to determine the coordinates of the images of laser beacons, calculate the coordinates of the two laser beacons relative to the aircraft; calculate aircraft orientation angles relative to the runway - yaw angles Ψ, roll γ, pitch υ, calculate the direction cosine matrix, calculate the aircraft coordinates relative to the runway - horizontal distance to the touch point X'o, flight altitude Y'o, lateral deviation from the runway axis Z' about.

Данный способ имеет следующие недостатки: This method has the following disadvantages :

а) способ пригоден для автоматической посадки БПЛА самолетного типа при условии известного направления захода на посадку и не пригоден для вертикальной посадки; a) the method is suitable for automatic landing of aircraft-type UAVs under the condition of a known approach direction and is not suitable for vertical landing;

б) для применения способа на БПЛА необходимо устанавливать две разнесенные электронные камеры вместо одной; b) to apply the method on the UAV, it is necessary to install two spaced electronic cameras instead of one;

в) для определения угловой ориентации и расстояния относительно посадочной площадки необходимо решение 6-ти нелинейных уравнений, плохая сходимость решения которых не гарантирует завершение расчетов для получения результатов в режиме реального времени; c) to determine the angular orientation and distance relative to the landing site, it is necessary to solve 6 nonlinear equations, the poor convergence of the solution of which does not guarantee the completion of calculations to obtain results in real time;

г) обнаружение изображения точечных источников на фоточувствительном экране-матрице не гарантирует ошибочного определения иного излучающего источника вместо инфракрасного излучателя на посадочной полосе. d) detection of an image of point sources on a photosensitive screen-matrix does not guarantee an erroneous determination of a different radiating source instead of an infrared emitter on the runway.

Исходя из анализа исследованного уровня техники, заявитель делает вывод, что выявленные аналоги, наиболее близкие по существу и совпадающим признакам заявленному техническому решению, имеют оптические или инфракрасные метки на посадочной платформе, систему технического зрения и контроллер системы автоматического управления на борту и определенную последовательность выполняемых операций для осуществления посадки, а именно: Based on the analysis of the studied state of the art, the applicant concludes that the identified analogues, which are closest in essence and identical to the claimed technical solution, have optical or infrared tags on the landing platform, a vision system and an automatic control system controller on board and a certain sequence of operations performed for landing, namely:

- получение данных об оптических (инфракрасных) метках на посадочной платформе по изображению на фото-матрице цифровой оптической (инфракрасной) камеры;- obtaining data on optical (infrared) marks on the landing platform from the image on the photo matrix of a digital optical (infrared) camera;

- обработка полученных данных в бортовом компьютере для определения положения БПЛА относительно точки посадки;- processing the received data in the on-board computer to determine the position of the UAV relative to the landing point;

- передача расчетных данных в бортовой контроллер системы автоматического управления и вычисление управляющих сигналов для осуществления автоматической посадки.- transfer of calculated data to the onboard controller of the automatic control system and calculation of control signals for automatic landing.

Недостатки выявленных аналогов:Disadvantages of the identified analogues:

- техническое решение точной посадки, описанный в патенте РФ №2378664, применим для захода на посадку летательных аппаратов по самолетному, если заранее известно направлению посадки, его невозможно использовать для вертикальной посадки или любого другого способа посадки при отсутствии на борту дополнительной информации о направлении захода на посадку;- technical solution of precise landing, described in the RF patent No. 2378664, is applicable for aircraft landing approach by plane, if the landing direction is known in advance, it cannot be used for vertical landing or any other landing method in the absence of additional information on board about the direction of approach to landing;

- в выявленном аналоге в алгоритмах определения угловой ориентации БПЛА применяется решение 6-ти нелинейных уравнений, в материалах приведенного описания изобретения не подтверждена скорость сходимость решения, не гарантируется завершение вычислений в режиме реального времени, следовательно, не гарантируется выдача данных для навигационных расчетов, производимых бортовым контроллером системы автоматического управления, с необходимой для управления БПЛА частотой; - in the identified analogue, in the algorithms for determining the angular orientation of the UAV, the solution of 6 non-linear equations is used, in the materials of the above description of the invention, the convergence rate of the solution is not confirmed, the completion of calculations in real time is not guaranteed, therefore, the output of data for navigation calculations produced by the onboard controller of the automatic control system, with the frequency necessary for controlling the UAV;

- техническое решение точной посадки, описанный в патенте WO2017160192A1, применим для вертикальной посадки летательных аппаратов вертолетного типа, его невозможно использовать для захода на посадку по самолетному;- the precision landing solution described in patent WO2017160192A1 is applicable for vertical landing of helicopter-type aircraft, it cannot be used for aircraft approach;

- в выявленном аналоге для вычисления смещения БПЛА от точки посадки предлагается определение высоты полета БПЛА иными аппаратными средствами, отличными от используемых в системе технического зрения ( сонары, лазерные дальномеры и т.п), которые определяют текущую высоту БПЛА над подстилающей поверхностью, и только при нахождении БПЛА непосредственно над точкой посадки непосредственно относительно посадочной плоскости).- in the identified analogue, to calculate the UAV displacement from the landing point, it is proposed to determine the UAV flight altitude using other hardware other than those used in the technical vision system (sonars, laser rangefinders, etc.), which determine the current UAV height above the underlying surface, and only when location of the UAV directly above the landing point directly relative to the landing plane).

- в выявленных аналогах отсутствует процедура распознания посадочной метки, так как на экране-матрице цифровой камеры происходит обнаружение локальной зоны, отличающейся по степени яркости, определяется центр этой зоны в качестве изображения метки, но из-за отсутствие процедуры распознавания метки некоторые из них могут быть приняты за изображение метки на посадочной платформе ошибочно, а являться изображением иных оптических объектов. - in the identified analogues, there is no landing mark recognition procedure, since a local zone that differs in brightness is detected on the matrix screen of a digital camera, the center of this zone is determined as the mark image, but due to the lack of a mark recognition procedure, some of them may be taken as an image of a mark on the landing platform by mistake, but to be an image of other optical objects.

Исходя из анализа исследованного уровня техники заявитель делает вывод, что:Based on the analysis of the studied prior art, the applicant concludes that:

- основным недостатком выявленных аналогов является низкая надежность известных технических решений точной посадки с использованием систем технического зрения из-за того отсутствия в программном обеспечении системы технического зрения процедуры распознания (идентификации) посадочной метки, что может привести к ошибочному принятию обнаруженного контрастного объекта или источника излучения за посадочную метку с последующими негативными последствиями;- the main disadvantage of the identified analogues is the low reliability of the known technical solutions for precise landing using vision systems due to the lack of a landing mark recognition (identification) procedure in the software of the vision system, which can lead to erroneous acceptance of the detected contrast object or radiation source for landing mark with subsequent negative consequences;

- используемые для решения задачи определения пространственной ориентации летательного аппарата алгоритмы решения нелинейных уравнений не гарантируют получения решения в отведенном временном интервале и передачу данных в бортовой компьютер управления, который вычисляет сигналы управления с частотой, достаточной для корректировки траектории и обеспечения заданной точности посадки беспилотного летательного аппарата на посадочную платформу в автоматическом режиме.- the algorithms for solving non-linear equations used to solve the problem of determining the spatial orientation of an aircraft do not guarantee obtaining a solution in the allotted time interval and transmitting data to the onboard control computer, which calculates control signals with a frequency sufficient to correct the trajectory and ensure the specified accuracy of landing of an unmanned aerial vehicle on landing platform automatically.

- выявленные аналоги относятся к единичным типам посадки летательных аппаратов, поэтому совпадают с заявленным техническим решением по различным единичным признакам в разных аналогах, вследствие чего прототип по отношению к заявленному способу не выявлен, поэтому независимый пункт формулы изобретения составлен без ограничительной части.- identified analogues refer to single types of aircraft landing, therefore, they coincide with the claimed technical solution in terms of various single features in different analogues, as a result of which the prototype in relation to the claimed method has not been identified, therefore, an independent claim is made without a restrictive part.

Сущностью заявленного изобретения является способ точной посадки беспилотного летательного аппарата путем измерения угловой ориентации летательного аппарата и расстояния относительно платформы с оптическими метками, заключающийся в том, что на посадочной платформе наносят по меньшей мере две монохромные оптические метки в виде треугольника и квадрата с известными геометрическими размерами и четкими прямолинейными границами, при этом компьютер, установленный на беспилотном летательном аппарате, при помощи алгоритмов компьютерного зрения обрабатывает последовательность поступающих кадров, получаемых с цифровой камеры, установленной на беспилотном летательном аппарате, обнаруживает и распознает изображение оптических меток, по координатам угловых точек изображения метки на камере вычисляет соответствующие координаты угловых точек метки на посадочной платформе и при помощи алгоритма сопоставления геометрических параметров из расчетных и фактических координат угловых точек метки на посадочной платформе определяет угловое положения беспилотного летательного аппарата, высоту и расстояние относительно посадочной платформы, передает эти данные в бортовой компьютер управления, который вычисляет сигналы управления с частотой, достаточной для корректировки траектории и обеспечения заданной точности посадки беспилотного летательного аппарата на посадочную платформу в автоматическом режиме. Устройство для реализации способа по п.1. состоящее из оптической метки на посадочной платформе, выполненное, по меньшей мере, из монохромного квадрата и треугольника с известными размерами и четкими прямолинейными границами, цифровой оптической камеры, бортового компьютера с программным обеспечением по обнаружению и распознаванию посадочной метки, при этом цифровая камера и бортовой компьютер объединены в единый измерительный сегмент; бортового контроллера системы автоматического управления с программным обеспечением и блоком инерциальных датчиков, инерциальными трехстепенными сенсорами угловой скорости, ускорения, магнетометром; датчиком давления, приемником спутниковой навигации GPS/ГЛОНАСС и радиовысотомером. The essence of the claimed invention is a method for accurate landing of an unmanned aerial vehicle by measuring the angular orientation of the aircraft and the distance relative to the platform with optical marks, which consists in the fact that at least two monochrome optical marks are applied on the landing platform in the form of a triangle and a square with known geometric dimensions and clear rectilinear boundaries, while a computer installed on an unmanned aerial vehicle, using computer vision algorithms, processes a sequence of incoming frames received from a digital camera installed on an unmanned aerial vehicle, detects and recognizes the image of optical marks, by the coordinates of the corner points of the mark image on the camera calculates the corresponding coordinates of the corner points of the mark on the landing platform and, using the algorithm for comparing geometric parameters from the calculated and actual coordinates of the corner points of the mark on the landing The second platform determines the angular position of the unmanned aerial vehicle, height and distance relative to the landing platform, transmits these data to the onboard control computer, which calculates control signals with a frequency sufficient to correct the trajectory and ensure the specified accuracy of landing of the unmanned aerial vehicle on the landing platform in automatic mode. Device for implementing the method according to claim 1. consisting of an optical mark on the landing platform, made of at least a monochrome square and a triangle with known dimensions and clear rectilinear boundaries, a digital optical camera, an on-board computer with software for detecting and recognizing the landing mark, while a digital camera and an on-board computer combined into a single measuring segment; on-board controller of the automatic control system with software and a block of inertial sensors, inertial three-degree sensors of angular velocity, acceleration, magnetometer; pressure sensor, GPS/GLONASS satellite navigation receiver and radio altimeter.

Техническим результатом заявленного технического решения является разработка способа и устройства точной посадки беспилотного летательного аппарата самолетного и вертолетного типа путем измерения угловой ориентации летательного аппарата и расстояния относительно посадочной платформы с оптическими метками с известными геометрическими размерами с использованием алгоритмов и соответствующего программного обеспечения обнаружения и распознавания изображения меток на экране-матрице бортовой цифровой камеры, алгоритма и программного обеспечения сопоставления расчетных геометрических параметров метки с аналогичными параметрами оригинальной метки на посадочной платформе и последующим использованием данных по угловой ориентации и расстоянию летательного аппарата относительно посадочной платформы в навигационных расчетах для автоматической посадки летательных аппаратов самолетного и вертолетного типа на неподвижную или движущуюся платформу. The technical result of the claimed technical solution is the development of a method and device for precise landing of an unmanned aerial vehicle of an airplane and helicopter type by measuring the angular orientation of the aircraft and the distance relative to the landing platform with optical marks with known geometric dimensions using algorithms and appropriate software for detecting and recognizing the image of marks on matrix screen of the onboard digital camera, algorithm and software for comparing the calculated geometrical parameters of the tag with the same parameters of the original tag on the landing platform and the subsequent use of data on the angular orientation and distance of the aircraft relative to the landing platform in navigation calculations for automatic landing of airplane and helicopter type aircraft on a fixed or moving platform.

При этом достигается: This achieves:

1 – возможность определения углового положения летательного аппарата и расстояния относительно посадочной платформы с использованием только экранных координат угловых точек распознанного изображения оптической метки на экране-матрице цифровой камеры, установленной на борту; 1 – the ability to determine the angular position of the aircraft and the distance relative to the landing platform using only the screen coordinates of the corner points of the recognized image of the optical mark on the screen-matrix of the digital camera installed on board;

2 – возможность определения высоты полета относительно неподвижной или движущейся посадочной платформы с оптическими метками, а не относительно земной поверхности в зоне посадки, а также координат угловых точек посадочных меток на посадочной площадке в осях связанной системы координат летательного аппарата; 2 – the ability to determine the flight altitude relative to a stationary or moving landing platform with optical marks, and not relative to the earth's surface in the landing zone, as well as the coordinates of the corner points of the landing marks on the landing site in the axes of the associated coordinate system of the aircraft;

3 – возможность завершения необходимых навигационных расчетов в режиме реального времени для осуществления автоматической точной посадки летательного аппарата на посадочную платформу;3 - the ability to complete the necessary navigation calculations in real time for automatic precise landing of the aircraft on the landing platform;

4 – применимость заявляемого способа точной посадки для всех типов летательных аппаратов, совершающих посадку по самолетному (с пробегом) или по вертолетному (вертикальная посадка на платформу) типу;4 - the applicability of the proposed method of precise landing for all types of aircraft landing on an airplane (with a run) or on a helicopter (vertical landing on a platform) type;

5 – применимость заявляемого способа точной посадки летательных аппаратов всех типов на платформу с оптическими метками, которая может совершать поступательное движение и повороты по курсу, крену и дифференту во время автоматической посадки летательного аппарата.5 - the applicability of the proposed method of precise landing of aircraft of all types on a platform with optical marks, which can perform translational movement and turns along the course, roll and trim during automatic landing of the aircraft.

Таким образом, заявленное техническое решение направлено на устранение недостатков выявленных аналогов заявляемого способа точной посадки, применимого для летательных аппаратов и самолетного и вертолетного типа, а именно:Thus, the claimed technical solution is aimed at eliminating the shortcomings of the identified analogues of the claimed precision landing method applicable to aircraft and aircraft and helicopter types, namely:

- повышение достоверности и точности получаемых бортовым контроллером системы автоматического управления данных от системы технического зрения, за счет исключения ошибки при обнаружении изображения метки путем использования алгоритма и соответствующего программного обеспечения по распознаванию обнаруженных на экране меток;- increasing the reliability and accuracy of the data received by the onboard controller of the automatic control system from the vision system, by eliminating the error when detecting the image of the mark by using the algorithm and the corresponding software for recognizing the marks found on the screen;

- повышения гарантии получения необходимых данных от системы копьютерного зрения бортовому компьютеру системы автоматического управления за счет гарантированного завершения вычислений по определению пространственного положения аппарата в отведенном временном интервале;- increasing the guarantee of obtaining the necessary data from the computer vision system to the on-board computer of the automatic control system due to the guaranteed completion of calculations to determine the spatial position of the device in the allotted time interval;

- обеспечения возможности определения ориентации беспилотного летательного аппарата относительно главного направления посадки на посадочной платформе;- providing the ability to determine the orientation of the unmanned aerial vehicle relative to the main direction of landing on the landing platform;

- обеспечения точности посадки при использовании цифровых оптических камер с низкой разрешающей способностью за счет одновременного использования комбинации меток треугольник-квадрат разной размерности. - ensuring landing accuracy when using digital optical cameras with low resolution through the simultaneous use of a combination of triangle-square marks of different dimensions.

Заявленное техническое решение поясняется Фиг.1 – Фиг.8. The claimed technical solution is illustrated in Fig.1 - Fig.8.

На Фиг.1 показана оптическая метка на посадочной платформе в виде монохромного квадрата, где: 1, 2, 3, 4 – угловые точки. Figure 1 shows an optical label on the landing platform in the form of a monochrome square, where: 1, 2, 3, 4 - corner points.

На Фиг.2 показано изображение двух оптических меток в виде монохромного квадрата и треугольника, определяющих главное направление на посадочной платформе. Figure 2 shows an image of two optical marks in the form of a monochrome square and a triangle, defining the main direction on the landing platform.

На Фиг.3 показано типичное изображение на экране-матрице цифровой камеры, соответствующее оптической метке в виде монохромного квадрата на посадочной платформе. Figure 3 shows a typical image on the screen-matrix of a digital camera, corresponding to an optical label in the form of a monochrome square on the landing platform.

На Фиг.4 показаны распознанные угловые точки 1, 2, 3, 4 изображения монохромного квадрата с нумерацией, соответствующей нумерации угловых точек на оригинале оптической метки, показанной на Фиг.1. Figure 4 shows the recognized corner points 1, 2, 3, 4 of the monochrome square image with the numbering corresponding to the numbering of the corner points on the original optical mark shown in Figure 1.

На Фиг.5 приведена схема проецирования точек, находящихся в плоскости посадочной платформы 5 в соответствующие точки изображения в плоскости экрана-матрицы электронной камеры 6, показана точка схода С, орты

Figure 00000001
системы координат в плоскости посадочной платформы и орты
Figure 00000002
системы координат, связанные с плоскостью экрана-матрицы электронной камеры, показана высота H – расстояние от точки схода С до плоскости посадочной платформы. Figure 5 shows a diagram of the projection of points located in the plane of the landing platform 5 to the corresponding points of the image in the plane of the screen-matrix of the electronic camera 6, shows the vanishing point C , orts
Figure 00000001
coordinate systems in the plane of the landing platform and orts
Figure 00000002
coordinate systems associated with the plane of the screen-matrix of the electronic camera, the height H is shown - the distance from the vanishing point C to the plane of the landing platform.

На Фиг.6 показан процесс сходимости итерационного решения по определению углов крена и тангажа (

Figure 00000003
и
Figure 00000004
) летательного аппарата относительно плоскости посадочной платформы, на горизонтальной оси отмечен порядковый номер итерации k , на вертикальной оси отмечены значения
Figure 00000003
и
Figure 00000004
, точками на графике отмечены вычисленные значения
Figure 00000003
и
Figure 00000004
, соответствующие номеру итерации. Figure 6 shows the process of convergence of the iterative solution to determine the angles of roll and pitch (
Figure 00000003
and
Figure 00000004
) of the aircraft relative to the plane of the landing platform, the iteration number k is marked on the horizontal axis, the values are marked on the vertical axis
Figure 00000003
and
Figure 00000004
, the points on the graph mark the calculated values
Figure 00000003
and
Figure 00000004
corresponding to the iteration number.

На Фиг.7 показана схема сегментов аппаратной части обеспечения автоматической посадки: сегмент на посадочной платформе 7; отсек размещения сегмента технического зрения на БПЛА 8; изображение посадочной полосы на цифровой камере 9; аппаратная часть сегмента технического зрения 10, автопилот 11, в блок технического зрения входит: устройство - 12 Raspberry Pi 3 Model B+ на базе процессора Broadcom BCM2837B0 (Cortex-A53); цифровая веб-камера – 13, радиовысотомер 14, блок инерциальных датчиков - 15, микропроцессор борового контроллера STM32F427ZG – 16, приемник GPS/ГЛОНАСС – 17. Figure 7 shows a diagram of the segments of the hardware for automatic landing: a segment on the landing platform 7; compartment for placing the technical vision segment on the UAV 8; image of the runway on the digital camera 9; hardware part of vision segment 10, autopilot 11, vision block includes: device - 12 Raspberry Pi 3 Model B+ based on Broadcom BCM2837B0 (Cortex-A53) processor; digital webcam - 13, radio altimeter 14, inertial sensor unit - 15, onboard controller microprocessor STM32F427ZG - 16, GPS/GLONASS receiver - 17.

На Фиг.8 показана подробная структура аппаратной части и перечень алгоритмов программного обеспечения для осуществления автоматической посадки на посадочную платформу и схема передачи расчетных данных между основными сегментами структуры. Figure 8 shows a detailed hardware structure and a list of software algorithms for automatic landing on a landing platform and a scheme for transmitting calculated data between the main structure segments.

Далее заявителем приведено описание заявленного технического решения. Further, the applicant provides a description of the claimed technical solution.

Заявленное устройство, посредством которого реализуется заявленный способ, состоит из следующих конструктивных элементов: The claimed device, through which the claimed method is implemented, consists of the following structural elements:

оптической метки на посадочной платформе, состоящей, по меньшей мере, из монохромного квадрата и треугольника с известными размерами и четкими прямолинейными границами; -optical label on a landing platform consisting of at least a monochrome square and a triangle with known dimensions and clear rectilinear boundaries;

цифровой оптической камеры; digital optical camera;

бортового компьютера с программным обеспечением по обнаружению и распознаванию посадочной метки (цифровая камера и бортовой компьютер объединены в единый измерительный сегмент); – an on-board computer with software for detecting and recognizing a landing mark (a digital camera and an on-board computer are combined into a single measuring segment);

бортового контроллера системы автоматического управления с программным обеспечением и блоком инерциальных датчиков: инерциальными трехстепенными сенсорами угловой скорости, ускорения, магнетометра; датчика давления, приемника спутниковой навигации GPS/ГЛОНАСС; on-board controller of the automatic control system with software and a block of inertial sensors: inertial three-degree sensors of angular velocity, acceleration, magnetometer; pressure sensor, GPS/GLONASS satellite navigation receiver;

радиовысотомера. - radio altimeter.

На Фиг.7 показана схема сегментов аппаратной части системы автоматической посадки созданного авторами заявки беспилотного летательного аппарата вертикального взлета и посадки, способного совершать полет в вертолетном режиме за счет сил, создаваемых подъемными воздушными винтами, и в режиме обычного самолета за счет силы тяги маршевого двигателя и подъемной силы, создаваемой крылом. Наземный сегмент системы посадки 7 состоит из посадочной платформы с нанесенной на ней оптической меткой в виде монохромного квадрата и треугольника. Бортовой сегмент системы включает блок технического зрения 10 и блок системы автоматического управления 11. В блок технического зрения входит: устройство - 12 Raspberry Pi 3 Model B+ на базе процессора Broadcom BCM2837B0 (Cortex-A53) с тактовой частотой 1.4ГГц с вентилятором охлаждения чипа; цифровая веб-камера - 13 с разрешением матрицы 800х600. Figure 7 shows a diagram of the segments of the hardware of the automatic landing system created by the authors of the application of an unmanned aerial vehicle of vertical takeoff and landing, capable of flying in helicopter mode due to the forces generated by the lifting propellers, and in the mode of a conventional aircraft due to the thrust force of the sustainer engine and lift generated by the wing. The ground segment of the landing system 7 consists of a landing platform with an optical label printed on it in the form of a monochrome square and a triangle. The onboard segment of the system includes a vision block 10 and an automatic control system block 11. The vision block includes: a device - 12 Raspberry Pi 3 Model B+ based on a Broadcom BCM2837B0 (Cortex-A53) processor with a clock frequency of 1.4 GHz with a chip cooling fan; digital webcam - 13 with a matrix resolution of 800x600.

Позицией 14 на Фиг.7 отмечен радиовысотомер, данные которого по высоте над поверхностью используются вместе с расчетными данными блока технического зрения и передаются в бортовой контроллер системы автоматического управления 11. The position 14 in Fig.7 marks the radio altimeter, the data of which in height above the surface are used together with the calculated data of the vision unit and transmitted to the onboard controller of the automatic control system 11.

В состав бортового контроллера управления (11) входит: блок инерциальных датчиков - 15 ADIS 16480, включающий трехстепенной аскселерометр, трехстепенной сенсор угловой скорости, трехстепенной магнетометр, датчик давления и температуры; микропроцессор борового контроллера STM32F427ZG - 16; приемник GPS/ГЛОНАСС – 17. The onboard control controller (11) includes: a block of inertial sensors - 15 ADIS 16480, including a three-stage accelerometer, a three-stage angular velocity sensor, a three-stage magnetometer, a pressure and temperature sensor; onboard controller microprocessor STM32F427ZG - 16; GPS/GLONASS receiver - 17.

Программное обеспечение сегмента технического зрения состоит из: программы обработки изображений (включает процедуру обнаружения и распознавания посадочной метки) и программы вычислений по определению параметров углового положения и расстояния до посадочной платформы. Программы написаны на языке Java с использованием библиотеки OpenCV. Программное обеспечение программа может работать на любых аппаратных средствах, поддерживающих Java SE и библиотеку OpenCV. Программное обеспечение для бортового контроллера системы автоматического управления БПЛА написана на языке С++, производит обработку цифровых данных, поступающих с инерциальных измерительных сенсоров и данных блока технического зрения, формируют сигналы управления беспилотным летательным аппаратом, совершающим полет по заданной траектории в автоматическом режиме, включая автоматическую посадку на посадочную платформу.The vision segment software consists of: an image processing program (including the procedure for detecting and recognizing the landing mark) and a calculation program for determining the parameters of the angular position and distance to the landing platform. The programs are written in Java using the OpenCV library. The software program can run on any hardware that supports Java SE and the OpenCV library. The software for the on-board controller of the UAV automatic control system is written in C ++, it processes digital data coming from inertial measuring sensors and data from the vision unit, generates control signals for an unmanned aerial vehicle flying along a given trajectory in automatic mode, including automatic landing on the landing platform.

На Фиг.8 показана подробная структура аппаратной части и алгоритмов программного обеспечения для осуществления автоматической посадки на посадочную платформу. При обнаружении посадочной метки компьютер, входящий в состав измерительного блока технического зрения, производит идентификацию посадочной метки, после чего производит вычисления данных по угловой ориентации и расстояния до посадочной платформы. Эти данные передаются в бортовой контроллер системы автоматического управления с наибольшим весовым коэффициентом, определяющим приоритет над аналогичными данными, поступающими с инерциальной навигационной системы, спутниковой навигационной системы, данными других датчиков (радиовысотомера) для выполнения коррекции вычислений текущих координат, скорости и угловой ориентации аппарата относительно посадочной платформы с использованием алгоритма фильтра Калмана. Алгоритмы поиска и идентификации посадочной метки исключает возможность поступления недостоверных данных из измерительного блока технического зрения в блок коррекции расчетных координат скоростей и углового положения аппарата бортового контроллера системы автоматического управления. Figure 8 shows a detailed structure of the hardware and software algorithms for performing automatic landing on the landing platform. When a landing mark is detected, the computer, which is part of the technical vision measuring unit, identifies the landing mark, after which it calculates data on the angular orientation and distance to the landing platform. These data are transmitted to the onboard controller of the automatic control system with the highest weighting factor, which determines the priority over similar data coming from the inertial navigation system, satellite navigation system, data from other sensors (radio altimeter) to correct the calculations of the current coordinates, speed and angular orientation of the vehicle relative to the landing platforms using the Kalman filter algorithm. Algorithms for searching and identifying the landing mark eliminate the possibility of receiving unreliable data from the measuring unit of vision into the unit for correcting the calculated coordinates of velocities and the angular position of the apparatus of the onboard controller of the automatic control system.

Заявленное техническое решение обеспечивает получение результата, заключающегося в увеличении точности автоматической посадки БПЛА за счет использования полетного контроллера, спутниковой системы навигации, гироскопа, акселерометра, магнитометра, барометра, вспомогательного бортового компьютера, объединенного с бортовой цифровой камерой в один измерительный блок, и, по меньшей мере, двух монохромных оптических меток на посадочной платформе в виде треугольника и квадрата с известными геометрическими размерами и координатами характерных угловых точек, являющихся пересечением линий, ограничивающих фигуру монохромной оптической метки, и соответствующих алгоритмов поиска, обнаружения и идентификации посадочных меток с последующим расчетом угловой ориентации, скорости и текущих координат аппарата относительно посадочной платформы. The claimed technical solution provides a result that consists in increasing the accuracy of the automatic landing of the UAV through the use of a flight controller, a satellite navigation system, a gyroscope, an accelerometer, a magnetometer, a barometer, an auxiliary on-board computer combined with an on-board digital camera into one measuring unit, and at least at least two monochrome optical marks on the landing platform in the form of a triangle and a square with known geometric dimensions and coordinates of the characteristic corner points, which are the intersection of lines limiting the figure of a monochrome optical mark, and the corresponding algorithms for searching, detecting and identifying landing marks with subsequent calculation of the angular orientation, speed and current coordinates of the vehicle relative to the landing platform.

Предметом заявленного технического решения является способ и устройство точной посадки беспилотного летательного аппарата путем определения углового положения беспилотного летательного аппарата и расстояния относительно посадочной платформы с оптическими метками, в котором компьютер, установленный на БПЛА при помощи алгоритмов компьютерного зрения обрабатывает последовательность поступающих кадров, получаемую с цифровой камеры, установленной на БПЛА, производит обнаружение и распознавания посадочных оптических меток, на основании анализа геометрии которых производит расчет углового положения БПЛА, высоты и расстояния относительно посадочной платформы и передает эти данные в бортовой компьютер управления, который в свою очередь, вычисляет сигналы управления в автоматическом режиме с частотой, достаточной для корректировки траектории и обеспечения заданной точности посадки беспилотного летательного аппарата. The subject of the claimed technical solution is a method and device for accurate landing of an unmanned aerial vehicle by determining the angular position of the unmanned aerial vehicle and the distance relative to the landing platform with optical marks, in which a computer installed on the UAV using computer vision algorithms processes the sequence of incoming frames received from a digital camera installed on the UAV, detects and recognizes landing optical marks, based on the analysis of the geometry of which it calculates the angular position of the UAV, height and distance relative to the landing platform and transmits these data to the onboard control computer, which in turn calculates control signals in automatic mode with a frequency sufficient to correct the trajectory and ensure the specified landing accuracy of the unmanned aerial vehicle.

Заявленный способ точной посадки беспилотного летательного аппарата путем определения угловой ориентации беспилотного летательного аппарата и расстояния относительно посадочной платформы, заключается в следующем: The claimed method for accurate landing of an unmanned aerial vehicle by determining the angular orientation of the unmanned aerial vehicle and the distance relative to the landing platform is as follows :

1 – на посадочной платформе наносят, по меньшей мере, две монохромные оптические метки в виде треугольника и квадрата с известными геометрическими размерами и четкими прямолинейными границами;1 - on the landing platform, at least two monochrome optical marks are applied in the form of a triangle and a square with known geometric dimensions and clear rectilinear boundaries;

2 – компьютер, установленный на БПЛА, при помощи алгоритмов компьютерного зрения обрабатывает последовательность поступающих кадров, получаемых с цифровой камеры, установленной на БПЛА; 2 - a computer installed on the UAV, using computer vision algorithms, processes a sequence of incoming frames received from a digital camera installed on the UAV;

3 – обнаруживает и распознает на экране-матрице электронной камеры изображение оптической метки на посадочной платформе; 3 - detects and recognizes on the screen-matrix of the electronic camera the image of the optical mark on the landing platform;

4 – по расположению треугольной оптической метки относительно квадратной определяет главное направление на посадочной платформе для случая посадки летательного аппарата по самолетному типу; 4 - by the location of the triangular optical mark relative to the square one determines the main direction on the landing platform for the case of an aircraft-type landing;

5 – по координатам угловых точек изображения оптической метки на камере вычисляет соответствующие координаты угловых точек квадратной оптической метки на посадочной платформе;5 – from the coordinates of the corner points of the image of the optical mark on the camera calculates the corresponding coordinates of the corner points of the square optical mark on the landing platform;

6 – при помощи алгоритма сравнения геометрических параметров из расчетных и известных фактических координат угловых точек квадратной оптической метки на посадочной платформе определяет угловое положения БПЛА, высоту и расстояние относительно посадочной платформы; 6 - using the algorithm for comparing geometric parameters from the calculated and known actual coordinates of the corner points of the square optical mark on the landing platform, determines the angular position of the UAV, the height and distance relative to the landing platform;

7 – передает эти данные в бортовой контроллер системы автоматического управления для вычисления сигналов управления для осуществления точной посадки. 7 - transmits this data to the onboard controller of the automatic control system to calculate control signals for precise landing.

Более подробно заявленное техническое решение осуществляется следующим образом. In more detail, the claimed technical solution is carried out as follows.

Для распознавания оптических меток и расчетов углового положения беспилотного летательного аппарата и расстояния относительно посадочной платформы используют отдельный процессор с программой Open CV, объединенный с цифровой камерой и расчетным блоком в единый измерительный блок, полученные данные с которого по угловому положению и высоте полета БПЛА относительно посадочной платформы поступают в блок навигационных расчетов бортового контроллера управления и используются в качестве наблюдаемых (измеренных) величин в алгоритме навигационных расчетов с применением фильтра Калмана.To recognize optical marks and calculate the angular position of an unmanned aerial vehicle and the distance relative to the landing platform, a separate processor with the Open CV program is used, combined with a digital camera and a calculation unit into a single measuring unit, the data obtained from which on the angular position and flight height of the UAV relative to the landing platform enter the block of navigation calculations of the onboard control controller and are used as observed (measured) values in the algorithm of navigation calculations using the Kalman filter.

Пример. Example. Измерение угловой ориентации летательного аппарата и расстояния относительно платформы с оптическими метками. Measuring the angular orientation of the aircraft and the distance relative to the platform with optical marks.

На посадочной платформе имеется, по меньшей мере, две монохромные оптические метки в виде треугольника и квадрата с известными геометрическими размерами и четкими прямолинейными границами.The landing platform has at least two monochrome optical marks in the form of a triangle and a square with known geometric dimensions and clear rectilinear boundaries.

Длину стороны квадрата принимают равной, например, 5 м, задают координаты угловых точек 1-2-3-4 в системе координат посадочной платформы

Figure 00000001
, как показано на Фиг.5 , например,
Figure 00000005
,
Figure 00000006
,
Figure 00000007
,
Figure 00000008
; берут фокусное расстояние камеры, например,
Figure 00000009
, задают положение летательного аппарата относительно ПП координатой точки схода, обозначенной на Фиг.5 буквой С , например,
Figure 00000010
(вторая компонента радиус-вектора определяет высоту H относительно ПП, как показано на фиг.5), задают текущие углы курса, крена и тангажа, например,
Figure 00000011
,
Figure 00000012
,
Figure 00000013
. The length of the side of the square is taken equal to, for example, 5 m, the coordinates of the corner points are set 1-2-3-4 in the coordinate system of the landing platform
Figure 00000001
, as shown in Fig.5, for example,
Figure 00000005
,
Figure 00000006
,
Figure 00000007
,
Figure 00000008
; take the focal length of the camera, for example,
Figure 00000009
, set the position of the aircraft relative to the PP by the coordinate of the vanishing point, indicated in Fig.5 by the letter C , for example,
Figure 00000010
(the second component of the radius vector determines the height H relative to the PP, as shown in Fig.5), set the current heading, roll and pitch angles, for example,
Figure 00000011
,
Figure 00000012
,
Figure 00000013
.

Компьютер, установленный на БПЛА, при помощи алгоритмов компьютерного зрения обрабатывает последовательность поступающих кадров, получаемых с цифровой камеры, установленной на БПЛА, обнаруживает и распознает изображение оптической метки на посадочной платформе и по расположению треугольной оптической метки относительно квадратной определяет главное направление на посадочной платформе для случая посадки летательного аппарата по самолетному типу; The computer installed on the UAV, using computer vision algorithms, processes the sequence of incoming frames received from the digital camera installed on the UAV, detects and recognizes the image of the optical mark on the landing platform, and, by the location of the triangular optical mark relative to the square one, determines the main direction on the landing platform for the case aircraft type landings;

На экране-матрице бортовой цифровой камеры распознанное изображение квадратной оптической метки представляет некоторый четырехугольник, как показано на Фиг.3. On the matrix screen of the onboard digital camera, the recognized image of a square optical mark represents a certain quadrilateral, as shown in Fig.3.

По координатам угловых точек изображения оптической метки на камере вычисляет соответствующие координаты угловых точек квадратной оптической метки на посадочной платформе. Для этого с помощью программ Open CV процессор, объединенный с цифровой камерой, определяет положение угловых точек изображения метки 1-2-3-4 целочисленными значениями пикселов по горизонтали

Figure 00000014
и вертикали
Figure 00000015
как показано на Фиг.4 для точки 1. Для перевода целочисленных «пиксельных» координат
Figure 00000016
и
Figure 00000017
(точки на экране-матрице, отсчитываются с левого верхнего угла) в физические координаты
Figure 00000018
и
Figure 00000019
экрана используют следующее матричное соотношениеBased on the coordinates of the corner points of the image of the optical mark on the camera, it calculates the corresponding coordinates of the corner points of the square optical mark on the landing platform. To do this, using the Open CV programs, the processor, combined with a digital camera, determines the position of the corner points of the image of the mark 1-2-3-4 by integer pixel values along the horizontal
Figure 00000014
and vertical
Figure 00000015
as shown in Fig.4 for point 1. To translate integer "pixel" coordinates
Figure 00000016
and
Figure 00000017
(points on the matrix screen, counted from the upper left corner) into physical coordinates
Figure 00000018
and
Figure 00000019
screen use the following matrix ratio

Figure 00000020
, (1)
Figure 00000020
, (one)

где

Figure 00000021
,
Figure 00000022
Figure 00000023
- константы перевода физических размеров (
Figure 00000024
на матрице цифровой камеры соответствует количеству пикселов
Figure 00000025
,
Figure 00000026
по высоте и ширине),
Figure 00000027
,
Figure 00000028
- учитывает смещение начала отсчета пикселов в левый верхний угол экрана (матрицы камеры),
Figure 00000029
учитывает неортогональность осей камеры. where
Figure 00000021
,
Figure 00000022
Figure 00000023
- conversion constants of physical dimensions (
Figure 00000024
on the matrix of a digital camera corresponds to the number of pixels
Figure 00000025
,
Figure 00000026
height and width)
Figure 00000027
,
Figure 00000028
- takes into account the shift of the origin of pixels to the upper left corner of the screen (camera matrix),
Figure 00000029
takes into account the non-orthogonality of the camera axes.

Элементы матрицы соотношения (1) определяют внутренние параметры электронной камеры и вычисляются в результате известных и хорошо отработанных процедур калибровки. Целочисленные значения

Figure 00000016
и
Figure 00000017
вносят определенную погрешность при вычислении физических координат
Figure 00000018
и
Figure 00000019
.The elements of the ratio matrix (1) determine the internal parameters of the electronic camera and are calculated as a result of well-known and well-established calibration procedures. Integer values
Figure 00000016
and
Figure 00000017
introduce a certain error in the calculation of physical coordinates
Figure 00000018
and
Figure 00000019
.

По физическим координатам распознанных угловых точек

Figure 00000030
и
Figure 00000031
изображения на экране-матрице производят расчет координат угловых точек соответствующей оптической метки квадрата на посадочной платформе в осях экрана-матрицы с ортами
Figure 00000032
,
Figure 00000033
,
Figure 00000034
, Фиг.5, по следующему векторному соотношению By physical coordinates of recognized corner points
Figure 00000030
and
Figure 00000031
images on the screen-matrix calculate the coordinates of the corner points of the corresponding optical mark of the square on the landing platform in the axes of the screen-matrix with unit vectors
Figure 00000032
,
Figure 00000033
,
Figure 00000034
, Fig.5, according to the following vector relation

Figure 00000035
(2)
Figure 00000035
(2)

где

Figure 00000036
,
Figure 00000030
и
Figure 00000031
физические координаты на экране-матрице,
Figure 00000037
- фокусное расстояние камеры, r с – радиус вектор точки схода С в осях камеры, H – расстояние (высота) от точки схода С до плоскости посадочной площадки, сi - элементы второго столбца матрицы косинусов, определяемые углами крена и тангажа (
Figure 00000003
и
Figure 00000004
).where
Figure 00000036
,
Figure 00000030
and
Figure 00000031
physical coordinates on the matrix screen,
Figure 00000037
- focal length of the camera,r With is the radius vector of the vanishing point C in the camera axes, H is the distance (height) from the vanishing point C to the plane of the landing site, si - elements of the second column of the matrix of cosines, determined by the roll and pitch angles (
Figure 00000003
and
Figure 00000004
).

Figure 00000038
(3)
Figure 00000038
(3)

Поскольку значения величин H,

Figure 00000003
и
Figure 00000004
на этом этапе расчетов неизвестны, то производят определение величин H,
Figure 00000003
и
Figure 00000004
в следующей последовательности. Since the values of H,
Figure 00000003
and
Figure 00000004
at this stage of the calculations are unknown, then the values of H are determined,
Figure 00000003
and
Figure 00000004
in the following sequence.

Задают начальные значения неизвестных углов

Figure 00000003
и
Figure 00000004
равными нулю и формируют две функции: Set initial values of unknown angles
Figure 00000003
and
Figure 00000004
equal to zero and form two functions:

Figure 00000039
Figure 00000040
(4)
Figure 00000039
Figure 00000040
(four)

Нормирование векторов в соотношении (4) позволяет использовать в расчетах на этом этапе только имеющихся в распоряжении значения экранных координат

Figure 00000030
и
Figure 00000031
, исключив H в соотношении (2). Для квадратной оптической метки на посадочной платформе, как и для любого квадрата, известно, что отрезок линии между точками 1 – 2 и отрезок линии между точками 2 – 3, а также отрезки диагональных линий между точками 1 – 3 и 2 – 4. должны быть ортогональны друг другу, т.е. в этом случае расчетные значения функций (4) должны быть равны нулю (номера угловых точек показаны на Фиг. 1).The normalization of vectors in relation (4) makes it possible to use in the calculations at this stage only the available values of the screen coordinates
Figure 00000030
and
Figure 00000031
, excluding H in relation (2). For a square optical mark on the landing platform, as for any square, it is known that the line segment between points 1 - 2 and the line segment between points 2 - 3, as well as the diagonal line segments between points 1 - 3 and 2 - 4. must be are orthogonal to each other, i.e. in this case, the calculated values of functions (4) should be equal to zero (the numbers of the corner points are shown in Fig. 1).

Неточные (нулевые начальные значения

Figure 00000003
и
Figure 00000004
) определяют невязку – ненулевое значение уравнений (4). Величина невязки используется для уточнения углов
Figure 00000003
и
Figure 00000004
решением следующего рекуррентного уравнения:Inaccurate (zero initial values
Figure 00000003
and
Figure 00000004
) determine the discrepancy, which is the nonzero value of equations (4). The residual value is used to refine the angles
Figure 00000003
and
Figure 00000004
by solving the following recursive equation:

Figure 00000041
, (5)
Figure 00000041
, (5)

где

Figure 00000042
номер итерации.where
Figure 00000042
iteration number.

Расчет производных

Figure 00000043
,
Figure 00000044
в (5) сведен к алгебраическим операциям умножения, сложения, деления компонент матрицы косинусов (3) и экранных координат
Figure 00000030
и
Figure 00000031
. Поэтому формирование матричного уравнения (5) не требует больших временных затрат на вычисления, а сходимость решения достигается за 5 - 7 итераций, что показано на Фиг.6. В рассмотренном примере восстановленные величины углов имеют значения
Figure 00000045
,
Figure 00000046
после 7 итераций. Calculation of derivatives
Figure 00000043
,
Figure 00000044
in (5) is reduced to algebraic operations of multiplication, addition, division of the components of the matrix of cosines (3) and screen coordinates
Figure 00000030
and
Figure 00000031
. Therefore, the formation of the matrix equation (5) does not require large computational time, and the convergence of the solution is achieved in 5 - 7 iterations, as shown in Fig.6. In the considered example, the restored values of the angles have the values
Figure 00000045
,
Figure 00000046
after 7 iterations.

Это означает, что расчет углового положения относительно посадочной платформы может быть произведен в режиме реального времени в интервале, отведенном на навигационные расчеты в бортовом контроллере управления БПЛА. This means that the calculation of the angular position relative to the landing platform can be performed in real time in the interval allotted for navigation calculations in the onboard controller of the UAV.

После уточнения углов

Figure 00000003
и
Figure 00000004
вычисляют высоту H по соотношениюAfter adjusting the angles
Figure 00000003
and
Figure 00000004
calculate the height H by the ratio

Figure 00000047
, (6)
Figure 00000047
, (6)

В рассматриваемом примере получено расчетное значение H = 50,1 м. In the example under consideration, the calculated value H = 50.1 m was obtained.

Далее вычисляют координаты всех угловых точек оптической метки в осях камеры по соотношению: Next, the coordinates of all corner points of the optical mark in the camera axes are calculated according to the relation:

Figure 00000035
(1+f)b i (7)
Figure 00000035
(1+f)b i (7)

Далее определяют курс БПЛА относительно главного направления посадочной платформы. Известно, что для определения полной угловой ориентации беспилотного летательного аппарата относительно посадочной платформы достаточно знать не менее двух векторов одновременно в осях ПП

Figure 00000001
и осях экрана матрицы
Figure 00000002
. Next, the course of the UAV is determined relative to the main direction of the landing platform. It is known that to determine the full angular orientation of an unmanned aerial vehicle relative to the landing platform, it is sufficient to know at least two vectors simultaneously in the PP axes
Figure 00000001
and matrix screen axes
Figure 00000002
.

При использовании в качестве оптических меток квадрата с известными геометрическими размерами имеется 6 векторов в виде отрезков линий, соединяющих угловые точки оптической метки, определенных одновременно в осях ПП

Figure 00000001
и рассчитанные по соотношениям (6,7) в осях экрана матрицы
Figure 00000002
. When using a square with known geometric dimensions as optical marks, there are 6 vectors in the form of line segments connecting the corner points of the optical mark, defined simultaneously in the PP axes
Figure 00000001
and calculated by relations (6.7) in the axes of the matrix screen
Figure 00000002
.

Для расчета полной угловой ориентации используют расчетный модуль, описанный в статье [Гайнутдинова Т.Ю., Гайнутдинов А.В., Гайнутдинов В.Г. Об экономичной схеме оценки параметров угловой ориентации с использованием трехстепенных микроэлектромеханических сенсоров невысокой точности [About the Efficient Scheme of Initial Attitude Estimation Using Low Accuracy Micro-Electro-Mechanical Sensors / Gainutdinova, T.Y., Gainutdinova, A.V., Gainutdinov, V.G. Russian Aeronautics, Allerton Press, Inc.,  2019, 62(3), pp. 387–393] [8]. To calculate the full angular orientation, use the calculation module described in the article [Gainutdinova T.Yu., Gainutdinov A.V., Gainutdinov V.G. About the Efficient Scheme of Initial Attitude Estimation Using Low Accuracy Micro-Electro-Mechanical Sensors / Gainutdinova, T.Y., Gainutdinova, A.V., Gainutdinov, V.G. Russian Aeronautics, Allerton Press, Inc., 2019, 62(3), pp. 387–393] [8].

В приведенном примере полученное расчетное значение

Figure 00000048
завершает определение полной угловой ориентации аппарата относительно посадочной платформы, включая курсовой угол (направление захода на посадку) по отношению к главному направлению на ПП.In the given example, the resulting calculated value
Figure 00000048
completes the determination of the vehicle's full angular orientation with respect to the landing platform, including the heading angle (approach direction) with respect to the main direction of the landing site.

При этом угловая ориентация летательного аппарата определяется относительно посадочной платформы, которая может располагаться на неподвижном или движущемся объекте. In this case, the angular orientation of the aircraft is determined relative to the landing platform, which can be located on a stationary or moving object.

Полученные расчетные значения по угловой ориентации летательного аппарата и расстояния относительно посадочной платформы передают в бортовой контроллер управления с наибольшим весовым коэффициентом, определяющим приоритет над аналогичными данными, поступающими с инерциальной навигационной системы, спутниковой навигационной системы, данными других датчиков (радиовысотомера), бортовой контроллер вычисляет сигналы управления с частотой, достаточной для корректировки траектории и обеспечения заданной точности посадки БПЛА в автоматическом режиме.The resulting calculated values for the angular orientation of the aircraft and the distance relative to the landing platform are transmitted to the onboard control controller with the largest weighting factor that determines the priority over similar data coming from the inertial navigation system, satellite navigation system, data from other sensors (radio altimeter), the onboard controller calculates signals control with a frequency sufficient to correct the trajectory and ensure the specified accuracy of the UAV landing in automatic mode.

Сигналы управления рассчитываются в блоке навигационного расчета бортовым контроллером по алгоритмам с использованием законов управления боковым и продольным управлением летательного аппарата. Исходными данными для расчета управляющих сигналов является расхождение координат и скорости текущего положения летательного аппарата и рассчитанных координат центра квадратной оптической метки, а также рассчитанные углы ориентации БПЛА относительно посадочной платформы.The control signals are calculated in the navigation calculation block by the onboard controller according to algorithms using the laws of control of the lateral and longitudinal control of the aircraft. The initial data for calculating the control signals is the difference between the coordinates and speed of the current position of the aircraft and the calculated coordinates of the center of the square optical mark, as well as the calculated orientation angles of the UAV relative to the landing platform.

Версия алгоритма обнаружения и распознания маркерных изображений в форме монохромного (черного) внешнего креста и белого внутреннего креста меньшего размера для вертикальной посадки летательного аппарата отмечена дипломом первой степени на конкурсе научно-технических работ и проектов «Молодежь и будущее авиации и космонавтики 2020» в номинации «Информационно-телекоммуникационные технологии авиационных, ракетных и космических систем». [Алгоритм обнаружения маркерных изображений для вертикальной посадки летательного аппарата. Абдуллин И.Н., Трусфус М.В., КНИТУ-КАИ, протокол №3 27.11.2020, г. Москва, https://mforum.mai.ru/files/2020_final_results.pdf] [9]. The version of the algorithm for detecting and recognizing marker images in the form of a monochrome (black) outer cross and a smaller white inner cross for vertical landing of an aircraft was awarded a diploma of the first degree at the competition of scientific and technical works and projects "Youth and the Future of Aviation and Cosmonautics 2020" in the nomination " Information and telecommunication technologies of aviation, rocket and space systems”. [Algorithm for detecting marker images for vertical landing of an aircraft. Abdullin I.N., Trusfus M.V., KNRTU-KAI, protocol No. 3 11/27/2020, Moscow, https://mforum.mai.ru/files/2020_final_results.pdf] [9].

Работоспособность бортового аппаратного и программного обеспечения подтверждена полетными испытаниями. The operability of the onboard hardware and software has been confirmed by flight tests.

Таким образом, из изложенного выше можно сделать вывод, что заявителем достигнут заявленный технический результат, а именно: разработан способ точной посадки беспилотного летательного аппарата и устройство для его реализации путем измерения угловой ориентации летательного аппарата и расстояния относительно посадочной платформы с оптическими метками в виде треугольника и квадрата с известными геометрическими размерами с использованием алгоритмов обнаружения и распознавания изображения меток на экране-матрице бортовой цифровой камеры и алгоритма сопоставления расчетных геометрических параметров квадратной метки с аналогичными параметрами оригинальной квадратной метки на посадочной платформе и последующим использованием данных по угловой ориентации и расстоянию летательного аппарата относительно посадочной платформы в навигационных расчетах сигналов управления, производимых бортовым контроллером системы автоматического управления для автоматической посадки летательных аппаратов самолетного и вертолетного типа на неподвижную или движущуюся платформу с погрешностью не более 0,1 метра. Thus, from the foregoing, we can conclude that the applicant has achieved the claimed technical result , namely: a method has been developed for precise landing of an unmanned aerial vehicle and a device for its implementation by measuring the angular orientation of the aircraft and the distance relative to the landing platform with optical marks in the form of a triangle and a square with known geometric dimensions using algorithms for detecting and recognizing the image of marks on the screen-matrix of an onboard digital camera and an algorithm for comparing the calculated geometric parameters of a square mark with similar parameters of the original square mark on the landing platform and subsequent use of data on the angular orientation and distance of the aircraft relative to the landing platform platforms in navigation calculations of control signals produced by the onboard controller of the automatic control system for automatic landing of aircraft th and helicopter type on a fixed or moving platform with an error of not more than 0.1 meters.

При этом достигнута: This achieved:

– возможность определения углового положения летательного аппарата и расстояния относительно посадочной платформы с использованием только экранных координат угловых точек распознанного изображения оптической метки на экране-матрице цифровой камеры, установленной на борту (в приведенном примере начальные значения углов

Figure 00000003
,
Figure 00000004
принимались равными нулю, т.е. не были определены заранее иным способом или иными средствами); – the ability to determine the angular position of the aircraft and the distance relative to the landing platform using only the screen coordinates of the corner points of the recognized image of the optical mark on the screen-matrix of the digital camera installed on board (in the above example, the initial values of the angles
Figure 00000003
,
Figure 00000004
were taken equal to zero, i.e. have not been determined in advance in any other way or by any other means);

– возможность определения высоты полета относительно неподвижной или движущейся посадочной платформы с оптическими метками, а не относительно земной плоскости в зоне посадки, а также координат угловых точек посадочных меток на посадочной площадке в осях связанной системы координат летательного аппарата (в приведенном примере расчетное значение высоты полета H = 50,1 м определяется соотношением (6), координаты угловых точек квадратной метки определяются соотношениями (7), в которые входят геометрические параметры, известные в координатах плоскости посадочной платформы и определенные в координатах плоскости экрана-матрицы цифровой камеры, установленной на борту); – the ability to determine the flight altitude relative to a fixed or moving landing platform with optical marks, and not relative to the ground plane in the landing zone, as well as the coordinates of the corner points of the landing marks on the landing site in the axes of the associated coordinate system of the aircraft (in the above example, the calculated value of the flight altitude H = 50.1 m is determined by relation (6), the coordinates of the corner points of the square mark are determined by relations (7), which include geometric parameters known in the coordinates of the plane of the landing platform and determined in the coordinates of the plane of the screen-matrix of the digital camera installed on board);

– возможность завершения необходимых навигационных расчетов в режиме реальном времени для осуществления автоматической точной посадки летательного аппарата на посадочную платформу (в приведенном примере все расчеты углового положения летательного аппарата завершаются за конечное число итераций - 7 , затраченное время расчетов, на два порядка меньше интервала проведения навигационных расчетов бортовым контроллером после определения своего текущего положения относительно посадочной платформы);– the ability to complete the necessary navigation calculations in real time for automatic precise landing of the aircraft on the landing platform (in the above example, all calculations of the angular position of the aircraft are completed in a finite number of iterations - 7 , the elapsed time of calculations, two orders of magnitude less than the interval for conducting navigation calculations on-board controller after determining its current position relative to the landing platform);

– применимость заявляемого способа точной посадки для всех типов летательных аппаратов, совершающих посадку по самолетному (с пробегом) или по вертолетному (вертикальная посадка на платформу) (из приведенного примера следует не только возможность определения поправок для точной посадки на посадочную платформу аппаратов в случае вертикальной посадки, но и определение ориентации летательного аппарата по курсу относительно главного направления на посадочной платформе в случае посадки по самолетному);– the applicability of the proposed precision landing method for all types of aircraft landing by aircraft (with run) or by helicopter (vertical landing on the platform) , but also determining the orientation of the aircraft along the course relative to the main direction on the landing platform in the case of landing along the aircraft);

– применимость заявляемого способа точной посадки летательных аппаратов всех типов на платформу с оптическими метками, которая может совершать поступательное движение и повороты по курсу, крену и дифференту во время автоматической посадки летательного аппарата (все расчеты угловой ориентации и пространственного положения летательного аппарата производятся по параметрам распознанных оптических меток на посадочной платформе носителя вне зависимости от его неподвижного или подвижного состояния, время расчетов на два порядка меньше интервала проведения навигационных расчетов бортовым контроллером после определения своего текущего положения относительно посадочной платформы). – the applicability of the proposed method for accurate landing of aircraft of all types on a platform with optical marks, which can perform translational movement and turns along the course, roll and trim during automatic landing of the aircraft (all calculations of the angular orientation and spatial position of the aircraft are made according to the parameters of the recognized optical marks on the landing platform of the carrier, regardless of its stationary or mobile state, the calculation time is two orders of magnitude less than the interval for conducting navigation calculations by the onboard controller after determining its current position relative to the landing platform).

Заявленное техническое решение соответствует условию патентоспособности «новизна», предъявляемому к изобретениям, так как из исследованного заявителем уровня техники не выявлена совокупность признаков, приведенная в независимом пункте формулы изобретения.The claimed technical solution complies with the " novelty " patentability condition for inventions, since the set of features given in the independent claim of the invention has not been identified from the prior art studied by the applicant.

Заявленное техническое решение соответствует условию патентоспособности «изобретательский уровень», предъявляемому к изобретениям, так как из исследованного заявителем уровня техники не выявлена совокупность приведенных в независимом пункте формулы изобретения признаков и совокупность полученных технических результатов.The claimed technical solution complies with the patentability condition " inventive step " for inventions, since the totality of the features given in the independent claim of the claims and the totality of the technical results obtained have not been identified from the prior art studied by the applicant.

Заявленное техническое решение соответствует условию патентоспособности «промышленная применимость», предъявляемому к изобретениям, так как заявленное техническое решение возможно реализовать в промышленности посредством применения известных из уровня техники материалов, оборудования и технологий.The claimed technical solution complies with the " industrial applicability " patentability condition for inventions, since the claimed technical solution can be implemented in industry through the use of materials, equipment and technologies known from the prior art.

Использованные источники:Used sources:

1. Системы адаптивного управления летательными аппаратами/ А.С. Новоселов, В.Е. Болнокин, П.И. Чинаев, А.Н. Юрьев. - М. Машиностроение, 1987. 280 с. 1. Systems of adaptive control of aircraft / A.S. Novoselov, V.E. Bolnokin, P.I. Chinaev, A.N. Yuriev. - M. Mashinostroenie, 1987. 280 p.

1. Tethered aerial system for data gathering [https://www.***.ru/patents/ US20130233964]/1. Tethered aerial system for data gathering [https://www.***.ru/patents/US20130233964]/

2. Проект Hover Mast [http://www.skysapience.com] 2. Hover Mast Project [http://www.skysapience.com]

3. Vertical take-off and landing (vtol) small unmanned aerial system for monitoring oil and gas pipelines [http://www.***.com/patents/ US20140236390] 3. Vertical take-off and landing (vtol) small unmanned aerial system for monitoring oil and gas pipelines [http://www.***.com/patents/ US20140236390]

4. Positioning mechanism an UAV (Unmanned Aerial Vehicle) base station using positioning mechanism https://www.***.ru/patents/CN204250382U?cl = en&hl = ru&dq = SKYCATCH].4. Positioning mechanism an UAV (Unmanned Aerial Vehicle) base station using positioning mechanism https://www.***.ru/patents/CN204250382U?cl = en&hl = ru&dq = SKYCATCH].

5. Способ точной посадки беспилотного летательного аппарата https://patents.***.com/patent/WO2017160192A1/ru/.5. Method for precise landing of an unmanned aerial vehicle https://patents.***.com/patent/WO2017160192A1/en/.

6. Патент РФ 2378664 от 09.07.2008. Способ определения местоположения и углов ориентации летательного аппарата относительно взлетно-посадочной полосы и устройство для его осуществления. Заявитель и патентообладатель Бондарев В. Г., Бондарев В. В., Бондарев М.В., Ипполитов С. В., Конотоп В. И., Лейбич А. А. ‒ No 2008128185; заявл. 09.07.2008; опубл. 10.01.2010, Бюл. No 8. ‒ 16.6. RF patent 2378664 dated 07/09/2008. Method for determining the location and orientation angles of an aircraft relative to the runway and a device for its implementation. Applicant and patentee Bondarev V. G., Bondarev V. V., Bondarev M. V., Ippolitov S. V., Konotop V. I., Leybich A. A. - No. 2008128185; dec. 07/09/2008; publ. 01/10/2010, Bull. No 8. ‒ 16.

7. About the Efficient Scheme of Initial Attitude Estimation Using Low Accuracy Micro-Electro-Mechanical Sensors / Gainutdinova, T.Y., Gainutdinova, A.V., Gainutdinov, V.G. Russian Aeronautics, Allerton Press, Inc.,  2019, 62(3), pp. 387–393.7. About the Efficient Scheme of Initial Attitude Estimation Using Low Accuracy Micro-Electro-Mechanical Sensors / Gainutdinova, T.Y., Gainutdinova, A.V., Gainutdinov, V.G. Russian Aeronautics, Allerton Press, Inc., 2019, 62(3), pp. 387–393.

9. https://mforum.mai.ru/files/2020_final_results.pdf 9. https://mforum.mai.ru/files/2020_final_results.pdf

Claims (2)

1. Способ точной посадки беспилотного летательного аппарата путем измерения угловой ориентации летательного аппарата и расстояния относительно платформы с оптическими метками, заключающийся в том, что на посадочной платформе наносят по меньшей мере две монохромные оптические метки в виде треугольника и квадрата с известными геометрическими размерами и четкими прямолинейными границами, при этом компьютер, установленный на беспилотном летательном аппарате, при помощи алгоритмов компьютерного зрения обрабатывает последовательность поступающих кадров, получаемых с цифровой камеры, установленной на беспилотном летательном аппарате, обнаруживает и распознает изображение оптических меток, по координатам угловых точек изображения метки на камере вычисляет соответствующие координаты угловых точек метки на посадочной платформе и при помощи алгоритма сопоставления геометрических параметров из расчетных и фактических координат угловых точек метки на посадочной платформе определяет угловое положение беспилотного летательного аппарата, высоту и расстояние относительно посадочной платформы, передает эти данные в бортовой компьютер управления, который вычисляет сигналы управления с частотой, достаточной для корректировки траектории и обеспечения заданной точности посадки беспилотного летательного аппарата на посадочную платформу в автоматическом режиме.1. A method for accurate landing of an unmanned aerial vehicle by measuring the angular orientation of the aircraft and the distance relative to the platform with optical marks, which consists in the fact that at least two monochrome optical marks in the form of a triangle and a square with known geometric dimensions and clear straight lines are applied on the landing platform. borders, while the computer installed on the unmanned aerial vehicle, using computer vision algorithms, processes the sequence of incoming frames received from the digital camera installed on the unmanned aerial vehicle, detects and recognizes the image of optical marks, calculates the corresponding coordinates of the corner points of the mark on the landing platform and using the algorithm for comparing geometric parameters from the calculated and actual coordinates of the corner points of the mark on the landing platform determines the angular position e unmanned aerial vehicle, height and distance relative to the landing platform, transmits these data to the onboard control computer, which calculates control signals with a frequency sufficient to correct the trajectory and ensure the specified accuracy of landing of the unmanned aerial vehicle on the landing platform in automatic mode. 2. Устройство для реализации способа по п.1, состоящее из оптической метки на посадочной платформе, выполненное, по меньшей мере, из монохромного квадрата и треугольника с известными размерами и четкими прямолинейными границами, цифровой оптической камеры, бортового компьютера с программным обеспечением по обнаружению и распознаванию посадочной метки, при этом цифровая камера и бортовой компьютер объединены в единый измерительный сегмент; бортового контроллера системы автоматического управления с программным обеспечением и блоком инерциальных датчиков, инерциальными трехстепенными сенсорами угловой скорости, ускорения, магнетометром; датчиком давления, приемником спутниковой навигации GPS/ГЛОНАСС и радиовысотомером.2. A device for implementing the method according to claim 1, consisting of an optical mark on the landing platform, made of at least a monochrome square and a triangle with known dimensions and clear rectilinear boundaries, a digital optical camera, an on-board computer with detection software, and landing mark recognition, while the digital camera and the on-board computer are combined into a single measuring segment; on-board controller of the automatic control system with software and a block of inertial sensors, inertial three-degree sensors of angular velocity, acceleration, magnetometer; pressure sensor, GPS/GLONASS satellite navigation receiver and radio altimeter.
RU2021134723A 2021-11-26 Method for accurate landing of an unmanned aerial vehicle and device for implementing the method RU2773978C1 (en)

Publications (1)

Publication Number Publication Date
RU2773978C1 true RU2773978C1 (en) 2022-06-14

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2778583C1 (en) * 2021-08-19 2022-08-22 Акционерное общество "Военно-промышленная корпорация "Научно-производственное объединение машиностроения" Method for orienting an aerial vehicle with an optical homing head

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU110070U1 (en) * 2011-06-28 2011-11-10 Российская Федерация, от имени которой выступает Министерство промышленности и торговли Российской Федерации (Минпромторг России) SYSTEM OF AUTONOMOUS LANDING OF AN UNMANNED FLYING APPARATUS ON A MOVING BOAT
RU2714977C1 (en) * 2018-10-22 2020-02-21 Федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский государственный университет аэрокосмического приборостроения" Automatic drone method and system
RU2724908C1 (en) * 2019-06-17 2020-06-26 Общество С Ограниченной Ответственностью "Скайлайн" Aircraft-type unmanned aerial vehicle landing method to runway using optical devices of different range
RU2727044C1 (en) * 2019-11-15 2020-07-17 Публичное акционерное общество "Межрегиональная распределительная сетевая компания Центра" Method of accident-free landing of unmanned aerial vehicle
EP3497530B1 (en) * 2016-08-26 2021-07-21 SZ DJI Technology Co., Ltd. Methods and system for autonomous landing
US20210229834A1 (en) * 2018-05-14 2021-07-29 3M Innovative Properties Company Guidance of unmanned aerial inspection vehicles in work environments using optical tags

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU110070U1 (en) * 2011-06-28 2011-11-10 Российская Федерация, от имени которой выступает Министерство промышленности и торговли Российской Федерации (Минпромторг России) SYSTEM OF AUTONOMOUS LANDING OF AN UNMANNED FLYING APPARATUS ON A MOVING BOAT
EP3497530B1 (en) * 2016-08-26 2021-07-21 SZ DJI Technology Co., Ltd. Methods and system for autonomous landing
US20210229834A1 (en) * 2018-05-14 2021-07-29 3M Innovative Properties Company Guidance of unmanned aerial inspection vehicles in work environments using optical tags
RU2714977C1 (en) * 2018-10-22 2020-02-21 Федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский государственный университет аэрокосмического приборостроения" Automatic drone method and system
RU2724908C1 (en) * 2019-06-17 2020-06-26 Общество С Ограниченной Ответственностью "Скайлайн" Aircraft-type unmanned aerial vehicle landing method to runway using optical devices of different range
RU2727044C1 (en) * 2019-11-15 2020-07-17 Публичное акционерное общество "Межрегиональная распределительная сетевая компания Центра" Method of accident-free landing of unmanned aerial vehicle

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2778583C1 (en) * 2021-08-19 2022-08-22 Акционерное общество "Военно-промышленная корпорация "Научно-производственное объединение машиностроения" Method for orienting an aerial vehicle with an optical homing head
RU214483U1 (en) * 2022-06-13 2022-10-31 Общество с ограниченной ответственностью "Хайтек" Unmanned aerial vehicle control system with integration of navigation information
RU2785076C1 (en) * 2022-06-30 2022-12-02 Автономная некоммерческая организация высшего образования "Университет Иннополис" Method for autonomous landing of unmanned aircraft
RU2813215C1 (en) * 2023-05-11 2024-02-08 Общество С Ограниченной Ответственностью "Авиационные Вспомогательные Системы" Complex of autonomous landing aids for unmanned aircraft
RU2821253C1 (en) * 2023-12-20 2024-06-19 Автономная некоммерческая организация высшего образования "Университет Иннополис" Method for autonomous landing of unmanned aerial vehicle on mobile platform

Similar Documents

Publication Publication Date Title
US20050125142A1 (en) Navigation apparatus and navigation method with image recognition
RU2666479C1 (en) Method of providing the automatic landing of the flying apparatus
EP3158417B1 (en) Sensor fusion using inertial and image sensors
KR101494654B1 (en) Method and Apparatus for Guiding Unmanned Aerial Vehicle and Method and Apparatus for Controlling Unmanned Aerial Vehicle
CN105335733B (en) Unmanned aerial vehicle autonomous landing visual positioning method and system
EP3158293B1 (en) Sensor fusion using inertial and image sensors
Barber et al. Vision-based target geo-location using a fixed-wing miniature air vehicle
Marut et al. ArUco markers pose estimation in UAV landing aid system
EP2118713B1 (en) Precision approach control
EP3158411B1 (en) Sensor fusion using inertial and image sensors
US10935987B2 (en) Landing site localization for dynamic control of an aircraft toward a landing site
US11046430B1 (en) Intelligent trajectory adviser system for unmanned aerial vehicles in complex environments
WO2017116841A1 (en) Unmanned aerial vehicle inspection system
CN107240063A (en) A kind of autonomous landing method of rotor wing unmanned aerial vehicle towards mobile platform
RU2703412C2 (en) Automatic aircraft landing method
EP3158412A1 (en) Sensor fusion using inertial and image sensors
CN104340371A (en) Autonomous and automatic landing method and system
CN113295164B (en) Unmanned aerial vehicle visual positioning method and device based on airport runway
Anitha et al. Vision based autonomous landing of an unmanned aerial vehicle
US11670181B2 (en) Systems and methods for aiding landing of vertical takeoff and landing vehicle
US20230359197A1 (en) Landing Site Localization for Dynamic Control of an Aircraft Toward a Landing Site
JP2662111B2 (en) Automatic landing guidance method for vertical take-off and landing aircraft
EP4015993B1 (en) Aircraft sensor system synchronization
RU2773978C1 (en) Method for accurate landing of an unmanned aerial vehicle and device for implementing the method
CN112797982A (en) Unmanned aerial vehicle autonomous landing measurement method based on machine vision