RU2819590C1 - Onboard intelligent uav search and guidance system - Google Patents

Abstract

FIELD: aviation.

SUBSTANCE: invention relates to aircraft engineering and can be used on unmanned aerial vehicles (UAV). Essence of the present invention is as follows. UAV on-board intelligent search and guidance system contains an observation camera interconnected by inputs-outputs along information exchange channels, computing device, which includes interacting over a computing channel of information exchange a unit for detecting and recognizing ground objects, a unit for generating coordinate information, a unit for tracking and identifying ground objects, a unit for input-output and controlling information exchange, a database of types and classes of ground objects. System is characterized by the fact that it is equipped with included in the computing device and interacting with the unit for input/output and controlling the exchange of information over the computation channel of the information exchange by the random access memory for storing the weight coefficients of the neural network and target information, onboard systems state control unit, angular deviation determining unit, and aircraft operating mode control unit.

EFFECT: expansion of UAV functional capabilities.

1 cl, 1 dwg

Description

Изобретение относится к области авиационной техники и может быть использовано на беспилотных летательных аппаратах (БЛА) для обеспечения автономности их применения по уничтожению наземных объектов в заданном районе.The invention relates to the field of aviation technology and can be used on unmanned aerial vehicles (UAVs) to ensure the autonomy of their use for the destruction of ground objects in a given area.

На современных пилотируемых и беспилотных летательных аппаратов (ЛА) поиск и обнаружение наземных объектов осуществляется по информации от бортовой радиолокационной системы (для радиоконтрастных объектов), системы радиотехнической разведки (для радиоизлучающих объектов) и оптических обзорных систем путем визуального обнаружения цели на видеоизображении экипажем ЛА или оператором наземного пункта управления (НПУ) БЛА. Наведение БЛА на наземные объекты выполняется либо в ручном режиме под непосредственным управлением оператора, либо по заданной траектории по заранее известным координатам местоположения объекта.On modern manned and unmanned aerial vehicles (AVs), the search and detection of ground objects is carried out using information from an on-board radar system (for radio-contrast objects), an electronic reconnaissance system (for radio-emitting objects) and optical surveillance systems by visually detecting a target on a video image by the aircraft crew or operator ground control point (GCP) of the UAV. The UAV is aimed at ground objects either manually under the direct control of the operator, or along a given trajectory along previously known coordinates of the object’s location.

Из уровня техники известны следующие способы и устройства обнаружения и определения координат местоположения наземных объектов, близкие к предлагаемому изобретению:The following methods and devices for detecting and determining the coordinates of the location of ground objects, close to the proposed invention, are known from the prior art:

1. Известен способ определения координат объекта и оптико-электронное устройство для его осуществления (патент RU 2251712, МПК G01S 5/02, опубл. 10.05.2005). Способ заключается в определении угловой координаты изображения объекта вместе с изменяющим образ элемента в поле зрения и последующем пересчете полученной величины в стабилизированную систему координат, определении величины и направления линейной скорости объекта в стабилизированной системе координат, формировании величины углового смещения в стабилизированной картинной плоскости и корректировке угловой координаты изображения объекта вместе с искажающими образ элементами на величину углового смещения. Устройство для осуществления указанного способа содержит последовательно соединенные оптико-электронный пеленгатор и преобразователь из измерительной в стабилизированную систему координат, блок определения линейной скорости, блок формирования величины углового смещения и сумматор. Недостаток известного технического решения заключается в том, что устройство должно быть размещено на земной поверхности, вследствие чего обладает маленьким радиусом действия.1. There is a known method for determining the coordinates of an object and an optical-electronic device for its implementation (patent RU 2251712, IPC G01S 5/02, published on May 10, 2005). The method consists in determining the angular coordinate of an object image together with an image-changing element in the field of view and subsequent recalculation of the resulting value into a stabilized coordinate system, determining the magnitude and direction of the linear velocity of the object in a stabilized coordinate system, generating the amount of angular displacement in the stabilized picture plane and adjusting the angular coordinate image of an object together with elements distorting the image by the amount of angular displacement. The device for implementing this method contains a series-connected optical-electronic direction finder and a converter from a measuring to a stabilized coordinate system, a unit for determining linear velocity, a unit for generating the angular displacement value and an adder. The disadvantage of the known technical solution is that the device must be placed on the earth's surface, as a result of which it has a small range of action.

2. Известен также способ и устройство определения координат объектов (патент RU 2550811, МПК G01S 13/46, опубл. 20.05.2015) Способ предполагает установку на борт летающего подъемного средства (ЛПС) видеокамеры для обзора нижней полусферы, определяют углы ориентации видеокамеры относительно борта ЛПС, в процессе полета постоянно через заданный интервал времени определяют местоположение и пространственную ориентацию ЛПС, при обнаружении объекта определяют местоположение объекта на кадре видеокамеры, преобразуют координаты объекта в вектор направления на него в системе координат видеокамеры, корректируют вектор направления на объект с учетом априорно известной ориентации видеокамеры относительно борта ЛПС, после чего вычисляют географические координаты объекта с учетом текущего местоположения и пространственной ориентации ЛПС. Обнаружение, идентификация и принятие решения на местоопределение объекта осуществляется путем нахождения взаимнокорреляционных функций для выделенных эталонных контуров с обнаруженными векторами при выполнении пороговых условий. Недостатком известного способа является трудоемкость вычисления взаимнокорреляционных функций, что приводит к высоким требованиям к вычислительным ресурсам бортового устройства, а также оптимизации расчетов и применения дескрипторов для подбора близких эталонов. Кроме того, в данном способе не выполняется отождествление обнаруженных объектов, что может привести к размножению отметок цели одного и того же объекта.2. There is also a known method and device for determining the coordinates of objects (patent RU 2550811, IPC G01S 13/46, published on May 20, 2015). The method involves installing a video camera on board a flying lifting device (FLS) to view the lower hemisphere, determining the angles of orientation of the video camera relative to the board LPS, during the flight, the location and spatial orientation of the LPS are constantly determined at a given time interval, when an object is detected, the location of the object is determined on the video camera frame, the coordinates of the object are converted into the direction vector towards it in the coordinate system of the video camera, the direction vector towards the object is adjusted taking into account the a priori known orientation video cameras relative to the LPS board, after which the geographic coordinates of the object are calculated taking into account the current location and spatial orientation of the LPS. Detection, identification and decision-making on the location of an object is carried out by finding cross-correlation functions for selected reference contours with detected vectors when threshold conditions are met. The disadvantage of this known method is the complexity of calculating cross-correlation functions, which leads to high demands on the computing resources of the on-board device, as well as optimization of calculations and the use of descriptors for selecting close standards. In addition, this method does not identify detected objects, which can lead to multiplication of target marks of the same object.

3. Также известна «Интеллектуальная система технического зрения беспилотного летательного аппарата для решения задач навигации, построения трехмерной карты окружающего пространства и препятствий и автономного патрулирования» (патент RU 195749, МПК В64С 13/10, В64С 19/02, G01C 23/00, опубл. 05.02.2020). Известная система обладает функциями навигационной системы, системы технического зрения, системы мониторинга окружающего пространства, системы принятия решения и системы полуавтоматического и ручного управления БЛА и состоит из программно-аппаратного комплекса в составе бортового вычислителя на основе одноплатного компьютера с платой расширения, инерционного измерительного блока, позволяющего определить положение беспилотного летательного аппарата в пространстве и включающего в себя гироскоп, акселерометр, барометр, бортовой видеокамеры, RGB-D-камеры, полетного контроллера, приемника радиосигналов, вращающегося лазерного дальномера, стационарного лазерного дальномера, интерфейсов подключения устройств управления движением, интерфейсов подключения внешних датчиков. Недостатками известной системы по сравнению с предлагаемым изобретением является невозможность определения координат местоположения одиночного объекта, поскольку используемый в модели метод иерархической кластеризации предназначен для определения набора визуальных ориентиров сравнения его со структурами заданных ориентиров, благодаря чему может быть уточнено местоположение БЛА в пространстве.3. Also known is the “Intelligent technical vision system for an unmanned aerial vehicle for solving navigation problems, constructing a three-dimensional map of the surrounding space and obstacles and autonomous patrolling” (patent RU 195749, MPK V64S 13/10, V64S 19/02, G01C 23/00, publ. 05.02.2020). The known system has the functions of a navigation system, a technical vision system, an environmental monitoring system, a decision-making system and a system for semi-automatic and manual control of the UAV and consists of a hardware and software complex consisting of an on-board computer based on a single-board computer with an expansion board, an inertial measuring unit that allows determine the position of an unmanned aerial vehicle in space and includes a gyroscope, accelerometer, barometer, on-board video camera, RGB-D camera, flight controller, radio signal receiver, rotating laser range finder, stationary laser range finder, interfaces for connecting motion control devices, interfaces for connecting external sensors . The disadvantages of the known system in comparison with the proposed invention is the impossibility of determining the coordinates of the location of a single object, since the hierarchical clustering method used in the model is intended to determine a set of visual landmarks and compare it with the structures of given landmarks, thanks to which the location of the UAV in space can be clarified.

Решаемая предлагаемым изобретением техническая задача состоит в обеспечении возможности наведения БЛА на стационарные и подвижные наземные объекты (цели) заданного класса или типа путем их автоматического обнаружения, распознавания и определения координат при полете БЛА в заданном районе для чего выполняется обзор земной поверхности при полете БЛА в заданном районе, а автоматическое обнаружение и распознавание наземных объектов заданного класса или типа осуществляется с использованием нейросетевой технологии искусственного интеллекта и включает определение координат обнаруженных объектов в связанных с БЛА и наземных системах координат, последовательное формирование и актуализацию массивов обнаруженных наземных объектов, автоматический выбор наземного объекта с заданным приоритетом и выдачу системе управления БЛА координат назначенного наземного объекта для наведения на него БЛА.The technical problem solved by the proposed invention is to provide the ability to point a UAV at stationary and moving ground objects (targets) of a given class or type by automatically detecting, recognizing and determining the coordinates when the UAV is flying in a given area, for which a survey of the earth's surface is performed when the UAV is flying in a given area area, and automatic detection and recognition of ground objects of a given class or type is carried out using artificial intelligence neural network technology and includes determining the coordinates of detected objects in UAV-related and ground coordinate systems, sequential formation and updating of arrays of detected ground objects, automatic selection of a ground object with a given priority and issuing to the UAV control system the coordinates of the designated ground object for pointing the UAV at it.

Технический результат, на достижение которого направлено заявленное изобретение, заключается в повышении эффективности применения автономных БЛА в сложной помеховой обстановке, в повышении безопасности применения БЛА благодаря обеспечению возможности ведения разведывательных и ударных действий без захода в район нахождения наземных объектов заданного класса или типа, а также в расширении функциональных возможностей беспилотных ЛА.The technical result to which the claimed invention is aimed is to increase the efficiency of the use of autonomous UAVs in a complex jamming environment, to increase the safety of the use of UAVs by ensuring the possibility of conducting reconnaissance and strike operations without entering the area where ground objects of a given class or type are located, as well as expanding the functionality of unmanned aircraft.

Приведенный технический результат в заявленном изобретении достигается за счет того, что БЛА с использованием предлагаемой бортовой интеллектуальной системы выполняет автономный автоматический поиск, обнаружение и распознавание наземных подвижных и неподвижных объектов заданного класса или типа с последующим автономным и автоматическим наведением БЛА на них.The given technical result in the claimed invention is achieved due to the fact that the UAV, using the proposed on-board intelligent system, performs an autonomous automatic search, detection and recognition of ground moving and stationary objects of a given class or type, followed by autonomous and automatic guidance of the UAV towards them.

Бортовая интеллектуальная система поиска и наведения беспилотного летательного аппарата содержит взаимосоединенные входами-выходами по каналам информационного обмена обзорную камеру, вычислительное устройство, включающее взаимодействующие по вычислительному каналу информационного обмена блок обнаружения и распознавания наземных объектов, блок формирования координатной информации, блок сопровождения и отождествления наземных объектов, блок ввода-вывода и управления обменом информации, базу данных типов и классов наземных объектов. Система характеризуется тем, что она снабжена включенными в вычислительное устройство и взаимодействующими с блоком ввода-вывода и управления обменом информации по вычислительному каналу информационного обмена оперативно запоминающим устройством для хранения весовых коэффициентов нейросети и целевой информации, блоком контроля состояния бортовых систем, блоком определения угловых отклонений и блоком управления режимами работы летательного аппарата. Система также характеризуется тем, что она содержит введенный в вычислительное устройство блок обработки видеоизображения.The on-board intelligent search and guidance system of an unmanned aerial vehicle contains a survey camera interconnected by inputs and outputs via information exchange channels, a computing device, including a ground object detection and recognition unit interacting via an information exchange computing channel, a coordinate information generation unit, a tracking and identification unit of ground objects, input/output and information exchange control unit, database of types and classes of ground objects. The system is characterized by the fact that it is equipped with a random access memory device for storing weight coefficients of the neural network and target information, a unit for monitoring the state of on-board systems, a unit for determining angular deviations and control unit for operating modes of the aircraft. The system is also characterized in that it contains a video image processing unit inserted into the computing device.

Предлагаемое изобретение может использоваться на различных ЛА для обеспечения автоматического поиска, обнаружения, распознавания и определения координат наземного объекта заданного класса и типа, выбора приоритетного наземного объекта для наведения БЛА на него, распределения обнаруженных наземных объектов между взаимодействующими ЛА при групповых действиях.The proposed invention can be used on various aircraft to ensure automatic search, detection, recognition and determination of the coordinates of a ground object of a given class and type, selection of a priority ground object for pointing the UAV at it, distribution of detected ground objects between interacting aircraft during group operations.

Изобретение представляет собой систему, включающую следующие взаимосвязанные блоки:The invention is a system that includes the following interconnected blocks:

- обзорную камеру;- observation camera;

- вычислительное устройство, предназначенное для реализации программного обеспечения решения задач и хранения служебной информации и параметров нейросети, обученной для распознавания наземных объектов заданного типа или класса, которое включает в себя:- a computing device designed to implement software for solving problems and storing service information and parameters of a neural network trained to recognize ground objects of a given type or class, which includes:

1. блок обнаружения и распознавания наземных объектов, предназначенный для анализа поступающего от камеры видеоизображения и обнаружения и распознавания на нем объектов заданных типов и классов;1. block for detection and recognition of ground objects, designed to analyze the video image coming from the camera and detect and recognize objects of specified types and classes on it;

2. блок формирования координатной информации, предназначенный для определения координат обнаруженных объектов;2. a block for generating coordinate information, designed to determine the coordinates of detected objects;

3. блок сопровождения и отождествления объектов, предназначенный для комплексного гипотезного анализа информации об объекте, при котором выполняется проверка соответствия его параметров (координаты, тип или класс, временный эталон изображения) параметрам ранее обнаруженных объектов, содержащихся в массиве информации БЛА об обнаруженных объектах и формирование массива обнаруженных объектов;3. object tracking and identification unit, designed for a comprehensive hypothetical analysis of information about an object, in which the compliance of its parameters (coordinates, type or class, temporary image standard) with the parameters of previously detected objects contained in the UAV information array about detected objects is checked and the formation array of detected objects;

4. блок обработки видеоизображения, предназначенный для стабилизации и масштабирования видеоизображения, поступающего от камеры;4. video processing unit, designed to stabilize and scale the video image coming from the camera;

5. блок ввода-вывода и управления обменом, предназначенный для взаимодействия вычислительного устройства с обзорной камерой и бортовыми системами ЛА;5. input/output and exchange control unit, designed for interaction of the computing device with the surveillance camera and on-board systems of the aircraft;

6. базу данных типов и классов объектов, назначенных для распознавания объектов;6. a database of types and classes of objects assigned for object recognition;

7. блок управления режимами функционирования БЛА, предназначенный для формирования команд переключения режимов функционирования БЛА;7. control unit for UAV operating modes, designed to generate commands for switching UAV operating modes;

8. оперативное запоминающее устройство, предназначенное для хранения весовых коэффициентов нейронной сети обнаружения и распознавания объектов;8. random access memory device designed to store weight coefficients of the neural network for object detection and recognition;

9. блок контроля состояния бортовых систем БЛА, предназначенный для формирования интегрального признака исправности БЛА;9. a unit for monitoring the state of the UAV on-board systems, designed to form an integral sign of the UAV’s serviceability;

10. блок определения угловых отклонений, предназначенный для формирования координатной информации на этапе наведения БЛА.10. block for determining angular deviations, designed to generate coordinate information at the stage of UAV guidance.

Общий методический подход к решению приведенной задачи основан на последовательной обработке видеоинформации о подстилающей земной поверхности, поступающей при полете БЛА в заданном районе, на каждом этапе которой выполняется ее преобразование в формы, необходимые для решения следующих этапов обработки и достижения конечного результата для передачи в систему управления БЛА, а также достаточные для промежуточных оценок наземной целевой обстановки.The general methodological approach to solving the above problem is based on sequential processing of video information about the underlying earth's surface received during the flight of a UAV in a given area, at each stage of which it is converted into the forms necessary to solve the next stages of processing and achieve the final result for transmission to the control system UAVs, as well as sufficient for intermediate assessments of the ground target situation.

Обзорная камера формирует видеоизображение подстилающей земной поверхности при полете БЛА и передает его в вычислительное устройство в блок ввода-вывода и управления обменом. После этого в блоке обработки видеоизображения осуществляется стабилизация видеоизображения (относительно предыдущих кадров) и масштабирование кадра. После обработки видеоизображение поступает в блок обнаружения и распознавания наземных объектов. Методический подход по автоматическому обнаружению наземных объектов основан на их распознавании на видеоизображениях, поступающих от обзорной камеры. Распознавание выполняется с использованием нейросетевой технологии искусственного интеллекта. При этом нейросеть заранее обучена для распознавания тех наземных объектов заданных типов и классов, поиск которых должен выполняться в запланированном полете БЛА. Информация об объектах, заданных для распознавания, передается в вычислительное устройство при подготовке к вылету БЛА в виде весовых коэффициентов нейросети и хранится в оперативно запоминающем устройстве. Результатом алгоритма автоматического обнаружения и распознавания наземных объектов являются их прямоугольные координаты в текущем кадре изображения и указание распознанного класса или типа объекта (цели).The survey camera generates a video image of the underlying earth's surface during the flight of the UAV and transmits it to the computing device in the input-output and exchange control unit. After this, the video image processing unit stabilizes the video image (relative to previous frames) and scales the frame. After processing, the video image enters the ground object detection and recognition unit. The methodological approach to automatically detect ground objects is based on their recognition in video images coming from a surveillance camera. Recognition is performed using artificial intelligence neural network technology. In this case, the neural network is pre-trained to recognize those ground objects of specified types and classes, the search for which should be carried out during the planned flight of the UAV. Information about the objects specified for recognition is transmitted to the computing device in preparation for the UAV's departure in the form of neural network weighting coefficients and is stored in a random access memory device. The result of the algorithm for automatic detection and recognition of ground objects is their rectangular coordinates in the current image frame and an indication of the recognized class or type of object (target).

После обнаружения и распознавания объектов информация о них поступает в блок формирования координатной информации для расчета географических координат обнаруженных объектов. Алгоритм расчета географических координат обнаруженных наземных объектов основан на последовательном пересчете с использованием тригометрических выражений прямоугольных координат объекта на текущем кадре изображения в угловые координаты связанной системы координат обзорной камеры, в угловые координаты связанной системы координат БЛА с учетом углов установки обзорной камеры на БЛА, в угловые координаты нормальной подвижной системы координат с учетом углового положения БЛА в пространстве, а также в географические и геодезические координаты с учетом высоты и координат БЛА. По каждому обнаруженному наземному объекту формируется набор параметров - тип или класс, значения координат в различных системах координат, фотоизображение в качестве временного эталона, расчетные параметры скорости и направления движения (курс), уровень приоритета (важности), устанавливаемый в соответствии с массивом служебной информации, содержащейся в БЛА.After objects are detected and recognized, information about them enters the coordinate information generation unit to calculate the geographic coordinates of the detected objects. The algorithm for calculating the geographic coordinates of detected ground objects is based on sequential recalculation using trigometric expressions of the rectangular coordinates of the object on the current image frame into the angular coordinates of the associated coordinate system of the survey camera, into the angular coordinates of the associated coordinate system of the UAV, taking into account the installation angles of the survey camera on the UAV, into angular coordinates normal moving coordinate system, taking into account the angular position of the UAV in space, as well as geographic and geodetic coordinates, taking into account the height and coordinates of the UAV. For each detected ground object, a set of parameters is formed - type or class, coordinate values in various coordinate systems, a photograph as a temporary reference, calculated parameters of speed and direction of movement (course), priority (importance) level set in accordance with the array of service information, contained in the UAV.

Блок сопровождения и отождествления объектов формирует сводную информацию об объектах, обнаруженных при полете БЛА в заданном районе поиска, и основан на последовательном пополнении массива обнаруженных объектов с предварительным отождествлением нового объекта с ранее обнаруженными и расчете параметров его скорости и направления движения. Алгоритм отождествления объектов работает на каждом такте поступления видеоинформации от обзорной камеры и основан на проведении комплексного гипотезного анализа информации об объекте, при котором выполняется проверка соответствия его параметров (координаты, тип или класс, временный эталон изображения) параметрам ранее обнаруженных объектов, содержащихся в массиве обнаруженных объектов. В ходе отождествления дополнительно рассчитываются параметры скорости и направления движения, а также прогнозные координаты для следующего такта поступления видеоинформации. По результатам комплексного гипотезного анализа информации происходит пополнение массива обнаруженных объектов, его актуализация и сохранение.The object tracking and identification unit generates summary information about objects detected during a UAV flight in a given search area, and is based on sequential replenishment of the array of detected objects with preliminary identification of a new object with previously detected ones and calculation of the parameters of its speed and direction of movement. The object identification algorithm operates at every step of receiving video information from the surveillance camera and is based on a comprehensive hypothetical analysis of information about an object, which checks the compliance of its parameters (coordinates, type or class, temporary image standard) with the parameters of previously detected objects contained in the array of detected objects. objects. During identification, the parameters of speed and direction of movement are additionally calculated, as well as predicted coordinates for the next step of video information arrival. Based on the results of a comprehensive hypothetical analysis of information, the array of detected objects is replenished, updated and saved.

Блок управления режимами определяет наиболее приоритетный обнаруженный объект в соответствии с планом полета БЛА и передает его координатную информацию в систему управления БЛА для обеспечения его наведения на этот объект. При отсутствии среди обнаруженных объектов объекта с заданным приоритетом оператор НПУ по радиоканалу связи между НПУ и БЛА может назначить наземный объект указанием ссылки на него в массиве обнаруженных объектов. Также блок формирует команды переходов между режимами функционирования БЛА и выдает их через блок ввода-вывода и управления обменом во взаимодействующие системы БЛА.The mode control unit determines the highest priority detected object in accordance with the UAV flight plan and transmits its coordinate information to the UAV control system to ensure its guidance to this object. If there is no object with a given priority among the detected objects, the NPU operator, via a radio communication channel between the NPU and the UAV, can assign a ground object by indicating a link to it in the array of detected objects. The block also generates commands for transitions between operating modes of the UAV and issues them through the input-output and exchange control block to the interacting UAV systems.

Решение задачи информационного обеспечения наведения БЛА на наземный объект имеет следующие этапы:Solving the problem of information support for guiding a UAV to a ground object has the following stages:

1. Формирование видеоизображения подстилающей земной поверхности.1. Formation of a video image of the underlying earth's surface.

2. Автоматическое обнаружение и распознавание наземных объектов заданного типа или класса с использованием нейросетевой технологии искусственного интеллекта.2. Automatic detection and recognition of ground objects of a given type or class using artificial intelligence neural network technology.

3. Расчет координат обнаруженного объекта в связанных с БЛА системе координат и земных системах координат.3. Calculation of the coordinates of the detected object in the UAV-related coordinate system and terrestrial coordinate systems.

4. Формирование и актуализации массива обнаруженных объектов с отождествлением новых объектов с ранее обнаруженными.4. Formation and updating of an array of detected objects with the identification of new objects with previously discovered ones.

5. Автоматическое назначение наземного объекта с заданным приоритетом для наведения на него БЛА с возможностью корректировки оператором НПУ БЛА.5. Automatic assignment of a ground object with a given priority for pointing a UAV at it with the possibility of adjustment by the UAV operator.

6. Автоматическое сопровождение назначенного наземного объекта в поле зрения обзорной камеры для обеспечения наведения БЛА.6. Automatic tracking of a designated ground object in the field of view of the surveillance camera to ensure UAV guidance.

7. Выдача в систему управления БЛА относительных координат положения назначенного наземного объекта (цели) для наведения.7. Providing relative coordinates of the position of the designated ground object (target) for guidance to the UAV control system.

При полете БЛА в заданном районе при поиске объектов заданного класса или типа формируемое видеоизображение и массивы обнаруженных объектов передаются на НПУ и/или на взаимодействующие ЛА - воздушные пункты управления.When a UAV is flying in a given area and searching for objects of a given class or type, the generated video image and arrays of detected objects are transmitted to the control center and/or to interacting aircraft - air control posts.

Заявленный технический результат, заключающийся в повышении эффективности применения автономных БЛА в сложной помеховой обстановке достигается следующими техническими решениями:The declared technical result, which consists in increasing the efficiency of the use of autonomous UAVs in a complex jamming environment, is achieved by the following technical solutions:

- автоматическое обнаружение, распознавание и определение координат местоположения объектов заданных классов или типов в заданном районе;- automatic detection, recognition and determination of coordinates of the location of objects of specified classes or types in a given area;

- автоматический выбор приоритетного наземного объекта для наведения на него БЛА;- automatic selection of a priority ground object for pointing the UAV at it;

- автоматическое распределение обнаруженных наземных объектов между взаимодействующими БЛА группы при выполнении групповых действий.- automatic distribution of detected ground objects between interacting UAVs of the group when performing group actions.

Заявленный технический результат, заключающийся в повышении безопасности применения БЛА достигается следующими техническими решениями:The declared technical result, which consists in increasing the safety of using UAVs, is achieved by the following technical solutions:

- автоматическое обнаружение наземных объектов заданного типа или класса в заданном районе поиска с использованием БЛА без захода пилотируемого ЛА в заданный район поиска.- automatic detection of ground objects of a given type or class in a given search area using UAVs without a manned aircraft entering the given search area.

- формирование и передача информации об обнаруженных объектах и их видеоизображений на НПУ и/или на взаимодействующие ЛА, что повышает ситуационную осведомленность о тактической обстановке в заданном районе;- generation and transmission of information about detected objects and their video images to the control center and/or interacting aircraft, which increases situational awareness of the tactical situation in a given area;

- обеспечение автономности применения беспилотных ЛА, в том числе при отсутствии радиосвязи с НПУ.- ensuring the autonomy of the use of unmanned aircraft, including in the absence of radio communication with the control center.

Заявленный технический результат, заключающийся в расширении функциональных возможностей беспилотных ЛА достигается следующими техническими решениями:The declared technical result, which consists in expanding the functionality of unmanned aircraft, is achieved by the following technical solutions:

- автоматическое обнаружение наземных объектов заданных классов и типов при применении данной системы на борту пилотируемого ЛА, что позволяет освободить экипаж от необходимости поиска объектов визуально или на многофункциональных индикаторах кабины ЛА;- automatic detection of ground objects of specified classes and types when using this system on board a manned aircraft, which frees the crew from the need to search for objects visually or on the multifunctional indicators of the aircraft cockpit;

- изобретение способно функционировать на пилотируемых и беспилотных ЛА самолетного типа, вертолетах, БЛА квадрокоптерного типа и других типов.- the invention is capable of functioning on manned and unmanned aircraft of aircraft type, helicopters, quadrocopter UAVs and other types.

Предлагаемое изобретение поясняется чертежом (фиг. 1), на котором обозначены элементы:The present invention is illustrated by a drawing (Fig. 1), which shows the elements:

1. ОК - обзорная камера.1. OK - overview camera.

2. КИО - канал информационного обмена.2. KIO - information exchange channel.

3. ВУ - вычислительное устройство.3. CU - computing device.

4. ОРНО - блок обнаружения и распознавания наземных объектов.4. ORNO - block for detection and recognition of ground objects.

5. ФКИ - блок формирования координатной информации.5. FKI - block for generating coordinate information.

6. СОО - блок сопровождения и отождествления объектов.6. SOO - unit for tracking and identifying objects.

7. ОВИ - блок обработки видеоизображения.7. JVI - video image processing unit.

8. ВВУО - блок ввода-вывода и управления информационным обменом.8. VVUO - input-output and information exchange control unit.

9. ВКИО - вычислительный канал информационного обмена.9. VKIO - computing channel of information exchange.

10. БД ТКО - базу данных типов и классов объектов.10. MSW DB - a database of types and classes of objects.

11. УР - блок управления режимами.11. UR - mode control unit.

12. ОЗУ - оперативно запоминающее устройство.12. RAM is a random access memory device.

13. КСБС - блок контроля состояния бортовых систем.13. KSBS - unit for monitoring the status of on-board systems.

14. ОУО - блок определения угловых отклонений.14. OOO - block for determining angular deviations.

При внедрении изобретения в состав ЛА не требуется замена бортовых информационных и управляющих систем. Включение в состав комплексов бортового оборудования составных частей изобретения выполняется путем их подключения к известным бортовым информационным и управляющим системам с использованием известных интерфейсов. Предлагаемое изобретение является источником информации об обнаруженных наземных объектах, которая может поступать в штатные бортовые системы и алгоритмы для решения широкого перечня дополнительных задач ЛА.When introducing the invention into an aircraft, replacement of on-board information and control systems is not required. The inclusion of components of the invention into on-board equipment complexes is carried out by connecting them to known on-board information and control systems using known interfaces. The proposed invention is a source of information about detected ground objects, which can be fed into standard on-board systems and algorithms to solve a wide range of additional aircraft tasks.

Claims (1)

Бортовая интеллектуальная система поиска и наведения беспилотного летательного аппарата, содержащая взаимосоединенные входами-выходами по каналам информационного обмена обзорную камеру, вычислительное устройство, включающее взаимодействующие по вычислительному каналу информационного обмена блок обнаружения и распознавания наземных объектов, блок формирования координатной информации, блок сопровождения и отождествления наземных объектов, блок ввода-вывода и управления обменом информации, базу данных типов и классов наземных объектов, отличающаяся тем, что она снабжена включенными в вычислительное устройство и взаимодействующими с блоком ввода-вывода и управления обменом информации по вычислительному каналу информационного обмена оперативно запоминающим устройством для хранения весовых коэффициентов нейросети и целевой информации, блоком контроля состояния бортовых систем, блоком определения угловых отклонений и блоком управления режимами работы летательного аппарата, блоком обработки видеоизображения.An on-board intelligent search and guidance system for an unmanned aerial vehicle, containing a survey camera interconnected by inputs and outputs via information exchange channels, a computing device, including a ground object detection and recognition unit, a coordinate information generation unit, a ground object tracking and identification unit interacting via the information exchange computing channel , an input-output and information exchange control unit, a database of types and classes of ground objects, characterized in that it is equipped with a random access memory device for storing weights included in the computing device and interacting with the input-output and information exchange control unit via the computing channel of information exchange coefficients of the neural network and target information, a unit for monitoring the state of on-board systems, a unit for determining angular deviations and a unit for controlling the operating modes of the aircraft, a video image processing unit.

Images