RU2807410C1 - Method for remote control of highly automated vehicle - Google Patents

Method for remote control of highly automated vehicle Download PDF

Info

Publication number
RU2807410C1
RU2807410C1 RU2023118372A RU2023118372A RU2807410C1 RU 2807410 C1 RU2807410 C1 RU 2807410C1 RU 2023118372 A RU2023118372 A RU 2023118372A RU 2023118372 A RU2023118372 A RU 2023118372A RU 2807410 C1 RU2807410 C1 RU 2807410C1
Authority
RU
Russia
Prior art keywords
highly automated
message
automated vehicle
data
tcp
Prior art date
Application number
RU2023118372A
Other languages
Russian (ru)
Inventor
Роман Михайлович Калашников
Тимур Ренатович Ибатуллин
Арсений Дмитриевич Кириченко
Александра Андреевна Коршунова
Original Assignee
Общество с ограниченной ответственностью "ЭвоКарго"
Filing date
Publication date
Application filed by Общество с ограниченной ответственностью "ЭвоКарго" filed Critical Общество с ограниченной ответственностью "ЭвоКарго"
Application granted granted Critical
Publication of RU2807410C1 publication Critical patent/RU2807410C1/en

Links

Abstract

FIELD: highly automated vehicles.
SUBSTANCE: present invention relates to remote control of a highly automated vehicle. The technical result consists in providing the possibility of simultaneous remote control of more than one highly automated vehicle (HAV) and ensuring a short response time to incidents during flights. The technical result is achieved due to the fact that the HAV consists of a hardware and software platform. The hardware consists of a computing module to which a modem, cameras and general-purpose sensors such as sonars, lidars, speed and location sensors are connected. The software part is executed on the computing module and is called the autopilot, providing functions for transmitting telemetry data and executing movement along a remotely specified trajectory. The autopilot runs on the computing module. In addition, front, rear, side and other on-board cameras can be connected to the HAV computing module in any way accessible to the camera (for example, via USB or ethernet).
EFFECT: providing the possibility of simultaneous remote control of more than one highly automated vehicle (HAV) and ensuring a short response time to incidents during flights.
3 cl, 1 dwg

Description

Область техники, к которой относится изобретениеField of technology to which the invention relates

Настоящее изобретение относится к дистанционному управлению высокоавтоматизированным транспортным средством (ВАТС), а более конкретно к мониторингу и управлению работой транспортного средства, дистанционному заданию маршрутов, смене маршрутов, чтобы повысить эффективность и безопасность движения ВАТС.The present invention relates to remote control of a highly automated vehicle (VATS), and more specifically to monitoring and control of vehicle operation, remote setting of routes, changing routes to improve the efficiency and safety of VATS movement.

Уровень техникиState of the art

Из уровня техники известно достаточно много различных диспетчерских пунктов с дистанционным управлением, например, известна система управления транспортным средством (FR 2866746 A1, G06F 19/00, опубл. 26.08.2005), содержащая блоки оповещения, когда скорость транспортного средства превышает один из контрольных пределов скорости.Quite a lot of different remote control control centers are known from the prior art, for example, a vehicle control system is known (FR 2866746 A1, G06F 19/00, publ. 08/26/2005), containing warning units when the vehicle speed exceeds one of the control limits speed.

Описанное изобретение позволяет фиксировать и передавать в центр мониторинга текущее положение транспортного средства посредством его оборудования такими навигационными системами как GPS, с большой погрешностью до 20/30 метров. Данным решением не предусмотрены механизмы формирования оптимального маршрута и механизмы автоматической корректировки маршрута при возникновении непредвиденных факторов (препятствия, люди или другие транспортные средства).The described invention allows the current position of the vehicle to be recorded and transmitted to the monitoring center by equipping it with navigation systems such as GPS, with a large error of up to 20/30 meters. This solution does not provide mechanisms for generating an optimal route and mechanisms for automatically adjusting the route in the event of unforeseen factors (obstacles, people or other vehicles).

Известна система и способ оптимизации рейса для транспортного средства (RU 2481988 C2, B61L 3/00, опубл. 20.05.2013), включающие базу данных на борту транспортного средства для хранения характеристической информации для каждого из множества различных типов топлива, при этом транспортное средство содержит двигатель, сконфигурированный для работы на множестве различных типов топлива, процессор на борту транспортного средства, сконфигурированный для приема информации из упомянутой базы данных, алгоритм, осуществленный в рамках процессора, имеющий доступ к информации из базы данных о множестве различных типов топлива и сконфигурированный, чтобы создать план рейса, содержащий, по меньшей мере, одну из установок мощности или торможения для управления транспортным средством, когда оно следует согласно указанному рейсу, причем алгоритм дополнительно сконфигурирован для создания плана рейса для минимизации общего расхода топлива из множества различных видов топлива и в соответствии с одним или более рабочим критерием для указанного транспортного средства.A known system and method for optimizing a trip for a vehicle (RU 2481988 C2, B61L 3/00, publ. 05.20.2013), including a database on board the vehicle for storing characteristic information for each of many different types of fuel, wherein the vehicle contains an engine configured to operate on a plurality of different fuel types, a processor on board the vehicle configured to receive information from said database, an algorithm implemented within the processor accessing information from the database about the plurality of different fuel types and configured to create a voyage plan comprising at least one of power or braking settings for controlling the vehicle as it proceeds according to a specified voyage, wherein the algorithm is further configured to create a voyage plan to minimize total fuel consumption from a plurality of different fuels and in accordance with one or more operating criterion for the specified vehicle.

В данном решении способ управления транспортным средством содержит этапы, на которых определяется местоположение транспортного средства и собирается информация о территории нахождения транспортного средства, что вносит задержку в скорость реакции на изменение внешних факторов. Также решение распространяется на железнодорожный состав/локомотив и другие транспортные средства, включающие в себя внедорожные и морские транспортные средства, которые, ввиду физических ограничений устройства двигателя, имеют ограничения по времени завершения выполнения управляющего воздействия от диспетчерской системы.In this solution, the method of driving a vehicle contains stages at which the location of the vehicle is determined and information about the territory where the vehicle is located is collected, which introduces a delay in the speed of reaction to changes in external factors. The decision also applies to trains/locomotive and other vehicles, including off-road and marine vehicles, which, due to the physical limitations of the engine design, have restrictions on the completion time of the control action from the dispatch system.

За прототип взят способ автоматизированного управления эксплуатацией беспилотного воздушного судна (БВС) в общем воздушном пространстве для обеспечения безопасного полета с выявлением случаев несанкционированного изменения трафика полета (RU 2662611 C1, G05D 1/00, опубл. 26.07.2018) при помощи использования бортовой автоматической системы управления, спутниковой навигационной системы, высокоточных синхронизированных часов, а также бортового вычислителя и приемо-передающей радиостанции, с помощью которой осуществляется цифровая радиосвязь с базовой радиостанцией, со стационарным или подвижным пунктами управления, которые оборудованы автоматизированным рабочим местом диспетчера, отличающийся тем, что параметры трафика своего полета, измеренные с использованием спутниковой навигационной системы, а также информация, полученная по линии связи о трафиках полета других беспилотных воздушных судов, каждое беспилотное воздушное судно передает стационарным или подвижным пунктами управления, причем полученная информация о трафиках полета других БВС обрабатывается, например, используя принцип Доплера, для уточнения реальных координат других БВС, при этом эти данные также передаются по каналу связи в службу управления воздушным движением, которая использует эти данные для контроля управления полетом беспилотного авиационного судна и обеспечения возможности безаварийного продолжения полета, а также выявления случаев получения недостоверной информации о трафике полета с БВС, которые отклоняются от санкционированного трафика полета, а при необходимости для обеспечения безопасности полетов корректируют трафики полетов таких БВС, а в случае невозможности корректировки полета БВС, например, когда недостоверная информация с БВС передается умышленно, информация о времени потери управления с таким БВС и параметрах его движения, планируемом трафике полета, а также технические данные в режиме онлайн передаются в службу пресечения несанкционированного полета БВС, причем к санкционированным полетам допускаются лишь БВС, зарегистрированные на специальном портале, где отражается вся информация о БВС на протяжении всего его жизненного цикла.The prototype is a method for automated control of the operation of an unmanned aircraft (UAV) in general airspace to ensure a safe flight while identifying cases of unauthorized changes in flight traffic (RU 2662611 C1, G05D 1/00, published 07/26/2018) using an on-board automatic system control, satellite navigation system, high-precision synchronized clocks, as well as an on-board computer and a transceiver radio station, with the help of which digital radio communication is carried out with a base radio station, with stationary or mobile control points, which are equipped with an automated dispatcher workstation, characterized in that the traffic parameters of its flight, measured using a satellite navigation system, as well as information received via communication link about the flight traffic of other unmanned aircraft, each unmanned aircraft transmits to stationary or mobile control points, and the received information about the flight traffic of other unmanned aircraft is processed, for example, using Doppler principle, to clarify the real coordinates of other UAVs, while this data is also transmitted via a communication channel to the air traffic control service, which uses this data to control the flight control of an unmanned aircraft and ensure the possibility of accident-free continuation of the flight, as well as identifying cases of receiving unreliable information about the flight traffic from UAVs that deviate from the authorized flight traffic, and if necessary, to ensure flight safety, the flight traffic of such UAVs is adjusted, and if it is impossible to correct the UAV flight, for example, when unreliable information from the UAV is transmitted deliberately, information about the time of loss of control from such UAV and its movement parameters, planned flight traffic, as well as technical data are transmitted online to the service for suppressing unauthorized UAV flights, and only UAVs registered on a special portal are allowed for authorized flights, where all information about the UAV is reflected throughout its life cycle.

Решение предназначено для контроля исполнения маршрута БВС, которое позволяет сигнализировать о возникновении несанкционированных маршрутов и о коллизиях маршрутов многочисленных БВС. Сами же маршруты назначаются собственными системами БВС (пунктами управления), и информация о них передается в службу управления воздушным движением для контроля управления полетом. Это общесистемное, инфраструктурное решение, не содержащее алгоритмов поведения при возникновении локальных, непредвиденных факторов (заграждения, другие БВС и так далее) на пути следования по маршруту, так же, как и не содержащее алгоритмов автоматической корректировки маршрутов при возникновении таких факторов.The solution is designed to monitor the execution of a UAV route, which allows you to signal the occurrence of unauthorized routes and collisions between the routes of multiple UAVs. The routes themselves are assigned by the UAV's own systems (control points), and information about them is transmitted to the air traffic control service to monitor flight control. This is a system-wide, infrastructure solution that does not contain algorithms for behavior in the event of local, unforeseen factors (obstructions, other UAVs, etc.) along the route, as well as does not contain algorithms for automatically adjusting routes when such factors occur.

Раскрытие сущности изобретенияDisclosure of the invention

Технической задачей заявляемого изобретения является создание способа дистанционного управления высокоавтоматизированным транспортным средством.The technical objective of the claimed invention is to create a method for remote control of a highly automated vehicle.

Техническим результатом является возможность одновременного дистанционного управления более чем одним высокоавтоматизированным транспортным средством и обеспечение короткого времени реакции на происшествия (ограничение накладывается только задержкой в сетях передачи данных) в процессе выполнения рейсов.The technical result is the possibility of simultaneous remote control of more than one highly automated vehicle and ensuring a short response time to incidents (limited only by the delay in data transmission networks) during flights.

Указанный технический результат достигается при помощи заявленного способа дистанционного управления высокоавтоматизированным транспортным средством, содержащего вычислительный модуль высокоавтоматизированного транспортного средства, к которому подключены модем, посредством которого осуществляется передача данных по сетям мобильной связи 3G/LTE/5G, используя сетевой стек протоколов TCP/IP и UDP и сенсоры, такие как сонары, лидары, датчики скорости и местоположения, при этом на вычислительном модуле высокоавтоматизированного транспортного средства данные от сенсоров считываются из файловых дескрипторов устройства автопилота, входящего в состав вычислительного модуля, и, путем копирования через оперативную память, передаются в облачный агент, который, в свою очередь, копирует данные сенсоров из оперативной памяти и отправляет по сетям 3G/LTE/5G посредством модема на сервер в брокер сообщений, затем брокер сообщений копирует полученные данные в оперативную память и по протоколам сетевого стека TCP/IP и UDP уведомляет обработчик сообщений о поступлении новых данных, при этом обработчик сообщений копирует данные из сетевого стека протоколов TCP/IP и UDP в оперативную память и путем подстановки данных в программную структуру формирует сообщение, которое сохраняет в очередь сообщений, причем потребителями данной очереди сообщений выступают независимые, параллельно работающие сервисы, такие как журнал событий высокоавтоматизированного транспортного средства, обработчик предупреждений, сервис цифровых копий высокоавтоматизированного транспортного средства, блок управления высокоавтоматизированного транспортного средства, при этом журнал событий высокоавтоматизированного транспортного средства без предварительной фильтрации регистрирует в системе управления базами данных, полученное из очереди, сообщение об очередном событии и перенаправляет его в сервис ретрансляции событий по протоколам сетевого стека TCP/IP и UDP, причем сервис ретрансляции событий преобразует полученное сообщение из машинного вида в текстовый, человеко-читаемый и по протоколам сетевого стека TCP/IP и UDP отправляет на компьютер диспетчера, в свою очередь, обработчик предупреждений регистрирует в системе управления базами данных, полученное из очереди, сообщение об очередном событии, фильтрует по признаку наличия происшествия и, в случае возникновения происшествия, преобразует полученное сообщение из машинного вида в текстовый, человеко-читаемый и по протоколам сетевого стека TCP/IP и UDP отправляет на компьютер диспетчера, при этом сервис цифровых копий высокоавтоматизированного транспортного средства фильтрует, полученное из очереди, сообщение, по признаку наличия данных телеметрии, регистрирует отфильтрованные сообщения в системе управления базами данных и по запросу перенаправляет последние сохраненные данные в блок управления высокоавтоматизированного транспортного средства и шлюз программной платформы по протоколам сетевого стека TCP/IP и UDP, причем шлюз программной платформы, в свою очередь, по запросу от программного обеспечения рабочего места диспетчера, перенаправляет данные телеметрии на компьютер диспетчера, в свою очередь, посредством обращения в файловое хранилище, картографический сервис предоставляет допустимые маршруты по местности функционирования высокоавтоматизированного транспортного средства, позволяет сохранять и считывать картографические данные, такие как доступные маршрутные точки и спутниковые снимки местности функционирования высокоавтоматизированного транспортного средства, по протоколам TCP/IP и UDP из файлового хранилища, причем при помощи программного обеспечения диспетчер может выбрать на мониторе компьютера маршрут для требуемого высокоавтоматизированного транспортного средства, далее через шлюз программной платформы по протоколам TCP/IP и UDP команда будет передана в блок управления высокоавтоматизированного транспортного средства, который путем копирования маршрутных данных в структуру в оперативной памяти сформирует сообщение и через очередь сообщений отправит его сначала в обработчик сообщений, а затем в брокер сообщений, далее через брокер сообщений по сетям 3G/LTE/5G команда будет передана в модем, который по протоколам TCP/IP и UDP отправит команду управления в облачный агент, а облачный агент скопирует данные команды в оперативную память, отфильтрует ее по признаку управления и в зависимости от команды скопирует соответствующую команду в файловый дескриптор исполнительного модуля, при этом исполнительный модуль путем управления повышением напряжения электрического тока на двигатель приводит в движение высокоавтоматизированное транспортное средство.The specified technical result is achieved using the claimed method for remote control of a highly automated vehicle, containing a computing module of a highly automated vehicle to which a modem is connected, through which data is transmitted over 3G/LTE/5G mobile networks using a network protocol stack TCP/IP and UDP and sensors, such as sonars, lidars, speed and location sensors, while on the computing module of a highly automated vehicle, sensor data is read from the file descriptors of the autopilot device included in the computing module, and, by copying through RAM, is transferred to the cloud agent , which, in turn, copies sensor data from RAM and sends it over 3G/LTE/5G networks via a modem to the server to the message broker, then the message broker copies the received data into RAM and notifies using the TCP/IP and UDP network stack protocols a message handler about the arrival of new data, while the message handler copies data from the network stack of the TCP/IP and UDP protocols into RAM and, by substituting the data into the program structure, generates a message that is saved to a message queue, and the consumers of this message queue are independent, parallel running services, such as a highly automated vehicle event log, an alert handler, a digital copy service of a highly automated vehicle, a highly automated vehicle control unit, wherein the highly automated vehicle event log, without pre-filtering, registers in a database management system a queued message about next event and redirects it to the event relay service using the TCP/IP and UDP network stack protocols, and the event relay service converts the received message from machine form into human-readable text and sends it to the dispatcher’s computer using the TCP/IP and UDP network stack protocols, in turn, the warning processor registers a message about the next event received from the queue in the database management system, filters it based on the presence of an incident and, in the event of an incident, converts the received message from machine form into text, human-readable and according to network protocols stack of TCP/IP and UDP sends to the dispatcher's computer, while the service of digital copies of a highly automated vehicle filters the message received from the queue based on the presence of telemetry data, registers the filtered messages in the database management system and, upon request, redirects the latest stored data to the block control of a highly automated vehicle and a software platform gateway via TCP/IP and UDP network stack protocols, and the software platform gateway, in turn, upon request from the dispatcher’s workplace software, redirects telemetry data to the dispatcher’s computer, in turn, by contacting file storage, a mapping service provides valid routes across the operating area of a highly automated vehicle, allows you to save and read cartographic data, such as available waypoints and satellite images of the operating area of a highly automated vehicle, via TCP/IP and UDP protocols from file storage, and using software, the dispatcher can select a route for the required highly automated vehicle on the computer monitor, then through the software platform gateway via TCP/IP and UDP protocols, the command will be transmitted to the control unit of the highly automated vehicle, which, by copying the route data to a structure in RAM, will generate a message and through the message queue will send it first to the message processor, and then to the message broker, then through the message broker over 3G/LTE/5G networks the command will be sent to the modem, which, using the TCP/IP and UDP protocols, will send the control command to the cloud agent, and the cloud the agent will copy the command data into RAM, filter it by control and, depending on the command, copy the corresponding command to the file descriptor of the executive module, while the executive module, by controlling the increase in voltage of the electric current to the engine, drives the highly automated vehicle.

Предпочтительно, к вычислительному модулю высокоавтоматизированного транспортного средства посредством USB или ethernet могут подключаться дополнительно передние, задние и боковые бортовые камеры.Preferably, additional front, rear and side on-board cameras can be connected to the computing module of the highly automated vehicle via USB or ethernet.

Предпочтительно, может содержаться видео-агент, считывающий видео - потоки из файловых дескрипторов камер, подключенных посредством USB или ethernet, и отправляющий их по сетям 3G/LTE/5G посредством модема, используя сетевой стек протоколов TCP/IP и UDP, на компьютер диспетчера.Preferably, it may contain a video agent that reads video streams from file descriptors of cameras connected via USB or ethernet and sends them over 3G/LTE/5G networks via a modem using the TCP/IP and UDP network protocol stack to the dispatcher’s computer.

Краткое описание чертежей Brief description of drawings

На фиг. 1 представлена схема компонентов, участвующих в процессах передачи, обработки и визуализации данных телеметрии и видео-потоков, использующихся для дистанционного управления ВАТС, где:In fig. Figure 1 shows a diagram of the components involved in the processes of transmission, processing and visualization of telemetry data and video streams used for remote control of VATS, where:

1 - высокоавтоматизированное транспортное средство;1 - highly automated vehicle;

2 - сенсор;2 - sensor;

3 - камера;3 - camera;

4 - вычислительный модуль;4 - computing module;

5 - автопилот;5 - autopilot;

6 - облачный агент;6 - cloud agent;

7 - исполнительный модуль;7 - executive module;

8 - двигатель ВАТС;8 - VATS engine;

9 - 3G/LTE/5G модем;9 - 3G/LTE/5G modem;

10 - брокер сообщений;10 - message broker;

11 - обработчик сообщений;11 - message handler;

12 - очередь сообщений;12 - message queue;

13 - журнал событий ВАТС;13 - VATS event log;

14 - СУБД для хранения журнала событий ВАТС;14 - DBMS for storing the VATS event log;

15 - СУБД для хранения предупреждения;15 - DBMS for storing warnings;

16 - обработчик предупреждений;16 - warning handler;

17 - сервис цифровых копий ВАТС;17 - service of digital copies of VATS;

18 - СУБД для хранения цифровых копий;18 - DBMS for storing digital copies;

19 - блок управления ВАТС;19 - VATS control unit;

20 - СУБД для хранения данных блока управления ВАТС;20 - DBMS for storing data from the VATS control unit;

21 - файловое хранилище карт;21 - file storage of cards;

22 - картографический сервис;22 - cartographic service;

23 - шлюз программной платформы;23 - software platform gateway;

24 - сервис ретрансляции событий;24 - event relay service;

25 - компьютер диспетчера;25 - dispatcher computer;

26 – диспетчер.26 – dispatcher.

Осуществление изобретенияCarrying out the invention

ВАТС состоит из программно-аппаратной платформы. Аппаратная часть состоит из вычислительного модуля, к которому подключены модем, камеры и сенсоры общего назначения такие как сонары, лидары, датчики скорости и местоположения. Программная часть выполняется на вычислительном модуле и называется автопилотом, предоставляя функции передачи данных телеметрии и выполнения движения по дистанционно заданной траектории. Автопилот запускается на вычислительном модуле. Дополнительно к вычислительному модулю ВАТС любым доступным для камеры способом (например, по USB или ethernet) могут подключаться передние, задние, боковые и другие бортовые камеры.VATS consists of a software and hardware platform. The hardware consists of a computing module to which a modem, cameras and general-purpose sensors such as sonars, lidars, speed and location sensors are connected. The software part is executed on the computing module and is called the autopilot, providing functions for transmitting telemetry data and executing movement along a remotely specified trajectory. The autopilot runs on the computing module. In addition, front, rear, side and other on-board cameras can be connected to the VATS computing module in any way accessible to the camera (for example, via USB or ethernet).

Сервер состоит из программно-аппаратной платформы. Программная часть реализуется в виде набора программных модулей (сервисов), которые могут подключаться к системам управления базами данных (СУБД) и файловым хранилищам. Файловое хранилище обеспечивает дистанционный доступ к файлам по протоколам TCP/IP или UDP. Файловые хранилища, СУБД и сервисы запускаются на компьютере с архитектурой x64.The server consists of a software and hardware platform. The software part is implemented as a set of software modules (services) that can connect to database management systems (DBMS) and file storage. File storage provides remote access to files via TCP/IP or UDP protocols. File storage, DBMS and services run on a computer with x64 architecture.

Рабочее место диспетчера выполняет роль клиентской стороны. Программным обеспечением диспетчера выступает клиентское приложение (десктопное, браузерное или мобильное). Клиентское приложение выполняется на компьютерах с возможными архитектурами x86, x64 или ARM.The dispatcher's workplace plays the role of the client side. The dispatcher software is a client application (desktop, browser or mobile). The client application runs on computers with possible x86, x64 or ARM architectures.

ВАТС связывается с сервером через бортовой модем по общедоступным сетям мобильной связи 3G/LTE/5G. По каналам мобильной связи ВАТС отправляет и принимает данные, используя стек протоколов TCP/IP и UDP.The VATS communicates with the server via an on-board modem over public 3G/LTE/5G mobile networks. Through mobile communication channels, the VATS sends and receives data using the TCP/IP and UDP protocol stack.

Клиентские приложения связываются с сервером через интернет.Client applications communicate with the server over the Internet.

На вычислительном модуле ВАТС данные от сенсоров считываются из файловых дескрипторов устройств автопилотом и, путем копирования через оперативную память, передаются в облачный агент, который, в свою очередь, копирует данные сенсоров из оперативной памяти и отправляет по сетям 3G/LTE/5G посредством модема на сервер в брокер сообщений. Дальше брокер сообщений копирует полученные данные в оперативную память и по протоколам сетевого стека TCP/IP и UDP уведомляет обработчик сообщений о поступлении новых данных. Обработчик сообщений копирует данные из сетевого стека в оперативную память и путем подстановки данных в программную структуру формирует сообщение, которое сохраняет в очередь сообщений. Потребителями данных очереди сообщений выступают независимые, параллельно работающие сервисы:On the VATS computing module, data from sensors is read from file descriptors of devices by the autopilot and, by copying through RAM, transferred to the cloud agent, which, in turn, copies sensor data from RAM and sends it over 3G/LTE/5G networks via a modem to server to message broker. Next, the message broker copies the received data into RAM and, using the TCP/IP and UDP network stack protocols, notifies the message processor about the arrival of new data. The message handler copies data from the network stack into RAM and, by substituting the data into the program structure, generates a message that is saved to the message queue. Message queue data consumers are independent, parallel running services:

- Журнал событий ВАТС- VATS event log

- Обработчик предупреждений- Alert handler

- Сервис цифровых копий ВАТС- Service of digital copies of VATS

- Блок управления ВАТС- VATS control unit

Сервис журнала событий ВАТС без предварительной фильтрации регистрирует в СУБД, полученное из очереди, сообщение об очередном событии и перенаправляет его в сервис ретрансляции событий по протоколам TCP/IP и UDP. Сервис ретрансляции событий преобразует полученное сообщение из машинного вида в текстовый, человеко-читаемый и по протоколам TCP/IP и UDP отправляет на компьютер диспетчера. Далее программное обеспечение на рабочем месте диспетчера по запросу выводит на монитор сообщение с произошедшим событием.The VATS event log service, without preliminary filtering, registers a message about the next event received from the queue in the DBMS and redirects it to the event relay service via TCP/IP and UDP protocols. The event relay service converts the received message from machine form into human-readable text and sends it to the dispatcher’s computer via TCP/IP and UDP protocols. Next, the software at the dispatcher’s workplace, upon request, displays a message on the monitor with the event that occurred.

Обработчик предупреждений регистрирует в СУБД, полученное из очереди, сообщение об очередном событии, фильтрует по признаку наличия происшествия и, в случае возникновения происшествия, преобразует полученное сообщение из машинного вида в текстовый, человеко-читаемый и по протоколам TCP/IP и UDP отправляет на компьютер диспетчера. Далее программное обеспечение на рабочем месте диспетчера принудительно выводит на монитор сообщение с произошедшим событием. Таким образом, диспетчер, находясь на своем дистанционном рабочем месте, может за короткий промежуток времени, который ограничен скоростью передачи данных по сетям 3G/LTE/5G, среагировать на происходящие происшествия в процессе выполнения рейсов более чем одним высокоавтоматизированным транспортным средством.The warning processor registers a message about the next event received from the queue in the DBMS, filters it based on the presence of an incident and, in the event of an incident, converts the received message from machine form into human-readable text and sends it to the computer via TCP/IP and UDP protocols dispatcher Next, the software at the dispatcher’s workplace forcibly displays a message with the event that occurred on the monitor. Thus, the dispatcher, being at his remote workplace, can, in a short period of time, which is limited by the speed of data transmission over 3G/LTE/5G networks, respond to incidents occurring during flights with more than one highly automated vehicle.

Сервис цифровых копий ВАТС фильтрует, полученное из очереди, сообщение, по признаку наличия данных телеметрии, регистрирует в СУБД и по запросу перенаправляет последние сохраненные данные в блок управления ВАТС и шлюз программной платформы по протоколам TCP/IP и UDP. Шлюз программной платформы, по запросу от программного обеспечения рабочего места диспетчера, перенаправляет данные телеметрии на компьютер диспетчера. Далее программное обеспечение на рабочем месте, по запросу диспетчера, выводит на монитор данные телеметрии требуемых ВАТС. Дополнительно, в случае выхода данных телеметрии за пределы допустимых норм, сервис цифровых копий ВАТС формирует сообщение с происшествием и по протоколам TCP/IP и UDP отправляет в обработчик предупреждений.The VATS digital copy service filters the message received from the queue based on the presence of telemetry data, registers it in the DBMS and, upon request, redirects the latest saved data to the VATS control unit and the software platform gateway via TCP/IP and UDP protocols. The software platform gateway, upon request from the dispatcher's workstation software, redirects telemetry data to the dispatcher's computer. Next, the software at the workplace, at the request of the dispatcher, displays telemetry data of the required VATS on the monitor. Additionally, if telemetry data goes beyond acceptable limits, the VATS digital copy service generates an incident message and sends it to the warning processor via TCP/IP and UDP protocols.

Блок управления ВАТС реализует функции управления. Используя программное обеспечение рабочего места, диспетчер может подавать команды запуска и остановки ходовой части ВАТС и запуска и остановки движения по маршрутным точкам в блок управления ВАТС, который, в свою очередь, использует данные телеметрии сервиса цифровых копий ВАТС для контроля нахождения их в пределах допустимых норм в процессе выполнения команд диспетчера.The VATS control unit implements control functions. Using workstation software, the dispatcher can send commands to start and stop the VATS chassis and start and stop movement along waypoints to the VATS control unit, which, in turn, uses telemetry data from the VATS digital copy service to monitor whether they are within acceptable limits during the execution of dispatcher commands.

Картографический сервис позволяет сохранять и считывать картографические данные (такие как доступные маршрутные точки и спутниковые снимки местности функционирования ВАТС) по протоколам TCP/IP и UDP из файлового хранилища. Дополнительно, посредством обращения в файловое хранилище, он предоставляет допустимые маршруты по местности функционирования ВАТС. При помощи программного обеспечения диспетчер может выбрать на мониторе компьютера маршрут для требуемого ВАТС. Через шлюз программной платформы по протоколам TCP/IP и UDP команда будет передана в блок управления ВАТС, который путем копирования маршрутных данных в структуру в оперативной памяти сформирует сообщение и через очередь сообщений отправит его сначала в обработчик сообщений, а затем в брокер сообщений. Далее, через брокер сообщений по сетям 3G/LTE/5G команда будет передана в модем, который по протоколам TCP/IP и UDP отправит команду управления в облачный агент. Облачный агент скопирует данные команды в оперативную память, отфильтрует ее по признаку управления и в зависимости от команды (начало, пауза, продолжение или отмена движения по маршруту) скопирует соответствующую команду в файловый дескриптор исполнительного модуля.The mapping service allows you to save and read map data (such as available waypoints and satellite images of the area where the VATS operates) via TCP/IP and UDP protocols from file storage. Additionally, by accessing the file storage, it provides valid routes across the area where the VATS operates. Using the software, the dispatcher can select the route for the required VATS on the computer monitor. Through the software platform gateway via TCP/IP and UDP protocols, the command will be transmitted to the VATS control unit, which, by copying the routing data into a structure in RAM, will generate a message and send it through a message queue, first to the message processor, and then to the message broker. Next, through a message broker over 3G/LTE/5G networks, the command will be transmitted to the modem, which will send a control command to the cloud agent using TCP/IP and UDP protocols. The cloud agent will copy the command data into RAM, filter it by control and, depending on the command (start, pause, continue or cancel movement along the route), copy the corresponding command to the file descriptor of the executive module.

Исполнительный модуль путем управления повышением напряжения электрического тока на двигатель приводит в движение высокоавтоматизированное транспортное средство.The executive module, by controlling the increase in voltage of the electric current to the engine, drives the highly automated vehicle.

Заявленное изобретение позволяет корректировать рейс в гибридном режиме - диспетчером диспетчерского пункта и локально средствами самого транспортного средства (без диспетчера), что позволяет оперативно реагировать на изменения во внешней среде. Кроме того, заявленное изобретение решает задачу, при которой затруднено или невозможно выполнение коррекции рейса непосредственно на транспортном средстве (водителем или автоматизированной системой).The claimed invention makes it possible to adjust the flight in a hybrid mode - by the dispatcher of the control center and locally by the means of the vehicle itself (without a dispatcher), which allows you to quickly respond to changes in the external environment. In addition, the claimed invention solves a problem in which it is difficult or impossible to perform flight correction directly on the vehicle (by the driver or an automated system).

Claims (3)

1. Способ дистанционного управления высокоавтоматизированным транспортным средством, содержащий вычислительный модуль высокоавтоматизированного транспортного средства, к которому подключены модем, посредством которого осуществляется передача данных по сетям мобильной связи 3G/LTE/5G, используя сетевой стек протоколов TCP/IP и UDP и сенсоры, такие как сонары, лидары, датчики скорости и местоположения, при этом на вычислительном модуле высокоавтоматизированного транспортного средства данные от сенсоров считываются из файловых дескрипторов устройства автопилота, входящего в состав вычислительного модуля, и, путем копирования через оперативную память, передаются в облачный агент, который, в свою очередь, копирует данные сенсоров из оперативной памяти и отправляет по сетям 3G/LTE/5G посредством модема на сервер в брокер сообщений, затем брокер сообщений копирует полученные данные в оперативную память и по протоколам сетевого стека TCP/IP и UDP уведомляет обработчик сообщений о поступлении новых данных, при этом обработчик сообщений копирует данные из сетевого стека протоколов TCP/IP и UDP в оперативную память и путем подстановки данных в программную структуру формирует сообщение, которое сохраняет в очередь сообщений, причем потребителями данной очереди сообщений выступают независимые, параллельно работающие сервисы, такие как журнал событий высокоавтоматизированного транспортного средства, обработчик предупреждений, сервис цифровых копий высокоавтоматизированного транспортного средства, блок управления высокоавтоматизированного транспортного средства, при этом журнал событий высокоавтоматизированного транспортного средства без предварительной фильтрации регистрирует в системе управления базами данных, полученное из очереди, сообщение об очередном событии и перенаправляет его в сервис ретрансляции событий по протоколам сетевого стека TCP/IP и UDP, причем сервис ретрансляции событий преобразует полученное сообщение из машинного вида в текстовый, человеко-читаемый и по протоколам сетевого стека TCP/IP и UDP отправляет на компьютер диспетчера, в свою очередь, обработчик предупреждений регистрирует в системе управления базами данных, полученное из очереди, сообщение об очередном событии, фильтрует по признаку наличия происшествия и, в случае возникновения происшествия, преобразует полученное сообщение из машинного вида в текстовый, человеко-читаемый и по протоколам сетевого стека TCP/IP и UDP отправляет на компьютер диспетчера, при этом сервис цифровых копий высокоавтоматизированного транспортного средства фильтрует, полученное из очереди, сообщение, по признаку наличия данных телеметрии, регистрирует отфильтрованные сообщения в системе управления базами данных и по запросу перенаправляет последние сохраненные данные в блок управления высокоавтоматизированного транспортного средства и шлюз программной платформы по протоколам сетевого стека TCP/IP и UDP, причем шлюз программной платформы, в свою очередь, по запросу от программного обеспечения рабочего места диспетчера, перенаправляет данные телеметрии на компьютер диспетчера, в свою очередь, посредством обращения в файловое хранилище, картографический сервис предоставляет допустимые маршруты по местности функционирования высокоавтоматизированного транспортного средства, позволяет сохранять и считывать картографические данные, такие как доступные маршрутные точки и спутниковые снимки местности функционирования высокоавтоматизированного транспортного средства, по протоколам TCP/IP и UDP из файлового хранилища, причем при помощи программного обеспечения диспетчер может выбрать на мониторе компьютера маршрут для требуемого высокоавтоматизированного транспортного средства, далее через шлюз программной платформы по протоколам TCP/IP и UDP команда будет передана в блок управления высокоавтоматизированного транспортного средства, который путем копирования маршрутных данных в структуру в оперативной памяти сформирует сообщение и через очередь сообщений отправит его сначала в обработчик сообщений, а затем в брокер сообщений, далее через брокер сообщений по сетям 3G/LTE/5G команда будет передана в модем, который по протоколам TCP/IP и UDP отправит команду управления в облачный агент, а облачный агент скопирует данные команды в оперативную память, отфильтрует ее по признаку управления и в зависимости от команды скопирует соответствующую команду в файловый дескриптор исполнительного модуля, при этом исполнительный модуль путем управления повышением напряжения электрического тока на двигатель приводит в движение высокоавтоматизированное транспортное средство.1. A method for remote control of a highly automated vehicle, containing a computing module of a highly automated vehicle, to which a modem is connected, through which data is transmitted over 3G/LTE/5G mobile communication networks, using a TCP/IP and UDP network protocol stack and sensors, such as sonars, lidars, speed and location sensors, while on the computing module of a highly automated vehicle, data from the sensors is read from the file descriptors of the autopilot device included in the computing module, and, by copying through RAM, is transferred to the cloud agent, which, in its queue, copies sensor data from RAM and sends it over 3G/LTE/5G networks via a modem to the server to the message broker, then the message broker copies the received data into RAM and, using the TCP/IP and UDP network stack protocols, notifies the message processor about the arrival of new ones data, while the message processor copies data from the network stack of the TCP/IP and UDP protocols into RAM and, by substituting the data into the program structure, generates a message that is saved in the message queue, and the consumers of this message queue are independent, parallel running services, such as an event log of a highly automated vehicle, a warning processor, a service of digital copies of a highly automated vehicle, a control unit of a highly automated vehicle, wherein the event log of a highly automated vehicle, without prior filtering, registers a message about the next event received from the queue in the database management system and redirects it into an event relay service using the TCP/IP and UDP network stack protocols, and the event relay service converts the received message from machine form into a text, human-readable one and sends it to the dispatcher’s computer using the TCP/IP and UDP network stack protocols, in turn, a handler warnings registers a message about the next event received from the queue in the database management system, filters it based on the presence of an incident and, in the event of an incident, converts the received message from machine form into text, human-readable and using TCP/IP and network stack protocols UDP is sent to the dispatcher's computer, while the service of digital copies of the highly automated vehicle filters the message received from the queue based on the presence of telemetry data, registers the filtered messages in the database management system and, upon request, redirects the latest stored data to the control unit of the highly automated vehicle and the software platform gateway via the TCP/IP and UDP network stack protocols, and the software platform gateway, in turn, upon request from the dispatcher’s workstation software, redirects telemetry data to the dispatcher’s computer, in turn, by accessing the file storage, mapping service provides valid routes across the terrain of operation of a highly automated vehicle, allows you to save and read map data, such as available waypoints and satellite images of the terrain of operation of a highly automated vehicle, via TCP/IP and UDP protocols from file storage, and using the software the dispatcher can select on the computer monitor, the route for the required highly automated vehicle, then through the software platform gateway via TCP/IP and UDP protocols, the command will be transmitted to the control unit of the highly automated vehicle, which, by copying the route data to a structure in RAM, will generate a message and send it through a message queue first to the message processor, and then to the message broker, then through the message broker over 3G/LTE/5G networks, the command will be transmitted to the modem, which will send a control command to the cloud agent using the TCP/IP and UDP protocols, and the cloud agent will copy the command data to RAM, filters it based on control and, depending on the command, copies the corresponding command to the file descriptor of the executive module, while the executive module, by controlling the increase in voltage of the electric current to the engine, drives the highly automated vehicle. 2. Способ по п.1, отличающийся тем, что к вычислительному модулю высокоавтоматизированного транспортного средства посредством USB или ethernet могут подключаться дополнительно передние, задние и боковые бортовые камеры.2. The method according to claim 1, characterized in that additional front, rear and side on-board cameras can be connected to the computing module of a highly automated vehicle via USB or ethernet. 3. Способ по п.2, отличающийся тем, что может содержать видеоагент, считывающий видеопотоки из файловых дескрипторов камер, подключенных посредством USB или ethernet, и отправляющий их по сетям 3G/LTE/5G посредством модема, используя сетевой стек протоколов TCP/IP и UDP, на компьютер диспетчера. 3. The method according to claim 2, characterized in that it may contain a video agent that reads video streams from file descriptors of cameras connected via USB or ethernet and sends them over 3G/LTE/5G networks via a modem using the TCP/IP network protocol stack and UDP, to the dispatcher's computer.
RU2023118372A 2023-07-12 Method for remote control of highly automated vehicle RU2807410C1 (en)

Publications (1)

Publication Number Publication Date
RU2807410C1 true RU2807410C1 (en) 2023-11-14

Family

ID=

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140309891A1 (en) * 2012-03-14 2014-10-16 Flextronics Ap, Llc Remote control of associated vehicle devices
US20150301532A1 (en) * 2005-10-21 2015-10-22 Irobot Corporation Networked multi-role robotic vehicle
US20190064804A1 (en) * 2017-08-28 2019-02-28 nuTonomy Inc. Mixed-mode driving of a vehicle having autonomous driving capabilities
US10884412B2 (en) * 2017-11-30 2021-01-05 Lg Electronics Inc. Autonomous vehicle and method of controlling the same
RU2795171C1 (en) * 2019-09-09 2023-04-28 Ниссан Мотор Ко., Лтд. Method and device for remote control of vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150301532A1 (en) * 2005-10-21 2015-10-22 Irobot Corporation Networked multi-role robotic vehicle
US20140309891A1 (en) * 2012-03-14 2014-10-16 Flextronics Ap, Llc Remote control of associated vehicle devices
US20190064804A1 (en) * 2017-08-28 2019-02-28 nuTonomy Inc. Mixed-mode driving of a vehicle having autonomous driving capabilities
US10884412B2 (en) * 2017-11-30 2021-01-05 Lg Electronics Inc. Autonomous vehicle and method of controlling the same
RU2795171C1 (en) * 2019-09-09 2023-04-28 Ниссан Мотор Ко., Лтд. Method and device for remote control of vehicle

Similar Documents

Publication Publication Date Title
US11855799B1 (en) Autonomous vehicle platform and safety architecture
US11343316B2 (en) Highly assisted driving platform
CN110249609B (en) Bandwidth constrained image processing for autonomous vehicles
EP3923550A1 (en) In-vehicle communication system and method, and device
Lidström et al. A modular CACC system integration and design
WO2021061342A1 (en) Distributed traffic safety consensus
US20210331686A1 (en) Systems and Methods for Handling Autonomous Vehicle Faults
CN112238862B (en) Open and safety monitoring system for autonomous driving platform
US10134285B1 (en) FleetCam integration
US20230305138A1 (en) Communication method and apparatus
CN112544061A (en) Data transmission method and device
CN111301412A (en) Queue driving system
CN116868248A (en) Method for supporting a plurality of motor vehicles by an infrastructure
CN115935573A (en) Simulation method for autonomous vehicle and method of controlling autonomous vehicle
CN113359724B (en) Vehicle intelligent driving system and method based on unmanned aerial vehicle and storage medium
CN115092130A (en) Vehicle collision prediction method, device, electronic apparatus, medium, and vehicle
US20220032934A1 (en) Method, apparatus, device and system for controlling driving
CN112712608B (en) System and method for collecting performance data by a vehicle
RU2807410C1 (en) Method for remote control of highly automated vehicle
CN116052420B (en) Vehicle-road cloud collaborative big data management system for park
CN217435657U (en) Electrical system of automatic driving vehicle and automatic driving vehicle
EP4074562A1 (en) Control system and control method for intelligent connected vehicle
EP4307257A1 (en) Notification apparatus, notification method, and non-transitory computer-readable storage medium
US20240240966A1 (en) Information providing device and information providing method
US11852496B2 (en) Predictable and delay tolerant traffic management system