RU2775022C1 - System for detecting, monitoring free parking spaces and virtual security of a parked vehicle "kupol" - Google Patents

Abstract

FIELD: parking spaces monitoring.

SUBSTANCE: invention relates to the field of monitoring the number of open and/or paid parking spaces. The system for detecting, monitoring free parking spaces and virtual security of a parked vehicle contains at least one video camera, in the visibility zone of which there is a controlled parking, connected by two-way communication with the monitoring system, video analytics and parking control located on a dedicated server for analysis. At the same time, the monitoring system contains a video stream preprocessing unit that performs the functions of splitting the video stream into frames, preprocessing them and sending the resulting frames to the database and to the artificial intelligence algorithms unit. The block of artificial intelligence algorithms is made with the possibility of analyzing parking and analyzing activity near vehicles, a block for finding free parking spaces that analyzes parking for the presence of free parking spaces, as well as a free space visualization unit for sending the results of visualization, parking analysis and activity analysis near vehicles placed under a security system to a mobile application.

EFFECT: timely detection of a parking space and increased awareness of all activities occurring near the parking space are achieved.

1 cl, 4 dwg

Description

Изобретение относится к области мониторинга, видеоаналитики и контроля количества мест открытых и/или платных парковок, а также к удаленному контролю за припаркованным транспортным средством.The invention relates to the field of monitoring, video analytics and control of the number of open and / or paid parking spaces, as well as to remote control of a parked vehicle.

Из уровня техники известна система создания парковочного маршрута к конечной точке (RU 2720953, МПК G06F 17/00, G08G 1/14, опубл. 10.12.2019), причем транспортный маршрут предназначен для отображения на картографическом приложении, которое выполняется электронным устройством, которое может соединяться с сервером с помощью сети передачи данных, причем сервер включает в себя: сетевой интерфейс для связи через сеть передачи данных; процессор, соединенный с сетевым интерфейсом и выполненный с возможностью осуществлять: получение от электронного устройства указания на геопозицию, связанную с электронным устройством; создание, на основе геопозиции, набора парковок-кандидатов; определение сервером вероятности наличия свободного парковочного места на каждой из парковок-кандидатов; создание сервером парковочного маршрута, который включает в себя по меньшей мере некоторые из набора парковок-кандидатов, причем создание выполняется для оптимизации парковочного маршрута на основе: расстояния от по меньшей мере некоторых из набора парковок-кандидатов до конечной точки; общего времени поездки по парковочному маршруту; общей вероятности запарковаться, которая основана на вероятности наличия свободного парковочного места для каждой из по меньшей мере набора парковок кандидатов.A system for creating a parking route to the end point is known from the prior art (RU 2720953, IPC G06F 17/00, G08G 1/14, publ. 12/10/2019), and the transport route is intended to be displayed on a cartographic application that is performed by an electronic device that can connect to the server via a data network, the server including: a network interface for communicating via the data network; a processor connected to the network interface and configured to: receive from the electronic device an indication of the geolocation associated with the electronic device; creation, based on geolocation, of a set of candidate parking lots; determining by the server the probability of having a free parking space in each of the candidate parking lots; server generating a parking route that includes at least some of the candidate parking set, the creation being performed to optimize the parking route based on: the distance from at least some of the candidate parking set to an end point; total travel time along the parking route; the overall probability of parking, which is based on the probability of a free parking space for each of at least a set of candidate parking lots.

К недостаткам данной системы можно отнести, во-первых, необходимость предварительной разметки парковочных мест в зоне активности каждой камеры, а также переразметка в случае каких-либо смещений ракурса камеры; во-вторых, в системе не предусмотрена возможность оперативно получить информацию об активности в зоне предполагаемого парковочного места; в-третьих, в системе не предусмотрена возможность оперативно получить информацию об активности в зоне парковочного места, где припаркован автомобиль.The disadvantages of this system include, firstly, the need for preliminary marking of parking spaces in the area of activity of each camera, as well as re-marking in case of any shifts in the camera angle; secondly, the system does not provide for the ability to quickly obtain information about activity in the area of the proposed parking space; thirdly, the system does not provide for the ability to quickly obtain information about activity in the area of the parking space where the car is parked.

Также известно средство и система управления транспортным средством (патент RU 2652665, МПК B62D 5/00, опубл. 28.04.2018), которое содержит мобильное устройство, по меньшей мере одно средство безопасности. Мобильное устройство предназначено для управления исполнительным средством транспортного средства, при этом мобильное устройство формирует команды для управления исполнительным средством на основании данных, полученных от по меньшей мере одного средства измерения. Средство безопасности предназначено для подключения транспортного средства к мобильному устройству в качестве периферийного устройства, безопасной передачи данных от средства измерения транспортного средства к мобильному устройству и обеспечения безопасной передачи сформированных команд от мобильного устройства к исполнительному средству транспортного средства.Also known is a means and a vehicle control system (patent RU 2652665, IPC B62D 5/00, publ. 04/28/2018), which contains a mobile device, at least one security device. The mobile device is designed to control the executive means of the vehicle, while the mobile device generates commands for controlling the executive means based on data received from at least one measuring means. The security tool is designed to connect the vehicle to the mobile device as a peripheral device, securely transfer data from the vehicle measurement tool to the mobile device, and ensure secure transmission of the generated commands from the mobile device to the vehicle's executive device.

К недостаткам данной системы можно отнести невозможность оперативного получения информации о наличии свободных парковочных мест.The disadvantages of this system include the impossibility of promptly obtaining information about the availability of free parking spaces.

Из уровня техники известна система мониторинга и контроля открытых платных парковок (патент RU 130334, МПК МПК E04H 6/00, опубл. 20.07.2013), которая содержит подсистему фотовидеофиксации транспортных средств и подсистему мониторинга занятости парковочного пространства, при этом система дополнительно содержит центральный сервер, отвечающий за синхронизацию и обработку информации от обеих подсистем, при этом подсистема фотовидеофиксации включает, по меньшей мере одну видеокамеру, модуль памяти и сервер обработки фото- и видео- информации, соединенный каналами передачи данных с центральный сервером системы, а подсистема мониторинга занятости парковочного пространства включает по меньшей мере один детектор занятости парковочного места и сервер мониторинга занятости парковочных мест, соединенный каналами передачи данных с центральным сервером системы.A system for monitoring and controlling open paid parking lots is known from the prior art (patent RU 130334, IPC IPC E04H 6/00, publ. , which is responsible for synchronizing and processing information from both subsystems, while the subsystem for photo and video recording includes at least one video camera, a memory module and a server for processing photo and video information connected by data transmission channels to the central server of the system, and the subsystem for monitoring the occupancy of the parking space includes at least one parking space occupancy detector and a parking space occupancy monitoring server connected by data transmission channels to the central server of the system.

К недостаткам данной системы можно отнести, во-первых, необходимость предварительной разметки парковочных мест в зоне активности каждой камеры, а также переразметка в случае каких-либо смещений ракурса камеры; во-вторых, в системе не предусмотрена возможность оперативно получить информацию об активности в зоне предполагаемого парковочного места; в-третьих, в системе не предусмотрена возможность оперативно получить информацию об активности в зоне парковочного места, где припаркован автомобиль.The disadvantages of this system include, firstly, the need for preliminary marking of parking spaces in the area of activity of each camera, as well as re-marking in case of any shifts in the camera angle; secondly, the system does not provide for the ability to quickly obtain information about activity in the area of the proposed parking space; thirdly, the system does not provide for the ability to quickly obtain information about activity in the area of the parking space where the car is parked.

Технический результат изобретения заключается в расширении функциональных возможностей системы для интерактивного выбора свободного парковочного места, обеспечении интерактивного мониторинга при нахождении транспортного средства на парковке с помощью мобильного приложения, а также возможности поставить его на виртуальную систему охраны “Купол” и получения push-уведомлений в режиме он-лайн обо всех активностях, происходящих рядом с парковочным местом.The technical result of the invention consists in expanding the functionality of the system for interactive selection of a free parking space, providing interactive monitoring when the vehicle is in the parking lot using a mobile application, as well as the ability to put it on the Dome virtual security system and receive push notifications in the on-line mode. -line about all the activities taking place near the parking space.

Система обнаружения, мониторинга свободных парковочных мест и виртуальной охраны припаркованного транспортного средства, содержащая, как минимум одну видеокамеру, в зоне видимости камеры которой находится контролируемая парковка, связанную посредством двусторонней связи с системой мониторинга, видеоаналитики и контроля парковки, находящейся на выделенном для анализа сервере, при этом система мониторинга содержит блок предобработки видеопотока, выполняющий функции разбиения видеопотока на кадры, предобрабатывающий их и отправляющий получившиеся кадры в базу данных и в блок алгоритмов искусственного интеллекта (AI), который выполняет функции анализа парковки и анализа активности возле транспортных средств под системой “Купол”, блок поиска свободных парковочных мест, анализирующий парковку на предмет наличия свободных парковочных мест, а также блок визуализации свободных мест для отправки результатов визуализации и анализа парковки в мобильное приложение.A system for detecting, monitoring free parking spaces and virtual security of a parked vehicle, containing at least one video camera, in the field of view of the camera of which there is a controlled parking, connected by two-way communication with a system for monitoring, video analytics and parking control located on a server dedicated for analysis, at the same time, the monitoring system contains a video stream preprocessing unit that performs the functions of splitting the video stream into frames, preprocessing them and sending the resulting frames to the database and to the artificial intelligence (AI) algorithms unit, which performs the functions of parking analysis and activity analysis near vehicles under the Dome system. ”, a block for finding free parking spaces that analyzes parking for availability of free parking spaces, as well as a block for visualizing free spaces for sending the results of visualization and analysis of parking to a mobile application.

Сущность технического решения поясняется следующими графическими материалами: фиг. 1 - блок-схема системы, фиг. 2 - результат визуализации свободных парковочных мест на парковке с разметкой, фиг. 3 - результат визуализации свободных парковочных мест на парковке без разметки, фиг. 4 - вид приложения с результатами визуализации и анализа свободных парковочных мест.The essence of the technical solution is illustrated by the following graphic materials: Fig. 1 is a block diagram of the system, FIG. 2 - the result of visualization of free parking spaces in a parking lot with markings, fig. 3 - the result of visualization of free parking spaces in a parking lot without markings, fig. 4 - view of the application with the results of visualization and analysis of free parking spaces.

Позициями на фиг. 1 обозначены следующие блоки: 1 - камеры на парковке, 2 - облачный сервис, 3 - мобильное приложение, 4 - блок предобработки видеопотока, 5 - блок алгоритмов искусственного интеллекта (AI), 6 - блок поиска свободных парковочных мест, 7 - блок визуализации свободных мест, 8 - база данных облачного сервиса.The positions in FIG. 1 shows the following blocks: 1 - parking cameras, 2 - cloud service, 3 - mobile application, 4 - video stream preprocessing block, 5 - artificial intelligence (AI) algorithms block, 6 - free parking space search block, 7 - free visualization block places, 8 - cloud service database.

Сущность заявленной системы поясняется следующим образом.The essence of the claimed system is explained as follows.

Для того, чтобы поставить транспортное средство, например, автомобиль, в зону действия системы “Купол”, пользователю мобильного приложения 3 необходимо выбрать парковку (фиг. 1- фиг. 4), а также найти на ней свободное место, информация о наличии которых отображается в мобильном приложении. За это отвечают блоки 6 и 7. Далее, выбрав необходимое место на парковке, мобильное приложение отправляет в базу данных 8 облачного сервиса вычислений 2 информацию о парковке и парковочном месте, которое выбрал пользователь. Также в случае успешного занесения данных в базу 8, пользователь уведомляется о том, что его автомобиль с данного момента времени находится под системой “Купол” и что он будет уведомлен в случае активности в зоне автомобиля.In order to put a vehicle, for example, a car, in the coverage area of the “Dome” system, the user of mobile application 3 needs to select a parking lot (Fig. 1-Fig. 4), and also find an empty space on it, information about the presence of which is displayed in the mobile application. Blocks 6 and 7 are responsible for this. Further, having selected the required parking space, the mobile application sends information about the parking and the parking space selected by the user to the database 8 of the cloud computing service 2. Also, in case of successful entry of data into database 8, the user is notified that his car is under the “Dome” system from this point in time and that he will be notified in case of activity in the car zone.

Блок алгоритмов AI 5 работает следующим образом. На вход блока 5 поступают предобработанные в блоке 4 кадры с анализируемой парковки. Далее, алгоритм искусственного интеллекта выполняет анализ изображений моделью либо несколькими моделями искусственного интеллекта, предназначенной для детекции и распознавания автомобилей, людей, и/или моделью для распознавания типа активности людей, находящихся в зоне видимости камер. Эта информация о зарегистрированных машинах, людях, их относительном местоположении на парковке, а также информация о совершаемой людьми активности затем сохраняется в блок базы данных 8 по всему кадру сразу. При этом из базы данных 8 извлекается информация по автомобилям на данной парковке, которые были поставлены на охрану под систему “Купол”, и специальный алгоритм, входящий в блок алгоритмов AI 5 и являющийся его частью, анализирует результаты работы моделей и делает в результате этого анализа вывод об активности в зоне каждого из поставленных под систему “Купол” автомобилей. Далее, эта информация проходит через блок блоки 6 и 7, и в случае наличия активности в зоне автомобиля пользователя, блок 7 посылает ему информацию о наличии активности.Block algorithms AI 5 works as follows. The input of block 5 receives frames preprocessed in block 4 from the analyzed parking lot. Further, the artificial intelligence algorithm performs image analysis with a model or several artificial intelligence models designed for detecting and recognizing cars, people, and/or a model for recognizing the type of activity of people in the field of view of the cameras. This information about registered cars, people, their relative location in the parking lot, as well as information about people's activity is then stored in the database block 8 throughout the frame at once. At the same time, information is extracted from database 8 on cars in this parking lot that were armed under the “Dome” system, and a special algorithm included in the block of algorithms AI 5 and being part of it analyzes the results of the models and makes as a result of this analysis conclusion about the activity in the area of each of the vehicles placed under the “Dome” system. Further, this information passes through blocks 6 and 7, and in case there is activity in the zone of the user's car, block 7 sends him information about the presence of activity.

Фото- и видеоматериалы от системы видеофиксации передаются через проводное устройство передачи данных по сети Ethernet или через беспроводную систему передачи данных GPRS на облачный сервис вычислений 2; в облачный сервис вычислений напрямую поступает видеопоток с камер, установленных на контролируемых парковках, а также производятся все вычисления, с использованием центрального процессора (CPU) и/или графического процессора (GPU), прикладным процессором (AP) и/или специализированным процессором AI, например нейронным процессором (NPU), необходимые для работы изобретения и размещенные на сервере обработки в облачном сервисе вычислений, при этом все заявленные возможности системы содержат в себя вычисления с помощью алгоритмов искусственных нейронных сетей AI, расположенные в блоке алгоритмов AI 5, который и содержит в себе предустановленное программное обеспечение с данными алгоритмами, и позволяют вычислять точное количество занятых парковочных мест на анализируемом парковочном пространстве, а также подсистему мобильного приложения, позволяющего отслеживать активность и уведомлять пользователя об активности в зоне анализируемого парковочного места, выполненную с возможностью отправки уведомления пользователю приложения о наличии подозрительной активности в парковочной зоне автомобиля. Система мобильного приложения включает в себя мобильное приложение, предустановленное на телефоне или планшете пользователя с операционной системой Android или iOS, а также сервер обработки информации, поступающей от блока алгоритмов ИИ и включающий в себя блок визуализации свободных парковочных мест 7. Блок визуализации 7 для мобильного приложения непосредственно связан с блоком поиска свободных парковочных мест 6, а также с мобильным устройством посредством беспроводного GPRS или LTE интернет соединения.Photo and video materials from the video recording system are transmitted via a wired data transmission device via an Ethernet network or via a wireless GPRS data transmission system to a cloud computing service 2; the cloud computing service directly receives the video stream from cameras installed in controlled parking lots, and all calculations are performed using the central processing unit (CPU) and / or graphic processing unit (GPU), application processor (AP) and / or specialized AI processor, for example neural processor (NPU) necessary for the operation of the invention and located on the processing server in the cloud computing service, while all the declared capabilities of the system include calculations using algorithms for artificial neural networks AI, located in the block of algorithms AI 5, which contains pre-installed software with these algorithms, and allow you to calculate the exact number of occupied parking spaces in the analyzed parking space, as well as a mobile application subsystem that allows you to track activity and notify the user about activity in the area of the analyzed parking space, made with the ability to send notifications to the application user about the presence of suspicious activity in the parking zone of the car. The mobile application system includes a mobile application pre-installed on a user's phone or tablet with an Android or iOS operating system, as well as a server for processing information received from the AI algorithms block and including a block for visualizing free parking spaces 7. Visualization block 7 for a mobile application is directly connected to the free parking space search unit 6, as well as to the mobile device via a wireless GPRS or LTE internet connection.

Наличие в системе обнаружения и мониторинга свободных парковочных мест (это блоки алгоритмов AI 5, блок поиска свободных парковочных мест 6 и блок визуализации свободных парковочных мест 7) обеспечивает возможность обнаружения и интерактивного выбора свободного парковочного места.The presence in the system for detecting and monitoring free parking spaces (these are blocks of AI 5 algorithms, a block for searching for free parking spaces 6 and a block for visualizing free parking spaces 7) provides the ability to detect and interactively select a free parking space.

Наличие в системе обнаружения и мониторинга свободных парковочных мест блоков 5, 6 и 7 обеспечивает возможность мониторинга при нахождении автомобиля на парковке с помощью мобильного приложения. Мобильное приложение выполнено с возможностью проверки и отображения парковочных мест на конкретной парковке. The presence of blocks 5, 6 and 7 in the system for detecting and monitoring free parking spaces provides the ability to monitor when the car is in the parking lot using a mobile application. The mobile application is configured to check and display parking spaces in a particular parking lot.

В другом исполнении вместо мобильного приложения возможно любое другое устройство и/или интерфейс вывода информации, в том числе веб-интерфейс.In another design, instead of a mobile application, any other device and/or information output interface, including a web interface, is possible.

Мобильное приложение выполнено с возможностью поставить автомобиль на контроль и отслеживание активности и угона автомобиля, а также с возможностью уведомления пользователя посредством PUSH-уведомлений об активности в зоне парковочного места автомобиля и об отъезде и/или угоне автомобиля. Данная возможность осуществляется за счет отправки уведомления в мобильное приложение блоком 7. Функция PUSH-уведомления может дополняться вибрацией и/или звуковым сигналом, возникающим в момент получения уведомления. Данные функции позволяют владельцу ставить автомобиль на “виртуальную сигнализацию”, что позволит оперативно реагировать на возникшую угрозу и автоматически детектировать точное место, время, номер парковочного места, а также зафиксировать фото- и видеоматериалы для дальнейших разбирательств с органами Министерства внутренних дел.The mobile application is configured to put the car under control and tracking activity and car theft, as well as with the ability to notify the user via PUSH notifications about activity in the car parking area and about the departure and/or car theft. This possibility is carried out by sending a notification to the mobile application by block 7. The PUSH notification function can be supplemented by vibration and / or a sound signal that occurs at the time of receiving the notification. These functions allow the owner to put the car on a “virtual alarm”, which will allow you to quickly respond to a threat and automatically detect the exact place, time, number of a parking space, as well as record photo and video materials for further proceedings with the bodies of the Ministry of Internal Affairs.

Все заявленные возможности системы включают в себя вычисления с помощью алгоритмов искусственных нейронных сетей и позволяют вычислять точное количество занятых парковочных мест на анализируемом парковочном пространстве, а также подсистему контроля активности в зоне анализируемого парковочного места с возможность отправки уведомления пользователю приложения о наличии подозрительной активности в парковочной зоне автомобиля, а также детектируется момент отъезда или угона автомобиля с парковки.All declared features of the system include calculations using artificial neural network algorithms and allow calculating the exact number of occupied parking spaces in the analyzed parking space, as well as the activity control subsystem in the area of the analyzed parking space with the ability to send a notification to the application user about the presence of suspicious activity in the parking area car, and the moment of departure or theft of the car from the parking lot is detected.

Claims (1)

Система обнаружения, мониторинга свободных парковочных мест и виртуальной охраны припаркованного транспортного средства, содержащая как минимум одну видеокамеру, в зоне видимости которой находится контролируемая парковка, связанную посредством двусторонней связи с системой мониторинга, видеоаналитики и контроля парковки, находящейся на выделенном для анализа сервере, при этом система мониторинга содержит блок предобработки видеопотока, выполняющий функции разбиения видеопотока на кадры, предобрабатывающий их и отправляющий получившиеся кадры в базу данных и в блок алгоритмов искусственного интеллекта, который выполнен с возможностью анализа парковки и анализа активности возле транспортных средств, блок поиска свободных парковочных мест, анализирующий парковку на предмет наличия свободных парковочных мест, а также блок визуализации свободных мест для отправки результатов визуализации, анализа парковки и анализа активности возле транспортных средств, поставленных под охранную систему в мобильное приложение.A system for detecting, monitoring free parking spaces and virtual security of a parked vehicle, containing at least one video camera, in the visibility zone of which there is a controlled parking, connected via two-way communication with a monitoring system, video analytics and parking control located on a server dedicated for analysis, while the monitoring system contains a video stream preprocessing unit that performs the functions of splitting the video stream into frames, preprocessing them and sending the resulting frames to the database and to the artificial intelligence algorithms unit, which is configured to analyze parking and analyze activity near vehicles, a free parking space search unit that analyzes parking for availability of free parking spaces, as well as a block for visualizing free spaces for sending the results of visualization, parking analysis and activity analysis near vehicles placed under the security system in m abundant application.

Images