RU2785198C1 - Stereovision-based passenger counter - Google Patents

Stereovision-based passenger counter Download PDF

Info

Publication number
RU2785198C1
RU2785198C1 RU2022113252A RU2022113252A RU2785198C1 RU 2785198 C1 RU2785198 C1 RU 2785198C1 RU 2022113252 A RU2022113252 A RU 2022113252A RU 2022113252 A RU2022113252 A RU 2022113252A RU 2785198 C1 RU2785198 C1 RU 2785198C1
Authority
RU
Russia
Prior art keywords
video
passenger
counting
data
module
Prior art date
Application number
RU2022113252A
Other languages
Russian (ru)
Inventor
Андрей Иванович Журавлев
Валентина Викторовна Усачева
Михаил Александрович Филоненко
Максим Георгиевич Гаврилов
Дмитрий Борисович Станкевич
Original Assignee
Акционерное общество "Штрих-М"
Filing date
Publication date
Application filed by Акционерное общество "Штрих-М" filed Critical Акционерное общество "Штрих-М"
Application granted granted Critical
Publication of RU2785198C1 publication Critical patent/RU2785198C1/en

Links

Images

Abstract

FIELD: transportation.
SUBSTANCE: invention relates to transport equipment; it can be used for tracking for a passenger flow entering and leaving a vehicle. The device contains a power supply controller and a controlling printed circuit board containing a stereoscopic video camera, a light source (illumination), a video decoder, a passenger counting module, a video recorder block, non-volatile storage, an access controller (input/output module).
EFFECT: increase in safety and quality of transportations.
1 cl, 1 dwg

Description

Область техникиTechnical field

Предлагаемое изобретение относится к транспортному оборудованию, осуществляющему слежение за входящим в транспортное средство и выходящим из него пассажиропотоком, обеспечивая учет каждого человека, а также видеоконтроль событий, происходящих в периоды остановок транспортного средства с целью посадки/высадки пассажиров.The present invention relates to transport equipment that monitors the flow of passengers entering and leaving the vehicle, accounting for each person, as well as video monitoring of events occurring during periods of vehicle stops for the purpose of boarding / disembarking passengers.

Уровень техникиState of the art

Из уровня техники известна технология подсчета людского потока (см. RU2700250, кл. G07C9/00, публ. 13.09.2019г. [1]).The technology of counting the flow of people is known from the prior art (see RU2700250, class G07C9/00, publ. 13.09.2019 [1]).

Известное решение [1] относится к технологии по обработке информации и предназначено для обеспечения учета и анализа количества движущихся объектов, при этом оно может быть использовано в составе систем мониторинга транспорта для определения количества пассажиров. The known solution [1] refers to information processing technology and is designed to provide accounting and analysis of the number of moving objects, while it can be used as part of transport monitoring systems to determine the number of passengers.

Сущность решения заключается в том, что на месте входа/выхода транспортного средства в области прохода людского потока устанавливают стереокамеру, включающую несколько камер, которые связаны с компонентом по обработке информации, управление которым осуществляется посредством программного обеспечения, соответственно захват движущегося объекта в поле зрения каждой камеры и передача изображения с камер производится на упомянутый компонент обработки информации.The essence of the solution lies in the fact that at the place of entry / exit of the vehicle in the area of the passage of the human flow, a stereo camera is installed, including several cameras that are connected to the information processing component, which is controlled by software, respectively, capturing a moving object in the field of view of each camera and transmission of images from the cameras is performed to said information processing component.

Особенностью известного решения является то, что средством обработки информации сканируют все точки в определенном диапазоне высот, а также все изображения в заданном диапазоне высот, кроме того определяются контуры движущихся объектов, имеющих округлую форму и уже после чего, посредством программного обеспечения принимается решение о соответствии или несоответствии исследуемых объектов признакам реальных пассажиров.A feature of the known solution is that the information processing tool scans all points in a certain range of heights, as well as all images in a given range of heights, in addition, the contours of moving objects that have a rounded shape are determined and only after that, by means of the software, a decision is made on compliance or inconsistency of the studied objects with the characteristics of real passengers.

При воплощении данной технологии весьма вероятно возникновение ошибок регистрации, поскольку схожие параметры (внешнее очертание, высота, скорость перемещения и др.) могут быть у неживых объектов, в том числе крупный багаж (чемоданы, туристические рюкзаки) или другой крупногабаритный груз (лыжи, сноуборд и т.п.), кроме того, пассажиры детского возраста, льготной категории, а также лица с ограниченными возможностями могут быть приравнены системой к пассажирам, проезд которых в соответствии с правилами перевозчика потребует оплаты.When implementing this technology, it is very likely that registration errors will occur, since similar parameters (external shape, height, speed of movement, etc.) can be found in non-living objects, including large luggage (suitcases, tourist backpacks) or other bulky cargo (skis, snowboards). etc.), in addition, passengers of child age, preferential categories, as well as persons with disabilities can be equated by the system with passengers whose travel, in accordance with the rules of the carrier, will require payment.

Дополнительным недостатком известной технологии [1] следует считать низкую скорость обработки данных и в следствии этого низкую производительность, поскольку операции выявления и подсчета объектов пассажиропотока производятся последовательно и проходят несколько стадий сверки, что требует дополнительного времени для анализа данных предполагаемого пассажиропотока и собственно не способно выдавать результат подсчета в режиме реального времени.An additional disadvantage of the known technology [1] should be considered a low data processing speed and, as a result, low productivity, since the operations of identifying and counting passenger traffic objects are performed sequentially and go through several stages of reconciliation, which requires additional time to analyze the data of the estimated passenger traffic and is not actually capable of producing a result. counting in real time.

Наиболее близким с точки зрения технической сущности к предлагаемому изобретению следует считать устройство подсчета пассажиропотока, известное из RU196791, кл. G06M3/08, публ. 16.03.2020г [2].The closest in terms of technical essence to the proposed invention should be considered a device for counting passenger traffic, known from RU196791, class. G06M3/08, public March 16, 2020 [2].

Известное устройство относится к контрольным вычислительным средствам, предназначенным для подсчета пассажиропотока, пользующегося наземными маршрутными транспортными средствами.The known device relates to control computing tools designed to count the passenger traffic using ground route vehicles.

Известное устройство [2] устанавливается на транспортном средстве и содержит корпус, в котором расположены непосредственно счетчик пассажиропотока, процессорный модуль блок питания, модуль памяти, интерфейсы ввода/вывода и камеру.The known device [2] is installed on a vehicle and contains a housing in which the passenger flow counter, the processor module, the power supply, the memory module, input/output interfaces and the camera are located.

В соответствии с замыслом автора разработки [2] процессорный модуль имеет возможность определения траектории перемещения пассажиров на изображениях, определения попадания траекторий перемещения пассажиров в зону видимости, в результате чего обеспечивается подсчет пассажиропотока, дополнительными особенностями устройства являются наличие электропривода камеры и наличие устройства очистки защитного стекла, установленного на корпусе.In accordance with the intention of the author of the development [2], the processor module has the ability to determine the trajectory of the movement of passengers in images, determine whether the trajectories of the movement of passengers fall into the visibility zone, as a result of which the calculation of the passenger flow is provided, additional features of the device are the presence of a camera electric drive and the presence of a protective glass cleaning device, installed on the body.

Одним из недостатков известного решения [2] следует отметить его размещение с внешней стороны транспортного средства, что делает его слабозащищенным от влияния неблагоприятных для электронного устройства окружающих факторов, таких как, осадки, солнечное излучение, температура воздуха и прочие воздействия, ухудшающие его функциональность и значительно снижающие срок его эффективной службы.One of the disadvantages of the known solution [2] is its placement on the outside of the vehicle, which makes it weakly protected from the influence of environmental factors that are unfavorable for the electronic device, such as precipitation, solar radiation, air temperature and other influences that degrade its functionality and significantly reducing its effective service life.

В связи с тем, что устройство расположено не в салоне транспортного средства, а с его внешней стороны и настроено на обзор внешнего прилегающего к дверному проему участку местности, то возможно попадание в область подсчета пассажиропотока пассажиров, которые вероятно имели намерение войти внутрь т.е. имели траекторию перемещения близкую к траектории захода в транспортное средство, однако, по определенным причинам не осуществили это (перепутали маршрут, отказались от поездки, не смогли войти и др.), в результате чего операции подсчета будут искажены, что будет отрицательно сказываться при формировании оператором перевозок последующих логистических маршрутов.Due to the fact that the device is located not in the passenger compartment of the vehicle, but on its outer side and is configured to view the external area adjacent to the doorway, it is possible that passengers who probably had the intention to go inside, i.e. had a movement trajectory close to the trajectory of entry into the vehicle, however, for certain reasons, they did not do this (they mixed up the route, refused the trip, could not enter, etc.), as a result of which the counting operations will be distorted, which will adversely affect the formation by the operator transportation of subsequent logistics routes.

Раскрытие изобретенияDisclosure of invention

Технической проблемой предлагаемого изобретения является создание, обладающей высокими технико-эксплуатационными показателями транспортной системы слежения гибридной компоновки, позволяющей производить подсчет пассажиропотока и вместе с тем производить видеомониторинг пропускной области транспортного средства с целью поддержания правопорядка и безопасности.The technical problem of the proposed invention is the creation of a hybrid transport tracking system with high technical and operational performance, which makes it possible to count the passenger flow and at the same time make video monitoring of the vehicle throughput area in order to maintain law and order and security.

Техническим результатом предлагаемого изобретения, который объективно проявляется в ходе его использования на маршрутных транспортных средствах является расширение функциональных возможностей системы, заключающееся в оперативной и единовременной обработки и передачи информации, касающейся количества вошедших и вышедших пассажиров, а также видеоинформации, охватывающей пропускную область транспортного средства, что комплексно способствует оптимизации и улучшению координации управляющих дорожных служб, формирующих логистические маршруты с обеспечением стабильного уровня безопасности для пассажиров и соблюдению установленного правопорядка при пользовании услугами маршрутных дорожных перевозчиков.The technical result of the proposed invention, which objectively manifests itself in the course of its use on route vehicles, is the expansion of the functionality of the system, which consists in the prompt and one-time processing and transmission of information regarding the number of passengers entering and exiting, as well as video information covering the vehicle’s access area, which comprehensively contributes to the optimization and improvement of coordination of road service managers who form logistics routes with a stable level of safety for passengers and compliance with the established law and order when using the services of block road carriers.

Указанный технический результат и заданная техническая проблема достигаются в результате того, что дорожный регистрационный комплекс для маршрутных транспортных средств, производящий количественный подсчет перевозимого пассажиропотока и видеомониторинг событий, происходящих в области дверного проема на этапе посадки и/или высадки содержит, подключенную к контроллеру питания управляющую печатную плату, с расположенными на ней средством оптического подсчета и мониторинга пассажиропотока и контроллером доступа, выполненным в виде модуля ввода/вывода инкапсулирующего механизмы обмена данными между интерфейсными модулями и модулями обработки и хранения данными, предоставляя интерфейсным модулям единый интерфейс взаимодействия, указанное средство оптического подсчета и мониторинга пассажиропотока размещено на отдельном выделенном рабочем участке и состоит из сгруппированного взаимосвязанного набора компонентов, включающих видеодекодер со встроенной стереоскопической видеокамерой, а также модуль подсчета пассажиров, активизирующийся в случае открытия дверного проема транспортного средства и блок видеорегистратора, которые направляют полученную и обработанную информацию в энергонезависимое хранилище данных, при этом видеодекодер выполнен с возможностью получения сигналов от упомянутой стереоскопической камеры и выполняя слежение за экспозицией, корректируя работу источника сигнала и управляя имеющимся источником освещения направляет данные в указанные модуль подсчета пассажиров и блок видеорегистратора, первый из которых реализует алгоритм подсчета пассажиропотока, основанный на построении карты расстояний по полученным стереокадрам, обнаружении подвижных объектов и контроля их перемещения и на отслеживании границ перемещения обнаруженных объектов и фиксировании их входа и выхода, а второй обеспечивает запись видеоданных с целью контроля корректности подсчета пассажиропотока и происходящих событий в области наблюдений, причем обработанные результаты анализа в виде числовых данных и видеоданных поступают в энергонезависимое хранилище данных, обеспечивающее их временное хранение.The specified technical result and the specified technical problem are achieved as a result of the fact that the road registration complex for route vehicles, which performs a quantitative calculation of the transported passenger traffic and video monitoring of events occurring in the area of the doorway at the stage of boarding and / or disembarking, contains a control printed circuit connected to the power controller. board, with the means of optical counting and monitoring of passenger flow located on it and the access controller, made in the form of an input / output module that encapsulates the mechanisms for data exchange between interface modules and modules for processing and storing data, providing interface modules with a single interaction interface, the specified means of optical counting and monitoring passenger flow is located in a separate dedicated working area and consists of a grouped interconnected set of components, including a video decoder with a built-in stereoscopic video camera, as well as a a passenger counting module that is activated in the event of opening the doorway of the vehicle and a video recorder unit that sends the received and processed information to a non-volatile data storage, while the video decoder is configured to receive signals from the mentioned stereoscopic camera and perform exposure tracking, correcting the operation of the signal source and controlling the available light source, sends data to the specified passenger counting module and the video recorder unit, the first of which implements the passenger flow counting algorithm based on building a distance map based on the received stereo frames, detecting moving objects and controlling their movement, and tracking the boundaries of movement of detected objects and fixing their entrance and exit, and the second one provides recording of video data in order to control the correctness of the calculation of passenger traffic and events occurring in the observation area, and the processed results of the analysis in the form of numerical data and video data are received in a non-volatile data storage that provides their temporary storage.

В соответствии с изложенным выше авторским замыслом предлагается к рассмотрению изобретение, представляющее из себя своего рода гибридную высокотехнологичную систему, предназначенную для подсчета пассажиров, вошедших в транспортное средство и вышедших из него в периоды остановок, а также для видеорегистрации событий, происходящих в области дверного проема указанного транспортного средства.In accordance with the above author's intention, an invention is proposed for consideration, which is a kind of hybrid high-tech system designed to count passengers entering and leaving the vehicle during periods of stops, as well as for video recording of events occurring in the area of the doorway of the specified vehicle.

Функциональность предлагаемого комплекса подразумевает возможности точного выявления и подсчета количества пассажиров вошедших и вышедших из транспортного средства, видеозаписи всех происходящих событий в области входного/выходного проема во время остановки транспортного средства для посадки и высадки пассажиров, передачи всех полученных и обработанных данных на внешнее контролирующее устройство по запросу или в автоматическом режиме через заданный интервал времени о количестве вошедших и вышедших пассажиров, а также трансляции видео происходящего в зоне посадки/высадки транспортного средства для визуального контроля с целью обеспечения безопасности происходящего и соблюдения правопорядка гражданами.The functionality of the proposed complex implies the possibility of accurately identifying and counting the number of passengers entering and exiting the vehicle, video recording of all events occurring in the area of the entrance / exit opening during the stop of the vehicle for boarding and disembarking passengers, transferring all received and processed data to an external control device via request or automatically at a specified time interval about the number of passengers entering and exiting, as well as broadcasting a video of what is happening in the vehicle embarkation / disembarkation zone for visual control in order to ensure the safety of what is happening and the observance of law and order by citizens.

Основополагающими технологическими особенностями, которые определяют и формируют предлагаемый объект являются наличие управляющей печатной платы, с расположенными на ней средством оптического подсчета, а также мониторинга пассажиропотока и контроллером доступа, при этом указанное средство оптического подсчета и мониторинга пассажиропотока размещается на отдельном выделенном участке и состоит из объединенного и взаимосвязанного набора компонентов среди которых видеодекодер, модуль подсчета пассажиров, блок видеорегистратора и энергонезависимое хранилище данных, а указанный контроллер доступа выполнен модульного типа, инкапсулирующего механизмы обмена данными между интерфейсными модулями и модулями обработки и хранения данных, предоставляя интерфейсным модулям единый интерфейс взаимодействия.The fundamental technological features that define and form the proposed object are the presence of a control printed circuit board with an optical counting tool located on it, as well as a passenger flow monitoring tool and an access controller, while the specified optical counting and passenger flow monitoring tool is located in a separate dedicated area and consists of a combined and an interconnected set of components, including a video decoder, a passenger counting module, a video recorder unit and a non-volatile data storage, and the specified access controller is made of a modular type, encapsulating the data exchange mechanisms between the interface modules and the data processing and storage modules, providing the interface modules with a single interaction interface.

Согласно конструкции видеодекодер имеет возможность получения и обработки сигналов, исходящих от камеры слежения и подсчета, кроме того, видеодекодер имеет возможность слежения за событиями в области входа/выхода транспортного средства, корректирует работу источника сигнала (камерой) и управляет работой источника освещения, и собственно направляет данные в модуль подсчета пассажиропотока, а также в блок видеорегистратора.According to the design, the video decoder has the ability to receive and process signals coming from the tracking and counting camera, in addition, the video decoder has the ability to monitor events in the entry / exit area of the vehicle, corrects the operation of the signal source (camera) and controls the operation of the light source, and actually directs data to the passenger flow calculation module, as well as to the DVR unit.

Работа модуля подсчета пассажиропотока, в соответствии с изобретением, основана на построении карты расстояний по полученным стереокадрам, обнаружении подвижных объектов и контроля их перемещения, а кроме того, на отслеживании границ перемещения обнаруженных физических объектов, и следовательно, фиксировании входа и выхода таковых, при этом работа видеорегистратора построена на обеспечении записи событий в области наблюдений, т.е. в области пропускного проема транспортного средства.The operation of the module for calculating the passenger flow, in accordance with the invention, is based on building a distance map based on the received stereo frames, detecting moving objects and controlling their movement, and, in addition, on tracking the boundaries of the movement of detected physical objects, and therefore, fixing the entry and exit of such, while The operation of the video recorder is based on ensuring the recording of events in the observation area, i.e. in the area of the vehicle entrance.

Применяемая стереоскопическая камера видеодекодера является источником видеоданных о происходящих событиях в области посадки/высадки пассажиров маршрутного транспортного средства. В соответствии с замыслом видеоданные поступают на видеодекодер, который в свою очередь устраняет искажения оптической системы и следит за окружением, изменяя параметры работы видеокамеры и управляя подсветкой (дополнительный источник освещения). После чего обработанные видеодекодером стерео и видео данные поступают на модуль подсчета пассажиров и видеорегистратор.The used stereoscopic camera of the video decoder is a source of video data about the events taking place in the area of embarkation/disembarkation of passengers of the route vehicle. In accordance with the plan, the video data is sent to the video decoder, which in turn eliminates the distortion of the optical system and monitors the environment, changing the parameters of the video camera and controlling the backlight (an additional light source). After that, the stereo and video data processed by the video decoder are sent to the passenger counting module and the video recorder.

Модуль подсчета пассажиров по существу предлагаемого решения является блоком, реализующим алгоритмы подсчета пассажиров. Результаты подсчета сохраняются в энергонезависимом хранилище данных, при этом алгоритм подсчета пассажиропотока состоит из следующих основных операций:The passenger counting module, essentially the proposed solution, is a block that implements passenger counting algorithms. The calculation results are stored in a non-volatile data storage, while the passenger flow calculation algorithm consists of the following main operations:

- построение карты расстояний путем измерения расстояния до объектов по стереокадрам;- building a distance map by measuring the distance to objects using stereo frames;

- обнаруживает подвижные объекты и отслеживает их перемещение;- detects moving objects and tracks their movement;

- отслеживает границы перемещения обнаруженных объектов и фиксирует вход или выход каждого пассажира.- tracks the boundaries of movement of detected objects and records the entry or exit of each passenger.

Соответственно указанный видеорегистратор является блоком, обеспечивающим запись видеоданных в энергонезависимое хранилище данных с целью контроля корректности подсчета пассажиров и происходящих событий в области наблюдений. Т.е. обработанные результаты анализа в виде числовых данных, а также стерео и видеоданных поступают в энергонезависимое хранилище данных, обеспечивающее их временное хранение.Accordingly, the specified video recorder is a unit that provides recording of video data in a non-volatile data storage in order to control the correctness of counting passengers and ongoing events in the observation area. Those. the processed results of the analysis in the form of numerical data, as well as stereo and video data, are sent to a non-volatile data storage that provides their temporary storage.

Для обмена данными с внешними системами дорожный регистрационный комплекс, как уже было упомянуто, имеет контроллер доступа, выполненный в виде модуля ввода/вывода и соответственно модули, которые обеспечивают обмен данными по конкретным интерфейсам, таких как: модуль интерфейса Ethernet, модуль интерфейса RS-485 и модуль интерфейса CAN. Следует отметить, что контроллер доступа также обеспечивает защиту данных от несанкционированного изменения. To exchange data with external systems, the road registration complex, as already mentioned, has an access controller made in the form of an input / output module and, accordingly, modules that provide data exchange via specific interfaces, such as: Ethernet interface module, RS-485 interface module and CAN interface module. It should be noted that the access controller also provides data protection from unauthorized changes.

Предложенная архитектура позволяет подключать и другие неупомянутые интерфейсы, не нарушая общий принцип функционирования, например, по протоколам WiFi или Bluetooth. Перечисленные модули интерфейсов обеспечивают подключение к внешним системам и реализуют протоколы обмена с ними, в частности, интерфейс Ethernet и протокол обмена HTTP. The proposed architecture allows you to connect other unmentioned interfaces without violating the general principle of operation, for example, via WiFi or Bluetooth protocols. The listed interface modules provide connection to external systems and implement exchange protocols with them, in particular, the Ethernet interface and the HTTP exchange protocol.

Контроллер питания, подключенный к управляющей печатной плате, обеспечивает включение/выключение дорожного регистрационного комплекса, его переключение в энергосберегающий режим, а также выход из него.The power controller, connected to the control printed circuit board, provides turning on/off the road registration complex, switching it to the energy-saving mode, as well as exiting it.

Таким образом, предлагаемое выше конструктивное выполнение заявляемого дорожного регистрационного комплекса для маршрутных транспортных средств с учетом его характеристик и технических особенностей, образует совокупность признаков, достаточных для достижения заданного технического результата, заключающегося в расширении функциональных возможностей системы, заключающихся в оперативной и единовременной обработки и передачи информации, касающейся количества вошедших и вышедших пассажиров, а также видеоинформации, охватывающей пропускную область транспортного средства, что комплексно способствует оптимизации и улучшению координации управляющих дорожных служб, формирующих логистические маршруты с обеспечением стабильного уровня безопасности для пассажиров и соблюдению установленного правопорядка при пользовании услугами маршрутных дорожных перевозчиков, а также для решения существующей технической проблемы по созданию обладающей высокими технико-эксплуатационными показателями транспортной системы слежения, позволяющей производить подсчет пассажиропотока и вместе с тем производить видеомониторинг пропускной области транспортного средства с целью поддержания правопорядка и безопасности.Thus, the proposed above constructive implementation of the claimed road registration complex for route vehicles, taking into account its characteristics and technical features, forms a set of features sufficient to achieve the desired technical result, which consists in expanding the functionality of the system, which consists in prompt and one-time processing and transmission of information regarding the number of passengers entering and exiting, as well as video information covering the checkpoint area of the vehicle, which comprehensively contributes to the optimization and improvement of the coordination of road service managers that form logistics routes with a stable level of safety for passengers and compliance with the established law and order when using the services of block road carriers, as well as to solve the existing technical problem of creating a transport system with high technical and operational performance tracking system that allows to count the passenger traffic and at the same time to make video monitoring of the vehicle throughput area in order to maintain law and order and security.

Краткое описание чертежейBrief description of the drawings

На фиг. 1 представлена функциональная схема предлагаемого дорожного регистрационного комплекса для маршрутных транспортных средств.In FIG. 1 shows a functional diagram of the proposed road registration complex for route vehicles.

Осуществление изобретенияImplementation of the invention

Предлагаемое изобретение поясняется конкретным примером выполнения и реализации, которые, однако, не являются единственно возможными, но наглядным образом демонстрируют достижение указанной совокупностью существенных признаков заданного технического результата, а также решение существующей технической проблемы.The present invention is illustrated by a specific example of execution and implementation, which, however, are not the only possible ones, but clearly demonstrate the achievement of the specified set of essential features of the desired technical result, as well as the solution of the existing technical problem.

На фиг. 1 представлены следующие компоненты предлагаемого дорожного регистрационного комплекса:In FIG. 1 shows the following components of the proposed road registration complex:

1 – видеокамера стереоскопическая;1 – stereoscopic video camera;

2 – источник освещения (подсветка);2 – light source (backlight);

3 – видеодекодер;3 – video decoder;

4 – модуль подсчета пассажиров;4 – passenger counting module;

5 – блок видеорегистратора (видеорегистратор);5 - block of the video recorder (video recorder);

6 – энергонезависимое хранилище;6 - non-volatile storage;

7 – контроллер питания;7 - power controller;

8 – контроллер доступа (модуль ввода/вывода);8 – access controller (input/output module);

9 – модуль интерфейса Ethernet;9 – Ethernet interface module;

10 – модуль интерфейса RS-485;10 – RS-485 interface module;

11 – модуль интерфейса CAN;11 – CAN interface module;

12 – управляющая печатная плата;12 - control printed circuit board;

13 – средство оптического подсчета и мониторинга пассажиропотока;13 - a means of optical counting and monitoring of passenger traffic;

14 – выделенный рабочий участок.14 - dedicated working area.

Итак, предлагаемый дорожный регистрационный комплекс для маршрутных транспортных средств производит количественный подсчет перевозимого пассажиропотока и видеомониторинг событий, происходящих в области дверного проема на этапе посадки и/или высадки пассажиров.So, the proposed road registration complex for route vehicles produces a quantitative calculation of the transported passenger traffic and video monitoring of events occurring in the area of the doorway at the stage of boarding and/or disembarking passengers.

Дорожный регистрационный комплекс содержит подключенную к контроллеру питания управляющую печатную плату 12, с расположенными на ней средством оптического подсчета и мониторинга пассажиропотока 13, а также контроллером доступа 8. The road registration complex contains a control printed circuit board 12 connected to the power controller, with a means of optical counting and monitoring of passenger traffic 13 located on it, as well as an access controller 8.

Средство оптического подсчета и мониторинга пассажиропотока 13 размещено на отдельном выделенном рабочем участке 14 и состоит из сгруппированного взаимосвязанного набора компонентов, включающих видеодекодер 3 со встроенной стереоскопической видеокамерой 1, а также модуль подсчета пассажиров 4, активизирующийся в случае открытия дверного проема (на фиг. 1 см. “положение двери”) транспортного средства и блок видеорегистратора 5 (видеорегистратор), которые направляют полученную и обработанную информацию в энергонезависимое хранилище данных 6.The means of optical counting and monitoring of passenger flow 13 is located on a separate dedicated working area 14 and consists of a grouped interconnected set of components, including a video decoder 3 with a built-in stereoscopic video camera 1, as well as a passenger counting module 4, which is activated in the event of opening a doorway (in Fig. 1 cm . "door position") of the vehicle and the video recorder unit 5 (video recorder), which send the received and processed information to the non-volatile data storage 6.

Следует отметить, что видеодекодер 3 выполнен с возможностью получения сигналов от упомянутой стереоскопической камеры 1 и выполняя слежение за экспозицией, корректируя работу источника сигнала (стереоскопическая видеокамера 1) и управляя имеющимся источником освещения 2 (подсветка) направляет данные в указанные модуль подсчета пассажиров 4 и блок видеорегистратора 5.It should be noted that the video decoder 3 is configured to receive signals from the mentioned stereoscopic camera 1 and, while monitoring the exposure, correcting the operation of the signal source (stereoscopic video camera 1) and controlling the existing light source 2 (backlight), sends data to the indicated passenger counting module 4 and the block video recorder 5.

Модуль подсчета пассажиров 4 реализует алгоритм подсчета пассажиропотока, основанный на построении карты расстояний по полученным стереокадрам, обнаружении подвижных объектов и контроля их перемещения, а также на отслеживании границ перемещения обнаруженных объектов и фиксировании их входа и выхода.Passenger counting module 4 implements a passenger flow counting algorithm based on building a distance map based on the received stereo frames, detecting moving objects and controlling their movement, as well as tracking the movement boundaries of detected objects and fixing their entry and exit.

Блок видеорегистратора 5 обеспечивает запись видеоданных с целью контроля корректности подсчета пассажиропотока и происходящих событий в области наблюдений.The video recorder unit 5 provides recording of video data in order to control the correctness of the calculation of passenger traffic and ongoing events in the observation area.

Обработанные результаты анализа в виде числовых данных, а также стерео и видеоданных поступают в энергонезависимое хранилище данных 6, обеспечивающее их временное хранение.The processed results of the analysis in the form of numerical data, as well as stereo and video data, are sent to the non-volatile data storage 6, which provides their temporary storage.

Следует отметить, что указанный выше контроллер доступа 8 (модуль ввода/вывода), взаимодействующий со средством оптического подсчета и мониторинга пассажиропотока 13, выполнен в виде модуля ввода/вывода, инкапсулирующего механизмы обмена данными между интерфейсными модулями (модуль Ethernet 9, модуль RS-485 10, модуль CAN 11) и модулями обработки и хранения данных (поз. 13), предоставляя перечисленным интерфейсным модулям единый интерфейс взаимодействия.It should be noted that the above access controller 8 (input/output module), which interacts with the means of optical counting and monitoring of passenger flow 13, is made in the form of an input/output module that encapsulates the mechanisms for data exchange between interface modules (Ethernet module 9, RS-485 module 10, CAN module 11) and data processing and storage modules (pos. 13), providing the listed interface modules with a single interaction interface.

Предлагаемый дорожный регистрационный комплекс для маршрутных транспортных средств размещается внутри, так, чтобы был осуществлен охват практически всей входной/выходной области транспортного средства.The proposed road registration complex for route vehicles is placed inside, so that it covers almost the entire entrance/exit area of the vehicle.

Непосредственный подсчет и регистрация пассажиропотока и соответственно событий, происходящих в области пропускного прохода транспортного средства, обеспечивается за счет работы средства оптического подсчета и мониторинга пассажиропотока 13, который размещен на управляющей плате 12 на выделенном рабочем участке 14.Direct counting and registration of passenger traffic and, accordingly, events occurring in the area of the vehicle checkpoint is provided by the operation of the means of optical counting and monitoring of passenger traffic 13, which is located on the control board 12 in a dedicated working area 14.

Согласно изобретению, технология подсчета пассажиров основана на работе стереоскопической видеокамеры 1, и на измерении модулем подсчета пассажиров 4 расстояния до подвижных объектов и построения карты расстояний, при этом определяется на карте участки нахождения пассажиров, отслеживается перемещение пассажиров, а также производится фиксирование входа и выхода пассажиров. А именно, для каждого пикселя на изображении со стереоскопической видеокамеры 1 ищется соответствующий пиксель на другом изображении методом сопоставления блоков. Зная смещение между этими пикселями, можно найти расстояние до объекта (пикселя) от плоскости камеры по формуле:According to the invention, the passenger counting technology is based on the operation of a stereoscopic video camera 1, and on measuring the distance to moving objects by the passenger counting module 4 and building a distance map, while determining the areas where passengers are located on the map, tracking the movement of passengers, and recording the entry and exit of passengers. . Namely, for each pixel in the image from the stereoscopic video camera 1, the corresponding pixel in the other image is searched for by the block matching method. Knowing the offset between these pixels, you can find the distance to the object (pixel) from the camera plane using the formula:

Z=f*T/(xl-xr), гдеZ=f*T/(xl-xr), where

f-фокусное расстояние камер;f-focal length of cameras;

T – расстояние между камерами;T is the distance between the cameras;

xl – координата пикселя на левом кадре стереопары;xl – pixel coordinate on the left frame of the stereopair;

xr – координата пикселя на правом кадре стереопары;xr – pixel coordinate on the right frame of the stereopair;

Подставляя смещение d=xl-xr:Substituting the offset d=xl-xr:

Z=f*T/dZ=f*T/d

Отслеживание подвижных объектов производится путем сопоставления полученных объектов на текущем кадре с предыдущими (треккинг объектов), т.е. в начале составляется матрица, элементами которой является площадь пересечения каждой пары (паросочетаний) найденного и предыдущего объекта, а затем ищется оптимальное значение “паросочетаний” таким образом, чтобы:Moving objects are tracked by comparing the received objects on the current frame with the previous ones (object tracking), i.e. at the beginning, a matrix is compiled, the elements of which are the area of intersection of each pair (matchings) of the found and previous object, and then the optimal value of “matchings” is sought in such a way that:

- каждый новый объект сопоставлялся только с одним предыдущим объектом- each new object was mapped to only one previous object

- сумма всех “паросочетаний” была бы максимальной.- the sum of all “matchings” would be maximum.

С целью контроля корректности подсчета пассажиров, а также безопасности происходящего регистрационный дорожный комплекс также ведет видеозапись происходящих событий в области наблюдений и сохраняет информацию в энергонезависимой памяти, т.е. в энергонезависимом хранилище 6. Обеспечивается это также посредством стереоскопической видеокамеры 1, которая обеспечивает непрерывную видеосъемку в моменты открытия дверей и передает информацию во внешние системы посредством модуля ввода/вывода 8.In order to control the correctness of the counting of passengers, as well as the safety of what is happening, the registration road complex also makes a video recording of the events taking place in the observation area and stores the information in non-volatile memory, i.e. in non-volatile storage 6. This is also ensured by means of a stereoscopic video camera 1, which provides continuous video recording at the moments of door opening and transmits information to external systems through the input / output module 8.

Для обмена данными дорожный регистрационный комплекс имеет различные интерфейсы, в частности к контроллеру доступа 8 подключены модуль интерфейса Ethernet 9, модуль интерфейса RS-485 10 и модуль интерфейса CAN 11.For data exchange, the road registration complex has various interfaces, in particular, an Ethernet interface module 9, an RS-485 interface module 10 and a CAN interface module 11 are connected to the access controller 8.

Архитектура дорожного регистрационного комплекса имеет перспективную конструкцию и позволяет подключать и другие интерфейсы, не нарушая общий принцип функционирования, в качестве таких интерфейсов могут применяться также WiFi, Bluetooth.The architecture of the road registration complex has a promising design and allows you to connect other interfaces without violating the general principle of operation; WiFi and Bluetooth can also be used as such interfaces.

Как следует из описания и согласно функциональной схеме, видеодекодер 3 является блоком, который обеспечивает получение данных от стереоскопической видеокамеры 1 с последующей подготовкой к дальнейшей обработке данных, непосредственно модуль подсчета пассажиров 4 является блоком, реализующим алгоритмы подсчета пассажиров на основе данных, поступающих от стереоскопической камеры 1. As follows from the description and according to the functional diagram, the video decoder 3 is a unit that provides data acquisition from the stereoscopic video camera 1 with subsequent preparation for further data processing, the passenger counting module 4 itself is a unit that implements passenger counting algorithms based on data from the stereoscopic camera one.

Энергонезависимое хранилище 6 данных, согласно описанию и функциональной схеме обеспечивает хранение результатов подсчета, а также данных видеонаблюдения, при этом видеорегистратор 5 обеспечивает запись видеоданных, поступающих от стереоскопической видеокамеры 1. Non-volatile data storage 6, according to the description and functional diagram, provides storage of counting results, as well as video surveillance data, while the video recorder 5 provides recording of video data coming from the stereoscopic video camera 1.

Используемый контроллер питания 7 обеспечивает включение/выключение дорожного регистрационного комплекса, а также перевод его в спящий режим и вывод из этого режима.The used power controller 7 provides turning on/off the road registration complex, as well as putting it into sleep mode and waking it up.

Упомянутый контроллер доступа 8, выполненный в виде модуля ввода/вывода обеспечивает защиту данных от несанкционированного изменения, а подключенные к нему интерфейсы связи (модуль интерфейса Ethernet 9, модуль интерфейса RS-485 10 и модуль интерфейса CAN 11) обеспечивают подключение к внешним устройствам и реализуют и поддерживают протоколы обмена с ними.The mentioned access controller 8, made in the form of an input/output module, provides data protection from unauthorized changes, and the communication interfaces connected to it (Ethernet interface module 9, RS-485 interface module 10 and CAN interface module 11) provide connection to external devices and implement and support exchange protocols with them.

Предлагаемое изобретение может быть успешно реализовано в транспортной промышленности для контроля и подсчета пассажиропотока с целью улучшения безопасности и повышения качества предоставляемых услуг маршрутной перевозки.The proposed invention can be successfully implemented in the transport industry for monitoring and counting passenger traffic in order to improve safety and improve the quality of the provided services of route transportation.

Claims (1)

Дорожный регистрационный комплекс для маршрутных транспортных средств, производящий количественный подсчет перевозимого пассажиропотока и видеомониторинг событий, происходящих в области дверного проема на этапе посадки и/или высадки, содержащий подключенную к контроллеру питания управляющую печатную плату с расположенными на ней средством оптического подсчета и мониторинга пассажиропотока и контроллером доступа, выполненным в виде модуля ввода/вывода, инкапсулирующего механизмы обмена данными между интерфейсными модулями и модулями обработки и хранения данными, предоставляя интерфейсным модулям единый интерфейс взаимодействия, указанное средство оптического подсчета и мониторинга пассажиропотока размещено на отдельном рабочем участке и состоит из сгруппированного взаимосвязанного набора компонентов, включающих видеодекодер со встроенной стереоскопической видеокамерой, а также модуль подсчета пассажиров, активизирующийся в случае открытия дверного проема транспортного средства, и блок видеорегистратора, которые направляют полученную и обработанную информацию в энергонезависимое хранилище данных, при этом видеодекодер выполнен с возможностью получения сигналов от упомянутой стереоскопической камеры и, выполняя слежение за экспозицией, корректируя работу источника сигнала и управляя имеющимся источником освещения, направляет данные в указанные модуль подсчета пассажиров и блок видеорегистратора, первый из которых реализует алгоритм подсчета пассажиропотока, основанный на построении карты расстояний по полученным стереокадрам, обнаружении подвижных объектов и контроле их перемещения и на отслеживании границ перемещения обнаруженных объектов и фиксировании их входа и выхода, а второй обеспечивает запись видеоданных с целью контроля корректности подсчета пассажиропотока и происходящих событий в области наблюдений, причем обработанные результаты анализа в виде числовых данных и видеоданных поступают в энергонезависимое хранилище данных, обеспечивающее их временное хранение.Road registration complex for fixed-route vehicles, producing a quantitative calculation of the transported passenger flow and video monitoring of events occurring in the area of the doorway at the stage of boarding and / or disembarking, containing a control printed circuit board connected to the power controller with a means of optical counting and monitoring of passenger flow and a controller located on it access module, made in the form of an input / output module that encapsulates the mechanisms for data exchange between interface modules and data processing and storage modules, providing interface modules with a single interaction interface, the specified means of optical counting and monitoring of passenger traffic is located in a separate working area and consists of a grouped interconnected set of components , including a video decoder with a built-in stereoscopic video camera, as well as a passenger counting module that is activated when the vehicle door is opened, and a block in video recorder, which send the received and processed information to a non-volatile data storage, while the video decoder is configured to receive signals from the said stereoscopic camera and, performing exposure tracking, correcting the operation of the signal source and controlling the existing light source, sends data to the specified passenger counting module and DVR block, the first of which implements an algorithm for counting passenger traffic based on building a distance map based on the received stereo frames, detecting moving objects and controlling their movement, and tracking the boundaries of movement of detected objects and fixing their entry and exit, and the second provides recording of video data in order to control the correctness calculation of passenger traffic and ongoing events in the field of observation, and the processed results of the analysis in the form of numerical data and video data are sent to a non-volatile data storage that provides their temporary storage .
RU2022113252A 2022-05-18 Stereovision-based passenger counter RU2785198C1 (en)

Publications (1)

Publication Number Publication Date
RU2785198C1 true RU2785198C1 (en) 2022-12-05

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2789708C1 (en) * 2022-05-18 2023-02-07 Акционерное общество "Штрих-М" Passenger counter

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1100050A1 (en) * 1999-11-09 2001-05-16 Renault V.I. System and method of counting passengers for buses
RU102414U1 (en) * 2010-11-01 2011-02-27 Общество с ограниченной ответственностью "Альтаир" (ООО "Альтаир") DEVICE FOR COUNTING PASSENGER FLOW
EP2801956B1 (en) * 2013-05-10 2018-07-11 Giken Trastem Co., Ltd. Passenger counter
DE102018201834A1 (en) * 2018-02-06 2019-08-08 Siemens Aktiengesellschaft Method for calibrating a detection device, counting method and detection device for a passenger transport vehicle
RU2700250C1 (en) * 2018-12-27 2019-09-13 Общество с ограниченной ответственностью "Умная камера" Method of counting human flow
RU196791U1 (en) * 2019-04-12 2020-03-16 Антон Анатольевич Есин DEVICE FOR COUNTING PASSENGER FLOW
RU204271U1 (en) * 2020-08-26 2021-05-18 Федеральное государственное бюджетное образовательное учреждение высшего образования "Пензенский государственный университет архитектуры и строительства" Public transport passenger counting device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1100050A1 (en) * 1999-11-09 2001-05-16 Renault V.I. System and method of counting passengers for buses
RU102414U1 (en) * 2010-11-01 2011-02-27 Общество с ограниченной ответственностью "Альтаир" (ООО "Альтаир") DEVICE FOR COUNTING PASSENGER FLOW
EP2801956B1 (en) * 2013-05-10 2018-07-11 Giken Trastem Co., Ltd. Passenger counter
DE102018201834A1 (en) * 2018-02-06 2019-08-08 Siemens Aktiengesellschaft Method for calibrating a detection device, counting method and detection device for a passenger transport vehicle
RU2700250C1 (en) * 2018-12-27 2019-09-13 Общество с ограниченной ответственностью "Умная камера" Method of counting human flow
RU196791U1 (en) * 2019-04-12 2020-03-16 Антон Анатольевич Есин DEVICE FOR COUNTING PASSENGER FLOW
RU204271U1 (en) * 2020-08-26 2021-05-18 Федеральное государственное бюджетное образовательное учреждение высшего образования "Пензенский государственный университет архитектуры и строительства" Public transport passenger counting device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2789708C1 (en) * 2022-05-18 2023-02-07 Акционерное общество "Штрих-М" Passenger counter

Similar Documents

Publication Publication Date Title
US11875579B2 (en) Parking objects detection system using live inventory management
EP3154003B1 (en) Border inspection with aerial cameras
CN105761319B (en) A kind of ETC tracks anti-cheating method and system
CN106934752A (en) A kind of KXG based on bus
CN105590454A (en) Vehicle violation behavior proof-providing method and system thereof
EP3690826A1 (en) Advanced parking and intersection management system
KR101934330B1 (en) Method And Apparatus for Charging Fee by Using Detecting Vehicle Occupancy
KR20200035536A (en) Enforcement system of vehicle violating exclusive bus lain using infrared camera and infrared lighting, and method for the same
CN104805784A (en) Gate fare evasion detection system and gate fare evasion detection method
CN110263623B (en) Train climbing monitoring method, device, terminal and storage medium
CN207966187U (en) A kind of automatic management stream of people, logistics security robot
CN208938331U (en) Intelligent bayonet channel system
CN114022961A (en) Vehicle-mounted system, vehicle and control method of vehicle-mounted system
RU2785198C1 (en) Stereovision-based passenger counter
RU2596993C2 (en) Method for controlling fare payment on public transport
WO2020063866A1 (en) Traffic monitoring and evidence collection system
CN109671168A (en) A kind of multifunctional adaptive highway toll card access device
CN107170244A (en) A kind of intellectual traffic control method and apparatus
WO2016095634A1 (en) Mobile inspection system
RU2789708C1 (en) Passenger counter
JP6185336B2 (en) Lane system
JP2002163756A (en) System for entry and exit control over exclusive road for automatic travel vehicle
JP6563283B2 (en) Monitoring system
CN218866535U (en) Intelligent tour inspection channel system
JPH11306484A (en) Management system by individual car types in unmanned parking lot