RU2559418C2 - Method of determination of vehicle position and motion speed and complex to this end - Google Patents

Abstract

FIELD: transport.

SUBSTANCE: claimed complex comprises video camera 1, radar 2, data control and processing unit 3 with software for processing of received data, license plate identification data and imaging of frames with measured speeds and revealed license plates. Control unit 3 can affix the reference grid in road plane to that in the plane of light-sensitive matrix by determination of parameters of perspective projection with the help of data on vehicle position and speed received simultaneously from radar and video camera. Invention describes also the method of determination of the vehicle speed and position.

EFFECT: higher accuracy and validity of determination and simplified complex calibration at vehicle speed measurement.

9 cl, 4 dwg

Description

Область техники, к которой относится изобретениеFIELD OF THE INVENTION

Заявленная группа изобретений относится к контрольно-измерительной технике и может быть применена в качества средства контроля дорожного движения и автоматического выявления нарушителей скоростного режима. Более конкретно группа изобретений относится к способу определения положения и скорости движения транспортного средства на дороге, а также к комплексу для его осуществления.The claimed group of inventions relates to test equipment and can be used as a means of monitoring traffic and automatic detection of violators of high-speed mode. More specifically, the group of inventions relates to a method for determining the position and speed of a vehicle on the road, as well as to a complex for its implementation.

Уровень техникиState of the art

Известен «Способ определения скорости движения и координат транспортных средств с последующей их идентификацией и автоматической регистрацией нарушений правил дорожного движения и устройство для его осуществления» («Стрелка»), патент РФ RU 2382416 C2, опубл. 20.02.2010.The well-known "Method for determining the speed and coordinates of vehicles with their subsequent identification and automatic registration of violations of the rules of the road and a device for its implementation" ("Arrow"), RF patent RU 2382416 C2, publ. 02/20/2010.

Известный способ измерения координат и скорости предполагает измерение координат и скорости транспортных средств (ТС) с использованием импульсного радиолокатора и видеокамеры. По радиолокатору определяют дальность и скорость ТС. Одновременно по изображению ТС, полученному от видеокамеры, вычисляют координаты и скорости тех же транспортных средств, находящихся в кадре, после чего сравнивают получаемые независимые потоки данных обо всех ТС, находящихся в текущий момент на выбранном участке дорожного полотна. Для получения метрологически достоверных данных о скоростях и дальности до ТС используют данные радиолокатора, а за достоверные данные об азимуте тех же ТС принимают данные, полученные от видеокамеры.A known method of measuring coordinates and speed involves measuring the coordinates and speed of vehicles (TS) using a pulsed radar and video camera. The radar and determine the range and speed of the vehicle. At the same time, using the image of the vehicle received from the video camera, the coordinates and speeds of the same vehicles in the frame are calculated, and then the resulting independent data streams of all vehicles currently located in the selected section of the roadway are compared. To obtain metrologically reliable data on speeds and ranges to the vehicle, radar data is used, and for the reliable data on the azimuth of the same vehicle, data received from the video camera is taken.

В результате сравнения каждому ТС обеспечивают дальнейшее сопровождение до момента распознавания государственного регистрационного знака, после чего видеокамерой распознавания государственного регистрационного знака формируют кадр изображения ТС с распознанным государственным регистрационным знаком, скоростью и др. необходимыми сведениями.As a result of the comparison, each vehicle is provided with further support until the recognition of the state registration plate, after which a video image of the vehicle with the recognized state registration plate, speed, and other necessary information is formed by the recognition camera of the state registration plate.

К недостаткам указанного способа следует отнести тот факт, что определение скорости (и местоположения) ТС и его идентификация (распознавание номерного знака) происходят в различные моменты времени. При этом определение координат ТС для его сопровождения в зону распознавания происходит на значительном расстоянии (до 1000 м), там, где распознавание номера невозможно. Недостатком также является то, что способ реализуется только с помощью постоянно действующих двух независимых систем (радиолокатора и видеокамеры), что приводит к существенному увеличению габаритов и потребляемой мощности системы. Кроме того, применяемый для реализации способа радар (в силу использованного физического принципа) не дает информации об азимуте цели, а видеокамера, как следует из описания патента, не обеспечивает метрологически достоверных данных о скорости (в силу низкой точности определения местоположения ТС по видеоизображению на больших расстояниях), создавая, таким образом, возможность некорректного сопровождения ТС в зону распознавания.The disadvantages of this method include the fact that the determination of the speed (and location) of the vehicle and its identification (license plate recognition) occur at different points in time. In this case, the coordinates of the vehicle for its escort to the recognition zone are determined at a considerable distance (up to 1000 m), where recognition of the number is impossible. The disadvantage is also that the method is implemented only with the help of permanently operating two independent systems (radar and video camera), which leads to a significant increase in size and power consumption of the system. In addition, the radar used to implement the method (due to the physical principle used) does not provide information about the azimuth of the target, and the video camera, as follows from the patent description, does not provide metrologically reliable speed data (due to the low accuracy of determining the location of the vehicle from the video image at large distances), thus creating the possibility of incorrect tracking of vehicles in the recognition zone.

Известен «Способ определения скорости транспортного средства», патент РФ RU 2442218 C1 (опубл. 10.02.2012), использующий результаты измерения дальности до автомобиля, полученные в разные моменты времени с помощью анализа изображения номерного знака, полученного с видеокамеры. Дальность до ТС вычисляется по изменению размера изображения номерного знака, полученного на матрице видеокамеры в разные моменты времени с учетом коррекции искажений пропорций пластины номерного знака. Для каждого из моментов фиксации номерного знака определяется расстояние до ТС, а вычисление скорости производится по изменению расстояния за фиксированное время.The well-known "Method for determining the speed of a vehicle", RF patent RU 2442218 C1 (publ. 02/10/2012), using the results of measuring the distance to the car, obtained at different points in time by analyzing the license plate image obtained from the video camera. The range to the vehicle is calculated by changing the size of the license plate image obtained on the camera’s matrix at different points in time, taking into account the correction of distortions in the proportions of the license plate plate. For each of the moments of fixing the license plate, the distance to the vehicle is determined, and the speed is calculated by changing the distance over a fixed time.

Недостатком способа является отсутствие учета погрешностей, связанных с изменением угла наблюдения автомобиля при его движении в зоне контроля. Кроме того, к недостаткам относится также ограниченная область применения способа. Он применим только для систем, расположенных на небольшой высоте над дорогой, и при условии малости угла (2-4 градуса) между направлением движения ТС и осью видеокамеры. Именно эти условия обеспечивают малую угловую погрешность измерения, однако, они же делают применение способа малопригодным в случаях, когда система предназначена для автоматического контроля интенсивных транспортных потоков. Для таких потоков измерение под малым углом к направлению движения неизбежно приведет к взаимному затенению автомобилей, из чего следует необходимость установки камеры на значительной (до 10 м) высоте.The disadvantage of this method is the lack of accounting for errors associated with a change in the angle of observation of the car when it moves in the control zone. In addition, the limited scope of the method also relates to the disadvantages. It is applicable only to systems located at a small height above the road, and provided that the angle (2-4 degrees) between the direction of movement of the vehicle and the axis of the camera is small. It is these conditions that provide a small angular error of measurement, however, they also make the application of the method unsuitable in cases where the system is designed to automatically control intense traffic flows. For such flows, measurement at a small angle to the direction of movement will inevitably lead to mutual shadowing of vehicles, which implies the need to install the camera at a significant (up to 10 m) height.

Наиболее близким по технической сущности является «Способ определения скорости транспортного средства», патент РФ RU 2419884 C1 (опубл. 27.05.2011), выбранный в качестве прототипа.The closest in technical essence is the "Method for determining the vehicle speed", RF patent RU 2419884 C1 (publ. 05.27.2011), selected as a prototype.

Согласно предложенному способу фиксируют видеокадры с изображением пластины государственного регистрационного знака (ГРЗ) ТС при перемещении его в зоне контроля видеокамеры и дополнительно измеряют параметры расположения видеокамеры относительно плоскости дороги. Измеряют координаты точек углов и центра пластины ГРЗ в системе координат видеокадра в начале и в конце зоны контроля и определяют направление перемещения пластины ГРЗ в системе координат дороги по точкам центра пластины ГРЗ в начале и в конце зоны контроля. Далее определяют величину перемещения точки центра пластины ГРЗ в плоскости, параллельной плоскости дороги, расположенной на высоте перемещения точки центра пластины ГРЗ. По указанной величине перемещения и времени, за которое было совершено это перемещение, определяют скорость ТС.According to the proposed method, video frames with the image of the plate of the state registration plate (GRZ) of the vehicle are fixed when moving it in the control zone of the video camera and additionally measure the location of the video camera relative to the road plane. The coordinates of the points of the angles and the center of the plate of the GRZ are measured in the coordinate system of the video frame at the beginning and at the end of the control zone and the direction of movement of the plate of the GRZ in the coordinate system of the road is determined by the points of the center of the plate of the GRZ at the beginning and at the end of the control zone. Next, determine the magnitude of the displacement of the center point of the GRZ plate in a plane parallel to the road plane located at the height of the displacement of the center point of the GRZ plate. According to the specified value of the movement and the time for which this movement was made, determine the speed of the vehicle.

Предварительное измерение параметров расположения видеокамеры относительно плоскости дороги представляет собой трудоемкую задачу, в ходе которой необходимо учитывать, как следует из описания патента, значительное число параметров, связанных как с положением и параметрами камеры и объектива, так и с параметрами дороги в зоне контроля (высота, углы поворота, крена, наклона, фокусное расстояние объектива, разрешение и размеры матрицы в видеокамере, углы наклона и крена дороги и т.п.). Необходимость ее решения существенно осложняет процесс установки системы, реализующий описанный способ. Сокращение числа таких параметров возможно только при установке видеокамеры непосредственно над полосой движения транспорта (или с малым смещением от ее оси), что существенно сокращает область применения предлагаемого способа, поскольку требует строительства специальных инженерных сооружений над дорогой.Preliminary measurement of the parameters of the location of the camera relative to the road plane is a laborious task, during which it is necessary to take into account, as follows from the patent description, a significant number of parameters related to both the position and parameters of the camera and lens, and the parameters of the road in the control zone (height, angles of rotation, roll, tilt, focal length of the lens, resolution and matrix dimensions in the camcorder, tilt and roll angles of the road, etc.). The need to solve it significantly complicates the installation process of the system that implements the described method. A reduction in the number of such parameters is possible only when the video camera is installed directly above the traffic lane (or with a small offset from its axis), which significantly reduces the scope of the proposed method, since it requires the construction of special engineering structures over the road.

К недостаткам также относится возможность неконтролируемых случайных смещений камеры (при ослаблении крепления за счет вибраций, осадки грунта и т.п.) в ходе эксплуатации, приводящих к снижению точности измерений.The disadvantages also include the possibility of uncontrolled random displacements of the camera (when the fastening is weakened due to vibration, soil precipitation, etc.) during operation, leading to a decrease in measurement accuracy.

Кроме того, реализация способа в измерительной технике требует квалифицированного подтверждения государственной метрологической службой правильности определения параметров расположения каждой видеокамеры (и периодического его подтверждения непосредственно на месте установки), поскольку неточность определения этих параметров катастрофическим образом влияет на погрешность измерений скорости.In addition, the implementation of the method in measuring equipment requires qualified confirmation by the state metrological service of the correct determination of the location parameters of each video camera (and its periodic confirmation directly at the installation site), since the inaccuracy of determining these parameters has a catastrophic effect on the accuracy of speed measurements.

Недостатком способа является также чисто оптический метод измерений, который не позволяет получать статистическую информацию о дорожном движении (интенсивность движения, пробки и т.п.) в условиях ограниченной видимости (туман, снег).The disadvantage of this method is the purely optical measurement method, which does not allow to obtain statistical information about traffic (traffic, traffic jams, etc.) in conditions of limited visibility (fog, snow).

К недостаткам способа относится также использование для расчета скорости временного интервала между первым и последним кадром без учета динамики изменения скорости в процессе перемещения ТС в поле зрения.The disadvantages of the method also include the use for calculating the speed of the time interval between the first and last frame without taking into account the dynamics of the change in speed during the movement of the vehicle in the field of view.

В уровне техники известен фоторадарный комплекс «Стрелка», использующий «Способ определения скорости движения и координат транспортных средств с последующей их идентификацией и автоматической регистрацией нарушений правил дорожного движения и устройство для его осуществления» (патент РФ на изобретение №2382416, опубл. 20.02.2010 г.). Данный фоторадарный комплекс содержит радар, видеокамеру распознавания ГРЗ и блок управления и обработки данных. Радар включает в себя модуль обработки сигналов, обеспечивающий вычисление скорости и дальности всех ТС, находящихся на выбранном участке дорожного полотна, а данные с видеокамеры панорамного обзора совместно с данными радара используются для получения скоростей и координат ТС, их идентификации и передачи данных для автоматической регистрации нарушений Правил дорожного движения (далее - ПДД).In the prior art, the Strelka photoradar complex is known that uses the “Method for determining the speed and coordinates of vehicles with their subsequent identification and automatic registration of traffic violations and a device for its implementation” (RF patent for the invention No. 2382416, publ. 02.20.2010 g.). This photo-radar complex contains a radar, a video recognition camera, and a control unit and data processing. The radar includes a signal processing module that calculates the speed and range of all vehicles located on a selected section of the roadway, and the data from a panoramic camera with radar data is used to obtain vehicle speeds and coordinates, identify them, and transmit data to automatically record violations Rules of the road (hereinafter - traffic rules).

Данный комплекс позволяет одновременно контролировать до 4 полос движения с помощью видеокамеры высокого разрешения с широкоугольным объективом. Причем для установки комплекса не требуется строительство ферменных конструкций, возможна установка на столбе рядом с краем проезжей части.This complex allows you to simultaneously control up to 4 lanes with a high-resolution video camera with a wide-angle lens. Moreover, the installation of the complex does not require the construction of truss structures; it is possible to install it on a column near the edge of the roadway.

Для выделения отдельных целей в потоке с требуемым уровнем достоверности в прототипе используются следующие данные:To highlight individual goals in the stream with the required level of confidence in the prototype, the following data are used:

- дальность - с радара и видеокамеры,- range - from a radar and a video camera,

- скорость - с радара,- speed - from the radar,

- угловая координата - с видеокамеры.- angular coordinate - from a video camera.

Недостатком прототипа является необходимость комплексирования данных с видеокамеры и радара для обеспечения работы всей системы. В случае если видеоданные по каким-либо причинам не доставляются или имеют низкое качество (например, в сложных погодных условиях или в условиях недостаточной видимости), надежность работы системы падает вплоть до полной неработоспособности.The disadvantage of the prototype is the need for combining data from a video camera and radar to ensure the operation of the entire system. If for some reason the video data is not delivered or is of poor quality (for example, in difficult weather conditions or in conditions of insufficient visibility), the reliability of the system drops to the point of complete inoperability.

Известен комплекс видеофиксации и измерения скорости движения и координат транспортных средств (патент на полезную модель №113398, опубл. 10.02.2012), содержащий размещенные в кожухе радар, видео-блок и соединенный с ними процессорный блок, радар выполнен с возможностью одновременного измерения скорости, дальности, азимута и габаритов транспортного средства, и содержит передатчик, по меньшей мере, два приемника и модуль цифровой обработки сигналов.A well-known complex of video recording and measuring the speed and coordinates of vehicles (utility model patent No. 113398, publ. 02/10/2012), comprising a radar located in the casing, a video block and a processor unit connected to them, the radar is configured to simultaneously measure speed, range, azimuth and dimensions of the vehicle, and contains a transmitter, at least two receivers and a digital signal processing module.

Недостатком данного комплекса является необходимость значительных вычислительных ресурсов, отсутствие возможности проверки точности измерения скорости и правильности идентификации цели альтернативным методом. К недостаткам также относится отсутствие резервирования в системе, что может привести к кратковременным неконтролируемым сбоям при измерении и/или идентификации целей. Также недостатком комплекса является его низкая скрытность, связанная с постоянным (хоть и незначительным по мощности) СВЧ-излучением, позволяющим обнаруживать его с помощью радар-детекторов.The disadvantage of this complex is the need for significant computational resources, the lack of the ability to verify the accuracy of speed measurement and the correct identification of the target by an alternative method. The disadvantages also include the lack of redundancy in the system, which can lead to short-term uncontrolled failures in the measurement and / or identification of targets. Another disadvantage of the complex is its low secrecy, associated with constant (albeit insignificant in power) microwave radiation, which allows it to be detected using radar detectors.

Задачей изобретения является повышение точности и достоверности измерений и упрощение процесса калибровки комплекса при измерении скорости ТС.The objective of the invention is to increase the accuracy and reliability of measurements and simplify the process of calibrating the complex when measuring vehicle speed.

Раскрытие изобретенияDisclosure of invention

Для решения поставленной задачи предложен способ определения положения и скорости движения транспортного средства на дороге, в котором получают посредством видеокамеры видеокадры с изображением пластины государственного регистрационного знака (ГРЗ) ТС при перемещении его в зоне контроля видеокамеры, определяют координаты точек углов пластины ГРЗ в системе координат светочувствительной матрицы, преобразуют координаты точек углов пластины ГРЗ из системы координат светочувствительной матрицы в систему координат дороги с учетом параметров расположения видеокамеры относительно плоскости дороги, производят привязку координатной сетки в плоскости дороги к координатной сетке в плоскости светочувствительной матрицы, распознают символы и формат ГРЗ посредством оптического распознавания символов, определяют координаты углов и центра ГРЗ на изображении, на основании полученных координат изображения ГРЗ на матрице видеокамеры восстанавливают координаты ГРЗ на дороге в заданные моменты времени, используя привязку координатных сеток, по смещению координат ГРЗ рассчитывают скорость движения ТС, корректируют скорость движения ТС с учетом особенностей размещения ГРЗ.To solve this problem, a method is proposed for determining the position and speed of a vehicle on the road, in which video frames with the image of a plate of the state registration plate (GRS) of a vehicle are obtained by means of a video camera when moving it in the control zone of the camera, the coordinates of the points of the angles of the GRZ plate are determined in the coordinate system of the photosensitive matrices, convert the coordinates of the points of the angles of the plate GRZ from the coordinate system of the photosensitive matrix into the coordinate system of the road, taking into account the steam meters of the location of the camera relative to the road plane, the coordinate grid in the road plane is linked to the coordinate grid in the plane of the photosensitive matrix, the symbols and the format of the GRD are recognized by optical character recognition, the coordinates of the angles and the center of the GRD in the image are determined based on the received coordinates of the image of the GRD on the video camera matrix restore the coordinates of the GRZ on the road at predetermined points in time, using the coordinate grid snapping; They determine the vehicle speed, adjust the vehicle speed, taking into account the specific features of the distribution unit.

Отличием заявленного способа является то, что он содержит этап, на котором от радара получают данные о положении ТС на дороге, на этапе осуществления привязки координатной сетки в плоскости дороги к координатной сетке в плоскости светочувствительной матрицы производят определение параметров перспективной проекции с использованием данных о положении и скорости ТС, полученных одновременно от радара и от видеокамеры, и на основании полученных параметров перспективной проекции определяют скорость ТС по смещению координат ГРЗ.The difference of the claimed method is that it contains a stage in which data on the vehicle’s position on the road are received from the radar, at the stage of linking the coordinate grid in the road plane to the coordinate grid in the plane of the photosensitive matrix, the perspective projection parameters are determined using position data and vehicle speeds obtained simultaneously from the radar and from the video camera, and based on the obtained perspective projection parameters, the vehicle speed is determined from the displacement of the coordinates of the distributor.

В предпочтительном варианте способа параметры перспективной проекции уточняют с помощью итеративного математического алгоритма с адаптивным поиском указанных параметров.In a preferred embodiment of the method, the perspective projection parameters are refined using an iterative mathematical algorithm with an adaptive search for these parameters.

Уточнение параметров перспективной проекции предпочтительно производят периодически через заранее установленные интервалы времени.The refinement of the perspective projection parameters is preferably done periodically at predetermined time intervals.

Предпочтительно аппроксимируют последовательность значений скорости ТС в период нахождения ТС в области видимости камеры гладкой функцией.Preferably, the sequence of values of the vehicle speed is approximated while the vehicle is in the camera visibility with a smooth function.

В процессе измерений предпочтительно постоянно оценивают величину погрешности, и в случаях, когда величина погрешности измерений выходит за пределы заданной, автоматически включают радар для дополнительного уточнения параметров перспективной проекции.In the process of measurement, it is preferable to constantly evaluate the magnitude of the error, and in cases where the magnitude of the measurement error is outside the specified range, the radar is automatically turned on to further refine the parameters of the perspective projection.

В качестве результатов измерений скорости и положения ТС предпочтительно используют данные, полученные как от радара в результате обработки радиолокационных сигналов, так и от видеокамеры в результате анализа изображения.As the results of measuring the speed and position of the vehicle, it is preferable to use data obtained both from the radar as a result of processing radar signals, and from a video camera as a result of image analysis.

Кроме того, для решения задачи предложен комплекс для определения положения и скорости движения ТС на дороге, содержащий взаимосвязанные между собой видеокамеру, радар и блок управления, отличающийся тем, что блок управления выполнен с возможностью осуществления привязки координатной сетки в плоскости дороги к координатной сетке в плоскости светочувствительной матрицы посредством определения параметров перспективной проекции с использованием данных о положении и скорости ТС, полученных одновременно от радара и от видеокамеры.In addition, to solve the problem, a complex has been proposed for determining the position and speed of the vehicle on the road, containing a video camera, a radar and a control unit interconnected, characterized in that the control unit is configured to bind the coordinate grid in the plane of the road to the coordinate grid in the plane photosensitive matrix by determining the parameters of the perspective projection using data on the position and speed of the vehicle, obtained simultaneously from the radar and from the video camera.

Радар предпочтительно выполнен с возможностью одновременного измерения скорости, дальности, азимута и габаритов транспортного средства.The radar is preferably configured to simultaneously measure the speed, range, azimuth and dimensions of the vehicle.

В предпочтительном варианте радар содержит передатчик, по меньшей мере, два приемника и модуль цифровой обработки сигналов.In a preferred embodiment, the radar comprises a transmitter, at least two receivers and a digital signal processing module.

Радар предпочтительно выполнен в виде легкосъемной конструкции с возможностью оперативного отсоединения его от комплекса.The radar is preferably made in the form of an easily removable structure with the ability to quickly disconnect it from the complex.

Поле обзора радиолокатора предпочтительно согласовано с зоной распознавания ГРЗ, которую обеспечивает видеокамера.The radar field of view is preferably matched to the recognition zone provided by the camcorder.

При осуществлении заявленной группы изобретений может быть получен технический результат, заключающийся в том, что измерение скорости по изображению ТС производится с высокой точностью без постоянного использования радара и без ручного измерения параметров расположения видеокамеры относительно дороги. Сокращается потребляемая системой мощность, экономятся вычислительные ресурсы, повышается надежность измерений, уменьшается уровень излучения СВЧ-энергии. Для запуска системы в эксплуатацию не требуется метрологическая экспертиза каждой точки установки - обеспечение точности измерений происходит автоматически, за счет реализации указанного способа.When implementing the claimed group of inventions, a technical result can be obtained, consisting in the fact that the speed measurement from the image of the vehicle is made with high accuracy without constant use of the radar and without manual measurement of the parameters of the location of the camera relative to the road. The power consumed by the system is reduced, computing resources are saved, the reliability of measurements is increased, and the level of microwave energy emission is reduced. To start the system in operation, a metrological examination of each installation point is not required - ensuring the accuracy of measurements occurs automatically, due to the implementation of this method.

Реализация данного способа позволит существенно снизить затраты на периодическое проведение ручной калибровки, а также позволит существенно уменьшить необходимые для работы системы энергетические и вычислительные ресурсы, кратковременно подключая радар только тогда, когда необходима коррекция.The implementation of this method will significantly reduce the cost of periodic manual calibration, and will also significantly reduce the energy and computing resources necessary for the system to work, briefly connecting the radar only when correction is necessary.

Предлагаемые способ и комплекс позволяют автоматически определять скорость движения и положение ТС на дороге на основе анализа изображения ТС, полученного с видеокамеры.The proposed method and complex allow you to automatically determine the speed and position of the vehicle on the road based on the analysis of the vehicle image obtained from the video camera.

Полученный технический результат достигается за счет того, что калибровка предложенного метода измерения производится в полностью автоматическом режиме на основе данных от радара и от видеокамеры. Калибровка обеспечивает автоматическое определение параметров перспективной проекции для последующего измерения скорости и положения ТС только по его изображению на видеокамере без использования радара.The technical result obtained is achieved due to the fact that the calibration of the proposed measurement method is performed in a fully automatic mode based on data from the radar and from the video camera. Calibration provides automatic determination of perspective projection parameters for subsequent measurement of vehicle speed and position only from its image on a video camera without using a radar.

Краткое описание чертежейBrief Description of the Drawings

На Фиг.1 представлена перспективная проекция плоскости уровня расположения центра ГРЗ на матрицу видеокамеры.Figure 1 presents a perspective projection of the plane of the level of the location of the center of the GRZ on the matrix of the camera.

На Фиг.2 показано значение ошибки. Измерения, ошибка которых попала в область между пунктирными линиями, будут использоваться для дальнейшего обучения.Figure 2 shows the error value. Measurements whose error fell in the area between the dashed lines will be used for further training.

На Фиг.3 показан пример графиков скорости ТС, полученной с радара, и оценок скорости по видеоизображению с аппроксимацией и без аппроксимации.Figure 3 shows an example of graphs of the speed of the vehicle, obtained from the radar, and speed estimates for the video image with approximation and without approximation.

На Фиг.4 показана схема комплекса, реализующего способ определения положения и скорости движения транспортного средства на дороге.Figure 4 shows a diagram of a complex that implements a method for determining the position and speed of a vehicle on the road.

Осуществление изобретенияThe implementation of the invention

Способ, который реализован в заявленном комплексе, состоит в определении положения и скорости движения ТС, которое осуществляется по положению и скорости движения ГРЗ, жестко закрепленного на ТС. С помощью алгоритмов оптического распознавания символов распознаются символы и формат ГРЗ, по заранее известному шаблону распознанного формата точно определяются положения углов и центра ГРЗ. Поскольку камера имеет довольно длинную полосу обзора (порядка нескольких десятков метров), а частота съемки видеокамеры не менее 20 кадров в секунду, на временном интервале, когда ТС находится в поле зрении камеры, изображение его ГРЗ присутствует на нескольких кадрах. Это позволяет отследить траекторию движения ГРЗ (а следовательно, и ТС), а также скорость на основе изменения координат расположения ГРЗ на дороге. Восстановление координат ГРЗ происходит на основе пересчета координат положения ГРЗ на изображении с использованием формулы перспективной проекции.The method that is implemented in the claimed complex consists in determining the position and speed of the vehicle, which is carried out by the position and speed of the GRZ, rigidly fixed to the vehicle. With the help of optical character recognition algorithms, the symbols and the format of the GRZ are recognized, according to the previously known pattern of the recognized format, the positions of the angles and the center of the GRZ are precisely determined. Since the camera has a rather long viewing range (of the order of several tens of meters), and the video camera’s shooting frequency is at least 20 frames per second, in the time interval when the vehicle is in the camera’s field of view, the image of its camera is present in several frames. This allows you to track the trajectory of the GRZ (and, consequently, the vehicle), as well as the speed based on changes in the coordinates of the GRZ on the road. Reconstruction of the coordinates of the GRZ occurs on the basis of the recalculation of the coordinates of the position of the GRZ in the image using the perspective projection formula.

Основной отличительной особенностью данного изобретения является полностью автоматизированный поиск параметров перспективной проекции дорожных координат в координаты изображения. Для этого используются данные о положении и скорости ТС, полученные от радара. Поскольку определение координат и скорости ТС с помощью радара является метрологически достоверным, то эти данные могут быть использованы для калибровки системы определения положения и скорости ТС по видеоизображению. После чего радар может быть отключен от системы, а в частном случае исполнения устройства - полностью демонтирован.The main distinguishing feature of this invention is a fully automated search for parameters of a perspective projection of road coordinates into image coordinates. For this, data on the position and speed of the vehicle received from the radar are used. Since the determination of the coordinates and speed of the vehicle using the radar is metrologically reliable, this data can be used to calibrate the system for determining the position and speed of the vehicle from the video image. After that, the radar can be disconnected from the system, and in the particular case of the device execution - completely dismantled.

Для калибровки параметров перспективной проекции используется массив данных, включающий мгновенные значения координат ТС на дороге, скорости ТС и координат ГРЗ ТС на изображении. С помощью итеративного математического алгоритма производится адаптивный поиск параметров перспективной проекции. Учитывая единичное количество искомых величин, объема обучающего множества порядка нескольких десятков-сотен ТС с количеством порядка десятка измерений на каждое будет достаточно для высокой точности восстановления параметров проекции.To calibrate the parameters of the perspective projection, an array of data is used, including instantaneous values of the coordinates of the vehicle on the road, the speed of the vehicle and the coordinates of the GRS of the vehicle in the image. Using an iterative mathematical algorithm, an adaptive search for perspective projection parameters is performed. Considering the unit number of sought-after quantities, the volume of the training set of the order of several tens-hundreds of TS with the amount of the order of a dozen measurements for each, it will be sufficient for high accuracy of restoration of projection parameters.

Способ реализуется следующим образом. Обработка делится на два этапа: этап калибровки параметров системы и этап определения положения и скорости движения ТС.The method is implemented as follows. Processing is divided into two stages: the stage of calibrating the system parameters and the stage of determining the position and speed of the vehicle.

На этапе калибровки восстанавливают параметры перспективной проекции, которая в общем случае выглядит, как показано в формуле (1) и фиг.1.At the calibration stage, the parameters of the perspective projection are restored, which in the general case looks as shown in formula (1) and Fig. 1.

$$X=\frac{c_{1}x+c_{2}y+c_3}{c_{7}x+c_{8}y+1},Y=\frac{c_{4}x+c_{5}y+c_6}{c_{7}x+c_{8}y+1},(1)$$

, $$X=\frac{c_{\mathrm{one}}x+c_{2}y+c_3}{c_{7}x+c_{8}y+\mathrm{one}},Y=\frac{c_{\mathrm{four}}x+c_{5}y+c_6}{c_{7}x+c_{8}y+\mathrm{one}},(\mathrm{one})$$

,

где {X, Y} - координаты ТС на дороге;where {X, Y} - vehicle coordinates on the road;

{x, y} - координаты центра ГРЗ на изображении;{x, y} - the coordinates of the center of the GRZ in the image;

{c₁, … c₈} - параметры перспективной проекции.{c ₁ , ... c ₈ } - parameters of perspective projection.

1. Для восстановления неизвестных параметров перспективной проекции используют запись данных с радара и видеокамеры, на которой присутствует не менее заданного количества измерений координат ТС, полученных как с радара, так и с видеокамеры (как правило, не менее 300). Таким образом, используется массив измерений значений пар {X_i, Y_i}, полученных с радара, и соответствующих им значений {x_i, y_i}, полученных в результате использования алгоритмов оптического распознавания символов ГРЗ, где i обозначает порядковый номер измерения. Значения {X_i, Y_i} и {x_i, y_i} должны быть синхронизированы по времени.1. To restore the unknown parameters of the perspective projection, data is recorded from the radar and the camera, on which there is at least a given number of measurements of the coordinates of the vehicle, obtained from both the radar and the camera (usually at least 300). Thus, we use an array of measurements of the values of the pairs {X _i , Y _i } obtained from the radar and the corresponding values {x _i , y _i } obtained as a result of the use of optical character recognition algorithms for the HRZ, where i denotes the serial number of the measurement. The values {X _i , Y _i } and {x _i , y _i } must be time synchronized.

2. Получают систему уравнений, количество которых равно удвоенному количеству измерений (см. формулу 2).2. Get a system of equations, the number of which is equal to twice the number of measurements (see formula 2).

$$\{\begin{array}{c}{X}_1=\frac{c_1{x}_1+c_2{y}_1+c_3}{c_7{x}_1+c_8{y}_1+1}\\ Y_1=\frac{c_4{x}_1+c_5{y}_1+c_6}{c_7{x}_1+c_8{y}_1+1}\\ \dots \\ X_N=\frac{c_1{x}_N+c_2{y}_N+c_3}{c_7{x}_N+c_8{y}_N+1}\\ Y_N=\frac{c_4{x}_N+c_5{y}_N+c_6}{c_7{x}_N+c_8{y}_N+1}\end{array},(2)$$

$$\{\begin{array}{c}{X}_{\mathrm{one}}=\frac{c_{\mathrm{one}}{x}_{\mathrm{one}}+c_2{y}_{\mathrm{one}}+c_3}{c_7{x}_{\mathrm{one}}+c_8{y}_{\mathrm{one}}+\mathrm{one}}\\ Y_{\mathrm{one}}=\frac{c_{\mathrm{four}}{x}_{\mathrm{one}}+c_5{y}_{\mathrm{one}}+c_6}{c_7{x}_{\mathrm{one}}+c_8{y}_{\mathrm{one}}+\mathrm{one}}\\ ...\\ X_N=\frac{c_{\mathrm{one}}{x}_N+c_2{y}_N+c_3}{c_7{x}_N+c_8{y}_N+\mathrm{one}}\\ Y_N=\frac{c_{\mathrm{four}}{x}_N+c_5{y}_N+c_6}{c_7{x}_N+c_8{y}_N+\mathrm{one}}\end{array},(2)$$

где N - количество измерений координат ТС, полученных с радара и видеокамеры.where N is the number of measurements of the coordinates of the vehicle received from the radar and the camera.

3. Решают систему уравнений приближенным итеративным способом на основе использования метода оптимизации ошибки, в качестве которой выбирают квадратичную ошибку E оценки координат ТС $$\left\{{\hat{X}}_i,{\hat{Y}}_i\right\}$$

на дороге (см. формулы (3, 4)).3. Solve the system of equations in an approximate iterative way based on the use of the error optimization method, for which the quadratic error E of the TS coordinate estimate is chosen $$\left\{{\hat{X}}_i,{\hat{Y}}_i\right\}$$

on the road (see formulas (3, 4)).

$$\hat{X}=\frac{c_1{x}_i+c_2{y}_i+c_3}{c_7{x}_i+c_8{y}_i+1},{\hat{Y}}_i=\frac{c_4{x}_i+c_5{y}_i+c_6}{c_7{x}_i+c_8{y}_i+1},(3)$$

$$\hat{X}=\frac{c_{\mathrm{one}}{x}_i+c_2{y}_i+c_3}{c_7{x}_i+c_8{y}_i+\mathrm{one}},{\hat{Y}}_i=\frac{c_{\mathrm{four}}{x}_i+c_5{y}_i+c_6}{c_7{x}_i+c_8{y}_i+\mathrm{one}},(3)$$

$$E_i={\displaystyle \sum _{n=1}^N{\left({\hat{X}}_i-X_i\right)}^2+}{\displaystyle \sum _{n=1}^N{\left({\hat{Y}}_i-Y_i\right)}^2,}(4)$$

$$E_i={\displaystyle \sum _{n=\mathrm{one}}^N{\left({\hat{X}}_i-X_i\right)}^2+}{\displaystyle \sum _{n=\mathrm{one}}^N{\left({\hat{Y}}_i-Y_i\right)}^2,}(\mathrm{four})$$

Для приближенного решения системы уравнений как частный случай используют алгоритм Левенберга-Маквардта. Для этого определяют якобиан J_X и J_Y, как показано в формуле (5).For an approximate solution of the system of equations as a special case, the Levenberg-Macwardt algorithm is used. For this, the Jacobian J _X and J _{Y are} determined, as shown in formula (5).

$$J_X=\left[\begin{array}{ccc}\frac{\partial X_1}{\partial c_1}& \dots & \frac{\partial X_1}{\partial c_8}\\ \dots & \dots & \dots \\ \frac{\partial X_N}{\partial c_1}& \dots & \frac{\partial X_N}{\partial c_8}\end{array}\right],J_Y=\left[\begin{array}{ccc}\frac{\partial Y_1}{\partial c_1}& \dots & \frac{\partial Y_1}{\partial c_8}\\ \dots & \dots & \dots \\ \frac{\partial Y_N}{\partial c_1}& \dots & \frac{\partial Y_N}{\partial c_8}\end{array}\right].(5)$$

$$J_X=\left[\begin{array}{ccc}\frac{\partial X_{\mathrm{one}}}{\partial c_{\mathrm{one}}}& ...& \frac{\partial X_{\mathrm{one}}}{\partial {\mathrm{<figure-callout\; id="8"\; label="c"\; filenames="00000023.png"\; state="\{\{state\}\}">c</figure-callout>}}_8}\\ ...& ...& ...\\ \frac{\partial X_N}{\partial c_{\mathrm{one}}}& ...& \frac{\partial X_N}{\partial c_8}\end{array}\right],J_Y=\left[\begin{array}{ccc}\frac{\partial Y_{\mathrm{one}}}{\partial c_{\mathrm{one}}}& ...& \frac{\partial Y_{\mathrm{one}}}{\partial {\mathrm{<figure-callout\; id="8"\; label="c"\; filenames="00000023.png"\; state="\{\{state\}\}">c</figure-callout>}}_8}\\ ...& ...& ...\\ \frac{\partial Y_N}{\partial c_{\mathrm{one}}}& ...& \frac{\partial Y_N}{\partial c_8}\end{array}\right].(5)$$

Итеративно обновляют коэффициенты {c₁, … c₈} на приращение согласно формулам 6 и 7.Iteratively update the coefficients {c ₁ , ... c ₈ } per increment according to formulas 6 and 7.

$$\Delta {\left[c_1,c_2,c_3,c_7,c_8\right]}^T={\left(J_X^T{J}_X+\lambda diag\left(J_X^T{J}_X\right)\right)}^{-1}{J}_X^T\left[\begin{array}{c}{X}_1-\frac{c_1{x}_1+c_2{y}_1+c_3}{c_7{x}_1+c_8{y}_1+1}\\ \dots \\ X_N-\frac{c_1{x}_N+c_2{y}_N+c_3}{c_7{x}_N+c_8{y}_N+1}\end{array}\right],(6)$$

$$\Delta {\left[c_{\mathrm{one}},c_2,c_3,c_7,c_8\right]}^T={\left(J_X^T{J}_X+\lambda diag\left(J_X^T{J}_X\right)\right)}^{-\mathrm{one}}{J}_X^T\left[\begin{array}{c}{X}_{\mathrm{one}}-\frac{c_{\mathrm{one}}{x}_{\mathrm{one}}+c_2{y}_{\mathrm{one}}+c_3}{c_7{x}_{\mathrm{one}}+c_8{y}_{\mathrm{one}}+\mathrm{one}}\\ ...\\ X_N-\frac{c_{\mathrm{one}}{x}_N+c_2{y}_N+c_3}{c_7{x}_N+c_8{y}_N+\mathrm{one}}\end{array}\right],(6)$$

$$\Delta {\left[c_4,c_5,c_6,c_7,c_8\right]}^T={\left(J_Y^T{J}_Y+\lambda diag\left(J_Y^T{J}_Y\right)\right)}^{-1}{J}_Y^T\left[\begin{array}{c}{Y}_1-\frac{c_4{x}_1+c_5{y}_1+c_6}{c_7{x}_1+c_8{y}_1+1}\\ \dots \\ Y_N-\frac{c_4{x}_N+c_5{y}_N+c_6}{c_7{x}_N+c_8{y}_N+1}\end{array}\right],(7)$$

$$\Delta {\left[c_{\mathrm{four}},c_5,c_6,c_7,c_8\right]}^T={\left(J_Y^T{J}_Y+\lambda diag\left(J_Y^T{J}_Y\right)\right)}^{-\mathrm{one}}{J}_Y^T\left[\begin{array}{c}{Y}_{\mathrm{one}}-\frac{c_{\mathrm{four}}{x}_{\mathrm{one}}+c_5{y}_{\mathrm{one}}+c_6}{c_7{x}_{\mathrm{one}}+c_8{y}_{\mathrm{one}}+\mathrm{one}}\\ ...\\ Y_N-\frac{c_{\mathrm{four}}{x}_N+c_5{y}_N+c_6}{c_7{x}_N+c_8{y}_N+\mathrm{one}}\end{array}\right],(7)$$

где λ - коэффициент регуляризации (например, равный 1).where λ is the regularization coefficient (for example, equal to 1).

4. Фильтруют исходные данные на основе полученных результатов. В связи с тем, что исходные данные обучения могут содержать ошибки (некорректно распознанные ГРЗ, нестандартное расположение ГРЗ по высоте и т.п.), из обучающей выборки исключаются те измерения, которые имеют значение ошибки определения скорости больше порогового. Оценку скорости определяют по формуле (8), ошибку определения скорости EV_i определяют по формуле (9).4. Filter the source data based on the results. Due to the fact that the initial training data may contain errors (incorrectly recognized GRD, non-standard location of the GRD in height, etc.), those measurements that have an error in determining the speed greater than the threshold are excluded from the training sample. The speed estimate is determined by the formula (8), the error in determining the speed EV _i is determined by the formula (9).

$${\hat{V}}_i=\frac{\sqrt{{\left({\hat{X}}_i-{\hat{X}}_{i-1}\right)}^2+{\left({\hat{Y}}_i-{\hat{Y}}_{i-1}\right)}^2}}{\Delta T_i},(8)$$

$${\hat{V}}_i=\frac{\sqrt{{\left({\hat{X}}_i-{\hat{X}}_{i-\mathrm{one}}\right)}^2+{\left({\hat{Y}}_i-{\hat{Y}}_{i-\mathrm{one}}\right)}^2}}{\Delta T_i},(8)$$

$$E{V}_i={\hat{V}}_i-V_i,(9)$$

$$E{V}_i={\hat{V}}_i-V_i,(9)$$

где V_i - скорость i-го измерения, полученная с радара;where V _i is the speed of the i-th measurement received from the radar;

$$\left\{{\hat{X}}_i,{\hat{Y}}_i\right\}$$

, $$\left\{{\hat{X}}_{i-1},{\hat{Y}}_{i-1}\right\}$$

- оценка координат ТС на дороге на основе параллельной проекции в момент времени i и i-1 соответственно; $$\left\{{\hat{X}}_i,{\hat{Y}}_i\right\}$$

, $$\left\{{\hat{X}}_{i-\mathrm{one}},{\hat{Y}}_{i-\mathrm{one}}\right\}$$

- estimation of vehicle coordinates on the road based on a parallel projection at time i and i-1, respectively;

ΔT_i - временной интервал между измерениями i и i-1.ΔT _i is the time interval between measurements i and i-1.

Исключению из дальнейшего обучения подлежат те измерения, абсолютная ошибка оценки скорости которых больше порога T. Значение порога T вычисляется, например, пропорционально значению среднеквадратичному отклонению EV_i (см. формулу (10)).Exceptions from further training are those measurements whose absolute error in estimating the velocity is greater than the threshold T. The threshold value T is calculated, for example, in proportion to the standard deviation EV _i (see formula (10)).

$$T=\alpha \underset{i=1\dots N}{CKO}\left(E{V}_i\right),(10)$$

$$T=\alpha \underset{i=\mathrm{one}...N}{CKO}\left(E{V}_i\right),(10)$$

где α - коэффициент, равный, например, 2.where α is a coefficient equal to, for example, 2.

На Фиг.2 показано значение ошибки EV_i. Измерения, ошибка EV_i которых попала в область между пунктирными линиями, будут использоваться для дальнейшего обучения.Figure 2 shows the error value EV _i . Measurements whose EV _i error fell in the area between the dashed lines will be used for further training.

5. На данных, оставшихся после фильтрации, повторно проводят обучение параметров перспективной проекции с использованием метода оптимизации квадратичной ошибки, например, с помощью алгоритма Левенберга-Маквардта.5. On the data remaining after filtering, the parameters of perspective projection are re-trained using the method of optimizing the quadratic error, for example, using the Levenberg-Macwardt algorithm.

На этапе определения положения и скорости движения ТС (режим эксплуатации системы) используют зафиксированные параметры перспективной проекции.At the stage of determining the position and speed of the vehicle (system operation mode), the fixed parameters of the perspective projection are used.

1. Рассчитывают оценку координат ТС $$\left\{{\hat{X}}_i,{\hat{Y}}_i\right\}$$

по координатам центра ГРЗ {x_i, y_i} на изображении с видеокамеры по формуле (3).1. Calculate an estimate of the coordinates of the vehicle $$\left\{{\hat{X}}_i,{\hat{Y}}_i\right\}$$

according to the coordinates of the center of the GRZ {x _i , y _i } in the image from the video camera according to the formula (3).

2. Рассчитывают оценку скорости $${\hat{V}}_i$$

ТС на каждом кадре с изображением ГРЗ данного ТС на основе использования формулы (8).2. Calculate the speed estimate $${\hat{V}}_i$$

TS on each frame with the image of the GRZ of this TS based on the use of formula (8).

3. Корректируют оценку скорости $${\hat{V}}_i$$

ТС с учетом высоты расположения ГРЗ. Для этого на основании известных координат левого и правого верхних углов ГРЗ оценивают ширину пластины ГРЗ по формуле (10).3. Adjust the speed estimate $${\hat{V}}_i$$

TS, taking into account the height of the GRZ. To do this, based on the known coordinates of the left and right upper angles of the distributor, the width of the distributor plate is estimated by the formula (10).

$${\hat{W}}_i=\sqrt{{\left(X_{l,i}-X_{r,i}\right)}^2+{\left(Y_{l,i}-Y_{r,i}\right)}^2},(11)$$

$${\hat{W}}_i=\sqrt{{\left(X_{l,i}-X_{r,i}\right)}^2+{\left(Y_{l,i}-Y_{r,i}\right)}^2},(\mathrm{eleven})$$

где $$\left\{{\hat{X}}_{l,i},{\hat{Y}}_{l,i}\right\}$$

и $$\left\{{\hat{X}}_{r,i},{\hat{Y}}_{r,i}\right\}$$

- соответственно, координаты на дороге левого и правого верхнего углов пластины ГРЗ (рассчитанные из координат на изображении по формуле (3)).Where $$\left\{{\hat{X}}_{l,i},{\hat{Y}}_{l,i}\right\}$$

and $$\left\{{\hat{X}}_{r,i},{\hat{Y}}_{r,i}\right\}$$

- accordingly, the coordinates on the road of the left and right upper corners of the GRZ plate (calculated from the coordinates in the image according to formula (3)).

Далее на основе использования известной ширины пластины ГРЗ W (ширина пластины известна по результатам оптического распознавания формата ГРЗ) производят корректировку скорости $${\hat{V}}_i$$

, по формуле (11).Then, based on the use of the known width of the plate of the distributor W (the width of the plate is known from the results of optical recognition of the format of the distributor), the speed is adjusted $${\hat{V}}_i$$

, by the formula (11).

$${\tilde{V}}_i={\hat{V}}_i\frac{W}{{\hat{W}}_i}.(12)$$

$${\tilde{V}}_i={\hat{V}}_i\frac{W}{{\hat{W}}_i}.(\mathrm{one}2)$$

4. Аппроксимируют последовательность значений скорости $$\left\{{\tilde{V}}_i\right\}$$

на всем промежутке от момента появления ГРЗ ТС в области видимости камеры гладкой функцией. Аппроксимация выполняется, например, с использованием линейной функции. В данном случае подразумевается, что скорость ТС меняется линейно в пределах области видимости камеры. На Фиг.2 показаны примеры графиков скорости с радара и оценок скорости по видеоизображению с аппроксимацией и без аппроксимации.4. Approximate a sequence of speed values $$\left\{{\tilde{V}}_i\right\}$$

over the entire period from the moment of the appearance of the GRS TS in the camera visibility area by a smooth function. Approximation is performed, for example, using a linear function. In this case, it is understood that the speed of the vehicle varies linearly within the scope of the camera. Figure 2 shows examples of graphs of speed with the radar and speed estimates for the video image with approximation and without approximation.

Комплекс, в котором реализуется указанный способ и показанный на Фиг.4, состоит из видеокамеры 1, многоцелевого радара 2 и блока 3 управления и обработки данных с программным обеспечением для обработки получаемой информации, распознавания знаков государственной регистрации и формирования фотокадров с измеренными скоростями и номерными знаками.The complex in which the indicated method is implemented and shown in FIG. 4 consists of a video camera 1, a multi-purpose radar 2, and a data control and processing unit 3 with software for processing the information received, recognizing state registration marks, and generating photo frames with measured speeds and license plates .

Работа радара 2 основана на принципе фазовой пеленгации. Радар 2 включает в себя передатчик, не менее двух приемников и модуль цифровой обработки сигналов. Передатчик излучает комбинированный сигнал, сочетающий линейную частотную модуляцию и частотную манипуляцию, благодаря чему обеспечивается сочетание высокой точности и скорости измерения параметров целей (дальность, скорость) в модуле цифровой обработки. Приемники принимают отраженный сигнал, по разности фаз между сигналами с различных приемников блок цифровой обработки определяет направление на цель. Все данные о целях в уже обработанном виде непрерывно передаются на измерительный модуль комплекса.The operation of radar 2 is based on the principle of phase direction finding. Radar 2 includes a transmitter, at least two receivers and a digital signal processing module. The transmitter emits a combined signal combining linear frequency modulation and frequency manipulation, which ensures a combination of high accuracy and speed of measuring target parameters (range, speed) in the digital processing module. The receivers receive the reflected signal, according to the phase difference between the signals from different receivers, the digital processing unit determines the direction to the target. All data on targets in the already processed form is continuously transmitted to the measuring module of the complex.

Новым в разработанном устройстве является то, что в качестве радиолокатора используется легкосъемный радар 2, обеспечивающий измерение не только дальности и скорости всех целей, находящихся в поле его зрения (как указано в прототипе), но и азимута каждой цели, обеспечивая, таким образом, точное определение местоположения ТС на контролируемом участке дорожного полотна. При этом видеокамера 1 обеспечивает возможность наблюдения и формирования изображения ТС одновременно на нескольких полосах движения как в прямом, так и в обратном направлении, а блок 3 управления и обработки данных реализует предлагаемый способ измерения с помощью программного обеспечения за счет автоматического определения параметров перспективной проекции с использованием данных, полученных одновременно от радара 1 и от видеокамеры 2, адаптивного поиска и уточнения параметров перспективной проекции с помощью итеративного математического алгоритма, определения положения и скорости ТС по величине и смещению координат ГРЗ на основании полученных параметров перспективной проекции, периодической коррекции результатов с учетом поправок параметров перспективной проекции, полученных с помощью радара, аппроксимации гладкой функцией последовательности значений скорости ТС, полученной за время нахождения ТС в области видимости видеокамеры, а также за счет постоянной оценки в процессе измерений величины погрешности и автоматического включения в случае необходимости радара для повторной автокалибровки.New in the developed device is that an easily removable radar 2 is used as a radar, providing measurement not only of the range and speed of all targets in its field of vision (as indicated in the prototype), but also the azimuth of each target, thus ensuring accurate determining the location of the vehicle in a controlled section of the roadway. In this case, the video camera 1 provides the ability to observe and image the vehicle simultaneously in several lanes both in the forward and reverse directions, and the control and data processing unit 3 implements the proposed measurement method using software by automatically determining the perspective projection parameters using data obtained simultaneously from radar 1 and from video camera 2, adaptive search and refinement of perspective projection parameters using iterative mathematics algorithm, determining the position and speed of the vehicle from the magnitude and offset of the coordinates of the distributor based on the obtained parameters of the perspective projection, periodically correcting the results taking into account the corrections of the parameters of the perspective projection obtained using the radar, approximating a smooth function of the sequence of values of the speed of the vehicle obtained during the time the vehicle was in the scope of the video camera, as well as due to the constant assessment during measurement of the magnitude of the error and automatic inclusion, if necessary Adar for re autocalibration.

Таким образом, заявленная группа изобретений, включающая способ определения положения и скорости движения транспортного средства на дороге и комплекс для его осуществления, позволяет получить технический результат, заключающийся в повышении точности и достоверности измерений и упрощении процесса калибровки комплекса при измерении скорости ТС. Технический результат достигается за счет того, что калибровка предложенного метода измерения производится в полностью автоматическом режиме на основе данных от радара и от видеокамеры. Калибровка обеспечивает автоматическое определение параметров перспективной проекции для последующего измерения скорости и положения ТС только по его изображению на видеокамере без использования радара.Thus, the claimed group of inventions, including a method for determining the position and speed of a vehicle on the road and a complex for its implementation, allows to obtain a technical result, which consists in increasing the accuracy and reliability of measurements and simplifying the process of calibrating the complex when measuring vehicle speed. The technical result is achieved due to the fact that the calibration of the proposed measurement method is performed in a fully automatic mode based on data from the radar and from the video camera. Calibration provides automatic determination of perspective projection parameters for subsequent measurement of vehicle speed and position only from its image on a video camera without using a radar.

Claims (10)

1. Способ определения положения и скорости движения транспортного средства (ТС) на дороге, в котором:
- получают посредством видеокамеры видеокадры с изображением пластины государственного регистрационного знака (ГРЗ) ТС при перемещении его в зоне контроля видеокамеры,
- определяют координаты точек углов пластины ГРЗ в системе координат светочувствительной матрицы,
- преобразуют координаты точек углов пластины ГРЗ из системы координат светочувствительной матрицы в систему координат дороги с учетом параметров расположения видеокамеры относительно плоскости дороги,
- производят привязку координатной сетки в плоскости дороги к координатной сетке в плоскости светочувствительной матрицы,
- распознают символы и формат ГРЗ посредством оптического распознавания символов,
- определяют координаты углов и центра ГРЗ на изображении,
- на основании полученных координат ГРЗ на матрице видеокамеры восстанавливают координаты ТС на дороге в заданные моменты времени, используя привязку координатных сеток,
- по смещению координат ТС рассчитывают скорость движения ТС,
- корректируют скорость движения ТС с учетом особенностей размещения ГРЗ, отличающийся тем, что
- получают с радара данные о положении ТС на дороге,
- на этапе осуществления привязки координатной сетки в плоскости дороги к координатной сетке в плоскости светочувствительной матрицы производят определение параметров перспективной проекции с использованием данных о положении и скорости ТС, полученных одновременно от радара и от видеокамеры,
- на основании полученных параметров перспективной проекции определяют скорость ТС по смещению координат ГРЗ.1. The method of determining the position and speed of the vehicle (TS) on the road, in which:
- receive by means of a video camera a video frame with an image of a plate of the state registration plate (GRZ) of the vehicle when moving it in the control zone of the video camera,
- determine the coordinates of the points of the angles of the plate GRZ in the coordinate system of the photosensitive matrix,
- convert the coordinates of the points of the angles of the plate GRZ from the coordinate system of the photosensitive matrix in the coordinate system of the road, taking into account the parameters of the location of the camera relative to the plane of the road,
- make the reference grid in the plane of the road to the grid in the plane of the photosensitive matrix,
- recognize characters and format GRZ through optical character recognition,
- determine the coordinates of the angles and the center of the GRZ in the image,
- based on the obtained coordinates of the GRZ on the matrix of the video camera, the coordinates of the vehicle on the road are restored at predetermined points in time, using the coordinate grid snap,
- the displacement of the coordinates of the vehicle calculate the speed of the vehicle,
- adjust the speed of the vehicle, taking into account the features of the placement of GRZ, characterized in that
- receive data from the radar on the position of the vehicle on the road,
- at the stage of linking the coordinate grid in the plane of the road to the coordinate grid in the plane of the photosensitive matrix, the parameters of the perspective projection are determined using data on the position and speed of the vehicle obtained simultaneously from the radar and from the video camera,
- based on the obtained parameters of the perspective projection, the vehicle speed is determined by the displacement of the coordinates of the GRZ. 2. Способ по п.1, отличающийся тем, что уточняют параметры перспективной проекции с помощью итеративного математического алгоритма с адаптивным поиском указанных параметров.2. The method according to claim 1, characterized in that the parameters of the perspective projection are refined using an iterative mathematical algorithm with an adaptive search for the specified parameters. 3. Способ по п.1, отличающийся тем, что периодически корректируют полученные результаты измерения скорости движения ТС с учетом поправок параметров перспективной проекции, полученных с помощью радара.3. The method according to claim 1, characterized in that periodically correct the obtained results of measuring the vehicle speed, taking into account the corrections of the parameters of the perspective projection obtained using the radar. 3. Способ по п.1, отличающийся тем, что аппроксимируют последовательность значений скорости ТС в период нахождения ТС в области видимости камеры гладкой функцией.3. The method according to claim 1, characterized in that the sequence of values of the vehicle speed is approximated while the vehicle is in the camera visibility with a smooth function. 4. Способ по п.1, отличающийся тем, что в процессе измерений постоянно оценивают величину погрешности, автоматически включая радар для дополнительного уточнения параметров перспективной проекции.4. The method according to claim 1, characterized in that during the measurement process, the error value is constantly evaluated, automatically turning on the radar to further refine the parameters of the perspective projection. 5. Комплекс для определения положения и скорости движения ТС на дороге, содержащий взаимосвязанные между собой видеокамеру, радар и блок управления и обработки данных, отличающийся тем, что блок управления и обработки данных выполнен с возможностью осуществления привязки координатной сетки в плоскости дороги к координатной сетке в плоскости светочувствительной матрицы посредством определения параметров перспективной проекции с использованием данных о положении и скорости ТС, полученных одновременно от радара и от видеокамеры.5. The complex for determining the position and speed of the vehicle on the road, containing interconnected video camera, radar and control unit and data processing, characterized in that the control unit and data processing is configured to bind the coordinate grid in the plane of the road to the coordinate grid in the plane of the photosensitive matrix by determining the parameters of the perspective projection using data on the position and speed of the vehicle, obtained simultaneously from the radar and from the video camera. 6. Комплекс по п.5, отличающийся тем, что радар выполнен с возможностью одновременного измерения скорости, дальности и азимута транспортного средства.6. The complex according to claim 5, characterized in that the radar is configured to simultaneously measure the speed, range and azimuth of the vehicle. 7. Комплекс по п.5, отличающийся тем, что радар содержит передатчик, по меньшей мере, два приемника и модуль цифровой обработки сигналов,7. The complex according to claim 5, characterized in that the radar comprises a transmitter, at least two receivers and a digital signal processing module, 8. Комплекс по п.5, отличающийся тем, что радар выполнен в виде легкосъемной конструкции с возможностью оперативного отсоединения его от комплекса8. The complex according to claim 5, characterized in that the radar is made in the form of an easily removable structure with the ability to quickly disconnect it from the complex 9. Комплекс по п.5, отличающийся тем, что поле зрения видеокамеры согласовано с зоной обзора радара. 9. The complex according to claim 5, characterized in that the field of view of the camera is consistent with the radar viewing area.

Images