RU2747041C1 - Method for measuring movement speed of extended objects - Google Patents
Method for measuring movement speed of extended objects Download PDFInfo
- Publication number
- RU2747041C1 RU2747041C1 RU2020122948A RU2020122948A RU2747041C1 RU 2747041 C1 RU2747041 C1 RU 2747041C1 RU 2020122948 A RU2020122948 A RU 2020122948A RU 2020122948 A RU2020122948 A RU 2020122948A RU 2747041 C1 RU2747041 C1 RU 2747041C1
- Authority
- RU
- Russia
- Prior art keywords
- area
- image
- histogram
- rectangular area
- frame
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000005855 radiation Effects 0.000 claims abstract description 4
- 238000006073 displacement reaction Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 abstract description 6
- 239000000126 substance Substances 0.000 abstract 1
- 238000005259 measurement Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 5
- ZPUCINDJVBIVPJ-LJISPDSOSA-N ***e Chemical compound O([C@H]1C[C@@H]2CC[C@@H](N2C)[C@H]1C(=O)OC)C(=O)C1=CC=CC=C1 ZPUCINDJVBIVPJ-LJISPDSOSA-N 0.000 description 4
- 238000009499 grossing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000003121 nonmonotonic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
- G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- Power Engineering (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
Изобретение относится к области цифровой измерительной техники.The invention relates to the field of digital measuring technology.
Известны способ и устройство [1] для измерения скорости движения протяженных объектов. В основе одного из способов и реализованного на его основе устройства лежит непрерывное излучение СВЧ-сигнала, прием отраженного от объекта сигнала и его последующая обработка после гомодинного преобразования. Затем осуществляется обработка выборок сигнала с помощью дискретного преобразования Фурье с использованием алгоритма Герцеля, при этом в промежутках между выборками определяют значение промежуточного преобразования выборки сигнала, основная часть вычислений производится в промежутках между выборками, применяют весовую обработку входных данных, суммирование входных данных с наложением во времени, дискретное преобразование Фурье.The known method and device [1] for measuring the speed of movement of extended objects. One of the methods and the device implemented on its basis is based on continuous emission of a microwave signal, reception of the signal reflected from the object and its subsequent processing after homodyne conversion. Then the signal samples are processed using the discrete Fourier transform using the Goertzel algorithm, while in the intervals between the samples the value of the intermediate transformation of the signal sample is determined, the main part of the calculations is performed in the intervals between samples, the input data is weighted, the input data is summed with superposition in time , discrete Fourier transform.
Недостатком является низкая функциональная возможность, поскольку измеритель обязательно должен устанавливаться вдоль оси движения объекта и при наличии многих объектов необходимо использовать много измерителей.The disadvantage is low functionality, since the meter must be installed along the axis of movement of the object and in the presence of many objects, it is necessary to use many meters.
Так же известен способ [2] осуществления в реальном масштабе времени идентификации и локализации зоны с относительным перемещением в сцене, наблюдаемой системой наблюдения с выходным сигналом, состоящим из цифрового видеосигнала, содержащего последовательность соответствующих кадров, каждый из которых состоит из последовательности строк, каждая из которых состоит из последовательности элементов изображения, и для определения скорости и ориентированного направления перемещения, производится выполнение следующей последовательности операций над цифровым выходным видеосигналом: обработку сглаживания указанного цифрового выходного видеосигнала с использованием цифровой постоянной времени, численное значение которой может изменяться независимо для каждого элемента изображения выходного сигнала, запоминание, с одной стороны, кадра выходного сигнала после сглаживания и, с другой стороны, постоянной времени сглаживания, связанной с указанным кадром, временную обработку для каждого положения элемента изображения, заключающуюся в определении, во-первых, наличия и, во-вторых, амплитуды значимого изменения в амплитуде сигнала элемента изображения между текущим кадром и непосредственно предыдущим сглаженным и запомненным кадром, и в генерировании двух цифровых сигналов, при этом первый сигнал является двоичным, или однобитовым, сигналом с двумя возможными значениями, одно из которых представляет наличие, а другое представляет отсутствие значимого изменения между двумя последовательными кадрами, причем значение указанного двоичного сигнала изменяет запомненное значение указанной постоянной времени, чтобы уменьшить его, если указанный сигнал представляет значимое изменение, и чтобы увеличить его, если указанный сигнал не представляет такого изменения, при этом уменьшение или увеличение осуществляются количественно, тогда как второй цифровой сигнал, т.е. сигнал амплитуды, является многобитовым сигналом с ограниченным числом битов, количественно определяющих амплитуду этого изменения, и пространственную обработку, состоящую из следующих этапов для каждого кадра цифрового выходного видеосигнала: распределяют только значения части элементов изображения в кадре в заданный момент наблюдения (части, которую сканируют по матрице в течение длительности кадра), во-первых, указанного двоичного сигнала, а во-вторых, указанного цифрового сигнала амплитуды, в матрицу с числом рядов и столбцов, которое мало по сравнению с числом строк и числом элементов изображения в строке в видеосигнале, соответственно, чтобы охарактеризовать значения элементов изображения, определяют в этом двойном мгновенном матричном представлении конкретную зону, в которой указанный двоичный сигнал имеет искомое значение, представляющее наличие или отсутствие значимого изменения, а указанный цифровой сигнал амплитуды изменяется или не изменяется на значимую величину для соседних элементов изображения в матрице вдоль ориентированного направления, начиная с исходного элемента изображения, в той же самой части кадра, и поэтому в тот же самый момент наблюдения, и генерируют сигналы, представляющие наличие и локализацию зоны с относительным перемещением и относительную межкадровую скорость и ориентированное направление этого перемещения, если оно есть, относительно окружающей ее среды, исходя из мгновенного матричного распределения упомянутых двух цифровых сигналов - двоичного сигнала и сигнала амплитуды.There is also a known method [2] for real-time identification and localization of a zone with relative movement in a scene observed by an observation system with an output signal consisting of a digital video signal containing a sequence of corresponding frames, each of which consists of a sequence of lines, each of which consists of a sequence of picture elements, and to determine the speed and direction of movement, the following sequence of operations is performed on the digital output video signal: smoothing processing of the specified digital output video signal using a digital time constant, the numerical value of which can be changed independently for each picture element of the output signal, storing, on the one hand, the frame of the output signal after smoothing and, on the other hand, the smoothing time constant associated with the specified frame, time processing for each position of the element image change, which consists in determining, firstly, the presence and, secondly, the amplitude of a significant change in the amplitude of the picture element signal between the current frame and the immediately previous smoothed and stored frame, and in generating two digital signals, the first signal being binary , or a one-bit signal with two possible values, one of which represents the presence, and the other represents the absence of a significant change between two successive frames, and the value of the specified binary signal changes the stored value of the specified time constant to decrease it if the specified signal represents a significant change, and to increase it if said signal does not represent such a change, the decrease or increase being carried out quantitatively, while the second digital signal, i. e. amplitude signal, is a multi-bit signal with a limited number of bits that quantify the amplitude of this change, and spatial processing, consisting of the following steps for each frame of the digital output video signal: only the values of a part of the image elements in the frame at a given moment of observation (the part that is scanned over matrix during the duration of the frame), firstly, the specified binary signal, and secondly, the specified digital amplitude signal, into a matrix with the number of rows and columns, which is small compared to the number of rows and the number of image elements in a row in a video signal, respectively to characterize the pixel values, define in this double instantaneous matrix representation a specific area in which the specified binary signal has the desired value, representing the presence or absence of a significant change, and the specified digital amplitude signal changes or does not change by a significant amount for the adjacent their picture elements in the matrix along the oriented direction, starting from the original picture element, in the same part of the frame, and therefore at the same moment of observation, and generate signals representing the presence and localization of the zone with relative movement and the relative interframe velocity and the oriented direction this movement, if any, relative to its environment, based on the instantaneous matrix distribution of the two digital signals - a binary signal and an amplitude signal.
Недостатком данного способа является высокая погрешность измерения параметров подвижного протяженного объекта, обусловленная вибрацией видеокамеры, вызванной движением объекта.The disadvantage of this method is the high measurement error of the parameters of a movable extended object, due to the vibration of the video camera caused by the movement of the object.
Так же известен способ [3,4] измерения параметров движения протяженных объектов, который включает в себя пороговую обработку текущего и предыдущего кадров, а так же нахождение разности между уровнями яркости соответствующих пикселей каждого из кадров, после чего выявляются области с наибольшей яркостью, которые несут информацию о смещении протяженного объекта. Среди таких областей выбирается область, произведение высоты и шириной которой наибольшая. По ширине выбранной области вычисляется смещение протяженного объекта за время смены кадров.There is also a known method [3,4] for measuring the parameters of motion of extended objects, which includes threshold processing of the current and previous frames, as well as finding the difference between the brightness levels of the corresponding pixels of each of the frames, after which the areas with the highest brightness that carry information about the displacement of an extended object. Among such areas, the area is selected, the product of the height and width of which is the largest. Based on the width of the selected area, the displacement of the extended object is calculated during the frame change.
Недостатком данного способа является низкая производительность вычислений за счет обработки всего кадра и высокая погрешность измерения параметров протяженного подвижного объекта, обусловленная вибрацией видеокамеры, вызванной движущимся объектом измерения.The disadvantage of this method is the low computing performance due to the processing of the entire frame and the high measurement error of the parameters of an extended moving object, caused by the vibration of the video camera caused by the moving object of measurement.
Так же известен способ [5] измерения параметров движения протяженного объекта со случайным распределением яркостей, основанный на проецировании его изображения на экран приемника излучения, выделении в изображении прямоугольной области и преобразовании элементов изображения в электрические сигналы, пропорциональные яркости изображений в выделенной области, дополнительном выделении второй прямоугольной области, границы которой ориентированы параллельно границам первой области, и получении в каждой из выделенных областей сигналов, пропорциональных средним значениям яркости.There is also a known method [5] for measuring the parameters of motion of an extended object with a random distribution of brightness, based on projecting its image onto the screen of the radiation receiver, selecting a rectangular area in the image and converting image elements into electrical signals proportional to the brightness of the images in the selected area, additional highlighting the second a rectangular area, the boundaries of which are oriented parallel to the boundaries of the first area, and receiving in each of the selected areas signals proportional to the average brightness values.
Недостатком данного способа является высокая погрешность измерения, обусловленная вибрацией камеры, вызванной движением объекта. The disadvantage of this method is the high measurement error due to camera vibration caused by the movement of the object.
Наиболее близким по технической сущности к предлагаемому способу является способ [6] измерения скорости движения протяженного объекта, основанный на проецировании его изображения на экран приемника излучения (видеокамеры) и преобразовании элементов изображения в электрические сигналы, когда на текущем кадре выделяется прямоугольная область, для которой рассчитывается гистограмма, получаемая путем суммирования уровней яркости пикселей каждого столбца шириной в один пиксель, на последующем кадре выделяется полоса, верхняя и нижняя граница которой соответствует выделенной прямоугольной области текущего кадра с аналогичными координатами верхней и нижней границы, для выделенной полосы также рассчитывается гистограмма, далее внутри выделенной полосы производится поиск правдоподобной эквивалентной прямоугольной области по значению наименьшей суммы квадратов разности между соответствующими элементами гистограмм выделенной прямоугольной области текущего кадра и последовательно анализируемых аналогичных областей выделенной полосы последующего кадра, элементы гистограмм представляют собой совокупность столбцов шириной в один пиксель, после чего строится расширенная прямоугольная область вокруг правдоподобной эквивалентной прямоугольной области, в ней выделяется массив аналогичных областей, для которых производится сравнение гистограммы выделенной прямоугольной области текущего кадра и гистограмм аналогичных прямоугольных областей, эквивалентных по размеру выделенной прямоугольной области, если среди эквивалентных прямоугольных областей расширенной прямоугольной области найдена такая прямоугольная область, величина сравнения элементов гистограммы которой меньше результата сравнения гистограммы правдоподобной эквивалентной области, то такая область в свою очередь будет считаться правдоподобной эквивалентной областью, для нее производится новый аналогичный цикл сравнения до тех пор, пока в последующем цикле результаты сравнения не будут иметь худшее совпадение, нежели чем в предыдущем цикле, после чего производится расчет смещения выделенной прямоугольной области относительно эквивалентной правдоподобной области, что соответствует значению смещения изображения протяженного объекта за период следования кадров, найденное значение смещения используется для расчета скорости движения протяженного объекта. The closest in technical essence to the proposed method is the method [6] for measuring the speed of movement of an extended object, based on projecting its image onto the screen of a radiation receiver (video camera) and converting image elements into electrical signals, when a rectangular area is selected on the current frame, for which a histogram obtained by summing the brightness levels of the pixels of each column with a width of one pixel, on the next frame a strip is allocated, the upper and lower boundaries of which correspond to the selected rectangular area of the current frame with the same coordinates of the upper and lower boundaries, a histogram is also calculated for the selected strip, then inside the selected stripes, a plausible equivalent rectangular area is searched for by the value of the smallest sum of squares of the difference between the corresponding elements of the histograms of the selected rectangular area of the current frame and the sequentially analyzed ana logical areas of the selected strip of the next frame, the histogram elements are a set of columns one pixel wide, after which an extended rectangular area is built around a plausible equivalent rectangular area, an array of similar areas is allocated in it, for which the histogram of the selected rectangular area of the current frame is compared with similar histograms rectangular areas equivalent in size to the selected rectangular area, if among the equivalent rectangular areas of the extended rectangular area such a rectangular area is found whose value of comparison of histogram elements is less than the result of comparing the histogram of a plausible equivalent area, then such an area, in turn, will be considered a plausible equivalent area, for it a new analogous comparison cycle is performed until in the subsequent cycle the comparison results have a worse match than in the previous in the next cycle, after which the displacement of the selected rectangular area relative to the equivalent plausible area is calculated, which corresponds to the value of the image displacement of the extended object over the frame period, the found displacement value is used to calculate the speed of the extended object.
Недостатком данного способа является высокая погрешность измерения при наличии внешних помех (дождь, град, снег, метель), что обусловлено низкой информативностью гистограммы выделенной для анализа прямоугольной области вследствие монотонности изображения анализируемой области. В то же время, соседние области изображения объекта могут быть более информативными и обеспечивать более высокую точность измерения. The disadvantage of this method is a high measurement error in the presence of external interference (rain, hail, snow, blizzard), which is due to the low information content of the histogram of the rectangular area selected for analysis due to the monotony of the image of the analyzed area. At the same time, adjacent areas of the object image can be more informative and provide higher measurement accuracy.
В основу предлагаемого изобретения поставлена задача повышения точности измерения скорости движения протяженного объекта при наличии внешних помех (дождь, град, снег, метель), и пониженной информативности анализируемой области изображения протяженного объекта вследствие монотонности изображения, за счет предварительной обработки нескольких анализируемых областей изображения и выборе наиболее информативной области.The basis of the proposed invention is the task of improving the accuracy of measuring the speed of movement of an extended object in the presence of external interference (rain, hail, snow, blizzard), and a reduced information content of the analyzed area of the image of an extended object due to the monotony of the image, due to preliminary processing of several analyzed image areas and the selection of the most informative area.
Оптическая ось видеокамеры устанавливается перпендикулярно направлению движения объекта. Направление движения объекта, его начало, положение изображения объекта на кадре видеокамеры – известны. Предлагаемый способ предусматривает измерение скорости движения протяженного объекта в реальном масштабе времени. The optical axis of the video camera is set perpendicular to the direction of movement of the object. The direction of movement of the object, its beginning, the position of the image of the object on the frame of the video camera are known. The proposed method provides for measuring the speed of movement of an extended object in real time.
Суть измерения скорости движения протяженного объекта сводится к следующему. За период следования кадров τ протяженный объект перемещается на расстояние S, а видеоизображение объекта смещается на Δs. При известном расстоянии до объекта, перемещение объекта будет:The essence of measuring the speed of movement of an extended object is as follows. During the period of the following frames τ, the extended object moves by a distance S, and the video image of the object is shifted by Δs. With a known distance to the object, the movement of the object will be:
S = K·Δs, (1) S = K Δs, (1)
где K – постоянный коэффициент.where K is a constant coefficient.
По известному смещению видеоизбражения Δs можно однозначно определить перемещение S объекта, поскольку коэффициент K будет постоянным для заданной трассы движения объекта при известном расстоянии от видеокамеры до объекта. Скорость движения объекта составит:From the known displacement of the video image Δs, it is possible to unambiguously determine the displacement S of the object, since the coefficient K will be constant for a given route of the object's movement at a known distance from the video camera to the object. The speed of the object will be:
V = S/τ (2) V = S / τ (2)
Измерение скорости движения объекта сводится к измерению смещения Δs видеоизображения за известное время следования кадров τ. Measurement of the speed of the object is reduced to measuring the displacement Δs of the video image for a known frame repetition time τ.
Для определения величины смещения Δs изображения протяженного объекта, например, железнодорожного вагона или другого подвижного объекта, за известное время τ следования кадров видеокамеры, на текущем i-ом кадре выделяется горизонтальная полоса по всей длине кадра, с количеством Х пикселей по длине кадра и высотой n пикселей (фиг. 1).To determine the value of the displacement Δs of the image of an extended object, for example, a railway carriage or other moving object, for a known repetition time τ of video camera frames, on the current i-th frame, a horizontal strip is allocated along the entire length of the frame, with the number of X pixels along the length of the frame and height n pixels (Fig. 1).
В этой горизонтальной полосе выделяется прямоугольная область, размер которой составляет m×n, где n – высота прямоугольной области в пикселях, m – длина в пикселях (фиг. 2).In this horizontal stripe, a rectangular area is allocated, the size of which is m × n, where n is the height of the rectangular area in pixels, m is the length in pixels (Fig. 2).
Для выделенной полосы и области m×n рассчитывается гистограмма, получаемая путем суммирования уровней яркости пикселей каждого столбца шириной в один пиксель. Фиг. 3 отображает гистограмму выделенной области m×n на участке полосы примерно от 70 до 120 пикселей For the selected strip and the m × n area, a histogram is calculated, which is obtained by summing the brightness levels of the pixels of each column with a width of one pixel. FIG. 3 displays the histogram of the selected area m × n in the strip section from about 70 to 120 pixels
На последующем i+1 кадре (фиг. 4) вновь выделяется полоса, верхняя и нижняя границы которой соответствуют выделенной прямоугольной области i-ого кадра с аналогичными координатами верхней и нижней границы, то есть выделяется горизонтальная полоса по всей длине кадра, с количеством Х пикселей по длине кадра, и высотой n пикселей.On the next i + 1 frame (Fig. 4), a strip is again allocated, the upper and lower boundaries of which correspond to the selected rectangular region of the i-th frame with the same coordinates of the upper and lower boundaries, that is, a horizontal strip is allocated along the entire length of the frame, with the number of X pixels along the length of the frame, and a height of n pixels.
По всей длине выделенной полосы кадра i+1 также рассчитывается гистограмма суммирования уровней яркости пикселей каждого столбца шириной в один пиксель и высотой в m пикселей (фиг. 5). Along the entire length of the selected strip of frame i + 1, a histogram of summing the brightness levels of pixels of each column with a width of one pixel and a height of m pixels is also calculated (Fig. 5).
Внутри выделенной полосы формируется массив X-m+1 прямоугольных областей шириной m пикселей последующего i+1 кадра, каждая область массива смещена относительно друг друга на один пиксель вправо (фиг. 6).Inside the selected strip, an array of X-m + 1 rectangular areas with a width of m pixels of the next i + 1 frame is formed, each area of the array is shifted relative to each other by one pixel to the right (Fig. 6).
Далее производится поиск правдоподобной прямоугольной области по значению наименьшей суммы квадратов разности между соответствующими элементами гистограмм выделенной прямоугольной области текущего i-го кадра (фиг. 2) и последовательно анализируемыми областями выделенной полосы последующего i+1 кадра (фиг. 4, 6).Next, a search is made for a plausible rectangular area by the value of the smallest sum of squares of the difference between the corresponding elements of the histograms of the selected rectangular area of the current i-th frame (Fig. 2) and the sequentially analyzed areas of the selected strip of the next i + 1 frame (Figs. 4, 6).
где Q (q) – сумма квадратов разности между соответствующими элементами гистограмм выделенной прямоугольной области текущего i-го кадра и последовательно анализируемыми областями выделенной полосы последующего i+1 кадра.where Q (q) is the sum of the squares of the difference between the corresponding elements of the histograms of the selected rectangular area of the current i-th frame and the sequentially analyzed areas of the selected strip of the next i + 1 frame.
q –это номер анализируемой прямоугольной области. Номер q соответствует смещению прямоугольной области на (i+1)-ом кадре вдоль оси x относительно прямоугольной области на i-ом кадре (фиг. 7).q is the number of the analyzed rectangular area. The q number corresponds to the displacement of the rectangular area in the (i + 1) th frame along the x axis relative to the rectangular area in the i-th frame (Fig. 7).
d – это номер столбца прямоугольной области (номер элемента в гистограмме);d is the number of the column of the rectangular area (the number of the element in the histogram);
wi(d) – сумма уровней яркости столбца d прямоугольной области i-ого кадра (значение гистограммы для элемента с номером d).w i (d) - the sum of the brightness levels of the column d of the rectangular area of the i-th frame (the value of the histogram for the element with number d).
Минимальное значение Q(q) соответствует прямоугольной области, которая по своим характеристикам наиболее подобна выделенной прямоугольной области на текущем i-м кадре. Такая прямоугольная область названа правдоподобной прямоугольной областью. Гистограмма правдоподобной прямоугольной области выделена на фиг. 5 вертикальными пунктирными линиями.The minimum value of Q (q) corresponds to a rectangular area, which in its characteristics is most similar to the selected rectangular area in the current i-th frame. Such a rectangular area is called a plausible rectangular area. The histogram of the plausible rectangular area is highlighted in FIG. 5 vertical dashed lines.
На фиг. 8 представлен график Q(q) для гистограмм i-го кадра и
кадра i+1. Минимальное различие гистограммы i-го кадра и последовательно смещаемой гистограммы i+1 кадра соответствует искомому смещению Δs, т.е. наиболее точному совпадению сравниваемых гистограмм, при котором Q(q) будет минимально.FIG. 8 shows the graph Q (q) for the histograms of the i-th frame and
frame i + 1. The minimum difference between the histogram of the i-th frame and the consecutively shifted histogram of the i + 1 frame corresponds to the desired displacement Δs, i.e. the most accurate match of the compared histograms, at which Q (q) will be minimal.
Таким образом, существует смещение (Δs) гистограмм текущего и последующего кадров относительно друг друга, когда различие гистограмм выделенной области текущего и прямоугольной области последующего кадров будет минимальным. Это значение соответствует относительному смещению Δs и будет характеризовать скорость движения объекта.Thus, there is a displacement (Δs) of the histograms of the current and subsequent frames relative to each other, when the difference between the histograms of the selected area of the current and the rectangular area of the subsequent frames will be minimal. This value corresponds to the relative displacement Δs and will characterize the speed of the object.
Из рис. 7 следует, что смещение Δs составляет 12 пикселей. Fig. 7 it follows that the displacement Δs is 12 pixels.
Современные цифровые видеокамеры характеризуются высоким разрешением съемки изображений, поэтому оценка смещения с точностью до одного пикселя в большинстве случаев является достаточной для измерения скорости движения.Modern digital video cameras are characterized by a high resolution of image capture, therefore, an estimate of the displacement with an accuracy of one pixel is in most cases sufficient to measure the speed of movement.
Однако на некоторых участках изображения ряда объектов, например, протяженного объекта, показанного на фиг. 9, изображение является монотонным. Для таких участков изображения трудно или вовсе нельзя выявить различие между гистограммами яркости текущего и последующего кадров, т.е. нельзя произвести измерение смещения изображения за период следования кадров с точностью до одного пикселя. However, in some areas of the image of a number of objects, for example, the elongated object shown in FIG. 9, the image is monotonous. For such areas of the image, it is difficult or impossible to reveal the difference between the brightness histograms of the current and subsequent frames, i.e. it is impossible to measure the displacement of the image for the period of successive frames with an accuracy of one pixel.
На фиг. 10 приведен пример рассчитанной гистограммы выделенной полосы изображения объекта фиг. 9.FIG. 10 shows an example of the calculated histogram of the selected strip of the image of the object of FIG. nine.
Из приведенного примера (фиг. 10) видно, что на участке от 80 пикселей до 160 пикселей по горизонтали гистограмма монотонная, что обусловлено монотонностью участка изображения объекта фиг. 9. Поэтому из-за мелких флуктуаций гистограммы на этом участке, обусловленных влиянием помех (снег), погрешность может быть чрезмерно большой. Поэтому, если анализируемая область будет выбрана на участке 80 – 160 пикселей, то точное определение смещения объекта в условиях воздействия помех не возможно.From the given example (Fig. 10) it can be seen that in the area from 80 pixels to 160 pixels horizontally, the histogram is monotonic, which is due to the monotony of the area of the object image in Fig. 9. Therefore, due to small fluctuations of the histogram in this area, due to the influence of noise (snow), the error may be excessively large. Therefore, if the analyzed area is selected in the area of 80 - 160 pixels, then the exact definition of the displacement of the object under the influence of interference is not possible.
На фиг. 11-16 приведены примеры определения смещения Δs объекта фиг. 9 за период следования кадров τ при использовании разных участков гистограммы фиг. 10, соответствующих разным областям изображения объекта с монотонным и не монотонным характером анализируемой области.FIG. 11-16 show examples of determining the displacement Δs of the object of FIG. 9 for the period of the following frames τ when using different sections of the histogram of FIG. 10, corresponding to different areas of the object image with a monotonic and non-monotonic character of the analyzed area.
На фиг. 11 представлен i-ый кадр изображения, где не удачно выбрана область с монотонным изображением. FIG. 11 shows the i-th image frame, where the area with a monotone image is not well selected.
На фиг. 12 представлены гистограммы выделенной области i-ого и (i+1) кадра изображения с указанием смещения Δs. FIG. 12 shows histograms of the selected area of the i-th and (i + 1) image frame with indication of the displacement Δs.
Как можно видно из гистограмм смещение между кадрами равняется приблизительно 7 пикселям. Значение Δs было определено с помощью графика Q(q) (фиг. 13). График Q(q) принимает минимальное значение при q = 7, что и соответствует смещению Δs = 7 пикселям.As you can see from the histograms, the offset between frames is approximately 7 pixels. The Δs value was determined using the Q (q) graph (Fig. 13). The Q (q) graph takes a minimum value at q = 7, which corresponds to the displacement Δs = 7 pixels.
На графике зависимости Q(q) минимальное значение плохо идентифицируется и даже при незначительных помехах минимум может сильно смещаться от истинного значения.On the Q (q) plot, the minimum value is poorly identified and even with insignificant interference, the minimum can strongly shift from the true value.
На фиг. 14 представлен i-ый кадр изображения, где удачно выбрана область с немонотонным изображением. FIG. 14 shows the i-th image frame, where the area with a non-monotone image is successfully selected.
На фиг. 15 представлены гистограммы выделенной области i-ого и (i+1) кадра изображения с указанием смещения Δs. Как можно видно из гистограмм смещение между кадрами равняется приблизительно 13 пикселям, а не 7, как было определено ранее для другой области. FIG. 15 shows histograms of the selected area of the i-th and (i + 1) image frame with indication of the displacement Δs. As you can see from the histograms, the offset between frames is approximately 13 pixels, and not 7, as was previously determined for another area.
Значение Δs было определено с помощью графика Q(q) (фиг. 16). График Q(q) принимает минимальное значение при q = 13, что и соответствует смещению Δs = 13 пикселям, в то время как на фиг.13 минимальное значение Q(q) принимает при q = 7 пикселям, что обусловлено внешними помехами (снегопадом) при низкой информативности области анализа.The Δs value was determined using the Q (q) graph (Fig. 16). The graph Q (q) takes a minimum value at q = 13, which corresponds to the displacement Δs = 13 pixels, while in Fig. 13 the minimum value of Q (q) takes at q = 7 pixels, which is due to external interference (snowfall) with low information content of the area of analysis.
На графике зависимости Q(q) фиг. 13 минимальное значение плохо идентифицируется и даже при незначительных помехах минимум может сильно смещаться от истинного значения. The Q (q) plot in FIG. 13, the minimum value is poorly identified and even with insignificant interference, the minimum can greatly shift from the true value.
На графике зависимости Q(q) фиг. 16 минимальное значение идентифицируется однозначно и помехи не влияют на результат оценки смещения Δs.The Q (q) plot in FIG. 16, the minimum value is uniquely identified and the interference does not affect the estimate of the displacement Δs.
Для повышения точности измерения смещения Δs за время следования кадров τ на видеоизображении объекта предложено выделить несколько областей (фиг. 17), для которых на дополнительно введенном предварительном этапе способа последовательно рассчитываются гистограммы уровней яркости и производится определение дисперсии гистограмм, область с наибольшей дисперсией гистограммы уровней яркости используется для измерения величины смещения изображения объекта за период следования кадров и расчета скорости движения протяженного объекта, как в прототипе [6].To improve the accuracy of measuring the displacement Δs during the repetition of frames τ on the video image of the object, it was proposed to select several regions (Fig. 17), for which, at an additionally introduced preliminary stage of the method, the histograms of the brightness levels are sequentially calculated and the variance of the histograms is determined, the region with the greatest variance of the histogram is used to measure the magnitude of the displacement of the image of the object during the period of the following frames and to calculate the speed of movement of the extended object, as in the prototype [6].
Введение дополнительного этапа выбора области (по сравнению с прототипом [6]) незначительно увеличивает время обработки, и удовлетворяет условиям работы в режиме реального времени. The introduction of an additional stage of the area selection (in comparison with the prototype [6]) slightly increases the processing time, and satisfies the conditions of work in real time.
Дополнительный этап занимает приблизительно 1-2% процессорного времени от общей процедуры оценки смещения. The additional step takes approximately 1-2% of the CPU time of the overall bias estimation procedure.
Для анализируемых областей (1-12) построены графики гистограмм уровней яркости и дисперсии уровней яркости, показанные на фиг. 18-29. Координата Х области изображения меняется от 1 до 50, что соответствует ширине области m = 50 пикселей. Из анализа представленных областей
(1-12) видно, что области с № 5 и 6 (фиг. 22, 23) соответствуют монотонным участкам изображения объекта, они характеризуются низким значением дисперсии (около 4000 условных единиц) и не могут использоваться для расчета смещения Δs. For the analyzed areas (1-12), graphs of histograms of brightness levels and variance of brightness levels shown in FIG. 18-29. The X coordinate of the image area varies from 1 to 50, which corresponds to the area width m = 50 pixels. From the analysis of the presented areas
(1-12) it can be seen that areas with no. 5 and 6 (Fig. 22, 23) correspond to monotonic areas of the object image, they are characterized by a low variance value (about 4000 arbitrary units) and cannot be used to calculate the displacement Δs.
Наибольшее значение дисперсии имеет участок №7 (примерно 510 000 условных единиц), приведенный на фиг. 24, он и будет использоваться для измерения величины смещения изображения объекта Δs за период следования кадров и расчета скорости движения протяженного объекта.The highest dispersion value is in the area No. 7 (approximately 510,000 conventional units), shown in FIG. 24, it will be used to measure the value of the displacement of the object image Δs over the frame repetition period and calculate the speed of movement of the extended object.
На фиг. 30 представлен алгоритм работы автоматизированной системы измерения параметров движения протяженного объекта на базе предлагаемого способа.FIG. 30 shows an algorithm for the operation of an automated system for measuring motion parameters of an extended object based on the proposed method.
На фиг. 31 представлен возможный интерфейс программного обеспечения для измерения параметров движения протяженного объекта.FIG. 31 shows a possible software interface for measuring motion parameters of an extended object.
Система включается в работу (блок № 2 на фиг. 30) после того, как объект войдет в зону контроля (блок № 1 на фиг. 30) и будет сформирован соответствующий сигнал управления существующей системой (например, АСУ сортировочной станции железнодорожного транспорта). The system is put into operation (block No. 2 in FIG. 30) after the object enters the control zone (block No. 1 in FIG. 30) and the corresponding control signal of the existing system (for example, the automatic control system of a railway marshalling yard) is generated.
Далее начинает производиться съемка видеокамерой (устройство регистрации) с последующей передачей данных по каналу связи на ЭВМ (блок № 4 на фиг. 30). Next, the shooting with a video camera (recording device) begins, followed by data transmission via a communication channel to a computer (block No. 4 in Fig. 30).
Принимая данные, вычислительная машина фиксирует информацию. Receiving data, the computer records the information.
Экспериментальные данные записываются в базу данных для последующего математического анализа с помощью разработанного прикладного программного обеспечения. Experimental data are recorded into a database for subsequent mathematical analysis using the developed application software.
Из сформированного массива изображений текущий i-ый кадр и последующий (i+1)-ый кадр записываются в память для последующего анализа (блок № 5 на фиг. 30).From the generated array of images, the current i-th frame and the next (i + 1) th frame are written into memory for subsequent analysis (block No. 5 in Fig. 30).
Далее на текущем кадре выделяются прямоугольные области размером m×n, где n – высота прямоугольной области в пикселях, m – длина в пикселях (фиг. 17). Для каждой области рассчитывается гистограмма по правилу: для каждого из m столбцов шириной в один пиксель производиться суммирование уровня яркости всех n пикселей (фиг. 18-29).Next, on the current frame, rectangular areas of size m × n are selected, where n is the height of the rectangular area in pixels, m is the length in pixels (Fig. 17). For each area, a histogram is calculated according to the rule: for each of the m columns with a width of one pixel, the brightness level of all n pixels is summed up (Figs. 18-29).
Далее проводиться расчет дисперсии гистограмм и запоминается номер k прямоугольной области, гистограмма которой имеет наибольшее значение дисперсии (блоки № 6-17 на фиг. 30).Next, the variance of the histograms is calculated and the number k of the rectangular area is stored, the histogram of which has the highest variance value (blocks No. 6-17 in Fig. 30).
На следующем кадре i+1 также выделяется горизонтальная полоса с координатами, соответствующими координатам k-ой прямоугольной области текущего i-го кадра (блок № 18 на фиг. 30). In the next frame i + 1, a horizontal stripe with coordinates corresponding to the coordinates of the k-th rectangular region of the current i-th frame is also allocated (block 18 in Fig. 30).
Для нее также производится расчет гистограммы по следующему правилу: по всей длине Х выделенной горизонтальной полосы для каждого столбца шириной в один пиксель производится суммирование уровня яркости всех n пикселей (фиг. 5, блок № 19 на фиг.30). For it, the histogram is also calculated according to the following rule: along the entire length X of the selected horizontal strip for each column with a width of one pixel, the brightness level of all n pixels is summed up (Fig. 5, block 19 in Fig. 30).
В рамках выделенной горизонтальной полосы на следующем кадре i+1 выделяются аналогичные по размеру прямоугольные области. Within the selected horizontal stripe on the next frame i + 1, rectangular areas of the same size are selected.
Набор этих областей образуют линейный массив q прямоугольных областей. Линейный массив состоит из q=Х-m+1 элементов (фиг. 6). The set of these regions form a linear array of q rectangular regions. Linear array consists of q = X-m + 1 elements (Fig. 6).
Для каждой аналогичной области выделяется соответствующий участок гистограммы, рассчитанной для выделенной горизонтальной полосы на следующем кадре i+1. For each similar area, a corresponding portion of the histogram calculated for the selected horizontal stripe on the next frame i + 1 is selected.
Сравнение k-ой прямоугольной области текущего i-го кадра и каждой аналогичной прямоугольной области горизонтальной полосы следующего i+1 кадра производится по следующему правилу: вычисляется сумма значений квадратов разности между элементами гистограммы k-ой прямоугольной области текущего i-го кадра и соответствующими элементами гистограммы аналогичной прямоугольной области горизонтальной полосы следующего i+1 кадра:Comparison of the k-th rectangular area of the current i-th frame and each similar rectangular area of the horizontal stripe of the next i + 1 frame is performed according to the following rule: the sum of the values of the squares of the difference between the elements of the histogram of the k-th rectangular area of the current i-th frame and the corresponding elements of the histogram is calculated a similar rectangular area of the horizontal stripe of the next i + 1 frame:
Минимальное значение массива Q(q) соответствует эквивалентной прямоугольной области. The minimum value of the array Q (q) corresponds to an equivalent rectangular area.
На фиг. 8 представлена график Q(q) для гистограмм i-го кадра и кадра i+1. Минимальное различие гистограммы i-го кадра и последовательно смещаемой гистограммы i+1 кадра соответствует искомому смещению Δs, т.е. наиболее точному совпадению сравниваемых гистограмм, при котором Q(q) будет минимально.FIG. 8 shows the Q (q) graph for the histograms of the i-th frame and the i + 1 frame. The minimum difference between the histogram of the i-th frame and the consecutively shifted histogram of the i + 1 frame corresponds to the desired displacement Δs, i.e. the most accurate match of the compared histograms, at which Q (q) will be minimal.
За период следования кадров τ объект перемещается по горизонтали на расстояние S, а соответствующее объекту изображение смещается на Δs пикселей (блок № 21, № 22 на фиг. 30). Расчет скорости проводится по формуле:During the period of the following frames τ, the object moves horizontally at a distance S, and the image corresponding to the object is displaced by Δs pixels (block No. 21, No. 22 in Fig. 30). The calculation of the speed is carried out according to the formula:
V = K·Δs /τ.V = K · Δs / τ.
После того, как объект перемещается за пределы зоны управления (блок № 23 на фиг. 30), происходит выключения видеокамеры (блок № 24, фиг. 30).After the object moves outside the control zone (block 23 in Fig. 30), the video camera is turned off (block 24, Fig. 30).
На основе предложенного способа была разработана и испытана автоматизированная система измерения скорости движения протяженных объектов. Испытания проводились на сортировочной станции Кинель Куйбышевской железной дороги при плохих погодных условиях – во время метели. Дополнительно введенный этап выбора области обеспечил корректное измерение скорости объекта в условиях помех, обусловленных плохими погодными условиями (во время метели) с требуемой точностью.On the basis of the proposed method, an automated system for measuring the speed of movement of extended objects was developed and tested. The tests were carried out at the Kinel marshalling yard of the Kuibyshev railway in bad weather conditions - during a blizzard. The additionally introduced stage of the area selection ensured the correct measurement of the object's speed in conditions of interference caused by bad weather conditions (during a blizzard) with the required accuracy.
Предложенный способ измерения скорости движения протяженных объектов является реализуемым, так как введение дополнительного этапа выбора области (по сравнению с прототипом [6]) незначительно увеличивает время обработки сигналов (на 1-2%) и удовлетворяет условиям работы в режиме реального времени. The proposed method for measuring the speed of movement of extended objects is realizable, since the introduction of an additional stage of selecting an area (in comparison with the prototype [6]) slightly increases the signal processing time (by 1-2%) and satisfies the conditions of real-time operation.
Интерфейс программы с реализованным способом представлен на фиг. 31.The program interface with the implemented method is shown in Fig. 31.
ЛИТЕРАТУРАLITERATURE
1. Патент №2229404, кл. B61 L17/00, 2004.1. Patent No. 2229404, cl. B61 L17 / 00, 2004.
2. Патент №2216780, кл. G 06 T7/20, 2003.2. Patent No. 2216780, cl. G 06 T7 / 20, 2003.
3. Васин Н.Н., Куринский В.Ю. Метод измерения скорости движения железнодорожных вагонов на сортировочной горке. // Инфокоммуникационные технологии, 2005. – Т3. – №1. – С. 40-44.3. Vasin N.N., Kurinsky V.Yu. A method for measuring the speed of movement of railway cars on a hump. // Infocommunication technologies, 2005. - T3. - No. 1. - S. 40-44.
4. Васин Н.Н., Куринский В.Ю. Обработка видеосигналов для измерения скорости движения железнодорожных вагонов на сортировочной горке // Компьютерная оптика, 2005. №27. с. 185-188.4. Vasin N.N., Kurinsky V.Yu. Video signal processing for measuring the speed of railway cars on the marshalling hill // Computer Optics, 2005. No. 27. from. 185-188.
5. Патент № 753244, кл. G 01 C23/00, 2006.5. Patent No. 753244, cl. G 01 C23 / 00, 2006.
6. Патент № 2398240, кл. G 01 P3/36, 2010.6. Patent No. 2398240, cl. G 01 P3 / 36, 2010.
7. Патент № 2578648, кл. F 16 F15/02, 2006, кл. F 16 F7/00, 2006.7. Patent No. 2578648, cl.
Claims (2)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2020122948A RU2747041C1 (en) | 2020-07-10 | 2020-07-10 | Method for measuring movement speed of extended objects |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2020122948A RU2747041C1 (en) | 2020-07-10 | 2020-07-10 | Method for measuring movement speed of extended objects |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2747041C1 true RU2747041C1 (en) | 2021-04-23 |
Family
ID=75584830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2020122948A RU2747041C1 (en) | 2020-07-10 | 2020-07-10 | Method for measuring movement speed of extended objects |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2747041C1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2803031C1 (en) * | 2023-04-10 | 2023-09-05 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Поволжский государственный университет телекоммуникаций и информатики" | Method for measuring the speed of movement of extended objects |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5771485A (en) * | 1995-04-19 | 1998-06-23 | International Business Machines Corporation | Apparatus and method for detecting a velocity of a moving object |
| SU753244A1 (en) * | 1979-02-14 | 2006-09-20 | Куйбышевский политехнический институт им. В.В. Куйбышева | A method for measuring the motion parameters of an extended object with a random distribution of brightness |
| SU1085389A1 (en) * | 1982-06-21 | 2006-09-20 | Куйбышевский ордена Трудового Красного Знамени политехнический институт им.В.В.Куйбышева | Device for measuring the velocity vector of the image of an extended object with a random distribution of brightness |
| RU2398240C1 (en) * | 2009-04-06 | 2010-08-27 | Государственное образовательное учреждение высшего профессионального образования "Поволжский государственный университет телекоммуникаций и информатики" | Method of measuring speed of extended objects |
| RU2419150C1 (en) * | 2010-03-10 | 2011-05-20 | Федеральное Государственное Унитарное Предприятие "Государственный Рязанский Приборный Завод" | Method to process sequence of images to detect and follow air objects |
| US10397491B2 (en) * | 2014-12-29 | 2019-08-27 | Nuctech Company Limited | Photogrammetry system and photogrammetry method |
-
2020
- 2020-07-10 RU RU2020122948A patent/RU2747041C1/en active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SU753244A1 (en) * | 1979-02-14 | 2006-09-20 | Куйбышевский политехнический институт им. В.В. Куйбышева | A method for measuring the motion parameters of an extended object with a random distribution of brightness |
| SU1085389A1 (en) * | 1982-06-21 | 2006-09-20 | Куйбышевский ордена Трудового Красного Знамени политехнический институт им.В.В.Куйбышева | Device for measuring the velocity vector of the image of an extended object with a random distribution of brightness |
| US5771485A (en) * | 1995-04-19 | 1998-06-23 | International Business Machines Corporation | Apparatus and method for detecting a velocity of a moving object |
| RU2398240C1 (en) * | 2009-04-06 | 2010-08-27 | Государственное образовательное учреждение высшего профессионального образования "Поволжский государственный университет телекоммуникаций и информатики" | Method of measuring speed of extended objects |
| RU2419150C1 (en) * | 2010-03-10 | 2011-05-20 | Федеральное Государственное Унитарное Предприятие "Государственный Рязанский Приборный Завод" | Method to process sequence of images to detect and follow air objects |
| US10397491B2 (en) * | 2014-12-29 | 2019-08-27 | Nuctech Company Limited | Photogrammetry system and photogrammetry method |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2803031C1 (en) * | 2023-04-10 | 2023-09-05 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Поволжский государственный университет телекоммуникаций и информатики" | Method for measuring the speed of movement of extended objects |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107014294B (en) | Contact net geometric parameter detection method and system based on infrared image | |
| CN112180375B (en) | Weather radar echo extrapolation method based on improved TrajGRU network | |
| JP4429298B2 (en) | Object number detection device and object number detection method | |
| CN110991272A (en) | Multi-target vehicle track identification method based on video tracking | |
| GB2320830A (en) | Rain tracking radar | |
| CN1130077C (en) | Motion compensation device and method matched by gradient mode | |
| CN111476159A (en) | Method and device for training and detecting detection model based on double-angle regression | |
| CN107622507B (en) | Air target tracking method based on deep learning | |
| US11669978B2 (en) | Method and device for estimating background motion of infrared image sequences and storage medium | |
| CN114549440A (en) | Method and device for detecting dynamic geometric parameters of contact network and electronic equipment | |
| CN111652790A (en) | Sub-pixel image registration method | |
| CN113970734A (en) | Method, device and equipment for removing snowing noise of roadside multiline laser radar | |
| CN116188943A (en) | Solar radio spectrum burst information detection method and device | |
| RU2747041C1 (en) | Method for measuring movement speed of extended objects | |
| CN107292876B (en) | DSCM (differential space-time non-uniformity) analysis method based on deformation space-time non-uniform characteristics of rock and soil materials | |
| CN113283326A (en) | Video SAR target intelligent detection method based on simulation target bright line characteristics | |
| RU2803031C1 (en) | Method for measuring the speed of movement of extended objects | |
| JP4918615B2 (en) | Object number detection device and object number detection method | |
| CN112165570A (en) | Multi-depth target focusing method based on ghost imaging calculation | |
| RU2398240C1 (en) | Method of measuring speed of extended objects | |
| Lin et al. | An object reconstruction algorithm for moving vehicle detection based on three-frame differencing | |
| CN115797501A (en) | Time-series forest age mapping method combining forest disturbance and recovery events | |
| CN103105943B (en) | The method of accurate position photoelectric mouse displacement | |
| JP4674920B2 (en) | Object number detection device and object number detection method | |
| KR100615672B1 (en) | Fire observation system using xy axis projection graph and its fire observation method and computer-readable recording medium to realize fire observation method |