RU2760845C1 - Method for detecting and identifying targets characteristics based on registration and processing of rays from objects in observed space and device for its implementation - Google Patents

Method for detecting and identifying targets characteristics based on registration and processing of rays from objects in observed space and device for its implementation Download PDF

Info

Publication number
RU2760845C1
RU2760845C1 RU2021103606A RU2021103606A RU2760845C1 RU 2760845 C1 RU2760845 C1 RU 2760845C1 RU 2021103606 A RU2021103606 A RU 2021103606A RU 2021103606 A RU2021103606 A RU 2021103606A RU 2760845 C1 RU2760845 C1 RU 2760845C1
Authority
RU
Russia
Prior art keywords
objects
image
observed
space
dimensional
Prior art date
Application number
RU2021103606A
Other languages
Russian (ru)
Inventor
Владимир Евгеньевич Махов
Владислав Владимирович Широбоков
Александр Александрович Закутаев
Александр Сергеевич Кошкаров
Владимир Михайлович Петрушенко
Original Assignee
Федеральное государственное бюджетное военное образовательное учреждение высшего образования "Военно-космическая академия имени А.Ф. Можайского" Министерства обороны Российской Федерации
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Федеральное государственное бюджетное военное образовательное учреждение высшего образования "Военно-космическая академия имени А.Ф. Можайского" Министерства обороны Российской Федерации filed Critical Федеральное государственное бюджетное военное образовательное учреждение высшего образования "Военно-космическая академия имени А.Ф. Можайского" Министерства обороны Российской Федерации
Priority to RU2021103606A priority Critical patent/RU2760845C1/en
Application granted granted Critical
Publication of RU2760845C1 publication Critical patent/RU2760845C1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

FIELD: objects detection.
SUBSTANCE: invention relates to optical methods for detecting and identifying objects in three-dimensional space by an observed optical-electronic system in one frame of one exposure, determining their coordinates, range and geometric characteristics. Formation of a correlation image of a morphological pixel-by-pixel comparison of the selected images of the layers of the observed space, obtained by a plenum-optical camera with a matrix photodetector with an image of a two-dimensional template or a layer of an image of a three-dimensional template of objects of interest, algorithmic calculation in this image of coordinates, distance and characteristics of objects corresponding to their position in three-dimensional space. In the plane of one or two photodetectors of pleo-optical cameras, two images with objects located in space and an image of a two-dimensional or three-dimensional pattern of objects are simultaneously obtained, according to the degree of correlation of which the distance to the observed objects along the direction of the viewing axis of the pleo-optical observation camera is determined. A device for implementing the method comprises a pleo-optical camera, a two-dimensional or three-dimensional template of objects in digital form, a template illuminator, a beam-splitting element that converges the image of the template in the field of view of a pleno-optical camera, and a computing device that algorithmically generates images of multidimensional images of layers of a three-dimensional observed space, scalable and shifted images of objects template, morphological per-pixel operations of images of the layers of the observed space and the layer of the template image, computational algorithms for determining the coordinates and characteristics of objects in a two-dimensional image.
EFFECT: increasing accuracy of determining the coordinates and characteristics of objects in the observed three-dimensional space while maintaining the ability to search and recognize all objects in the observed area of ​​space in one scene, as well as the ability to determine the distances to objects of interest.
2 cl, 18 dwg

Description

Изобретение относится к оптическим способам обнаружения и идентификации объектов в трехмерном пространстве, наблюдаемых оптико-электронной системой в одном кадре и одной экспозиции, определения их координат, дальности и геометрических характеристик.The invention relates to optical methods for detecting and identifying objects in three-dimensional space, observed by an optoelectronic system in one frame and one exposure, determining their coordinates, range and geometric characteristics.

1. Известен способ извлечения информации об удаленности объектов с использованием единственного дефокусированного снимка. Метод основан на анализе величины размытия изображения в точках, выделенных на нем контуров, соответствующих граничным точкам объектов [1]. На исходном изображении выделяются контуры, соответствующие локальным максимумам модуля градиента яркости. Координаты контурных точек запоминаются для дальнейшего анализа. Затем изображение дополнительно размывается гауссовым фильтром с заданным известным параметром дисперсии. По величине отношения модулей градиентов исходного и дополнительно размытого изображения в точках контуров оценивается величина дефокусировки исходного изображения в зонах, соответствующих границам объектов. Полученные оценки образуют разреженную карту относительной удаленности границ сфотографированных объектов. При помощи специально выбранного метода интерполяции оценки удаленности распространяются на остальные точки изображения, образуя «плотную карту глубины».1. A known method for extracting information about the distance of objects using a single defocused image. The method is based on the analysis of the amount of blurring of the image at the points, the contours allocated on it, corresponding to the boundary points of the objects [1]. The contours corresponding to the local maxima of the modulus of the brightness gradient are highlighted in the original image. The coordinates of the contour points are memorized for further analysis. Then the image is additionally blurred with a Gaussian filter with a given known dispersion parameter. The value of the ratio of the moduli of the gradients of the original and additionally blurred images at the points of the contours is used to estimate the amount of defocusing of the original image in the zones corresponding to the boundaries of objects. The estimates obtained form a sparse map of the relative remoteness of the boundaries of the photographed objects. Using a specially selected interpolation method, the distance estimates are extended to the rest of the image points, forming a "dense depth map".

Недостатком известного способа является достаточно узкий диапазон дальностей и сравнительно невысокую точность измерения дальности до объектов, а также известный способ не предусматривает возможность калибровки по линейным размерам объектов в наблюдаемом пространстве и возможность идентификации наблюдаемых объектов.The disadvantage of the known method is a rather narrow range of ranges and a relatively low accuracy of measuring the distance to objects, and the known method does not provide for the possibility of calibrating the linear dimensions of objects in the observed space and the possibility of identifying the observed objects.

2. Известен способ селекции объекта на удаленном фоне [2]. Способ заключается в приеме и формировании двух изображений в двух пространственно-разнесенных точках, одновременной регистрации сформированных изображений, определении параллактического смещения фона путем формирования взаимокорреляционной функции двух зарегистрированных изображений и определении ее максимума, смещении первого из зарегистрированных изображений на величину параллактического смещения фона в направлении, противоположном этому смещению, получении разностного изображения путем вычитания смещенного и второго зарегистрированных изображений, разделении разностного изображения на области, имеющие противоположные знаки, и анализе фрагментов областей.2. A known method of selecting an object against a distant background [2]. The method consists in receiving and forming two images at two spatially separated points, simultaneously registering the generated images, determining the parallax displacement of the background by forming the cross-correlation function of two registered images and determining its maximum, displacing the first of the registered images by the amount of the parallax displacement of the background in the opposite direction this displacement, obtaining a difference image by subtracting the displaced and the second registered images, dividing the difference image into regions having opposite signs, and analyzing fragments of the regions.

Известный способ имеет следующие недостатки. Во-первых, за искомый объект могут быть приняты случайные флуктуации в разностном изображении. Во-вторых, относительно низкая селективность способа в случае одновременной регистрации изображений группы объектов, когда его применение может привести к селекции «ложных» объектов.The known method has the following disadvantages. First, random fluctuations in the difference image can be taken for the sought object. Secondly, the relatively low selectivity of the method in the case of simultaneous registration of images of a group of objects, when its application can lead to the selection of "false" objects.

3. Известен способ обнаружения объектов [3], который заключается в приеме и формировании двух изображений в двух пространственно-разнесенных точках и одномоментной регистрации каждого фрагмента опорного и сравниваемого цифровых изображений двумя идентичными видеосистемами (фиг. 1). На фиг. 1 приведено схематическое расположение двух видеосистем и объекта относительно фона. Видеосистемы содержат многоэлементные CMOS-матрицы 1 и 2, объективы 3 и 4, полностью идентичные друг другу. Матрицы и объективы зафиксированы на основании 5 на небольшом расстоянии L относительно друг друга. Выходы матриц 1 и 2 подключены к блоку 6 обработки информации. Каждая из видеосистем выполнена на основе многоэлементного высокоскоростного фотоприемника, например, CMOS-матрицы, и содержит объектив. Обе видеосистемы предварительно фиксируют на небольшом, по сравнению с удалением от предполагаемого места появления объекта, расстоянии между собой параллельно друг другу с направлением на контролируемое пространство. Анализ изображений проводят при помощи определения величин смещения А характерных фрагментов сравниваемого изображения с аналогичными фрагментами опорного при максимально возможном их совпадении в направлении параллактического смещения с последующим выявлением селектируемых и фоновых объектов из полученных смещений А.3. There is a known method of object detection [3], which consists in receiving and forming two images at two spatially separated points and simultaneous registration of each fragment of the reference and compared digital images by two identical video systems (Fig. 1). FIG. 1 shows a schematic arrangement of two video systems and an object relative to the background. Video systems contain multi-element CMOS matrices 1 and 2, lenses 3 and 4, completely identical to each other. Matrices and lenses are fixed on base 5 at a small distance L relative to each other. The outputs of the matrices 1 and 2 are connected to the information processing unit 6. Each of the video systems is made on the basis of a multi-element high-speed photodetector, for example, a CMOS matrix, and contains a lens. Both video systems are preliminarily fixed at a small, compared to the distance from the intended place of appearance of the object, the distance between each other parallel to each other with the direction to the controlled space. Image analysis is carried out by determining the values of the displacement A of characteristic fragments of the compared image with similar fragments of the reference one at their maximum possible coincidence in the direction of the parallax displacement, with the subsequent identification of the selected and background objects from the obtained displacements A.

Недостатки известного способа является сложность и значительные габариты конструкции устройства, реализующего данный способ.The disadvantages of this method are the complexity and large dimensions of the structure of the device that implements this method.

4. Известен некогерентный оптический коррелятор [4], состоящий из следующих элементов (фиг. 2): 1 - источник света, 2 - коллиматор, 3 - линза, 4 - фотопластинка, 5 - линза, 7 - фотопластинка, 8 - линза, 9 - фотоприемник, 10 - устройство сканирования, 11 - нагрузка. Некогерентный оптический коррелятор функционирует следующим образом. Изображения эталонного и исследуемого объектов предварительно регистрируют на фоточувствительном носителе для получения амплитудных транспарантов (диапозитивов или негативов). Затем полученные транспаранты, пропускание которых по интенсивности пропорционально распределению освещенности в исходных изображениях объектов, помещают соответственно во входной и выходной плоскостях первой линзы. Некогерентное излучение точечного источника формируют коллимирующей линзой в квазиплоскую считывающую световую волну, которой освещают транспарант с записью изображения исследуемого объекта. Пройдя сквозь транспарант, считывающий свет формирует во входной плоскости распределение интенсивности, пропорциональное изображению исследуемого объекта.4. Known incoherent optical correlator [4], consisting of the following elements (Fig. 2): 1 - light source, 2 - collimator, 3 - lens, 4 - photographic plate, 5 - lens, 7 - photographic plate, 8 - lens, 9 - photodetector, 10 - scanning device, 11 - load. The incoherent optical correlator functions as follows. The images of the reference and the studied objects are pre-registered on a photosensitive medium to obtain amplitude transparencies (transparencies or negatives). Then the obtained transparencies, the transmission of which in intensity is proportional to the distribution of illumination in the original images of objects, are placed, respectively, in the input and output planes of the first lens. The incoherent radiation of a point source is formed by a collimating lens into a quasi-plane readout light wave, which illuminates a transparency with a recording of an image of the object under study. Having passed through the transparency, the reading light forms an intensity distribution in the input plane proportional to the image of the object under study.

Полученное изображение первая линза проецирует на выходную плоскость, в которой размещен транспарант с записью изображения эталонного объекта. Прошедший через оба транспаранта свет собирается второй линзой на фоточувствительную поверхность фотоприемника, расположенную в фокальной плоскости второй линзы. Для совмещения изображений эталонного и исследуемого объектов транспарант с эталонным изображением перемещают в плоскости, перпендикулярной оптической оси в двух взаимно перпендикулярных направлениях. Собирая свет, прошедший через оба транспаранта, вторая линза тем самым реализует операцию пространственного интегрирования двумерной функции взаимной корреляции изображений исследуемого и эталонного объектов. Фотоприемник преобразует полученный оптический сигнал в электрический сигнал, пропорциональный двумерной функции взаимной корреляции изображения исследуемого объекта и изображения эталонного объекта. При совпадении исследуемого изображения с эталонным по положению, размерам и угловой ориентации электрический сигнал на выходе фотоприемника окажется максимальным.The resulting image is projected by the first lens onto the output plane, in which the banner with the image of the reference object is placed. The light transmitted through both transparencies is collected by the second lens onto the photosensitive surface of the photodetector located in the focal plane of the second lens. To align the images of the reference and the investigated objects, the transparency with the reference image is moved in a plane perpendicular to the optical axis in two mutually perpendicular directions. Collecting the light that has passed through both transparencies, the second lens thereby realizes the operation of spatial integration of the two-dimensional function of cross-correlation of the images of the investigated and reference objects. The photodetector converts the received optical signal into an electrical signal proportional to the two-dimensional cross-correlation function of the image of the object under study and the image of the reference object. When the studied image coincides with the reference one in position, size and angular orientation, the electrical signal at the output of the photodetector will be maximum.

Устройство оптического коррелятора состоит из точечного источника некогерентного излучения, коллимирующей линзы, формирующей квазиплоскую волну считывающего излучения, двух линз, двух транспарантов (диапозитивов), на которых соответственно зарегистрированы изображения эталонного и исследуемого объектов, устройства для перемещения транспаранта с эталонным изображением по двум взаимно перпендикулярным направлениям в плоскости, перпендикулярной оптической оси, а также фотоприемника, преобразующего результат оптического вычисления двумерной корреляционной функции в электрический сигнал.The optical correlator device consists of a point source of incoherent radiation, a collimating lens that forms a quasi-plane wave of readout radiation, two lenses, two transparencies (transparencies) on which the images of the reference and investigated objects are respectively registered, a device for moving the transparency with the reference image in two mutually perpendicular directions in a plane perpendicular to the optical axis, as well as a photodetector that converts the result of the optical calculation of the two-dimensional correlation function into an electrical signal.

Недостатками известного способа и устройства оптического коррелятора является сложная конструкция устройства, связанная с необходимостью совмещения транспарантов и не позволяет осуществлять работу в реальном времени из-за необходимости предварительной регистрации изображений исследуемого и эталонного объектов на фоточувствительном носителе. Кроме того, известный способ и устройство не дает возможности анализировать объекты трехмерной сцены.The disadvantages of the known method and device of the optical correlator is the complex design of the device associated with the need to align the transparencies and does not allow real-time operation due to the need for preliminary registration of images of the investigated and reference objects on a photosensitive medium. In addition, the known method and device does not make it possible to analyze objects of a three-dimensional scene.

5. Известен способ оптической согласованной фильтрации лучей, строящих изображения исследуемого объекта [5]. Способ основан на сравнении входного образа с эталонным образцом по степени корреляции волновых фронтов.5. The known method of optical matched filtering of rays, building images of the investigated object [5]. The method is based on comparing the input image with a reference sample in terms of the degree of correlation of wavefronts.

Схема устройства, реализующего данный способ оптической согласованной фильтрации на базе голографического фильтра, известного как голографический коррелятор, представлена на фиг. 3 и состоит из следующих элементов: 1 - лазер, 2 - коллиматор, 3 - входная плоскость, 4, 6 - оптические системы для Фурье-преобразования, 5 - голографический фильтр, 7 - выходная плоскость, 8 - фотоприемник. Решения о соответствии осуществляется по величине выходного сигнала коррелятора, математически описываемого выражением:A schematic diagram of a device implementing this optical matched filtering method based on a holographic filter, known as a holographic correlator, is shown in Fig. 3 and consists of the following elements: 1 - laser, 2 - collimator, 3 - input plane, 4, 6 - optical systems for Fourier transform, 5 - holographic filter, 7 - output plane, 8 - photodetector. The correspondence decisions are made according to the value of the correlator output signal, mathematically described by the expression:

Figure 00000001
Figure 00000001

где Θ - переменный параметр, характеризующий состояние контролируемых объектов; х', у' - координаты плоскости фильтрации; t1 - амплитудное пропускание входной плоскости с эталонным образцом; t2 - амплитудное пропускание входной плоскости с контролируемым образцом;

Figure 00000002
- символ операции корреляции.where Θ is a variable parameter characterizing the state of controlled objects; x ', y' - coordinates of the filtration plane; t 1 - amplitude transmission of the input plane with the reference sample; t 2 - amplitude transmission of the input plane with the controlled sample;
Figure 00000002
- the symbol of the correlation operation.

Недостатком известного способа и схемы устройства оптического коррелятора является необходимость получения голограмм объекта и эталона, что не позволяет осуществлять работу в реальном времени из-за необходимости предварительной регистрации изображений исследуемого и эталонного объектов на фоточувствительном носителе.The disadvantage of the known method and scheme of the optical correlator device is the need to obtain holograms of the object and the reference, which does not allow to work in real time due to the need for preliminary registration of images of the investigated and reference objects on a photosensitive medium.

В качестве прототипа выбран способ наблюдения [6] за удаленными объектами оптико-электронной системой (ОЭС), включающий регистрацию удаленных объектов оптической системой (ОС) наблюдения на матричном фотоприемнике цифровой камерой пленооптического типа (фиг. 4). На фиг. 4 схематично приведена видеосистема, в которой расстояние до наблюдаемого объекта задается дополнительной зеркально-линзовой системой. Перед телескопом 1 и регистратором изображения 2 размещаются дополнительные линзы 3, корректор фокуса 4 или неплоское зеркало 5, которое формирует масштабное изображение наблюдаемого объекта 6. В процессе наблюдения производится алгоритмическое изменение поля зрения, углов визирования ОС, фокусировки и глубины резкости отображаемого пространства (ГРИП) расположения объектов в пространстве, что позволяет в одном кадре одной экспозиции проводить анализ разноудаленных объектов наблюдаемого пространства. Использование данного способа позволяет исключить оптические искажения оптической системы, дополнительно проводить пространственную калибровку оптико-электронной системы [7], что повышает точность измерений координат и геометрических характеристик, а также достоверность анализа наблюдаемых объектов.As a prototype, a method for monitoring remote objects by an optoelectronic system (OES) was chosen, including the registration of remote objects by an optical observation system (OS) on a matrix photodetector with a digital camera of a pleo-optical type (Fig. 4). FIG. 4 schematically shows a video system in which the distance to the observed object is set by an additional mirror-lens system. In front of the telescope 1 and the image recorder 2, additional lenses 3, a focus corrector 4 or a non-planar mirror 5 are placed, which forms a scale image of the observed object 6. During the observation process, an algorithmic change is made in the field of view, viewing angles of the OS, focusing and depth of field of the displayed space (DOF) the location of objects in space, which makes it possible to analyze objects at different distances in the observed space in one frame of one exposure. The use of this method makes it possible to exclude optical distortions of the optical system, additionally carry out spatial calibration of the optoelectronic system [7], which increases the accuracy of measurements of coordinates and geometric characteristics, as well as the reliability of the analysis of the observed objects.

Устройство, реализующее указанный способ, содержит оптическую систему наблюдения, пленооптическую камеру, компьютерную систему, программное обеспечение, реализующее алгоритмы формирования и анализа изображений. При этом основная и дополнительная оптическая система должна обеспечивать возможность получения на матричном фотоприемнике массива не перекрывающих друг на друга субапертурных изображений [8-10], которые обеспечивают возможность формировать в выходном изображении глубину резко отображаемого пространства, дистанцию фокусировки, угол визирования и масштаб объектов наблюдаемого пространства.A device that implements the specified method contains an optical observation system, a plenum optical camera, a computer system, software that implements algorithms for the formation and analysis of images. In this case, the main and additional optical systems should provide the ability to obtain an array of non-overlapping sub-aperture images on the matrix photodetector [8-10], which provide the ability to form in the output image the depth of sharply displayed space, focusing distance, viewing angle and scale of objects in the observed space ...

Недостатком способа и устройства прототипа является отсутствие возможности регистрации плоских двухмерных или трехмерных шаблонов объектов, что снижает достоверность поиска интересуемых объектов в наблюдаемом пространстве на заданном удалении, и требует дополнительного анализа изображений без привязки к характерным признакам интересуемых объектов.The disadvantage of the method and device of the prototype is the lack of the possibility of registering flat two-dimensional or three-dimensional patterns of objects, which reduces the reliability of the search for objects of interest in the observed space at a given distance, and requires additional analysis of images without reference to the characteristic features of objects of interest.

Задачей, стоящей перед настоящим изобретением, является повышение точности обнаружения (селекции) одной и более целей в условиях их разноудаленности, точности распознавания целей, определения их координат и характеристик в объеме наблюдаемого пространства.The challenge facing the present invention is to improve the accuracy of detection (selection) of one or more targets in conditions of their different distances, the accuracy of target recognition, determination of their coordinates and characteristics in the volume of the observed space.

Поставленная задача решается следующим образом.The task is solved in the following way.

В способе используется цифровая регистрация объектов наблюдаемого пространства пленооптической камерой с массивом микролинз перед матрицей фотодиодов [8, 9], которая обеспечивает регистрацию направления хода лучей из наблюдаемого пространства в виде массива субапертурных изображений на матрице фотодиодов фотоприемного устройства. Формирование плоского изображения с заданными параметрами (дистанция фокусировки, глубина резко отображаемого пространства, угол визирования, масштаб) происходит алгоритмически путем суммирования сигналов с фотодиодов [9, 10], например, в приложении «Lytro Desktop») [10] (фиг. 5). На фиг. 5 приведен интерфейс программы Lytro Desktop (б, в, г), иллюстрирующий возможность задания параметров фоторегистрации пленооптической камеры (а), задания параметров конвертации файла светового поля (г) в плоское изображение (дистанции фокусировки и глубины резкости отображаемого пространства).The method uses digital registration of objects of the observed space by a pleo-optical camera with an array of microlenses in front of the photodiode array [8, 9], which provides registration of the direction of the rays from the observed space in the form of an array of sub-aperture images on the photodetector array of photodiodes. Formation of a flat image with specified parameters (focusing distance, depth of sharpness, viewing angle, scale) occurs algorithmically by summing signals from photodiodes [9, 10], for example, in the "Lytro Desktop" application) [10] (Fig. 5) ... FIG. 5 shows the interface of the Lytro Desktop program (b, c, d), illustrating the possibility of setting the parameters of photographic recording of a plenum-optical camera (a), setting the parameters for converting a light field file (d) into a flat image (focusing distance and depth of field of the displayed space).

Алгоритм формирования плоского изображения задает расстояние фокусировки и глубину резко отображаемого пространства (ГРИП) оптической системы наблюдения (фиг. 6) [11]. Формирование изображения на поверхности фотоприемника происходит основным объективом пленооптической камеры с учетом его ГРИП, но без учета дифракции:The algorithm for the formation of a flat image sets the focusing distance and depth of sharply displayed space (DOF) of the optical observation system (Fig. 6) [11]. The formation of an image on the surface of the photodetector is carried out by the main lens of the plenum-optical camera, taking into account its depth of field, but without taking into account diffraction:

Figure 00000003
Figure 00000003

где Δ1 - передняя граница ГРИП, Δ2 - задняя граница ГРИП, s0 - дистанция фокусировки, ƒ' - фокусное расстояние объектива,

Figure 00000004
- значение знаменателя (K) относительного отверстия (N) объектива, δ' - диаметр кружка рассеяния лучей в плоскости изображения.where Δ 1 - front border of depth of field, Δ 2 - rear border of depth of field, s 0 - focusing distance, ƒ '- focal length of the lens,
Figure 00000004
is the value of the denominator (K) of the relative aperture (N) of the objective, δ 'is the diameter of the circle of ray scattering in the image plane.

Формирование изображения оптической системой для пленооптической камеры с массивом микролинз имеет особенности (фиг. 7). На фиг. 7 приведена иллюстрация процесса контроля объемных объектов различными оптическими системами: обычная проектирующая система (а), оптическая система регистрации направления хода лучей (б) (оптическая система светового поля). Относительное отверстие и ГРИП для пленоптической камеры определяется алгоритмически вычисляемой виртуальной апертурой (NV), диапазон значение которой зависит от конструктивных параметров камеры [9]. Существует возможность увеличение этого параметра за пределы физической апертуры, определяемое количеством пикселей субапертурных изображений (например, 1:2⇒1:1). Кроме того, виртуальная апертура оптической системы NV может быть увеличена при использовании двух параллельно расположенных пленооптических камер [12].The formation of an image by an optical system for a pleo-optical camera with an array of microlenses has some specific features (Fig. 7). FIG. 7 shows an illustration of the process of monitoring volumetric objects with various optical systems: a conventional projecting system (a), an optical system for recording the direction of the path of rays (b) (optical system of the light field). The relative aperture and depth of field for a plenoptic camera is determined by an algorithmically calculated virtual aperture (N V ), the range of which depends on the design parameters of the camera [9]. There is a possibility of increasing this parameter beyond the physical aperture, determined by the number of pixels in the sub-aperture images (for example, 1: 2⇒1: 1). In addition, the virtual aperture of the optical system N V can be increased by using two parallel plenum optical cameras [12].

Объекты, находящиеся вне зоны ГРИП Δ1+Δ2 имеют размытие, т.е. границы контуров имеют значительно более слабый градиент яркости, поэтому в процессе идентификации наблюдаемых объектов известными алгоритмами они будут участвовать по иному, т.е. в процессе выделения доминантной информационной составляющей будут иметь характер размытого фона [13]. В то же время степень размытия границ объектов в изображении определяет возможность контроля состояния оптической системы наблюдения [14], что позволяет определять степень оптической расфокусировки на наблюдаемые объекты.Objects outside the depth of field Δ 1 + Δ 2 are blurred, i.e. the boundaries of the contours have a much weaker brightness gradient, therefore, in the process of identifying the observed objects using the known algorithms, they will participate in a different way, i.e. in the process of highlighting the dominant information component will have the character of a blurred background [13]. At the same time, the degree of blurring of the boundaries of objects in the image determines the possibility of monitoring the state of the optical observation system [14], which makes it possible to determine the degree of optical defocusing on the observed objects.

Функции корреляции волновых фронтов, реализуемые на уровне регистрации направления хода лучей, по аналогии с методами, используемыми в голографии [15] (например, устройство голографического коррелятора [5]), которые математически можно реализуются бинарными морфологическими функциями М заданных слоев изображения [16]:Correlation functions of wavefronts, realized at the level of registration of the direction of the path of rays, by analogy with the methods used in holography [15] (for example, the device of a holographic correlator [5]), which mathematically can be realized by binary morphological functions M of given image layers [16]:

Figure 00000005
Figure 00000005

Дополнительно для анализа объектов в слоях изображений можно использовать функции преобразования слоев изображения, например, изменения их геометрии [17]:Additionally, to analyze objects in image layers, you can use the functions of transforming image layers, for example, changing their geometry [17]:

Figure 00000006
Figure 00000006

Поэтому для корреляционной обработки необходимо иметь два изображения: контролируемое изображение наблюдаемых объектов и изображение плоского или трехмерного шаблона.Therefore, for correlation processing, it is necessary to have two images: a controlled image of the observed objects and an image of a flat or three-dimensional template.

Алгоритм корреляционной обработки двух изображений (скрипт в приложении Vision Assistent) представлен на фиг. 8 [17]. Первое полученное из файла изображение 1 сохраняется в буфере памяти 3, затем загружается второе изображение 4. Функции 2 и 5 (Geometry) позволяют развернуть и масштабировать изображения, что дает возможность провести калибровку слоев. К каждому изображению можно дополнительно применять свои наборы различных функций обработки изображений:

Figure 00000007
Морфологическая функция 6 (Color Operation) позволяет проводить следующие бинарные операции над слоями изображения: «Add», «Subtract», «Multiply», «Divide», «Multiply Divide», «Modulo)), «Absolute Difference)), «And)), «Not AND)), «Or», «Not Or)), «Exclusive Or», «Not Exclusive Or», «Logical Difference)).The algorithm for correlation processing of two images (script in the Vision Assistent application) is shown in Fig. 8 [17]. The first image 1 obtained from the file is saved in the memory buffer 3, then the second image 4 is loaded. Functions 2 and 5 (Geometry) allow you to unfold and scale images, which makes it possible to calibrate the layers. Each image can be additionally applied with its own sets of different image processing functions:
Figure 00000007
Morphological function 6 (Color Operation) allows performing the following binary operations on image layers: “Add”, “Subtract”, “Multiply”, “Divide”, “Multiply Divide”, “Modulo)),“ Absolute Difference)), “And )), “Not AND)),“ Or ”,“ Not Or)), “Exclusive Or”, “Not Exclusive Or”, “Logical Difference)).

Далее для определения координат и характеристик целей могут быть использованы различные алгоритмы [18] на базе известных математических методов. Алгоритм измерения характеристик целей (фиг. 9) использует методы анализа градиента яркости, яркостных измерений координат и формы объекта, поиска шаблонов в изображении, бинаризации изображений, анализа бинарных кластеров (определения их координат и геометрических параметров) [11, 19].Further, to determine the coordinates and characteristics of targets, various algorithms can be used [18] based on well-known mathematical methods. The algorithm for measuring the characteristics of targets (Fig. 9) uses methods for analyzing the brightness gradient, brightness measurements of the coordinates and shape of an object, searching for patterns in the image, binarization of images, analyzing binary clusters (determining their coordinates and geometric parameters) [11, 19].

Все алгоритмы анализа и измерений координат и формы объектов реализуемы в модуле IMAQVision среды программирования фирмы National Instruments (NI) LabVIEW [19, 20] и представлены в таблице 1.All algorithms for analyzing and measuring the coordinates and shape of objects are implemented in the IMAQVision module of the National Instruments (NI) LabVIEW programming environment [19, 20] and are presented in Table 1.

Figure 00000008
Figure 00000008

Сущность изобретения заключается в формировании корреляционного изображения морфологического попиксельного сравнения выделяемых изображений слоев наблюдаемого пространства полученных пленооптической камерой с матричным фотоприемником с изображением двухмерного шаблона или слоем изображения трехмерного шаблона интересуемых объектов, алгоритмическом вычислением в этом изображении координат, удаленности и характеристик объектов, соответствующих их положению в трехмерном пространстве. В плоскости одного или двух фотоприемников пленооптических камер одновременно получают два изображения с находящимися в пространстве объектами и изображение двухмерного или трехмерного шаблона объектов, по степени корреляции которых, определяют расстояние до наблюдаемых объектов вдоль направления оси визирования пленооптической камеры наблюдения, регистрирующей координаты и направления хода лучей, формирующей на матрице фотоприемника массив субапертурных изображений. Массив субапертурных изображений позволяет формировать плоские изображения с возможностью поворота и масштабирования, что дает возможность максимально совмещать его с изображением плоского или слоя трехмерного шаблона объектов. Выявление (обнаружение) цели производится корреляцией их послойных изображений с заданным шаблоном, при этом изображение цели в слоях наблюдаемого пространства, удаленных на другие расстояния в процессе не участвуют.The essence of the invention lies in the formation of a correlation image of the morphological pixel-by-pixel comparison of the separated images of the layers of the observed space obtained by a pleo-optical camera with a matrix photodetector with an image of a two-dimensional template or an image layer of a three-dimensional template of objects of interest, algorithmic calculation in this image of coordinates, distance and characteristics of objects corresponding to their position in three-dimensional space. In the plane of one or two photodetectors of pleo-optical cameras, two images are simultaneously obtained with objects in space and an image of a two-dimensional or three-dimensional pattern of objects, according to the degree of correlation of which, the distance to the observed objects is determined along the direction of the viewing axis of the pleo-optical observation camera, which records the coordinates and direction of the path of the rays. forming an array of sub-aperture images on the photodetector matrix. An array of sub-aperture images allows you to form flat images with the ability to rotate and scale, which makes it possible to maximally combine it with the image of a flat or a layer of a three-dimensional template of objects. Identification (detection) of the target is performed by correlating their layer-by-layer images with a given template, while the image of the target in the layers of the observed space, remote at other distances, is not involved in the process.

Кроме того, после обнаружения цели, реализуется ряд новых возможностей:In addition, after detecting a target, a number of new possibilities are implemented:

- анализ ее геометрических размеров и расположения относительно других объектов в наблюдаемом ОЭС пространстве с более высокой точностью;- analysis of its geometric dimensions and location relative to other objects in the space observed by the OES with a higher accuracy;

- определение расстояния до цели R в зависимости от установленной дистанции фокусировки и глубины резко отображаемого пространства;- determination of the distance to the target R depending on the set focusing distance and the depth of the sharply displayed space;

- регистрация наблюдаемого пространства в одном кадре в одной экспозиции, что повышает обнаружительную способность ОЭС и упрощает анализ трехмерного расположения объектов в наблюдаемом пространстве.- registration of the observed space in one frame in one exposure, which increases the detectivity of the OES and simplifies the analysis of the three-dimensional location of objects in the observed space.

Технический результат изобретения заключается в повышении точности определения координат и геометрических характеристик объектов в наблюдаемом трехмерном пространстве с сохранением возможности поиска и распознавания всех объектов наблюдаемой области пространства в одной сцене, а также в наличии возможности определения расстояния до интересуемого объекта.The technical result of the invention is to improve the accuracy of determining the coordinates and geometric characteristics of objects in the observed three-dimensional space while maintaining the ability to search and recognize all objects of the observed area of space in one scene, as well as the ability to determine the distance to the object of interest.

Для достижения технического результата предлагается способ обнаружения и определения характеристик целей на основе регистрации и обработки хода лучей от объектов в наблюдаемом пространстве, который реализуется следующим образом.To achieve the technical result, a method is proposed for detecting and determining the characteristics of targets based on the registration and processing of the path of rays from objects in the observed space, which is implemented as follows.

В начале создают шаблон ансамбля (комбинации) интересуемых целей (фиг. 10, 11) из математической модели или путем регистрации объектов в некоторый момент времени (t0). На фиг. 10 приведен алгоритм формирования цифрового шаблона ансамбля объектов. На фиг. 11 приведена иллюстрация цифрового шаблона ансамбля объектов.At the beginning, a template of the ensemble (combination) of the targets of interest (Fig. 10, 11) is created from a mathematical model or by registering objects at a certain point in time (t 0 ). FIG. 10 shows an algorithm for forming a digital template of an ensemble of objects. FIG. 11 is an illustration of a digital template for an ensemble of objects.

В начале поиска регистрируют объекты наблюдаемого пространства в текущий момент времени (t1) оптической системой с пленооптической камерой, регистрирующей направление и координаты лучей света от наблюдаемых объектов (фиг. 12-14). На фиг. 12 приведена структурная схема способа (ОЭС наблюдения на базе цифровой камеры светового поля и шаблон изображений целей). На фиг. 13 приведена структурная схема способа (система мониторинга наблюдаемого пространства). На фиг. 14 приведена структурная схема способа (формирование 3D изображения и 2D шаблона).At the beginning of the search, objects of the observed space are registered at the current time (t 1 ) by an optical system with a pleo-optical camera, which registers the direction and coordinates of light rays from the observed objects (Figs. 12-14). FIG. 12 shows a block diagram of the method (OES observation based on a digital camera of the light field and a template for target images). FIG. 13 shows a block diagram of the method (monitoring system of the observed space). FIG. 14 shows a block diagram of the method (forming a 3D image and a 2D template).

Алгоритмически синтезируют плоское изображение максимальной глубины резкости наблюдаемого пространства (Im0). Объекты могут находиться в заранее неизвестном месте, поэтому, изменяя угол визирования и масштаб, совмещают изображение с шаблоном объектов (Ims).Algorithmically synthesize a flat image of the maximum depth of field of the observed space (Im 0 ). Objects can be in a previously unknown place, therefore, changing the viewing angle and scale, the image is aligned with the pattern of objects (Im s ).

Алгоритмически синтезируют набор слоев изображений наблюдаемого пространства

Figure 00000009
которые определяют диапазон дальностей {Lj} нахождения целей (j=1, М). Алгоритмически производят корреляцию с шаблоном
Figure 00000010
определяют достоверность нахождения интересуемого объекта в двухмерном слое пространства L+ΔL, используя измерительные алгоритмы, определяют его координат геометрические характеристики объектов (целей).Algorithmically synthesizes a set of image layers of the observed space
Figure 00000009
which determine the range of ranges {L j } of finding targets (j = 1, M). Algorithmically correlate with the pattern
Figure 00000010
determine the reliability of finding the object of interest in the two-dimensional layer of the space L + ΔL, using measuring algorithms, determine its coordinates, the geometric characteristics of the objects (targets).

Используя высокоточные алгоритмы анализа градиента яркости границ изображений определяют смещение Δ расстояний объектов в каждом синтезированном изображении слоя пространства.Using high-precision algorithms for analyzing the brightness gradient of the image boundaries, the displacement Δ of the distances of objects in each synthesized image of the space layer is determined.

Устройство, реализующее предложенный способ, включает пленооптическую камеру, двухмерный или трехмерный шаблон объекта в цифровом виде, осветитель шаблона, светоделительный элемент сводящий изображение наблюдаемого пространства с двухмерным или трехмерным изображением шаблона и вычислительное устройство, алгоритмически формирующее изображения разноудаленных слоев трехмерного изображения наблюдаемого пространства, масштабируемые и сдвигаемые изображения шаблона объектов, морфологические попиксельные операции сравнения изображений слоев наблюдаемого пространства и шаблона, вычислительные алгоритмы определения координат и характеристик целей в изображении (фиг. 15-17). Устройство, реализующее предложенный способ, другими словами по аналогий с ранее представленными решениями можно именовать как коррелятор светового поля. На фиг. 15 приведена схема устройства реализующее предложенный способ (коррелятор светового поля) с двумя пленооптическими камерами, где 1 - наблюдаемая область пространства, 2 и 3 - цифровые пленооптические камеры, 4 - проецирующее устройство, 5 - компьютерная система. На фиг. 16 приведена схема устройства реализующее предложенный способ (коррелятор светового поля) через светоделитель, расположенный по оси основной пленооптической камеры, где 1 - наблюдаемая область пространства, 2 - цифровая пленооптическая камера, 3 - светоделитель, 4 - проецирующее устройство, 5 - компьютерная система. На фиг. 17 представлен макет устройства для регистрации шаблонов удаленных объектов оптической системой с пленооптической камерой, состоящий из следующих элементов: 1 - цифровая камера светового поля, 2 - дополнительная оптическая система (зеркало телескопа), 3 - макет наблюдаемого объекта. В плоскости одного или двух фотоприемников пленооптической камеры одновременно получают два изображения с находящимися в пространстве объектами и изображение изображения двухмерного шаблона или слоев изображения трехмерного шаблона объектов. Компьютерная система производит выделение слоев наблюдаемого пространства, их обработку, определение характеристик и координат цели.A device that implements the proposed method includes a pleo-optical camera, a two-dimensional or three-dimensional template of an object in digital form, a template illuminator, a beam splitting element that converges an image of an observed space with a two-dimensional or three-dimensional image of a template, and a computing device that algorithmically generates images of randomly spaced layers of a three-dimensional image of the observed space, scalable and shifted images of a template of objects, morphological per-pixel operations of comparing images of layers of the observed space and a template, computational algorithms for determining the coordinates and characteristics of targets in the image (Figs. 15-17). A device that implements the proposed method, in other words, by analogy with the previously presented solutions, can be referred to as a light field correlator. FIG. 15 shows a diagram of a device that implements the proposed method (light field correlator) with two optical cameras, where 1 is the observed area of space, 2 and 3 are digital optical cameras, 4 is a projection device, 5 is a computer system. FIG. 16 shows a diagram of a device that implements the proposed method (light field correlator) through a beam splitter located along the axis of the main plenum-optical camera, where 1 is the observed area of space, 2 is a digital pleo-optical camera, 3 is a beam splitter, 4 is a projection device, 5 is a computer system. FIG. 17 shows a mock-up of a device for registering patterns of distant objects with an optical system with a pleo-optical camera, consisting of the following elements: 1 - digital camera of the light field, 2 - additional optical system (telescope mirror), 3 - mock-up of the observed object. In the plane of one or two photodetectors of a pleo-optical camera, two images with objects located in space and an image of an image of a two-dimensional template or image layers of a three-dimensional template of objects are simultaneously obtained. The computer system selects the layers of the observed space, processes them, determines the characteristics and coordinates of the target.

При этом устройство, реализующее предложенный способ, обеспечивает достаточно высокое быстродействие и минимальное временное совпадение, т.к. можно исключить обработку тех слоев изображений, которые не содержат значимых объектов наблюдения. Быстродействие также можно повысить либо путем обработки наиболее значимых фрагментов цели (определяя, например, лишь контуры объекта, чего зачастую вполне достаточно для того, чтобы отличить один вид объекта от другого), либо за счет ограничения количества слоев изображения, выбирая их с заданным шагом. Допускается также проводить расчет корреляции слоев изображений интересуемых объектов в заранее определенной области, либо с применением методов параллельных вычислений, что также сокращает время обработки.In this case, the device that implements the proposed method provides a sufficiently high performance and minimum time coincidence, since you can exclude the processing of those layers of images that do not contain significant objects of observation. The performance can also be increased either by processing the most significant fragments of the target (defining, for example, only the contours of the object, which is often quite enough to distinguish one type of object from another), or by limiting the number of image layers, selecting them with a given step. It is also allowed to calculate the correlation of layers of images of objects of interest in a predetermined area, or using methods of parallel computing, which also reduces the processing time.

Реализуемость предложенного способа и устройства для его реализации определяется:The feasibility of the proposed method and device for its implementation is determined by:

1. Возможностями предприятий промышленности по изготовлению различных технических средств для обнаружения и идентификации удаленных объектов (пленооптические камеры Lytro ILLUM, REYTRIX) [21].1. Possibilities of industrial enterprises for the manufacture of various technical means for the detection and identification of distant objects (pleo-optical cameras Lytro ILLUM, REYTRIX) [21].

2. Наличием специального программного обеспечения, реализующего различные алгоритмы формирования и обработки изображений с высокой глубиной проработки (среда программирования LabVIEW, с модулем технического зрения IMAQ Vision).2. Availability of special software that implements various algorithms for the formation and processing of images with a high depth of development (LabVIEW programming environment, with the IMAQ Vision module of technical vision).

В процессе получения цифрового плоского или трехмерного шаблона объектов могут быть использованы доступные технические средства (фиг. 18). На фиг. 18 представлен макет устройства регистрации шаблона изображения пленооптической камерой, где 1 - проецирующее устройство, 2 - цифровая камера светового поля.In the process of obtaining a digital flat or three-dimensional template of objects, available technical means can be used (Fig. 18). FIG. 18 shows a mock-up of a device for registering an image template with a pleo-optical camera, where 1 is a projection device, 2 is a digital camera of a light field.

Использование способа и устройства для его реализации позволит повысить эффективность современных средств обнаружения и идентификации целей ОЭС в одном кадре и одной экспозиции.The use of the method and device for its implementation will improve the efficiency of modern means of detection and identification of OES targets in one frame and one exposure.

В располагаемых источниках информации не обнаружено технических решений, содержащих в совокупности признаки, сходные с отличительными признаками заявляемого способа и устройства для его реализации. Следовательно, изобретение соответствует критерию изобретательский уровень.In the available sources of information, no technical solutions were found containing in aggregate features similar to the distinctive features of the proposed method and device for its implementation. Therefore, the invention meets the inventive step criterion.

Источники информации, принятые при составлении описания и формулы изобретения.Sources of information adopted in the preparation of the description and claims.

[1] Деготинский Н.А., Луцив В.Р. Измерение расстояния по единственному дефокусированному снимку // Научно-технический вестник информационных технологий, механики и оптики. 2016. Т. 16. №4. С. 663-669.[1] Degotinsky N.A., Lutsiv V.R. Distance measurement using a single defocused image // Scientific and technical bulletin of information technologies, mechanics and optics. 2016.Vol. 16.No.4. S. 663-669.

[2] Патент RU №20814350 G01S 17/00 от 02.04.84. Способ селекции объекта на удаленном фоне.[2] Patent RU No. 20814350 G01S 17/00 dated 02.04.84. A method for selecting an object against a distant background.

[3] Патент RU №23310840 G01S 17/06 от 05.10.2006. Способ обнаружения объектов.[3] Patent RU No. 23310840 G01S 17/06 dated 05.10.2006. Object detection method.

[4] Василенко Г.И. Голографическое опознавание образов. - М.: Сов. Радио, 1977, С. 77.[4] Vasilenko G.I. Holographic pattern recognition. - M .: Sov. Radio, 1977, p. 77.

[5] Шанин В.И., Шанин О.В. Методы оптической согласованной фильтрации в точном приборостроении // Журнал радиоэлектроники, №6, 2000.[5] Shanin V.I., Shanin O.V. Optical matched filtering methods in precision instrument making // Journal of radio electronics, No. 6, 2000.

[6] Методы и средства построения оптико-электронных систем наблюдения за удаленными объектами // Компоненты и технологии. 2020. №5. С. 94-99.[6] Methods and tools for constructing optoelectronic systems for monitoring remote objects // Components and technologies. 2020. No. 5. S. 94-99.

[7] Bok Y. Geometric Calibration of Micro-Lens-Based Light-Field Cameras using Line Features / Yunsu Bok, Hae-Gon Jeon, In So Kweon // IEEE Transactions on Pattern Analysis and Machine Intelligence v. 39, Issue: 2, 2017. P. 287-300.[7] Bok Y. Geometric Calibration of Micro-Lens-Based Light-Field Cameras using Line Features / Yunsu Bok, Hae-Gon Jeon, In So Kweon // IEEE Transactions on Pattern Analysis and Machine Intelligence v. 39, Issue: 2, 2017. P. 287-300.

[8] Ng R. Digital light field photography // A dissertation submitted to the department of computer science and the committee degree of doctor of philosophy. @ Copyright by Ren Ng, 2006. - 187 p.on graduate studies of Stanford university in partial fulfillment of the requirements for the[8] Ng R. Digital light field photography // A dissertation submitted to the department of computer science and the committee degree of doctor of philosophy. @ Copyright by Ren Ng, 2006 .-- 187 p. On graduate studies of Stanford university in partial fulfillment of the requirements for the

[9]

Figure 00000011
Computational photography of light-field camera and application to panoramic photography. Department of Software and Computer Science Education Supervisor of the master thesis: Ing. Filip Sroubek, Ph.D. Study programme: Computer Science, Software Systems Specialization: Computer Graphics, Prague, 2014 - 98 p.[9]
Figure 00000011
Computational photography of light-field camera and application to panoramic photography. Department of Software and Computer Science Education Supervisor of the master thesis: Ing. Filip Sroubek, Ph.D. Study program: Computer Science, Software Systems Specialization: Computer Graphics, Prague, 2014 - 98 p.

[10] Махов B.E., Потапов А.И., Закутаев А.А., Принципы работы цифровых камер ветового поля с массивом микролинз // Компоненты и технологии. 2018. №1 (226). С. 66-72.[10] Makhov V.E., Potapov A.I., Zakutaev A.A., Principles of operation of digital cameras of a vet field with an array of microlenses // Components and technologies. 2018. No. 1 (226). S. 66-72.

[11] Махов В.Е., Потапов А.И., Шалдаев С.Е. Контроль геометрических параметров изделий методом светового поля // Контроль. Диагностика. 2017. №7. С. 12-24.[11] Makhov V.E., Potapov A.I., Shaldaev S.E. Control of geometric parameters of products by the light field method // Control. Diagnostics. 2017. No. 7. S. 12-24.

[12] Ольт Ю., Максаров В.В., Махов В.Е. Интеллектуальные системы оценки качества обработки резьбовых поверхностей и контроля дефектов на основе цифровой регистрации светового поля // Дефектоскопия. №11. 2020. С. 46-57.[12] Olt Yu., Maksarov V.V., Makhov V.E. Intelligent systems for assessing the quality of processing of threaded surfaces and control of defects based on digital registration of the light field // Defectoskopiya. No. 11. 2020.S. 46-57.

[13] Маневич Е.Я., Махов В.Е., Потапов А.И. Мониторинг размеров и деформаций поручней эскалатора цифровыми регистраторами светового поля // Контроль. Диагностика. 2019. №2. С. 32-43.[13] Manevich E.Ya., Makhov V.E., Potapov A.I. Monitoring the dimensions and deformations of escalator handrails by digital light field recorders // Kontrol. Diagnostics. 2019. No. 2. S. 32-43.

[14] Махов В.Е., Потапов А.И. Использование вейвлет - анализа для диагностики системы технического зрения // Контроль. Диагностика. 2011. №9. С. 11-18.[14] Makhov V.E., Potapov A.I. The use of wavelet analysis for diagnostics of the technical vision system // Control. Diagnostics. 2011. No. 9. S. 11-18.

[15] Вест Ч. Голографическая интерферометрия. Пер. с англ. - М.: Мир, 1982. - 504 с.[15] West Ch. Holographic interferometry. Per. from English - M .: Mir, 1982 .-- 504 p.

[16] Makhov V.E., Sytko I.I. Shape and Relief Evaluation Using the Light Field Camera // In the collection: IOP Conf. Series: Earth and Environmental Science. Vol. 194. 2018. - P. 022020.[16] Makhov V.E., Sytko I.I. Shape and Relief Evaluation Using the Light Field Camera // In the collection: IOP Conf. Series: Earth and Environmental Science. Vol. 194.2018 .-- P. 022020.

[17] Махов B.E., Потапов А.И. Выделение информационных полей и дефектов поверхности методом регистрации светового поля // Контроль. Диагностика. 2018. №3. С. 28-38.[17] Makhov B.E., Potapov A.I. Isolation of information fields and surface defects by the method of registration of a light field // Control. Diagnostics. 2018. No. 3. S. 28-38.

[18] Махов В.Е., Широбоков В.В., Петрушенко В.М. Методика построения алгоритмов для определения параметров малоразмерных объектов // Компоненты и технологии. 2020. №4 (226). С. 110-114.[18] Makhov V.E., Shirobokov V.V., Petrushenko V.M. Methods for constructing algorithms for determining the parameters of small-sized objects // Components and technologies. 2020. No. 4 (226). S. 110-114.

[19] Travis J., Kring J. Lab VIEW for Everyone: Graphical Programming Made Easy and Fun, Third Edition: Prentice Hall. July 27, 2006. - 1032 p.[19] Travis J., Kring J. Lab VIEW for Everyone: Graphical Programming Made Easy and Fun, Third Edition: Prentice Hall. July 27, 2006 .-- 1032 p.

[20] Klinger T. Image processing with Labview and Imaq Vision (National Instruments Virtual Instrumentation Series). - Prentice Hall Professional, 2003. - 319 p.[20] Klinger T. Image processing with Labview and Imaq Vision (National Instruments Virtual Instrumentation Series). - Prentice Hall Professional, 2003 .-- 319 p.

[21] 3D Light Field Camera Technology / Raytrix GmbH, Germany, 2013, [Электронный ресурс]. URL: http://www.isolutions.com.sg/Raytrix.pdf.[21] 3D Light Field Camera Technology / Raytrix GmbH, Germany, 2013, [Electronic resource]. URL: http://www.isolutions.com.sg/Raytrix.pdf.

Claims (2)

1. Способ обнаружения и определения характеристик целей на основе регистрации и обработки хода лучей от объектов в наблюдаемом пространстве, включающий в себя регистрацию изображения объема наблюдаемого пространства, алгоритмическое формирование изображений слоев пространства, обнаружение целей, алгоритмический анализ набора слоев изображений наблюдаемого пространства, вычисление линейных размеров целей и дальности до них, определение характеристик целей, отличающийся тем, что при регистрации объема наблюдаемого пространства дополнительно регистрируют двухмерный или трехмерный шаблон, при этом двухмерный шаблон формируют алгоритмически из динамической цифровой математической модели, по параметрам которой определяют динамические характеристики объектов наблюдаемой сцены, а трехмерный шаблон формируют из регистрации наблюдаемого пространства в ранний момент времени, по результатам сравнения определяют динамические характеристики целей, при алгоритмическом формировании изображений слоев пространства осуществляют формирование полного набора плоских изображений наблюдаемого пространства, соответствующих различной глубине резко отображаемого пространства, обнаружение цели осуществляют по всей глубине наблюдаемого пространства, алгоритмически синтезируемого на основе обработки массива субапертурных изображений, полученных пленооптической камерой, алгоритмический анализ полного набора слоев изображений наблюдаемого пространства производят путем анализа изображений, полученных морфологическим сравнением изображения слоев со слоем изображения шаблона с учетом возможности его масштабирования и поворота, при этом вычисления линейных размеров целей и дальностей до них осуществляют путем обработки двухмерных слоев изображения наблюдаемого пространства, имеющего наибольшую корреляцию со слоем изображения шаблона, при определении характеристик целей учитывается степень корреляции изображений слоев наблюдаемого пространства, на которых были обнаружены цели, соответствующие шаблону.1. A method for detecting and determining the characteristics of targets based on the registration and processing of the path of rays from objects in the observed space, including registration of an image of the volume of the observed space, algorithmic formation of images of space layers, target detection, algorithmic analysis of a set of image layers of the observed space, calculation of linear dimensions targets and ranges to them, determination of the characteristics of targets, characterized in that when registering the volume of the observed space, a two-dimensional or three-dimensional template is additionally recorded, while the two-dimensional template is formed algorithmically from a dynamic digital mathematical model, according to the parameters of which the dynamic characteristics of objects in the observed scene are determined, and a three-dimensional the template is formed from the registration of the observed space at an early moment in time, according to the results of comparison, the dynamic characteristics of the targets are determined, with algorithmic formation of images of the layers n Spaces carry out the formation of a complete set of flat images of the observed space corresponding to different depths of sharply displayed space, target detection is carried out over the entire depth of the observed space, algorithmically synthesized on the basis of processing an array of sub-aperture images obtained by a plenum-optical camera, algorithmic analysis of the complete set of image layers of the observed space is performed by analyzing images obtained by morphological comparison of the image of the layers with the template image layer, taking into account the possibility of its scaling and rotation, while calculating the linear dimensions of targets and the distances to them is carried out by processing two-dimensional image layers of the observed space, which has the greatest correlation with the template image layer, in determining the characteristics of targets the degree of correlation of the images of the layers of the observed space, on which the targets corresponding to the template were detected, is taken into account. 2. Устройство для обнаружения и определения характеристик целей на основе регистрации и обработки хода лучей от объектов в наблюдаемом пространстве, включающее в себя оптическую систему с пленооптической камерой регистрации изображения наблюдаемого объема пространства, отличающееся тем, что оптическую систему дополняют проецирующей системой масштабируемого и смещаемого изображения двухмерного шаблона или слоев изображения трехмерного шаблона через светоделитель, расположенный по оси расположения основной пленооптической камеры и сводящий изображение шаблона в поле зрения пленооптической камеры, или без свотоделителя перед параллельно расположенной второй пленооптической камерой, при этом компоновка всего устройства обеспечивает получение суммарного объемного изображения наблюдаемой области пространства и шаблона для определения местонахождения наблюдаемых объектов и их геометрических характеристик.2. A device for detecting and determining the characteristics of targets based on the registration and processing of the path of rays from objects in the observed space, which includes an optical system with a pleo-optical camera for recording an image of the observed volume of space, characterized in that the optical system is supplemented with a projection system of a scalable and displaceable two-dimensional image a template or image layers of a three-dimensional template through a beam splitter located along the axis of the main plenum-optical camera and converting the image of the template in the field of view of a pleno-optical camera, or without a splitter in front of a parallel-positioned second pleno-optical camera, while the arrangement of the entire device provides a total volumetric image of the observed area of space and a template for locating the observed objects and their geometric characteristics.
RU2021103606A 2021-02-12 2021-02-12 Method for detecting and identifying targets characteristics based on registration and processing of rays from objects in observed space and device for its implementation RU2760845C1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2021103606A RU2760845C1 (en) 2021-02-12 2021-02-12 Method for detecting and identifying targets characteristics based on registration and processing of rays from objects in observed space and device for its implementation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2021103606A RU2760845C1 (en) 2021-02-12 2021-02-12 Method for detecting and identifying targets characteristics based on registration and processing of rays from objects in observed space and device for its implementation

Publications (1)

Publication Number Publication Date
RU2760845C1 true RU2760845C1 (en) 2021-11-30

Family

ID=79174445

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2021103606A RU2760845C1 (en) 2021-02-12 2021-02-12 Method for detecting and identifying targets characteristics based on registration and processing of rays from objects in observed space and device for its implementation

Country Status (1)

Country Link
RU (1) RU2760845C1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2806249C1 (en) * 2022-12-08 2023-10-30 Федеральное государственное бюджетное военное образовательное учреждение высшего образования "Военно-космическая академия имени А.Ф. Можайского" Министерства обороны Российской Федерации Method for obtaining high spatial resolution images by opto-electronic observation tool for remote objects

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5543917A (en) * 1994-10-26 1996-08-06 Lockheed Martin Corporation Object detector
RU2081435C1 (en) * 1984-04-02 1997-06-10 Товарищество с ограниченной ответственностью "Астрам" Method of selection of object against distant background
RU2331084C1 (en) * 2006-10-05 2008-08-10 Владимир Аминович Подгорнов Method of detecting objects
RU2363018C1 (en) * 2007-11-06 2009-07-27 Федеральное государственное унитарное предприятие "Российский Федеральный Ядерный Центр - Всероссийский Научно-Исследовательский Институт Технической Физики имени академика Е.И. Забабахина" (ФГУП "РФЯЦ-ВНИИТФ имени академика Е.И. Забабахина") Method of selecting objects on remote background
RU2390039C2 (en) * 2007-11-26 2010-05-20 Федеральное государственное унитарное предприятие "Российский Федеральный Ядерный Центр - Всероссийский Научно-Исследовательский Институт Технической Физики имени академика Е.И. Забабахина" (ФГУП "РФЯЦ-ВНИИТФ имени академика Е.И. Забабахина") Device for selecting objects on non-uniform remote background
RU2714701C1 (en) * 2019-06-17 2020-02-19 Федеральное государственное унитарное предприятие "Российский федеральный ядерный центр - Всероссийский научно-исследовательский институт технической физики имени академика Е.И. Забабахина" Method of selecting an object on a distant background with optical systems from an air carrier
RU2734018C2 (en) * 2015-09-17 2020-10-12 ИНТЕРДИДЖИТАЛ ВиСи ХОЛДИНГЗ, ИНК. Method and device for generating data representing a light field

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2081435C1 (en) * 1984-04-02 1997-06-10 Товарищество с ограниченной ответственностью "Астрам" Method of selection of object against distant background
US5543917A (en) * 1994-10-26 1996-08-06 Lockheed Martin Corporation Object detector
RU2331084C1 (en) * 2006-10-05 2008-08-10 Владимир Аминович Подгорнов Method of detecting objects
RU2363018C1 (en) * 2007-11-06 2009-07-27 Федеральное государственное унитарное предприятие "Российский Федеральный Ядерный Центр - Всероссийский Научно-Исследовательский Институт Технической Физики имени академика Е.И. Забабахина" (ФГУП "РФЯЦ-ВНИИТФ имени академика Е.И. Забабахина") Method of selecting objects on remote background
RU2390039C2 (en) * 2007-11-26 2010-05-20 Федеральное государственное унитарное предприятие "Российский Федеральный Ядерный Центр - Всероссийский Научно-Исследовательский Институт Технической Физики имени академика Е.И. Забабахина" (ФГУП "РФЯЦ-ВНИИТФ имени академика Е.И. Забабахина") Device for selecting objects on non-uniform remote background
RU2734018C2 (en) * 2015-09-17 2020-10-12 ИНТЕРДИДЖИТАЛ ВиСи ХОЛДИНГЗ, ИНК. Method and device for generating data representing a light field
RU2714701C1 (en) * 2019-06-17 2020-02-19 Федеральное государственное унитарное предприятие "Российский федеральный ядерный центр - Всероссийский научно-исследовательский институт технической физики имени академика Е.И. Забабахина" Method of selecting an object on a distant background with optical systems from an air carrier

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2806249C1 (en) * 2022-12-08 2023-10-30 Федеральное государственное бюджетное военное образовательное учреждение высшего образования "Военно-космическая академия имени А.Ф. Можайского" Министерства обороны Российской Федерации Method for obtaining high spatial resolution images by opto-electronic observation tool for remote objects
RU2811331C1 (en) * 2023-09-28 2024-01-11 Федеральное государственное бюджетное образовательное учреждение высшего образования "Томский государственный университет систем управления и радиоэлектроники" Device for forming image of map of distances to surveyed objects

Similar Documents

Publication Publication Date Title
US7612870B2 (en) Single-lens aperture-coded camera for three dimensional imaging in small volumes
JP6319329B2 (en) Surface attribute estimation using plenoptic camera
US7612869B2 (en) Aperture coded camera for three dimensional imaging
CN107084794B (en) Flame three-dimensional temperature field measuring system and method based on light field layered imaging technology
Lynch et al. Three-dimensional particle image velocimetry using a plenoptic camera
CN109883391B (en) Monocular distance measurement method based on digital imaging of microlens array
Frauel et al. Comparison of passive ranging integral imaging and active imaging digital holography for three-dimensional object recognition
Jayasuriya et al. Depth fields: Extending light field techniques to time-of-flight imaging
Zhong et al. A single color camera stereo vision system
Cenedese et al. 3D particle reconstruction using light field imaging
Bräuer-Burchardt et al. Underwater 3D measurements with advanced camera modelling
CN111465885A (en) Apparatus and process for simultaneous capture of standard and plenoptic images
CN113466489A (en) Single-camera particle image velocimetry method with low particle density
RU2760845C1 (en) Method for detecting and identifying targets characteristics based on registration and processing of rays from objects in observed space and device for its implementation
FR3057095B1 (en) METHOD FOR CONSTRUCTING A DEPTH MAP OF A SCENE AND / OR A COMPLETELY FOCUSED IMAGE
Zhu et al. Three-dimensional measurement of fringe projection based on the camera response function of the polarization system
Georgopoulos Photogrammetric automation: is it worth?
RU2734070C1 (en) Method of measuring spatial distance between small objects
Jawad et al. Measuring object dimensions and its distances based on image processing technique by analysis the image using sony camera
US20230084212A1 (en) Three-dimensional space camera and photographing method therefor
Pashchenko et al. An algorithm for the visualization of stereo images simultaneously captured with different exposures
Lavieri et al. Image-based measurement system for regular waves in an offshore basin
RU2806249C1 (en) Method for obtaining high spatial resolution images by opto-electronic observation tool for remote objects
RU2790049C1 (en) Method for anisotropic recording of the light field and apparatus for implementation thereof
Buat et al. Active chromatic depth from defocus for industrial inspection