RU2197070C2 - Method of image stabilization and device for its realization - Google Patents

Abstract

FIELD: conversion of electromagnetic radiation to electric signal. SUBSTANCE: invention is related to devices intended for conversion of electromagnetic radiation to electric signal carrying information on image when these devices are mounted on mobile base. Technical result consist in reduction of error of stabilization of image formed by opticoelectron device with delay of video signal with simultaneous provision of compensation for lack of linearity of opticoelectron device. In accordance with invention method of image stabilization is modified as follows: for formation of address measured displacements are delayed by time equal to lag in formation of video signal relative to moment of radiation flux hitting photodetector and are recomputed in terms of direction of sweep. To realize this modification device is supplemented with delay unit and coordinate converter. EFFECT: reduced error of stabilization of image. 2 cl, 4 dwg

Description

Изобретение относится к области приборов, предназначенных для преобразования электромагнитного излучения в электрический сигнал, несущий информацию об изображении, при размещении этих приборов на подвижном основании. Примерами таких приборов могут служить, например, субмиллиметровые телескопы, теплопеленгаторы, тепловизоры, телекамеры, визуализаторы рентгеновского излучения. Как правило, в таких приборах используется одно- или многоэлементные приемники сигнала, а для получения стандартного видеосигнала используется память на кадр или его часть, например полукадр. The invention relates to the field of devices designed to convert electromagnetic radiation into an electrical signal that carries information about the image, when placing these devices on a moving base. Examples of such devices are, for example, submillimeter telescopes, heat direction finders, thermal imagers, television cameras, and X-ray visualizers. As a rule, such devices use single- or multi-element signal receivers, and for receiving a standard video signal memory is used for a frame or part of it, for example, a half-frame.

Известен способ стабилизации изображения, заключающийся в том, что на корпус оптико-электронного прибора устанавливают силовые гироскопы, которые при воздействии качек обеспечивают удержание прибора в установленном направлении за счет развиваемого ими гироскопического момента [1, стр. 95]. Недостатком этого способа является необходимость использования гироскопов с высоким кинетическим моментом, которые имеют большую массу и габариты. A known method of image stabilization, which consists in the fact that power gyroscopes are installed on the body of the optoelectronic device, which, when exposed to qualities, ensure that the device is held in the set direction due to the gyroscopic moment developed by them [1, p. 95]. The disadvantage of this method is the need to use gyroscopes with high kinetic momentum, which have a large mass and dimensions.

Известен также способ стабилизации, описанный в [2]. При этом способе в оптическую систему оптико-электронного прибора устанавливают подвижный оптический элемент, позволяющий смещать формируемое изображение относительно устройства, преобразующего электромагнитное излучение в электрический сигнал. Перемещение подвижного оптического элемента осуществляют с помощью управляемого привода. Недостатком такого способа стабилизации изображения является то, что дополнительный подвижный оптический элемент вносит потери в прохождение потока излучения и тем самым ухудшает пороговую чувствительность оптико-электронного прибора, кроме того, наличие дополнительного привода усложняет конструкцию оптико-электронного прибора. Also known is the stabilization method described in [2]. With this method, a movable optical element is installed in the optical system of the optoelectronic device, which allows the image to be shifted relative to the device that converts electromagnetic radiation into an electrical signal. Moving the movable optical element is carried out using a controlled drive. The disadvantage of this method of image stabilization is that an additional movable optical element introduces losses in the passage of the radiation flux and thereby worsens the threshold sensitivity of the optoelectronic device, in addition, the presence of an additional drive complicates the design of the optoelectronic device.

В [3, стр. 76-79] описан способ стабилизации изображения, когда в нем выделяются неподвижные реперные точки, осуществляется их привязка к растру, в каждом полукадре определяется их положение, и за счет сигнала смещения на отклоняющую систему, пропорционального изменению положения реперных точек относительно первоначального, положение центра растра остается стабильным в пространстве. Этот способ обладает следующими недостатками: во-первых, изображение должно быть типовым и располагаться на постоянном от оптико-электронного прибора расстоянии либо оптико-электронный прибор должен иметь систему регулирования фокусного расстояния, которая обычно увеличивает массу прибора и ухудшает его оптические характеристики; во-вторых, для выделения реперных точек требуется достаточно сложная аппаратура для обработки видеосигнала; в-третьих, при достаточно большой амплитуде качек часть реперных точек может выйти за пределы растра, что может сорвать дальнейший процесс стабилизации, в-четвертых, смещение можно осуществить только в следующем кадре (полукадре), то есть возникает ошибка стабилизации изображения из-за дискретности обновления информации о смещении. In [3, pp. 76-79], a method of image stabilization is described when fixed reference points are allocated in it, they are referenced to a raster, their position is determined in each half-frame, and due to a bias signal to a deflection system proportional to a change in the position of the reference points relative to the original, the position of the center of the raster remains stable in space. This method has the following disadvantages: firstly, the image must be typical and should be located at a constant distance from the optoelectronic device, or the optoelectronic device must have a focal length adjustment system that usually increases the mass of the device and degrades its optical characteristics; secondly, for the allocation of reference points requires sufficiently sophisticated equipment for processing a video signal; thirdly, with a sufficiently large amplitude of quality, some of the reference points can go beyond the raster, which can disrupt the further stabilization process, fourthly, the offset can be made only in the next frame (half frame), that is, an image stabilization error occurs due to discreteness offset information updates.

Еще одним способом стабилизации изображения является способ, описанный в [4] . В оптико-электронной системе по этой заявке перемещение измеряется с помощью акселерометра (измерителя смещения), а соответствующая коррекция изображения осуществляется за счет изменения порядка считывания элементов с матрицы приборов с зарядовой связью (ПЗС). Но эта система может быть применена лишь в приборах, где в качестве преобразователя излучения в электрический сигнал используются ПЗС приемники. Кроме того, поскольку изображение до считывания должно быть записано в ПЗС, возникает временной лаг между моментом формирования первичного электрического сигнала от потока излучения и моментом получения сигнала от измерителя смещения (ИС). В результате также возникают ошибки в стабилизации изображения. Another way of image stabilization is the method described in [4]. In the optical-electronic system according to this application, the movement is measured using an accelerometer (displacement meter), and the corresponding image correction is carried out by changing the reading order of the elements from the matrix of charge-coupled devices (CCD). But this system can only be used in devices where CCD receivers are used as a radiation converter to an electrical signal. In addition, since the image must be recorded in the CCD before reading, a time lag arises between the moment the primary electrical signal is generated from the radiation flux and the moment the signal is received from the displacement meter (IP). As a result, errors in image stabilization also occur.

Наиболее близким к заявляемому техническому решению является способ, предложенный в [5] . В этом случае для стабилизации изображения измеряют смещение оптико-электронного прибора (телекамеры), для каждого элемента изображения определяют адрес в запоминающем устройстве с учетом измеренного смещения, записывают в запоминающее устройство элементы изображения в соответствии с полученными адресами, а считывание элементов изображения осуществляют в обычной последовательности, соответствующей развертке растра. Недостатком этого способа является то, что при наличии запаздывания в формировании видеосигнала будут возникать ошибки стабилизации даже при идеальном определении величины смещения изображения. Кроме того, могут возникать дополнительные ошибки из-за того, что не учитываются несовпадения измерительных осей ИС с направлениями развертки и нелинейные искажения, вносимые формирующей оптическое изображение системой. Closest to the claimed technical solution is the method proposed in [5]. In this case, to stabilize the image, the displacement of the optoelectronic device (camera) is measured, for each image element, the address in the storage device is determined taking into account the measured displacement, the image elements are written to the storage device in accordance with the received addresses, and the image elements are read in the usual sequence corresponding to the raster scan. The disadvantage of this method is that if there is a delay in the formation of the video signal, stabilization errors will occur even if the image shift value is ideally determined. In addition, additional errors may occur due to the fact that the measurement axes of the IC do not take into account the scan directions and the nonlinear distortions introduced by the system forming the optical image.

Известна система стабилизации [6, стр. 182-186, рис. 3.1], содержащая датчики состояния объекта стабилизации, датчики возмущений, действующих на него, управляемые органы, вызывающие перемещения объекта стабилизации, и датчики управляемых органов, а также управляющую машину, которая на основе полученной информации формирует необходимые воздействия на управляемые органы. Такая система позволяет пересчитать измеренные смещения на любое требуемое направление. Но при использовании ее для стабилизации изображения требуется использование мощных приводов для поворота оптико-электронного прибора, которые обладают относительно низкой надежностью и имеют существенные ошибки при динамичных воздействиях на объект управления. The known stabilization system [6, p. 182-186, Fig. 3.1], which contains sensors of the state of the stabilization object, sensors of disturbances acting on it, controlled organs that cause the movement of the stabilization object, and sensors of the controlled organs, as well as a control machine, which, based on the information received, forms the necessary effects on the controlled organs. Such a system allows you to recalculate the measured displacements in any desired direction. But when using it to stabilize the image, it is necessary to use powerful drives to rotate the optoelectronic device, which have relatively low reliability and have significant errors during dynamic actions on the control object.

В системе стабилизации изображения [7] для коррекции положения изображения используют подвижный оптический элемент, установленный в формирующей оптической системе. В качестве измерителя смещения используют устройство обработки видеосигнала, по сигналам которого и перемещается подвижный оптический элемент. К недостаткам этой системы можно отнести как и относительно низкую надежность приборного привода (хотя и более высокую, чем силового), так и то, что при наличии запаздывания в формировании видеосигнала корректирующий сигнал также будет формироваться с запаздыванием. А это неизбежно вызовет появление ошибок стабилизации изображения. In the image stabilization system [7], a movable optical element installed in the forming optical system is used to correct the image position. As a displacement meter, a video signal processing device is used, the signals of which move a moving optical element. The disadvantages of this system include both the relatively low reliability of the instrument drive (although higher than the power drive), and the fact that if there is a delay in the formation of the video signal, the correction signal will also be formed with a delay. And this will inevitably cause image stabilization errors.

Наиболее близкой по числу совпадающих признаков авторами признана оптико-электронная система, описанная в [5] . Она состоит из телекамеры (оптико-электронного прибора), установленной на платформе, кинематически связанной с двигателями и датчиками сдвига (измерителями смещения). На двигатели подаются сигналы управления, сформированные каналом слежения. Вход канала слежения соединен с выходом запоминающего устройства. Вход данных запоминающего устройства соединен с видеовыходом телекамеры, а входы формирователя адреса записи - с выходами датчиков сдвига. Запоминающее устройство в этой системе выполняет функции блока смещения изображения. Недостатком этой системы является наличие существенных ошибок в стабилизации изображения при задержке формирования видеосигнала, наличие дополнительных ошибок из-за неучета несовпадения измерительных осей измерителя смещения с направлениями развертки оптико-электронного прибора (ОЭП) и неучета нелинейностей формирующей изображение оптической системы и системы развертки ОЭП. В результате создаются дополнительные трудности как для работы канала слежения, так и для наблюдения за процессом слежения оператором. The authors are recognized as the closest in the number of matching features to the optoelectronic system described in [5]. It consists of a television camera (optoelectronic device) mounted on a platform kinematically connected to motors and shift sensors (displacement meters). The control signals generated by the tracking channel are applied to the engines. The input of the tracking channel is connected to the output of the storage device. The data input of the storage device is connected to the video output of the camera, and the inputs of the recording address generator are connected to the outputs of the shift sensors. The storage device in this system functions as an image biasing unit. The disadvantage of this system is the presence of significant errors in image stabilization with a delay in the formation of the video signal, the presence of additional errors due to the neglect of the mismatch of the measuring axes of the displacement meter with the scan directions of the optoelectronic device (OED) and the neglect of nonlinearities of the image-forming optical system and the OEP scan system. As a result, additional difficulties are created both for the operation of the tracking channel and for monitoring the tracking process by the operator.

Задачей предлагаемой группы изобретений является уменьшение погрешности стабилизации изображения, выдаваемого оптико-электронными приборами, имеющими запаздывание в формировании видеосигнала относительно момента попадания потока излучения на фотоприемник, а также уменьшение влияния на точность стабилизации изображения нелинейных искажений, вносимых оптико-электронным прибором. The objective of the proposed group of inventions is to reduce the error in image stabilization issued by optoelectronic devices having a delay in the formation of the video signal relative to the moment the radiation flux hits the photodetector, as well as to reduce the effect on the image stabilization accuracy of nonlinear distortions introduced by the optoelectronic device.

Для решения указанной задачи способ стабилизации изображения, заключающийся в преобразовании потока излучения в видеосигнал, измерении смещения изображения, формировании адреса записи с учетом замеренного смещения, запоминании элементов видеосигнала в соответствии с полученными адресами и считывании запомненного сигнала в последовательности, соответствующей закону развертки, модифицирован следующим образом: для формирования адреса записи измеренное смещение задерживают на время, равное запаздыванию в формировании видеосигнала, и пересчитывают на направление развертки с учетом нелинейностей ОЭП. To solve this problem, the method of image stabilization, which consists in converting the radiation flux into a video signal, measuring the image bias, generating a recording address taking into account the measured bias, storing video signal elements in accordance with the received addresses and reading the stored signal in a sequence corresponding to the sweep law, is modified as follows : to generate the recording address, the measured offset is delayed for a time equal to the delay in the formation of the video signal, converted to the direction of scan based EIA nonlinearities.

Стабилизация изображения при предложенном способе осуществляется нижеописанным образом. Image stabilization with the proposed method is carried out as described below.

В качестве измерителя смещения могут использоваться акселерометры, гироскопические датчики угла, датчики угловых скоростей, лазерные и волоконно-оптические гироскопы и т.п. В общем случае направление развертки оптико-электронного прибора может не совпадать с плоскостью, в которой осуществляется измерение перемещения. Так, например, гироскопические приборы, как правило, измеряют перемещение в абсолютной системе координат, а прибор может находиться в подвесе, ориентированном иначе, чем оси гироскопа. Кроме того, в оптико-электронном приборе может использоваться неортогональная, например спиральная, развертка и, как правило, оптико-электронный прибор имеет нелинейности формирующей изображение и отклоняющей систем, приводящие к тому, что поле растра становится нелинейным. Для приведения в соответствие измеренных величин направлению развертки идеального растра, они должны быть пересчитаны на соответствующее направление с учетом нелинейностей оптико-электронного прибора. Эти нелинейности могут быть предварительно измерены по эталонным изображениям (тест-таблицам). Зависимости, по которым может быть произведен пересчет из одной системы координат в другую, приведены, например, в [8]. Компенсация нелинейностей может быть осуществлена, например, с помощью функционального преобразователя, реализующего функцию, обратную функции, аппроксимирующей нелинейность, если та определяется в виде аналитического выражения, либо умножением на обратную матрицу, если для каждой точки идеального растра замерено фактическое отклонение. Может также использоваться и комбинация этих двух способов, если удовлетворительные по точности аппроксимации могут быть получены для ограниченных областей растра (кусочно-линейная аппроксимация, в частности). В частном случае, например, когда используются ортогональная развертка и гироскопический датчик угла, закрепленный на оптико-электронном приборе таким образом, что направления измеряемых им перемещений совпадают с направлениями развертки, а формирующая и развертывающая системы идеальны, преобразование координат редуцируется к масштабированию. Однако, если при формировании видеосигнала имела место задержка (см. , например [9, стр. 32-40, 62-63]), то величина поправки будет сформирована с опережением по отношению к получаемым элементам (пикселам) видеосигнала. Это приведет к тому, что адреса записи будут сформированы неточно, а соответственно стабилизация изображения будет иметь погрешности. Чтобы избежать этого, вводится задержка на использование замеренного сигнала смещения на время, равное запаздыванию в формировании видеосигнала. Указанную задержку в общем случае нецелесообразно устанавливать после пересчета смещения на направление развертки либо формирования адреса записи, т.к. эти операции тесно связаны с положением пиксела в растре, хотя в некоторых частных случаях такая перестановка последовательности операций допустима. Таким образом адрес записи поступающего пиксела видеосигнала с учетом вводимой задержки соответствует такому его идеальному положению в растре на момент попадания потока излучения на фотоприемник, как, если бы на оптико-электронный прибор не действовали возмущения. Поэтому, производя считывание пикселов из памяти в последовательности, соответствующей развертке идеального растра, получим изображение, стабилизированное относительно оптической оси, связанной с центром растра. Accelerometers, gyroscopic angle sensors, angular velocity sensors, laser and fiber-optic gyroscopes, etc. can be used as a displacement meter. In the general case, the scanning direction of the optoelectronic device may not coincide with the plane in which the displacement is measured. So, for example, gyroscopic devices, as a rule, measure displacement in an absolute coordinate system, and the device can be in a suspension oriented differently from the axis of the gyroscope. In addition, a non-orthogonal, for example, spiral, scan can be used in an optical-electronic device, and, as a rule, an optical-electronic device has nonlinearities of the image-forming and deflecting systems, which cause the raster field to become non-linear. In order to bring the measured values into line with the scanning direction of the ideal raster, they must be converted to the corresponding direction taking into account the nonlinearities of the optoelectronic device. These non-linearities can be pre-measured using reference images (test tables). The dependences by which recalculation can be made from one coordinate system to another are given, for example, in [8]. Compensation of nonlinearities can be carried out, for example, using a functional converter that implements a function, the inverse of a function approximating nonlinearity, if it is determined in the form of an analytical expression, or by multiplying by an inverse matrix, if the actual deviation is measured for each point of an ideal raster. A combination of these two methods can also be used if satisfactory accuracy approximations can be obtained for limited regions of the raster (piecewise linear approximation, in particular). In the particular case, for example, when an orthogonal scan and a gyroscopic angle sensor are used, mounted on an optical-electronic device in such a way that the directions of the displacements measured by it coincide with the directions of the scan, and the forming and deploying systems are ideal, the coordinate transformation is reduced to scaling. However, if there was a delay in the formation of the video signal (see, for example, [9, p. 32-40, 62-63]), then the correction value will be generated ahead of the received elements (pixels) of the video signal. This will lead to the fact that the recording addresses will be formed inaccurately, and accordingly image stabilization will have errors. To avoid this, a delay is introduced to use the measured offset signal for a time equal to the delay in the formation of the video signal. In general, it is not advisable to set the specified delay after recalculating the offset to the sweep direction or generating the recording address, because these operations are closely related to the position of the pixel in the raster, although in some special cases such a permutation of the sequence of operations is permissible. Thus, the recording address of the incoming pixel of the video signal, taking into account the input delay, corresponds to its ideal position in the raster at the time the radiation flux hits the photodetector, as if disturbances did not act on the optoelectronic device. Therefore, when reading pixels from memory in the sequence corresponding to the scan of an ideal raster, we obtain an image stabilized with respect to the optical axis associated with the center of the raster.

Для реализации описанного способа в оптико-электронную систему, содержащую измеритель смещения и последовательно соединенные оптико-электронный прибор и блок смещения, введены последовательно соединенные блок задержки и преобразователь координат, при этом выход измерителя смещения соединен со входом блока задержки, а выход преобразователя координат соединен со вторым входом блока смещения. To implement the described method, an optoelectronic system comprising a displacement meter and a serially connected optoelectronic device and a displacement unit is connected to a delay unit and a coordinate transformer connected in series, while the output of the displacement meter is connected to the input of the delay unit, and the output of the coordinate transformer is connected to the second input of the offset block.

Предлагаемые изобретения поясняются графическими материалами. На фиг.1 изображена функциональная схема предлагаемой оптико-электронной системы (ОЭС). На фиг.2 схематично приведены положения растров в плоскости изображений (для ортогональной и спиральной разверток): а - идеального; б - с учетом нелинейностей; в - с учетом смещений. The proposed invention is illustrated by graphic materials. Figure 1 shows a functional diagram of the proposed optoelectronic system (ECO). Figure 2 schematically shows the positions of the rasters in the image plane (for orthogonal and spiral sweeps): a - ideal; b - taking into account non-linearities; in - taking into account displacements.

ОЭС состоит из последовательно соединенных оптико-электронного прибора (ОЭП) 1 и блока смещения (БСм) 2, а также из последовательно соединенных измерителя смещения (ИС) 3, блока задержки (БЗ) 4 и преобразователя координат (ПК) 5. Выход преобразователя координат соединен со вторым входом блока смещения. The ECO consists of a series-connected optical-electronic device (OEP) 1 and a bias unit (BSm) 2, as well as a series-connected bias meter (IS) 3, a delay unit (BZ) 4 and a coordinate transformer (PC) 5. Coordinate transformer output connected to the second input of the bias unit.

Все используемые в системе блоки являются по отдельности известными. В качестве оптико-электронного прибора могут использоваться субмиллиметровые телескопы, теплопеленгаторы, тепловизоры, телекамеры, визуализаторы рентгеновского излучения. Блок смещения может быть реализован аналогично прототипу. В качестве измерителей смещения могут использоваться акселерометры, датчики угловых скоростей, позиционные гироскопы, оптико-электронные координаторы, датчики приводов перемещения и поворота ОЭП и т.п. Блок задержки может быть реализован как с использованием аналоговых линий задержки, так и с использованием цифровых элементов памяти, например, за счет использования в качестве адреса считывания ранее сформированного адреса записи, взятого с соответствующим запаздыванием. Преобразователь координат также может быть выполнен с использованием аналоговой либо цифровой элементной базы. Например, реализация ПК с помощью электромеханических приводов и вращающихся трансформаторов приведена в [8]. Нелинейные элементы ПК могут быть реализованы и на операционных усилителях (см., например, [10]). Известны и микросхемы, выполняющие операцию умножения, и схемотехника, позволяющая с их помощью реализовать операцию деления (см., например, [11]). All blocks used in the system are individually known. As an optical-electronic device, submillimeter telescopes, heat direction finders, thermal imagers, television cameras, x-ray visualizers can be used. The offset unit can be implemented similarly to the prototype. As displacement meters, accelerometers, angular velocity sensors, positional gyroscopes, optoelectronic coordinators, sensors for displacement and rotation of OEPs, etc. can be used. The delay block can be implemented both using analog delay lines and using digital memory elements, for example, by using the previously generated record address taken with the corresponding delay as the read address. The coordinate converter can also be performed using an analog or digital element base. For example, PC implementation using electromechanical drives and rotary transformers is given in [8]. Nonlinear PC elements can also be implemented on operational amplifiers (see, for example, [10]). There are known microcircuits that perform the multiplication operation, and circuitry that allows them to implement the division operation (see, for example, [11]).

Рассмотрим работу оптико-электронной системы. Consider the operation of an optoelectronic system.

Поток электромагнитного излучения поступает на вход оптико-электронного прибора 1, где преобразуется в видеосигнал с некоторым запаздыванием по отношению к моменту попадания излучения на фотоприемник. В случае перемещения оптико-электронного прибора, например при размещении его на подвижном носителе, изображение также сместится. Чтобы обеспечить стабилизацию изображения определяется величина сдвига с помощью измерителя смещения 3. Так как направление развертки в общем случае не совпадает с направлениями, в которых осуществляет замер измеритель смещения, в преобразователе координат 5 сигнал смещения пересчитывается на направление развертки. Применение преобразователя координат позволяет также скомпенсировать нелинейные искажения, вносимые формирующей и развертывающей системами ОЭП. Предварительно смещение, измеренное ИС 3, задерживается на величину, равную запаздыванию в формировании видеосигнала в блоке задержки 4. Полученное на выходе ПК 5 значение смещения используется для формирования адреса записи в блоке смещения 2, на вход данных которого поступает видеосигнал из оптико-электронного прибора 1. Источник сигналов, синхронизирующих работу блоков, может размещаться как в одном из них, так и отдельно. The flow of electromagnetic radiation enters the input of the optoelectronic device 1, where it is converted into a video signal with some delay in relation to the moment the radiation enters the photodetector. In the case of moving the optoelectronic device, for example when placing it on a movable medium, the image will also shift. In order to ensure image stabilization, the shift value is determined using the displacement meter 3. Since the scan direction generally does not coincide with the directions in which the displacement meter measures, the coordinate signal 5 is converted into the scan direction in the coordinate transformer 5. The use of a coordinate transformer also makes it possible to compensate for the nonlinear distortions introduced by the forming and deploying EIA systems. Preliminarily, the bias measured by IS 3 is delayed by an amount equal to the delay in the formation of the video signal in the delay unit 4. The offset value obtained at the output of PC 5 is used to form the recording address in the bias unit 2, to the data input of which the video signal from the optoelectronic device 1 The source of signals synchronizing the operation of the blocks can be placed either in one of them or separately.

Рассмотрим подробнее простейший частный случай, когда развертка ОЭП ортогональна, измеритель смещения измеряет углы качек в направлениях развертки и поворот относительно оптической оси ОЭП. Пусть в пространстве изображений ОЭП каждому элементу а_ij (i - номер строки, j - номер элемента в строке) соответствуют координаты х_j, y_i относительно оптической оси. Если оптическая система ОЭП идеальна, то в соответствии с законами геометрической оптики пространство предметов связывают с пространством изображений соотношения

где ε - угол в пространстве предметов относительно оптической оси в плоскости вертикальной развертки;
β - угол в пространстве предметов относительно оптической оси в плоскости горизонтальной развертки;
f - фокусное расстояние ОЭП.Let us consider in more detail the simplest special case when the OEP sweep is orthogonal, the displacement meter measures the quality angles in the sweep directions and rotation relative to the optical axis of the OEP. Let each element a _ij in the space of OEP images (i is the line number, j is the number of the element in the line) correspond to the coordinates x _j , y _i relative to the optical axis. If the optical system of the OED is ideal, then in accordance with the laws of geometric optics, the space of objects is associated with the space of images of the relation

where ε is the angle in the space of objects relative to the optical axis in the vertical plane;
β is the angle in the space of objects relative to the optical axis in the horizontal plane;
f is the focal length of the OED.

Если углы качек равны соответственно ε_к, β_к и γ (поворот вокруг оптической оси), то положение соответствующей точки в пространстве изображений можно определить по зависимости

Соответственно, чтобы "вернуть" элемент изображения в прежнюю позицию, потребуется выполнить обратный пересчет координат х_jк, y_iк, связанных с ОЭП, в стабилизированную систему координат

Если кроме геометрических имеют место и другие искажения так, что

тогда соответственно должны быть выполнены дополнительные преобразования

где φ₁, φ₂ - функции, обратные F₁, F₂.If the quality angles are ε _k , β _k, and γ, respectively (rotation around the optical axis), then the position of the corresponding point in the image space can be determined by the dependence

Accordingly, in order to "return" the image element to its previous position, it will be necessary to perform a reverse translation of the coordinates x _jk , y _ik associated with the _OED to a stabilized coordinate system

If besides geometrical other distortions take place so that

then accordingly additional transformations must be performed

where φ ₁ , φ ₂ are the inverse functions of F ₁ , F ₂ .

Поскольку преобразование изображения в информационный сигнал осуществляется с некоторой задержкой τ относительно текущего времени t, то на вход данных блока смещения вместо текущих элементов изображения с координатами x_jк(t), y_iк(t) поступают пикселы с координатами x_jк(t-τ), y_iк(t-τ). Поэтому в зависимостях (3), (3а) следует вместо координат ε_к(t), β_к(t) и γ(t) использовать ε_к(t-τ), β_к(t-τ), γ(t-τ). Для чего, как это указывалось выше, координаты от измерителя качек должны запоминаться и храниться в течение интервала времени, равного τ. После того, как координаты, соответствующие стабилизированному изображению, определены, необходимо сформировать соответствующие им адреса записи. Положение пикселов в видеосигнале имеет при заданном законе развертки однозначно определенную зависимость относительно начала кадра, задаваемого обычно синхроимпульсом. Для ортогональной n-строчной развертки с периодом Т и числом пикселов в строке m можно считать справедливыми зависимости

где x_jв, y_iв - координаты пиксела в направлениях строчной и кадровой разверток;
x_пз, y_пз - размеры сканируемого поля зрения в пространстве изображений;
k - номер текущего кадра;
l - номер строки в видеосигнале;
s - номер пиксела в строке.Since the image is converted into an information signal with a certain delay τ relative to the current time t, pixels with coordinates x _jк (t-τ) are received instead of the current image elements with coordinates x _jк (t), y _iк (t) , y _iк (t-τ). Therefore, in dependences (3), (3a), instead of the coordinates ε _к (t), β _к (t) and γ (t), ε _к (t-τ), β _к (t-τ), γ (t- τ). Why, as mentioned above, the coordinates from the quality meter should be remembered and stored for a time interval equal to τ. After the coordinates corresponding to the stabilized image are determined, it is necessary to form the corresponding recording addresses. The position of the pixels in the video signal for a given sweep law has a uniquely defined relationship with respect to the beginning of the frame, which is usually set by the clock. For an orthogonal n-line scan with period T and the number of pixels in row m, the dependencies can be considered valid

where x _jв , y _iв - pixel coordinates in the directions of horizontal and vertical scanning;
x _pz , y _pz - dimensions of the scanned field of view in the space of images;
k is the number of the current frame;
l is the line number in the video signal;
s is the pixel number in the row.

Из (5) видно, что при известных координатах x_jн(t-τ), y_iн(t-τ) соответствующие им в стабилизированном изображении номер строки и пиксела в ней определяются однозначно

Очевидно, что точки, для которых s>m, s<1, l>n, l<1, должны исключаться из рассмотрения, как не принадлежащие стабилизируемому полю зрения. Если же известно положение пиксела в видеосигнале стабилизированного изображения, адрес ячейки для его записи определяется тривиально. Так, если под кадр выделен линейный массив из N=n•m ячеек, откуда последовательно построчно должны быть считаны элементы видеосигнала, то пикселу (l, s) соответствует ячейка с номером, равным ([l-1]•m + s). Если один массив используется для записи, а другой в это время для считывания, то адреса для записи массива четного кадра просто увеличиваются нa N.It can be seen from (5) that, for the known coordinates x _jн (t-τ), y _iн (t-τ), the line and pixel numbers in it in the stabilized image are uniquely determined

Obviously, points for which s> m, s <1, l> n, l <1 should be excluded from consideration, as they do not belong to the stabilized field of view. If the position of the pixel in the video signal of the stabilized image is known, the address of the cell for recording it is determined trivially. So, if a linear array of N = n • m cells is allocated to the frame, from where the elements of the video signal are to be sequentially read out line by line, then the pixel (l, s) corresponds to the cell with the number equal to [[l-1] • m + s). If one array is used for writing and the other at the same time for reading, then the addresses for writing an even-frame array are simply increased by N.

Из изложенного видно, что использование способа стабилизации изображения, заключающегося в преобразовании потока излучения в видеосигнал, измерении смещения, задержке информации о смещении на время, равное запаздыванию в формировании видеосигнала, пересчете на направление развертки с учетом нелинейностей ОЭП задержанных величин, формировании адреса записи с учетом пересчитанного смещения, запоминании элементов видеосигнала в соответствии с полученными адресами и считывании запомненного сигнала в последовательности, соответствующей закону развертки, позволяет уменьшить ошибки стабилизации изображения, сформированного оптико-электронным прибором, имеющим задержку видеосигнала, при одновременном обеспечении компенсации нелинейностей оптико-электронного прибора. It can be seen from the foregoing that the use of the image stabilization method, which consists in converting the radiation flux into a video signal, measuring the bias, delaying the bias information by a time equal to the delay in the formation of the video signal, recalculating the delay direction taking into account non-linearities of the EIA, forming the recording address taking into account recalculated bias, storing video signal elements in accordance with the received addresses and reading the stored signal in the sequence corresponding to According to the law of scanning, it allows to reduce image stabilization errors generated by an optoelectronic device having a video signal delay, while at the same time providing non-linearity compensation for an optoelectronic device.

ИСТОЧНИКИ ИНФОРМАЦИИ
1. Репников А.В., Сачков Г.П., Черноморский А.И. "Гироскопические системы", М., "Машиностроение", 1983, стр. 95, аналог.SOURCES OF INFORMATION
1. Repnikov A.V., Sachkov G.P., Black Sea A.I. "Gyroscopic systems", M., "Engineering", 1983, p. 95, analogue.

2. Патент США 4731669, НКИ 358-229 (МКИ H 04 N 5/247, 5/225), 1988, аналог. 2. US patent 4731669, NKI 358-229 (MKI H 04 N 5/247, 5/225), 1988, analogue.

3. Петраков А.В. "Автоматические телевизионные комплексы для регистрации быстропротекающих процессов", М., "Энергоатомиздат", 1987, стр. 76-79, аналог. 3. Petrakov A.V. "Automatic television systems for recording fast processes", M., "Energoatomizdat", 1987, pp. 76-79, analogue.

4. Заявка Великобритании 2162019, НКИ H 4 F (МКИ H 04 N 5/21), 1986, аналог. 4. Application of Great Britain 2162019, NKI H 4 F (MKI H 04 N 5/21), 1986, analogue.

5. А. с. СССР 1592956, МКИ H 04 N 7/18, 1988, прототип способа и устройства. 5. A. p. USSR 1592956, MKI H 04 N 7/18, 1988, prototype of the method and device.

6. Фрейдзон И.Р. "Судовые автоматизированные электроприводы и системы". Л., "Судостроение", 1988, стр. 182-186, аналог. 6. Freidzon I.R. "Ship automated electric drives and systems." L., "Shipbuilding", 1988, pp. 182-186, analogue.

7. Патент США 4682242, НКИ 358-265 (МКИ H 04 N 1/12), 1987, аналог. 7. US patent 4682242, NKI 358-265 (MKI H 04 N 1/12), 1987, analogue.

8. Ривкин С.С. "Стабилизация измерительных устройств на качающемся основании", М., "Наука", 1978. 8. Rivkin S.S. "Stabilization of measuring devices on a swinging base", M., "Science", 1978.

9. Богомолов П. А. , Сидоров В.И., Усольцев И.Ф. "Приемные устройства ИК-систем". Под общ. ред. д. ф.-м.н. Сидорова В.И., М., "Радио и связь", 1987, стр. 34-40, 62, 63. 9. Bogomolov P. A., Sidorov V.I., Usoltsev I.F. "Receivers IR systems." Under the total. ed. Doctor of Physics and Mathematics Sidorova V.I., M., "Radio and Communications", 1987, pp. 34-40, 62, 63.

10. Тетельбаум И. И. , Шнейдер Ю.Р. "400 схем для АВМ", М., "Энергия", 1978. 10. Tetelbaum I.I., Schneider Yu.R. "400 circuits for AVM", M., "Energy", 1978.

11. "Применение интегральных микросхем. Практическое руководство". Под ред. А. Уильямса. Кн. 1, М., "Мир", 1987. 11. "The use of integrated circuits. A practical guide." Ed. A. Williams. Prince 1, M., "World", 1987.

Claims (2)

1. Способ стабилизации изображения, заключающийся в том, что поток излучения преобразовывают в видеосигнал, измеряют смещения оптико-электронного прибора, формируют адреса записи, запоминают элементы видеосигнала в соответствии с полученными адресами и считывают запомненные элементы видеосигнала в последовательности, соответствующей закону развертки, отличающийся тем, что для формирования адреса записи измеренные смещения задерживают на время, равное запаздыванию в формировании видеосигнала относительно момента попадания потока излучения на фотоприемник, и пересчитывают на направление развертки. 1. The method of image stabilization, which consists in the fact that the radiation flux is converted into a video signal, the displacements of the optoelectronic device are measured, recording addresses are generated, video signal elements are stored in accordance with the received addresses, and the stored video signal elements are read in a sequence corresponding to the scanning law, characterized in that to form the recording address, the measured offsets are delayed by a time equal to the delay in the formation of the video signal relative to the moment the stream arrives and radiation on a photodetector and converted to the scanning direction. 2. Оптико-электронная система, содержащая измеритель смещения, с помощью которого определяется величина сдвига оптико-электронного прибора в случае его перемещения, и последовательно соединенные оптико-электронный прибор и блок смещения изображения, отличающаяся тем, что в нее введены последовательно соединенные блок задержки и преобразователь координат, при этом выход измерителя смещения соединен со входом блока задержки, а выход преобразователя координат соединен со вторым входом блока смещения изображения. 2. An optoelectronic system comprising a displacement meter, with which a shift value of an optoelectronic device in case of its movement is determined, and a serially connected optoelectronic device and an image displacement unit, characterized in that a delayed unit and a coordinate transformer, wherein the output of the displacement meter is connected to the input of the delay unit, and the output of the coordinate transducer is connected to the second input of the image displacement unit.

Images