RU192145U1 - A device for implementing spatio-temporal image processing based on arrays of charge-coupled photosensitive devices - Google Patents
A device for implementing spatio-temporal image processing based on arrays of charge-coupled photosensitive devices Download PDFInfo
- Publication number
- RU192145U1 RU192145U1 RU2019118170U RU2019118170U RU192145U1 RU 192145 U1 RU192145 U1 RU 192145U1 RU 2019118170 U RU2019118170 U RU 2019118170U RU 2019118170 U RU2019118170 U RU 2019118170U RU 192145 U1 RU192145 U1 RU 192145U1
- Authority
- RU
- Russia
- Prior art keywords
- output
- input
- charge
- optical
- devices
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 29
- 238000003491 array Methods 0.000 title claims description 8
- 230000003287 optical effect Effects 0.000 claims abstract description 31
- 238000009825 accumulation Methods 0.000 abstract description 41
- 101100247252 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) uvs-2 gene Proteins 0.000 abstract description 10
- 101150011213 uvs-1 gene Proteins 0.000 abstract description 10
- 238000005286 illumination Methods 0.000 abstract description 6
- 238000004891 communication Methods 0.000 abstract description 5
- 239000011159 matrix material Substances 0.000 abstract description 4
- 101100434648 Petromyzon marinus SDS-1 gene Proteins 0.000 abstract description 3
- 238000003384 imaging method Methods 0.000 abstract 1
- 238000007493 shaping process Methods 0.000 abstract 1
- 230000004044 response Effects 0.000 description 12
- 238000006073 displacement reaction Methods 0.000 description 8
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000004907 flux Effects 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 230000005693 optoelectronics Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 2
- 230000005374 Kerr effect Effects 0.000 description 1
- 101100464256 Listeria monocytogenes serovar 1/2a (strain ATCC BAA-679 / EGD-e) plcA gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 101150086837 pic gene Proteins 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/30—Picture reproducers using solid-state colour display devices
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Image Processing (AREA)
Abstract
Полезная модель относится к телевидению и может быть использована при создании прикладных систем, в частности для пространственно-временной обработки изображений.Устройство содержит оптическую систему, являющуюся входом устройства, измеритель освещенности, два обтюратора, устройство управления, вычитающее устройство, два блока фоточувствительных приборов с зарядовой связью, два устройства взаимного смещения (УВС-1 и УВС-2) проецируемого изображения сцены и приемников изображения (ФПЗС-1, ФПЗС-2 и измеритель освещенности), две светоделительные системы (СДС-1 и СДС-2), поэлементный оптический сумматор (ПОС), причем выход оптической системы оптически соединен со входом СДС-2, оптические выходы которой соединены со входами первого и второго устройства взаимного смещения (УВС-1 и УВС-2), электрические входы которых соединены с первым и пятым выходом устройства управления (УУ), оптические выходы первого и второго устройств взаимного смещения соединены с оптическими входами поэлементного оптического сумматора (ПОС), выход которого оптически соединен с входом первой светоделительной системы, первый выход первой светоделительной системы оптически соединен со входом первого обтюратора, второй выход первой светоделительной системы оптически соединен со входом измерителя освещенности, третий выход первой светоделительной системы оптически соединен со входом второго обтюратора, электрический выход измерителя освещенности соединен со входом устройства управления, выход первого обтюратора оптически связан с первым блоком «секцией накопления» второго блока фоточувствительных приборов с зарядовой связью, выход второго обтюратора оптически связан с первым блоком «секцией накопления» первого блока фоточувствительных приборов с зарядовой связью, электрические входы обтюраторов соединены со вторым и третьим выходом устройства управления, электрические входы первого и второго блока фоточувствительных приборов с зарядовой связью связаны с четвертым выходом устройства управления, выходы первого и второго блока фоточувствительных приборов с зарядовой связью электрически связаны с первым и вторым входом вычитающего устройства, электрический выход вычитающего устройства является выходом устройства пространственно-временной обработки изображений на основе матриц фоточувствительных приборов с зарядовой связью формирующего выходной сигнал.Использование устройства позволит уменьшить время реализации пространственно-временной обработки изображения.The utility model relates to television and can be used to create application systems, in particular for spatio-temporal image processing. The device contains an optical system, which is the input of the device, an illumination meter, two shutters, a control device, a subtractor, two blocks of photosensitive devices with a charge communication, two mutual offset devices (UVS-1 and UVS-2) of the projected image of the scene and image receivers (FPZS-1, FPZS-2 and light meter), two light beams systems (SDS-1 and SDS-2), an element-wise optical adder (POS), the output of the optical system being optically connected to the input of SDS-2, the optical outputs of which are connected to the inputs of the first and second mutual bias devices (UVS-1 and UVS- 2), the electrical inputs of which are connected to the first and fifth outputs of the control device (CC), the optical outputs of the first and second mutual bias devices are connected to the optical inputs of an element-wise optical adder (POS), the output of which is optically connected to the input of the first beam splitter system, the first output of the first beam splitter system is optically connected to the input of the first shutter, the second output of the first beam splitter system is optically connected to the input of the light meter, the third output of the first beam splitter system is optically connected to the input of the second shutter, the electrical output of the light meter is connected to the input of the control device, the output the first shutter is optically connected to the first block by the “storage section” of the second block of charge-sensitive photosensitive devices, the output to Each obturator is optically connected to the first block by the “accumulation section” of the first block of charge sensitive photosensitive devices, the electrical inputs of the shutters are connected to the second and third outputs of the control device, the electrical inputs of the first and second blocks of charge sensitive photosensitive devices are connected to the fourth output of the control device, outputs the first and second block of charge sensitive photosensitive devices are electrically connected to the first and second input of the subtractor, the electrical output d is the output of the subtractor unit space-time processing on the basis of the matrix of photosensitive imaging CCD output signal.Ispolzovanie shaping device will reduce the timing of the space-time image processing.
Description
Полезная модель относится к телевидению и может быть использована при создании прикладных систем, в частности для пространственно-временной обработки изображений.The utility model relates to television and can be used to create application systems, in particular for spatio-temporal image processing.
Наиболее близким по технической сущности к предлагаемой полезной модели является устройство для реализации пространственно-временной обработки изображений на основе матриц фоточувствительных приборов с зарядовой связью (ФПЗС) /Патент РФ 2486690, МКИ5 H04N 5/335. №2011132752/07; заявл. 03.08.2011; опубл. 27.06.2013, содержащее оптическую систему, являющуюся входом устройства, измеритель освещенности, два обтюратора, устройство управления, вычитающее устройство, два блока фоточувствительных приборов с зарядовой связью, устройство взаимного смещения проецируемого изображения сцены и приемников изображения, светоделительную систему, причем выход оптической системы оптически соединен со входом устройства взаимного смещения проецируемого изображения сцены и приемников изображения, электрический вход устройства взаимного смещения проецируемого изображения сцены и приемников изображения соединен с первым выходом устройства управления, оптический выход устройства взаимного смещения проецируемого изображения сцены и приемников изображения соединен с оптическим входом светоделительной системы, первый выход светоделительной системы оптически соединен со входом первого обтюратора, второй выход светоделительной системы оптически соединен со входом измерителя освещенности, третий выход светоделительной системы оптически соединен со входом второго обтюратора, электрический выход измерителя освещенности соединен со входом устройства управления, электрические входы обтюраторов соединены со вторым и третьим выходом устройства управления, выход первого обтюратора оптически связан с входом первого блока фоточувствительных приборов с зарядовой связью, выход второго обтюратора оптически связан с входом второго блока фоточувствительных приборов с зарядовой связью, электрические входы первого и второго блока фоточувствительных приборов с зарядовой связью связаны с четвертым выходом устройства управления, выходы первого и второго блока фоточувствительных приборов с зарядовой связью электрически связаны с первым и вторым входом вычитающего устройства, электрический выход вычитающего устройства является выходом устройства пространственно-временной обработки изображений на основе матриц фоточувствительных приборов с зарядовой связью.The closest in technical essence to the proposed utility model is a device for the implementation of spatio-temporal image processing based on arrays of photosensitive devices with charge coupling (FPZS) / RF Patent 2486690, MKI5
Недостаток данного устройства, большое время, необходимое для реализации пространственно-временной обработки изображений.The disadvantage of this device, the large time required to implement the spatio-temporal image processing.
Техническим результатом полезной модели является уменьшение времени, затраченного на реализацию пространственно-временной обработки изображения.The technical result of the utility model is to reduce the time spent on the implementation of spatio-temporal image processing.
Технический результат достигается тем, что в устройство для реализации пространственно-временной обработки изображений на основе матриц фоточувствительных приборов с зарядовой связью, содержащем оптическую систему, являющуюся входом устройства, измеритель освещенности, два обтюратора, устройство управления, вычитающее устройство, два блока фоточувствительных приборов с зарядовой связью, устройство взаимного смещения проецируемого изображения сцены и приемников изображения, светоделительную систему, причем первый выход светоделительной системы оптически соединен со входом первого обтюратора, второй выход светоделительной системы оптически соединен со входом измерителя освещенности, третий выход светоделительной системы оптически соединен со входом второго обтюратора, электрический выход измерителя освещенности соединен со входом устройства управления, выход первого обтюратора оптически связан с первым блоком «секцией накопления» второго блока фоточувствительных приборов с зарядовой связью, выход второго обтюратора оптически связан с первым блоком «секцией накопления» первого блока фоточувствительных приборов с зарядовой связью, электрические входы обтюраторов соединены со вторым и третьим выходом устройства управления, электрические входы первого и второго блока фоточувствительных приборов с зарядовой связью связаны с четвертым выходом устройства управления, выходы первого и второго блока фоточувствительных приборов с зарядовой связью электрически связаны с первым и вторым входом вычитающего устройства, электрический выход вычитающего устройства является выходом устройства пространственно-временной обработки изображений на основе матриц фоточувствительных приборов с зарядовой связью, дополнительно между оптической системой и светоделительной системой включены: вторая светоделительная система, два устройства взаимного смещения, поэлементный оптический сумматор, при этом выход оптической системы оптически соединен с второй светоделительной системой, оптические выходы которой соединены с входами первого и второго устройства взаимного смещения, электрические входы которых соединены с первым и пятым выходом устройства управления, оптические выходы первого и второго устройств взаимного смещения соединены с оптическими входами поэлементного оптического сумматора, выход которого оптически соединен с входом второй светоделительной системы.The technical result is achieved in that in a device for implementing spatio-temporal image processing based on arrays of charge-sensitive photosensitive devices containing an optical system that is an input to the device, an illumination meter, two shutters, a control device, a subtractor, two blocks of photosensitive devices with a charge communication, a device for mutual displacement of the projected image of the scene and image receivers, a beam-splitting system, and the first output of the beam-splitter the light system is optically connected to the input of the first shutter, the second output of the beam splitter system is optically connected to the input of the light meter, the third output of the beam splitter system is optically connected to the input of the second shutter, the electrical output of the light meter is connected to the input of the control device, the output of the first shutter is optically connected to the first unit accumulation section "of the second block of photosensitive devices with charge coupling, the output of the second shutter is optically connected to the first block" section accumulation ”of the first block of charge sensitive photosensitive devices, the electrical inputs of the shutters are connected to the second and third outputs of the control device, the electrical inputs of the first and second blocks of charge sensitive photosensitive devices are connected to the fourth output of the control devices, the outputs of the first and second blocks of charge sensitive photosensitive devices connected electrically to the first and second input of the subtractor, the electrical output of the subtractor is the output of the device spatial-temporal image processing based on arrays of charge-sensitive photosensitive devices, additionally between the optical system and the beam splitting system include: a second beam splitting system, two mutual bias devices, an element-wise optical adder, while the output of the optical system is optically connected to the second beam splitting system, optical outputs which are connected to the inputs of the first and second mutual offset devices, the electrical inputs of which are connected to the first and fifth outputs home control devices, optical outputs of the first and second devices connected by mutual displacement of the optical element-wise optical combiner inputs, whose output is connected optically to the input of the second beamsplitter system.
На фиг. 1 приведена структурная схема предлагаемого устройства.In FIG. 1 shows a structural diagram of the proposed device.
Устройство состоит из оптической системы (ОС) 1, устройства управления (УУ) 2, вычитающего устройства (ВУ) 3, блоков ФПЗС-1 4 и ФПЗС-2 5, обтюраторов 6 и 12, светоделительной системы (СДС-2) 7, устройства взаимного смещения (УВС-1) 8, устройства взаимного смещения (УВС-2) 9, поэлементного оптического сумматора (ПОС) 10, светоделительной системы (СДС-1) 11, измерителя освещенности (ИОС) 13. Оптическая связь показана штриховой линией.The device consists of an optical system (OS) 1, a control device (UU) 2, a subtracting device (VU) 3, blocks FPZS-1 4 and FPZS-2 5, obturators 6 and 12, a beam splitting system (SDS-2) 7, devices mutual displacement (UVS-1) 8, mutual displacement devices (UVS-2) 9, element-wise optical adder (POS) 10, beam splitting system (SDS-1) 11, light meter (IOS) 13. Optical communication is shown by a dashed line.
Устройство измерения для реализации пространственно-временной обработки изображений на основе матриц фоточувствительных приборов с зарядовой связью, работает следующим образом.A measurement device for implementing spatio-temporal image processing based on arrays of charge-coupled photosensitive devices works as follows.
При поступлении на вход устройства изображения сцены над ним выполняется пространственно-временная обработка, реализуемая в виде свертки входного изображения с импульсной характеристикой, определяющей реализуемую пространственно-временную фильтрацию на две матрицы фоточувствительных приборов с зарядовой связью, путем дискретного накопления зарядов, фотогенерированных под воздействием проецируемого изображения в потенциальных ямах секций накопления матриц фоточувствительных приборов с зарядовой связью, в сочетании с взаимным пространственным смещением изображения и матриц фоточувствительных приборов с зарядовой связью.When a scene image is received at the input of the device, a spatio-temporal processing is performed, which is implemented as a convolution of the input image with an impulse response that defines the realizable spatio-temporal filtering on two arrays of charge-sensitive photosensitive devices by discrete accumulation of charges photogenerated by the projected image in potential wells of the sections of the accumulation of matrices of photosensitive devices with charge coupling, in combination with mutual spatial displacement of the image and matrices of photosensitive devices with charge coupling.
Необходимость использования двух обтюраторов, двух блоков ФПЗС и вычитающего устройства обусловлена тем, что значения отсчетов импульсной характеристики фильтра могут быть как положительными, так и отрицательными, а на одной матрице ФПЗС нельзя выполнить свертку с отсчетами разного знака из-за неотрицательности световых характеристик и физических ограничений ФПЗС (возможно накопление зарядов только одного знака). Блок ФПЗС-1 совместно с обтюратором 6 реализует свертку изображения с положительными коэффициентами импульсной характеристики фильтра, ФПЗС-2 совместно с обтюратором 12 - с отрицательными. Соответственно, во время реализации свертки изображения с положительными коэффициентами импульсной характеристики фильтра и в интервалах времени пауз между этапами накопления блок ФПЗС-2 хранит накопленные зарядовые пакеты при экранировании секции накопления ФПЗС-2 от светового потока с помощью обтюратора 12, а во время реализации свертки с отрицательными коэффициентами и в интервалах времени пауз между этапами накопления ФПЗС-1 хранит накопленные зарядовые пакеты при экранировании секции накопления ФПЗС-1 от светового потока с помощью обтюратора 6.The need to use two obturators, two FPSS blocks and a subtractor is due to the fact that the values of the impulse response of the filter can be both positive and negative, and on the same FPSS matrix it is impossible to perform convolution with samples of different signs due to the non-negativity of light characteristics and physical limitations FPSS (accumulation of charges of only one sign is possible). Block ФПЗС-1 together with obturator 6 implements convolution of the image with positive coefficients of impulse response of the filter, ФПЗС-2 together with obturator 12 - with negative ones. Accordingly, during the implementation of the convolution of the image with positive coefficients of the impulse response of the filter and in the intervals of pauses between the accumulation steps, the FPZS-2 unit stores the accumulated charge packets when screening the FPZS-2 accumulation section from the light flux using the obturator 12, and during the implementation of convolution with negative coefficients and in the time intervals of pauses between the stages of accumulation FPSS-1 stores the accumulated charge packets when shielding the accumulation section FPSS-1 from the light flux using shutter 6.
Изображение сцены, формируемое ОС, разделяется в светоделительной системе СДС-2 на два изображения, которые проходят через УВС-1 и УВС-2, суммируются в поэлементном оптическом сумматоре (ПОС), суммарное изображение поступает на СДС-1 и проецируется на измеритель освещенности и оба обтюратора. С выхода измерителя уровня освещенности на вход УУ поступает электрический сигнал, соответствующий уровню освещенности проецируемого изображения. С выхода первого обтюратора изображение проецируется на секцию накопления ФПЗС-2, а с выхода второго - на секцию накопления ФПЗС-1. В режиме дискретного накопления выполняется несколько циклов накопления в течение времени, соответствующего величине отсчетов импульсной характеристики и уровню освещенности, с последующим сдвигом по пространству после каждого цикла, причем накопление в каждом цикле осуществляется секцией накопления ФПЗС-1 или ФПЗС-2 в зависимости от знака отсчета импульсной характеристики, с которым реализуется свертка, затем организуется режим хранения накопленного заряда до начала следующего этапа дискретного накопления. Количество циклов накопления пространственного сдвига в режиме дискретного накопления соответствует размерности апертуры импульсной характеристики по пространству, а количество этапов дискретного накопления-хранения - размерности апертуры во времени. Сдвиг по пространству между соседними точками накопления соответствует интервалу дискретизации импульсной характеристики по пространству, временной интервал между соседними этапами дискретного накопления - интервалу дискретизации по времени.The scene image formed by the OS is divided in the SDS-2 beam-splitting system into two images that pass through the UVS-1 and UVS-2, are summed up in an element-wise optical adder (POS), the total image is fed to the SDS-1 and projected onto the light meter and both shutters. An electric signal corresponding to the level of illumination of the projected image is supplied from the output of the light level meter to the input of the control unit. From the output of the first obturator, the image is projected onto the FPZS-2 accumulation section, and from the output of the second one - onto the FPZS-1 accumulation section. In the mode of discrete accumulation, several accumulation cycles are performed over a period of time corresponding to the value of the impulse response samples and the level of illumination, followed by a spatial shift after each cycle, and accumulation in each cycle is carried out by the accumulation section FPSS-1 or FPSS-2 depending on the reference sign the impulse response with which the convolution is implemented, then the storage mode of the accumulated charge is organized until the beginning of the next stage of discrete accumulation. The number of spatial shift accumulation cycles in the discrete accumulation mode corresponds to the aperture dimension of the impulse response in space, and the number of discrete accumulation-storage stages corresponds to the aperture dimension in time. The spatial shift between adjacent accumulation points corresponds to the sampling interval of the impulse response in space, the time interval between adjacent stages of discrete accumulation corresponds to the time sampling interval.
В течение времени реализации свертки для накопления и хранения фотогенерированных зарядов обеспечивается создание потенциальных ям в секциях накопления обеих матриц ФПЗС путем подачи с УУ на одну из трех фазных шин управления секций накопления /Носов Ю.Р., Шилин В.А. Основы физики приборов с зарядовой связью. - М.: Наука, 1986. - 320 с./ импульса ФНI на ФПЗС-1 и импульса ФНII на ФПЗС-2 соответственно.During the implementation time of the convolution for the accumulation and storage of photogenerated charges, potential wells are created in the accumulation sections of both FPSS matrices by feeding accumulation sections from one of the three phase busbars / Nosov Yu.R., Shilin V.A. Fundamentals of charge-coupled device physics. - M .: Nauka, 1986. - 320 s./FNI pulse at FPSS-1 and FNII pulse at FPSZ-2, respectively.
Управление переходом секций накопления блоков ФПЗС из режима дискретного накопления в режим хранения осуществляется с помощью выдачи на обтюраторы с УУ импульсов управления обтюратором. При поступлении импульса управления обтюратор обеспечивает экранирование секции накопления от проецируемого изображения. Управление переходом секций накопления блоков ФПЗС из режима хранения в режим дискретного накопления осуществляется путем снятия УУ с обтюраторов импульсов управления обтюратором. При отсутствии импульса управления обтюратор обеспечивает прохождение проецируемого изображения на секцию накопления ФПЗС. В зависимости от знака отсчета импульсной характеристики, с которым в данный момент выполняется свертка, УУ снимает импульс управления с соответствующего обтюратора на время цикла накопления.The transition of the accumulation sections of the FPSS blocks from the discrete accumulation mode to the storage mode is controlled by issuing shutter control pulses to the shutters from the control unit. When a control pulse arrives, the obturator provides shielding of the accumulation section from the projected image. The transition of the accumulation sections of the FPSS blocks from the storage mode to the discrete accumulation mode is controlled by removing the control unit from the obturator control pulse shutters. In the absence of a control impulse, the obturator provides passage of the projected image to the FPSS accumulation section. Depending on the reference sign of the impulse response with which the convolution is currently being performed, the control unit removes the control impulse from the corresponding shutter for the duration of the accumulation cycle.
Хранение во время стадий хранения накопленных в потенциальных ямах секций накопления ФПЗС фотогенерированных зарядов организуют путем экранирования фоточувствительной поверхности секций накопления ФПЗС посредством обтюратора в виде электрооптического модулятора, который может быть реализован на основе электрооптических эффектов Керра, Поккельса, позволяющих переключать световой поток с частотой до 1013 Гц /Верещагин И.К. и др. Введение в оптоэлектронику: Учебн. пособие для втузов / И.К. Верещагин, Л.А. Косяченко, С.М. Конин. - М.: Высш. шк., 1991. - 191 с./. Для обеспечения постоянства временного интервала Тотсч между соседними этапами дискретного накопления-хранения, которое должно быть равно интервалу дискретизации импульсной характеристики по времени /Гольденберг Л.М. и др. Цифровая обработка сигналов: Справочник / Л.М. Гольденберг, Б.Д. Матюшкин, М.Н. Поляк. - М.: Радио и связь, 1985. - 312 с./, по окончании последнего в данном этапе дискретного накопления-хранения цикла накопления вводится режим хранения необходимой длительности.Storage during the storage stages of the photogenerated charges accumulated in potential PPSS storage sections in potential wells is organized by shielding the photosensitive surface of the PPSS storage sections using an obturator in the form of an electro-optical modulator that can be implemented based on the Kerr and Pockels electro-optical effects, which allow switching the luminous flux with a frequency of up to 1013 Hz / Vereshchagin I.K. et al. Introduction to optoelectronics: Textbook. allowance for technical colleges / I.K. Vereshchagin, L.A. Kosyachenko, S.M. Konin. - M .: Higher. Shk., 1991 .-- 191 p. /. To ensure the constancy of the time interval T countdown between adjacent stages of discrete accumulation-storage, which should be equal to the sampling interval of the impulse response in time / Goldenberg L.M. et al. Digital signal processing: Reference book / L.M. Goldenberg, B.D. Matyushkin, M.N. Pole. - M .: Radio and communications, 1985. - 312 pp. /, At the end of the last discrete accumulation-storage of the accumulation cycle at this stage, the storage mode of the required duration is introduced.
Взаимное перемещение матриц ФПЗС, измерителя освещенности и проецируемого изображения производится УВС и реализуется путем применения электрооптического эффекта Керра: непрерывное отклонение луча, имеющее высокую точность перемещения, можно получить, используя призму из электрооптического материала с нанесенными на ее торцовых гранях металлическими электродами, к которым прикладывается управляющее напряжение /Верещагин И.К. и др. Введение в оптоэлектронику: Учебн. пособие для втузов / И.К. Верещагин, Л.А. Косяченко, С.М. Конин. - М.: Высш. шк., 1991. - 191 с./. Для управления перемещением проецируемого изображения на УВС при реализации свертки подаются сигналы управления с УУ, причем изменение этих сигналов происходит скачком по окончании цикла дискретного накопления на величину, обеспечивающую перемещение проецируемого изображения на расстояние, необходимое для осуществления обработки.Mutual movement of the FPSS matrices, the illumination meter and the projected image is carried out by the UVS and implemented by using the electro-optical Kerr effect: continuous beam deflection having high accuracy of movement can be obtained using a prism of electro-optical material with metal electrodes deposited on its end faces, to which a control electrode is applied voltage / Vereshchagin I.K. et al. Introduction to optoelectronics: Textbook. allowance for technical colleges / I.K. Vereshchagin, L.A. Kosyachenko, S.M. Konin. - M .: Higher. Shk., 1991 .-- 191 p. /. To control the movement of the projected image on the UVS during the implementation of convolution, control signals are sent from the control unit, and these signals change abruptly at the end of the discrete accumulation cycle by an amount that ensures the movement of the projected image to a distance necessary for processing.
По окончании реализации свертки проецируемого изображения с импульсной характеристикой накопленные фотогенерированные заряды выводятся из секций накоплений ФПЗС-1 и ФПЗС-2 в секции памяти путем синхронной выдачи с УУ необходимой для организации такого переноса /Носов Ю.Р., Шилин В.А. Основы физики приборов с зарядовой связью. - М.: Наука, 1986. - 320 с./ последовательности фазных импульсов управления ФНI и ФНII в секции накопления ФПЗС-1 и ФПЗС-2 соответственно, импульсов управления ФПI и ФПII в секции памяти ФПЗС-1 и ФПЗС-2 соответственно.At the end of the convolution of the projected image with the impulse response, the accumulated photogenerated charges are removed from the accumulation sections FPZS-1 and FPZS-2 in the memory section by synchronously issuing the necessary information for organizing such a transfer / Nosov Yu.R., Shilin V.A. Fundamentals of charge-coupled device physics. - M .: Nauka, 1986. - 320 pp. / A sequence of phase control pulses FNI and FNII in the accumulation section FPZS-1 and FPZS-2, respectively, control pulses FPI and FPII in the memory section FPZS-1 and FPZS-2, respectively.
По окончании переноса накопленных зарядов в секции памяти ФПЗС-1 и ФПЗС-2 осуществляется их вывод в выходные регистры ФПЗС-1 и ФПЗС-2 соответственно путем синхронной выдачи с УУ необходимой для организации такого переноса /Носов Ю.Р., Шилин В.А. Основы физики приборов с зарядовой связью. - М.: Наука, 1986. - 320 с./ последовательности фазных импульсов управления ФПI и ФПII в секции памяти ФПЗС-1 и ФПЗС-2 соответственно с последующим синхронным выводом зарядов из выходных регистров ФПЗС-1 и ФПЗС-2 в вычитающее устройство путем синхронной выдачи с УУ необходимой для организации такого переноса /Носов Ю.Р., Шилин В.А. Основы физики приборов с зарядовой связью. - М.: Наука, 1986. - 320 с./ последовательности фазных импульсов управления выходными регистрами ФРI и ФРII.At the end of the transfer of accumulated charges in the memory sections of the FPZS-1 and FPZS-2, they are output to the output registers FPZS-1 and FPZS-2, respectively, by synchronously issuing the necessary information for organizing such a transfer / Nosov Yu.R., Shilin V.A . Fundamentals of charge-coupled device physics. - M .: Nauka, 1986. - 320 pp. / A sequence of phase control pulses FPI and FPII in the memory section FPSS-1 and FPSS-2, respectively, followed by synchronous output of charges from the output registers FPSS-1 and FPSS-2 to a subtractor by synchronous issuance with UU necessary for the organization of such a transfer / Nosov Yu.R., Shilin V.A. Fundamentals of charge-coupled device physics. - M .: Nauka, 1986. - 320 pp. / A sequence of phase pulses for controlling the output registers FRI and FRII.
Синхронизацию работы устройства обработки и его адаптацию к уровню освещенности сцены осуществляет УУ путем задания порядка поступления и длительности фазных импульсов управления секции накопления, секции памяти, выходного регистра блоков ФПЗС, сигналов управления обтюраторами, сигналов управления УВС.The processing device is synchronized and adapted to the scene illumination level by the control unit by setting the order of arrival and duration of phase pulses of the control of the accumulation section, memory section, output register of FPSS blocks, control signals for obturators, control signals for UVS.
Устройство управления может быть реализовано в виде микропроцессорной системы на основе микроконтроллера / Микропроцессорные системы: Учебное пособие для вузов / Е.К. Александров, Р.И. Грушвицкий, М.С. Куприянов, О.Е. Мартынов, Д.И. Панфилов, Т.В. Ремизевич, Ю.С. Татаринов, Е.П. Угрюмов, И.И. Шагурин; Под общ. ред. Д.В. Пузанкова. - СПб.: Политехника, 2002 г. - 935 с. 1, характерной особенностью структуры которого является размещение на одном кристалле с центральным процессором внутренней памяти и большого набора периферийных устройств (порты ввода-вывода данных, программируемые интервальные таймеры, АЦП, ЦАП). Устройство управления в соответствии с описанными выше принципами построения узлов устройства для реализации пространственно-временной обработки изображений обеспечивает формирование необходимых управляющих сигналов.The control device can be implemented as a microprocessor system based on a microcontroller / Microprocessor systems: Textbook for universities / E.K. Alexandrov, R.I. Grushvitsky, M.S. Kupriyanov, O.E. Martynov, D.I. Panfilov, T.V. Remisevich, Yu.S. Tatarinov, E.P. Ugryumov, I.I. Shagurin; Under the total. ed. D.V. Puzankova. - St. Petersburg: Polytechnic, 2002 - 935 p. 1, a characteristic feature of the structure of which is the placement on the same chip with the central processor of the internal memory and a large set of peripheral devices (data input-output ports, programmable interval timers, ADC, DAC). The control device in accordance with the principles described above for constructing the nodes of the device for the implementation of spatio-temporal image processing provides the formation of the necessary control signals.
Формирование суммарного изображения с помощью УВС-1, УВС-2 и ПОС позволяет уменьшить время обработки. В /Стругайло В.В. Обзор методов фильтрации и сегментации цифровых изображений // Наука и образование. Электронное научно-технические издание. // Московский автомобильно-дорожный государственный технический университет, 2012. - С. 270-281/ описано применение операции свертки для обработки изображений. Выражение для свертки следующее:The formation of the total image using UVS-1, UVS-2 and PIC can reduce processing time. V / Strugailo V.V. An overview of the methods of filtering and segmentation of digital images // Science and Education. Electronic scientific and technical publication. // Moscow Automobile and Road State Technical University, 2012. - P. 270-281 / describes the use of the convolution operation for image processing. The expression for the convolution is as follows:
где Gi,j - элемент матрицы изображения после фильтрации; Ws,t - элемент массива ядра свертки изображения, имеющий размеры m×n; Ei,j - элемент матрицы исходного изображения.where Gi, j is the element of the image matrix after filtering; Ws, t is an element of the array of the convolution kernel of the image, having dimensions m × n; Ei, j is the matrix element of the original image.
В /Стругайло В.В. Обзор методов фильтрации и сегментации цифровых изображений // Наука и образование. Электронное научно-технические издание. // Московский автомобильно-дорожный государственный технический университет, 2012. - С. 270-281/, /Р. Гонсалес, Р. Вудс. Цифровая обработка изображений. Москва: Техносфера, 2005. - 1072 с./ показано, что вид обработки меняется в зависимости от вида маски (импульсной характеристики). Приведены виды масок Лапласиана /Стругайло В.В. Обзор методов фильтрации и сегментации цифровых изображений // Наука и образование. Электронное научно-технические издание. // Московский автомобильно-дорожный государственный технический университет, 2012. - С. 270-281/, /Р. Гонсалес, Р. Вудс. Цифровая обработка изображений. Москва: Техносфера, 2005. с. 202/ и фильтра для улучшения изображений /Р. Гонсалес, Р. Вудс. Цифровая обработка изображений. Москва: Техносфера, 2005. с. 208/. Анализ этих масок показывает, что симметричные коэффициенты равны.V / Strugailo V.V. An overview of the methods of filtering and segmentation of digital images // Science and Education. Electronic scientific and technical publication. // Moscow Automobile and Road State Technical University, 2012. - P. 270-281 /, / R. Gonzalez, R. Woods. Digital image processing. Moscow: Technosphere, 2005. - 1072 pp. / It is shown that the type of processing varies depending on the type of mask (impulse response). The types of Laplacian masks are given / Strugailo V.V. An overview of the methods of filtering and segmentation of digital images // Science and Education. Electronic scientific and technical publication. // Moscow Automobile and Road State Technical University, 2012. - P. 270-281 /, / R. Gonzalez, R. Woods. Digital image processing. Moscow: Technosphere, 2005.S. 202 / and a filter for image enhancement / P. Gonzalez, R. Woods. Digital image processing. Moscow: Technosphere, 2005.S. 208 /. An analysis of these masks shows that the symmetric coefficients are equal.
Для пояснения распишем выражение 1 для n=m=3.For clarification, we write the
Возьмем маску фильтра, используемую для реализации дискретного Лапласиана, в которой W-1,-1=0, W0,-1=1, W1,-1=0, W-1,0=1, W0,0=-4, W1,0=1, W-1,1=0, W0,1=1, W1,1=0. Отсюда видно, что W-1,-1=W1,1, W0,-1=W0,1, W1,-1=W-1,1, W-1,0=W1,0. Тогда выражение для Gi,j примет вид:Take the filter mask used to implement the discrete Laplacian, in which W-1, -1 = 0, W0, -1 = 1, W1, -1 = 0, W-1,0 = 1, W0,0 = -4, W1.0 = 1, W-1.1 = 0, W0.1 = 1, W1.1 = 0. This shows that W-1, -1 = W1,1, W0, -1 = W0,1, W1, -1 = W-1,1, W-1,0 = W1,0. Then the expression for Gi, j takes the form:
Из выражения 3 видно, что перед обработкой необходимо произвести суммирование двух изображений, сдвинутых с помощью УВС на одинаковое расстояние, но в разные стороны. При этом следует учитывать, что индекс i,j указывает номер пикселя изображения, индекс i+1,j указывает номер пикселя изображения смещенного по пространству относительно пикселя с номером i,j на Δх, а индекс i,j+1 указывает номер пикселя изображения смещенного по пространству относительно пикселя с номером i,j на Δy.It can be seen from
Для реализации первого слагаемого сдвиг в УВС-1 и УВС-2 по х=0, по у=0, время накопления пропорционально W0,0/2. Деление на 2 обусловлено тем, что в этом случае происходит суммирование двух несмещенных изображений, следовательно яркость каждого пикселя увеличивается в 2 раза. Для реализации второго слагаемого сдвиг в УВС-1 по х=Δх, по у=Δу и УВС-2 по х=-Δх, по у=-Δу, время накопления пропорционально W1,1. Для реализации третьего слагаемого сдвиг в УВС-1 по х=Δх, по у=0 и УВС-2 по х=-Δх, по у=0, время накопления пропорционально W1,0. Для реализации четвертого слагаемого сдвиг в УВС-1 по х=Δх, по у=-Δу и УВС-2 по х=-Δх, по у=Δу, время накопления пропорционально W1,-1. Для реализации пятого слагаемого сдвиг в УВС-1 по х=0, по у=-Δу и УВС-2 по х=0, по у=Δу, время накопления пропорционально W0,1.To implement the first term, the shift in the UVS-1 and UVS-2 by x = 0, by y = 0, the accumulation time is proportional to W0.0 / 2. The division by 2 is due to the fact that in this case the summation of two unbiased images occurs, therefore the brightness of each pixel increases by 2 times. To implement the second term, the shift in UVS-1 by x = Δx, by y = Δy and UVS-2 by x = -Δx, by y = -Δy, the accumulation time is proportional to W1.1. To implement the third term, the shift in UVS-1 by x = Δx, by y = 0 and UVS-2 by x = -Δx, by y = 0, the accumulation time is proportional to W1.0. To implement the fourth term, the shift in UVS-1 by x = Δx, by y = -Δy and UVS-2 by x = -Δx, by y = Δy, the accumulation time is proportional to W1, -1. To implement the fifth term, the shift in UVS-1 by x = 0, by y = -Δy and UVS-2 by x = 0, by y = Δy, the accumulation time is proportional to W0.1.
Применение предложенного устройства реализации пространственно-временной обработки изображений на основе матриц ФПЗС позволит сократить время реализации пространственно- временной обработки изображений, а так же реализовать широкий круг задач обработки изображений одновременно с их формированием в реальном масштабе времени при минимальных массогабаритных и энергетических показателях.The application of the proposed device for the implementation of spatio-temporal image processing based on FPGA matrices will reduce the implementation time of spatio-temporal image processing, as well as realize a wide range of image processing tasks simultaneously with their formation in real time with minimal weight and energy indicators.
Claims (1)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2019118170U RU192145U1 (en) | 2019-06-11 | 2019-06-11 | A device for implementing spatio-temporal image processing based on arrays of charge-coupled photosensitive devices |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2019118170U RU192145U1 (en) | 2019-06-11 | 2019-06-11 | A device for implementing spatio-temporal image processing based on arrays of charge-coupled photosensitive devices |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU192145U1 true RU192145U1 (en) | 2019-09-05 |
Family
ID=67852019
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2019118170U RU192145U1 (en) | 2019-06-11 | 2019-06-11 | A device for implementing spatio-temporal image processing based on arrays of charge-coupled photosensitive devices |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU192145U1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SU755104A1 (en) * | 1978-04-27 | 1994-06-15 | А.В. Вето | Former of videosignals of moving images on charge- coupled devices |
| WO1994017493A1 (en) * | 1993-01-29 | 1994-08-04 | Q-Dot Photonics, Inc. | Methods and apparatus for image processing |
| US5418564A (en) * | 1992-09-04 | 1995-05-23 | Asashi Kogaku Kogyo Kabushiki Kaisha | Dual-type imaging device having multiple light sensitive elements |
| RU2358408C2 (en) * | 2007-04-18 | 2009-06-10 | Тамбовское высшее военное авиационное инженерное училище радиоэлектроники (военный институт) | Device for space-time processing images based on matrices of photosensitive charge-coupled devices |
| RU2486690C2 (en) * | 2011-08-03 | 2013-06-27 | Федеральное государственное военное образовательное учреждение высшего профессионального образования "Военный авиационный инженерный университет" (г. Воронеж) Министерства обороны Российской Федерации | Apparatus for space-time image processing based on photosensitive charge coupled device matrices |
-
2019
- 2019-06-11 RU RU2019118170U patent/RU192145U1/en not_active IP Right Cessation
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SU755104A1 (en) * | 1978-04-27 | 1994-06-15 | А.В. Вето | Former of videosignals of moving images on charge- coupled devices |
| US5418564A (en) * | 1992-09-04 | 1995-05-23 | Asashi Kogaku Kogyo Kabushiki Kaisha | Dual-type imaging device having multiple light sensitive elements |
| WO1994017493A1 (en) * | 1993-01-29 | 1994-08-04 | Q-Dot Photonics, Inc. | Methods and apparatus for image processing |
| RU2358408C2 (en) * | 2007-04-18 | 2009-06-10 | Тамбовское высшее военное авиационное инженерное училище радиоэлектроники (военный институт) | Device for space-time processing images based on matrices of photosensitive charge-coupled devices |
| RU2486690C2 (en) * | 2011-08-03 | 2013-06-27 | Федеральное государственное военное образовательное учреждение высшего профессионального образования "Военный авиационный инженерный университет" (г. Воронеж) Министерства обороны Российской Федерации | Apparatus for space-time image processing based on photosensitive charge coupled device matrices |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US4884142A (en) | Electronic camera having solid state image sensor with improved noise signal draining | |
| US3940602A (en) | Signal processing imager array using charge transfer concepts | |
| US20050271341A1 (en) | Imaging arrangement and method | |
| EP0033944B1 (en) | Device for the electronic scanning of recording objects | |
| US5835137A (en) | Method and system for compensating for motion during imaging | |
| JPS62127976A (en) | Image recording processor | |
| JPS585627B2 (en) | solid state imaging device | |
| RU192145U1 (en) | A device for implementing spatio-temporal image processing based on arrays of charge-coupled photosensitive devices | |
| CN107147378A (en) | Dual-pulse power supply and double-exposure photoelectricity framing camera | |
| US8169519B1 (en) | System and method for reducing motion blur using CCD charge shifting | |
| JPH0477289B2 (en) | ||
| RU2358408C2 (en) | Device for space-time processing images based on matrices of photosensitive charge-coupled devices | |
| CN110062181B (en) | Ultra-high-speed double-frame image acquisition method based on global shutter type CMOS image sensor | |
| RU2486690C2 (en) | Apparatus for space-time image processing based on photosensitive charge coupled device matrices | |
| US4519046A (en) | Signal processing apparatus and method | |
| RU2530879C1 (en) | Device for panoramic television surveillance "day-night" | |
| RU2313189C2 (en) | Method for spatial and temporal processing of images on basis of matrices of photo-sensitive devices with charge-coupled devices and device for realization of said method | |
| GB2175768A (en) | Television camera far viewing high speed or transient events | |
| JPS6362480A (en) | Solid-state image pickup device | |
| RU2631828C1 (en) | Computer system of panoramic television observation | |
| RU2641287C1 (en) | Television camera of colour image for panoramic computer scanning | |
| JPS6019718B2 (en) | Color solid-state imaging device | |
| US5521857A (en) | Process and device for the analog convolution of images | |
| Subbarao et al. | Model for image sensing and digitization in machine vision | |
| RU2594169C1 (en) | Device of computer system for panoramic television surveillance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM9K | Utility model has become invalid (non-payment of fees) |
Effective date: 20200612 |