RU200396U1 - OPTICAL-ELECTRONIC SENSOR FOR PANORAMIC IMAGE FORMATION - Google Patents
OPTICAL-ELECTRONIC SENSOR FOR PANORAMIC IMAGE FORMATION Download PDFInfo
- Publication number
- RU200396U1 RU200396U1 RU2019144963U RU2019144963U RU200396U1 RU 200396 U1 RU200396 U1 RU 200396U1 RU 2019144963 U RU2019144963 U RU 2019144963U RU 2019144963 U RU2019144963 U RU 2019144963U RU 200396 U1 RU200396 U1 RU 200396U1
- Authority
- RU
- Russia
- Prior art keywords
- output
- input
- ram
- microcontroller
- feature
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
Полезная модель относится к вычислительной технике и может быть использовано для формирования панорамных изображений из нескольких изображений.Технический результат состоит в снижении объема взаимодействия с пользователем для построения панорамных изображений за счет использования минимального и достаточного количества перекрывающихся изображений, без предварительной установки камеры в определенные позиции, а также автоматического нахождения множества точечных особенностей изображений и сопоставлению по ним.Оптико-электронный датчик формирования панорамных изображений содержит видеокамеру, аналого-цифровой преобразователь (АЦП), оперативное запоминающее устройство (ОЗУ), контроллер ОЗУ, блок управления, модуль детектирования особенностей, модуль сопоставления особенностей, микроконтроллер, буферное выходное ОЗУ, причем выход видеокамеры подключен к первому входу АЦП, выход АЦП подключен к входу контроллера ОЗУ, вход-выход ОЗУ подключен к первому входу-выходу контроллера ОЗУ, вход-выход детектора особенностей подключен к второму входу-выходу контроллера ОЗУ, вход-выход модуля сопоставления особенностей подключен к третьему входу-выходу контроллера ОЗУ, первый вход-выход микроконтроллера подключен к четвертому входу-выходу контроллера ОЗУ, выход детектора особенностей подключен к входу модуля сопоставления особенностей, второй вход-выход микроконтроллера подключен к входу выходу буферного ОЗУ, выход микроконтроллера подключен к входу блока управления, первый выход блока управления подключен к входу видеокамеры, второй выход блока управления подключен к входу АЦП, третий вход-выход микроконтроллера является выходом устройства и предназначен для обмена данными и выдачей результирующего изображения.Оптико-электронный датчик может быть использован для формирования панорамных изображений из нескольких изображений, полученных фотокамерами, без предварительной установки в определенные позиции в автоматическом режиме.The utility model relates to computer technology and can be used to form panoramic images from several images. The technical result is to reduce the amount of user interaction for constructing panoramic images by using a minimum and sufficient number of overlapping images, without first installing the camera in certain positions, and also automatically find many point features of images and compare them. An optoelectronic sensor for forming panoramic images contains a video camera, an analog-to-digital converter (ADC), random access memory (RAM), a RAM controller, a control unit, a feature detection module, a feature matching module , microcontroller, buffer output RAM, and the video camera output is connected to the first input of the ADC, the output of the ADC is connected to the input of the RAM controller, the input-output of the RAM is connected to the first input-output of the RAM controller, input-output the feature detector is connected to the second I / O of the RAM controller, the I / O of the feature matching module is connected to the third I / O of the RAM controller, the first I / O of the microcontroller is connected to the fourth I / O of the RAM controller, the output of the feature detector is connected to the input of the feature matching module, the second input-output of the microcontroller is connected to the output of the buffer RAM, the output of the microcontroller is connected to the input of the control unit, the first output of the control unit is connected to the input of the video camera, the second output of the control unit is connected to the input of the ADC, the third input-output of the microcontroller is the output of the device and is intended for exchange data and the output of the resulting image. An optical-electronic sensor can be used to form panoramic images from several images obtained by cameras, without pre-setting in certain positions in automatic mode.
Description
Полезная модель относится к вычислительной технике и может быть использована для формирования панорамных изображений посредством их получения с оптико-электронного датчика и последующего совмещения.The utility model relates to computer technology and can be used to form panoramic images by obtaining them from an electro-optical sensor and subsequent alignment.
Известно устройство получения панорамных изображений (патент США №5563650, H04N 7/18, от 08.10.1996). В основе устройства лежит получение изображений с использованием камеры с объективом типа «fish еуе» (объектив со сверхшироким углом обзора), последующее преобразование изображений в цифровой вид и трансформация в панорамные изображения, лишенные искажений, видимых человеческим глазом, с использованием компьютера и специального программного обеспечения.Known device for obtaining panoramic images (US patent No. 5563650,
Недостатками этого устройства являются возможность применения только камер с объективом типа «fish еуе», соответственно узкая область применения, а также необходимость получения большого количества изображений для обеспечения высокой точности получения панорамных изображений.The disadvantages of this device are the possibility of using only cameras with a fish eye lens, a correspondingly narrow field of application, as well as the need to obtain a large number of images to ensure high accuracy of obtaining panoramic images.
Также известно устройство для панорамной фотосъемки (патент RU 2319188, дата приоритета 14.12.2005 год). Данное устройство не позволяет точно фиксировать фотоаппарат в пространстве относительно объекта фотосъемки, все настройки устройства в системе координат выстраиваются пользователем вручную, путем применения шаблона, отвеса с двумя нитями, что приводит к искажению формы (вида) объекта. При этом фотоснимки, полученные в ходе использовании устройства содержат сторонние изображения нитей и отвеса, для исключения которых необходима графическая ретушь фотоснимков.A device for panoramic photography is also known (patent RU 2319188, priority date 12/14/2005). This device does not allow you to accurately fix the camera in space relative to the object of photography, all settings of the device in the coordinate system are lined up by the user manually, by applying a template, a plumb line with two threads, which leads to distortion of the shape (type) of the object. In this case, the photographs obtained during the use of the device contain third-party images of threads and plumb bob, for the exclusion of which graphic retouching of photographs is necessary.
Наиболее близким к предлагаемому является устройство создания панорамных изображений в системах цифровых камер (патент США №6714249, H04N 7/00; G03B 17/00, от 30.03.2004), в котором заранее подготавливают и устанавливают в определенное положение камеру, поворачивая ее в предопределенные позиции, получают несколько серий изображений с одинаковыми областями, сохраняют в памяти эти изображения и автоматически объединяют несколько изображений в панорамное изображение.The closest to the proposed device is a device for creating panoramic images in digital camera systems (US patent No. 6714249,
Недостатками этого устройства является сложность практической реализации в связи с установкой камеры в строго определенное положение и поворота в предопределенные позиции, что предполагает от пользователя значительных трудозатрат и обладания специальными навыками, а также необходимость получения большого количества изображений для формирования панорамного изображения.The disadvantages of this device are the complexity of practical implementation in connection with the installation of the camera in a strictly defined position and rotation in predetermined positions, which implies significant labor costs and special skills from the user, as well as the need to obtain a large number of images to form a panoramic image.
Технической задачей полезной модели является автоматическое построение панорамных изображений при перемещении видеокамеры без предварительной установки камеры в определенные позиции за счет использования минимального и достаточного количества перекрывающихся изображений.The technical task of the utility model is the automatic construction of panoramic images when moving a video camera without first placing the camera in certain positions by using a minimum and sufficient number of overlapping images.
Техническая задача решается тем, что в устройство формирования панорамного изображения, введены видеокамера, аналого-цифровой преобразователь (АЦП), оперативное запоминающее устройство (ОЗУ), контроллер ОЗУ, блок управления, модуль детектирования особенностей, модуль сопоставления особенностей, микроконтроллер, буферное выходное ОЗУ, причем выход видеокамеры подключен к первому входу АЦП, выход АЦП подключен к входу контроллера ОЗУ, вход-выход ОЗУ подключен к первому входу-выходу контроллера ОЗУ, вход-выход детектора особенностей подключен к второму входу-выходу контроллера ОЗУ, вход-выход модуля сопоставления особенностей подключен к третьему входу-выходу контроллера ОЗУ, первый вход-выход микроконтроллера подключен к четвертому входу-выходу контроллера ОЗУ, выход детектора особенностей подключен к входу модуля сопоставления особенностей, второй вход-выход микроконтроллера подключен к входу выходу буферного ОЗУ, выход микроконтроллера подключен к входу блока управления, первый выход блока управления подключен к входу видеокамеры, второй выход блока управления подключен к входу АЦП, третий вход-выход микроконтроллера является выходом устройства и предназначен для обмена данными и выдачей результирующего изображения.The technical problem is solved by the fact that a video camera, an analog-to-digital converter (ADC), random access memory (RAM), a RAM controller, a control unit, a feature detection module, a feature matching module, a microcontroller, a buffer output RAM are introduced into the panoramic image forming device, moreover, the output of the video camera is connected to the first input of the ADC, the output of the ADC is connected to the input of the RAM controller, the input-output of the RAM is connected to the first input-output of the RAM controller, the input-output of the feature detector is connected to the second input-output of the RAM controller, the input-output of the feature matching module is connected to the third input-output of the RAM controller, the first input-output of the microcontroller is connected to the fourth input-output of the RAM controller, the output of the feature detector is connected to the input of the feature matching module, the second input-output of the microcontroller is connected to the output of the buffer RAM, the output of the microcontroller is connected to the input control unit, first output b the control unit is connected to the input of the video camera, the second output of the control unit is connected to the input of the ADC, the third input-output of the microcontroller is the output of the device and is intended for data exchange and output of the resulting image.
Полезная модель может быть использована для формирования панорамных изображений из нескольких изображений, полученных фотокамерами, без предварительной установки в определенные позиции в автоматическом режиме и соответствует критерию «промышленная применимость».The utility model can be used to form panoramic images from several images obtained by cameras, without preliminary installation in certain positions in an automatic mode and meets the criterion of "industrial applicability".
Сущность полезной модели поясняется чертежами, где на фиг. 1 представлена схема устройства формирования панорамного изображения.The essence of the utility model is illustrated by drawings, where Fig. 1 shows a diagram of a panoramic image forming device.
Оптико-электронный датчик для формирования панорамного изображения содержит видеокамеру 1, аналого-цифровой преобразователь (АЦП) 2, оперативное запоминающее устройство (ОЗУ) 3, контроллер ОЗУ 9, блок управления 4, модуль детектирования особенностей 5, модуль сопоставления особенностей 6, микроконтроллер 7, буферное выходное ОЗУ 8, причем выход видеокамеры 1 подключен к первому входу АЦП 2, выход АЦП 2 подключен к входу контроллера ОЗУ 9, вход-выход ОЗУ 3 подключен к первому входу-выходу контроллера ОЗУ 9, вход-выход детектора особенностей 5 подключен к второму входу-выходу контроллера ОЗУ 9, вход-выход модуля сопоставления особенностей 6 подключен к третьему входу-выходу контроллера ОЗУ 9, первый вход-выход микроконтроллера 7 подключен к четвертому входу-выходу контроллера ОЗУ 9, выход детектора особенностей 5 подключен к входу модуля сопоставления особенностей 6, второй вход-выход микроконтроллера 7 подключен к входу выходу буферного ОЗУ 8, выход микроконтроллера 7 подключен к входу блока управления 4, первый выход блока управления 4 подключен к входу видеокамеры 1, второй выход блока управления подключен к входу АЦП 2, третий вход-выход микроконтроллера 7 является выходом устройства и предназначен для обмена данными и выдачей результирующего изображения.An optoelectronic sensor for forming a panoramic image contains a
Устройство работает следующим образом. Видеокамера 1 осуществляет непрерывное получение изображений. Для этого с заданным интервалом времени микроконтроллер 7 подает команду в блок управления 4 на получение кадра изображения видеокамерой 1, эту команду блок управления далее передает на вход видеокамеры 1 и на вход АЦП 2. АЦП 2 получает кадр изображения на свой вход, преобразует его в цифровые отсчеты и под управления контроллера 9 данный кадр изображения записывается в ОЗУ 3. Далее контроллер ОЗУ 9 через свой четвертый выход-выход передает на первый вход-выход микроконтроллера 7 признак готовности обработки очередного кадра.The device works as follows. The
По поступлении этого признака микроконтроллер 7 через контроллур ОЗУ 9 передает команду детектору особенностей 5 на обработку очередного поступившего кадра. Детектор особенностей 5 считывает через контроллер ОЗУ 9 из ОЗУ 3 полученный кадр и ищет так называемые характерные особенности.Upon receipt of this sign, the
Обнаружение особенностей детектор особенностей 5 выполняет следующим образом. Вычисляется значения адаптированной к масштабированию функции Харриса для масштабов δn=εn⋅δ0:The
где Where
Количество слоев и значение шага масштаба F выбирается в зависимости от того, насколько большим может быть изменение масштаба между двумя изображениями. Для каждого уровня масштаба находятся локальные максимумы вычисленной функции Харриса, это и есть особые точки для данного масштаба изображения. Для каждой найденной таким образом особенности проверяется достижение в ней максимума функции по переменной nThe number of layers and the value of the scale step F are chosen depending on how large the scale change between two images can be. For each scale level, local maxima of the calculated Harris function are found; these are the singular points for a given image scale. For each singularity found in this way, the achievement of the maximum of the function in the variable n
Если локальный максимум не достигается, то точка отбрасывается.If the local maximum is not reached, then the point is discarded.
Все оставшиеся точки являются особенностями изображения, с каждой точкой ассоциирован масштаб δn, на котором она была обнаружена.All the remaining points are features of the image, each point is associated with a scale δ n at which it was detected.
Найденный таким рассмотренным образом в процессе обработке всего кадра особенности детектор особенностей 5 передает вектор выделенных признаков особенностей в модуль сопоставления особенностей 6 для сравнения текущей найденной особенности с ранее найденными особенностями на предыдущем кадре.The
Сравнение текущей особенности с ранее найденными особенностями выполняет модуль сопоставления особенностей 6 производит следующим образом. Для сопоставления обнаруженных особенностей используются дескрипторы особенностей - векторы числовых характеристик окрестности особенности. Для принятия решений о том соответствуют ли друг другу особенности или нет, сравниваются окрестности этих особенностей, записанные в виде вектора. Оценка изменения масштаба решается применением scale-space детекторов особенностей. Определение scale-space представления изображения производит модуль сопоставления особенностей 6 по следующему выражению:Comparison of the current feature with previously found features is performed by the
где Where
Scale-space представление изображения есть размытие изображения при помощи свертки Гауссианом g с разными значениями параметра размытия δ. Для обеспечения инвариантности к изменению масштаба перед вычислением дескриптора выполняется нормировка в соответствии с локальным масштабом особенности. Если дескриптор состоит из выражений, в которых используются нормированные производные, то окрестность не масштабируется. А только рассчитываются значения производных для значения масштаба δ, который ассоциирован с особенностью.Scale-space image representation is image blur using Gaussian convolution g with different values of blur parameter δ. To ensure invariance to scaling, before calculating the descriptor, normalization is performed in accordance with the local scale of the feature. If the descriptor consists of expressions that use normalized derivatives, then the neighborhood is not scaled. And only the values of the derivatives are calculated for the value of the scale δ, which is associated with the singularity.
В случае, если данная особенностей уже была на предыдущем кадре, то модуль сопоставления особенностей 6 обновляет координаты особенности и записывает ее обновленные координаты в ОЗУ 3 через контроллер ОЗУ 9. В случае, если особенность ранее не обнаружена, то модуль сопоставления особенностей 6 записывает данную особенность как новую в ОЗУ 3 посредством передачи параметров особенности через свой вход-выход на третий вход-выход котнроллера ОЗУ 9 и вход-выход ОЗУ 3.If this feature was already on the previous frame, then the
Далее после обработки всего кадра микроконтроллер 7 определяет координаты и угловые величины смещения кадра по хранящимсяв ОЗУ 3 текущим координатам одних и тех же особенностей на текущем и предыдущих кадрах и вычисляет параметры совмещения текущего и предыдущих кадров изображений. После вычисления параметров совмещения микроконтроллер 7 совмещает части текущего и предыдущего кадров изображений и записывает результаты совмещения в буферное ОЗУ 8. Рассмотренная процедура совмещения фрагментов текущего и предыдущего кадров повторяется непрерывно для каждого очередного кадра, в результате в буферном ОЗУ 8 хранится так называемое панорамное изображений, под которым понимаетя совмещенное изображение, полученное путем анализа непрерывного потока отдельных входных изображений.Further, after processing the entire frame, the
Полученное панорамное изображение считывается из выходнго буферного ОЗУ 8 микроконтроллером 7 и с третьего входа выхода микроконтроллера 3 передается во внешнее устройство.The resulting panoramic image is read from the
Таким образом, полезная модель позволяет расширить область применения за счет использования минимального количества перекрывающихся изображений без предварительной установки камеры в определенные позиции и автоматического нахождения и сопоставления множества точечных особенностей изображений.Thus, the utility model makes it possible to expand the field of application due to the use of a minimum number of overlapping images without preliminary installation of the camera in certain positions and automatic finding and matching of many point features of the images.
Claims (1)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2019144963U RU200396U1 (en) | 2019-12-30 | 2019-12-30 | OPTICAL-ELECTRONIC SENSOR FOR PANORAMIC IMAGE FORMATION |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2019144963U RU200396U1 (en) | 2019-12-30 | 2019-12-30 | OPTICAL-ELECTRONIC SENSOR FOR PANORAMIC IMAGE FORMATION |
Publications (1)
Publication Number | Publication Date |
---|---|
RU200396U1 true RU200396U1 (en) | 2020-10-22 |
Family
ID=72954472
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2019144963U RU200396U1 (en) | 2019-12-30 | 2019-12-30 | OPTICAL-ELECTRONIC SENSOR FOR PANORAMIC IMAGE FORMATION |
Country Status (1)
Country | Link |
---|---|
RU (1) | RU200396U1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2127443C1 (en) * | 1998-07-27 | 1999-03-10 | Закрытое акционерное общество "Интерактивное видео" | Camera for panoramic photography |
RU2222036C2 (en) * | 2000-10-03 | 2004-01-20 | Муниципальное образовательное учреждение "Средняя общеобразовательная школа № 19" г. Красноярска | Facility for panoramic photography |
US6714249B2 (en) * | 1998-12-31 | 2004-03-30 | Eastman Kodak Company | Producing panoramic digital images by digital camera systems |
RU2319188C2 (en) * | 2005-12-14 | 2008-03-10 | Андрей Михайлович Зубец | Method and device for panoramic photography |
-
2019
- 2019-12-30 RU RU2019144963U patent/RU200396U1/en not_active IP Right Cessation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2127443C1 (en) * | 1998-07-27 | 1999-03-10 | Закрытое акционерное общество "Интерактивное видео" | Camera for panoramic photography |
US6714249B2 (en) * | 1998-12-31 | 2004-03-30 | Eastman Kodak Company | Producing panoramic digital images by digital camera systems |
RU2222036C2 (en) * | 2000-10-03 | 2004-01-20 | Муниципальное образовательное учреждение "Средняя общеобразовательная школа № 19" г. Красноярска | Facility for panoramic photography |
RU2319188C2 (en) * | 2005-12-14 | 2008-03-10 | Андрей Михайлович Зубец | Method and device for panoramic photography |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7003238B2 (en) | Image processing methods, devices, and devices | |
WO2020259179A1 (en) | Focusing method, electronic device, and computer readable storage medium | |
US20200412940A1 (en) | Method and device for image processing, method for training object detection model | |
KR102143456B1 (en) | Depth information acquisition method and apparatus, and image collection device | |
WO2020259271A1 (en) | Image distortion correction method and apparatus | |
WO2019085792A1 (en) | Image processing method and device, readable storage medium and electronic device | |
WO2019105262A1 (en) | Background blur processing method, apparatus, and device | |
WO2020088133A1 (en) | Image processing method and apparatus, electronic device and computer-readable storage medium | |
US10805508B2 (en) | Image processing method, and device | |
WO2019109805A1 (en) | Method and device for processing image | |
CN105872362B (en) | Method for determining angle to be adjusted and electronic equipment | |
WO2019105261A1 (en) | Background blurring method and apparatus, and device | |
EP3798975B1 (en) | Method and apparatus for detecting subject, electronic device, and computer readable storage medium | |
CN113129241B (en) | Image processing method and device, computer readable medium and electronic equipment | |
CN110493525A (en) | Zoom image determines method and device, storage medium, terminal | |
WO2021093534A1 (en) | Subject detection method and apparatus, electronic device, and computer-readable storage medium | |
WO2019029573A1 (en) | Image blurring method, computer-readable storage medium and computer device | |
CN113875219A (en) | Image processing method and device, electronic equipment and computer readable storage medium | |
CN114640833A (en) | Projection picture adjusting method and device, electronic equipment and storage medium | |
KR101597915B1 (en) | Image processing apparatus and image processing method | |
WO2022198508A1 (en) | Lens abnormality prompt method and apparatus, movable platform, and readable storage medium | |
CN101729739A (en) | Method for rectifying deviation of image | |
TW201523516A (en) | Video frame stabilization method for the moving camera | |
RU200396U1 (en) | OPTICAL-ELECTRONIC SENSOR FOR PANORAMIC IMAGE FORMATION | |
CN117058183A (en) | Image processing method and device based on double cameras, electronic equipment and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM9K | Utility model has become invalid (non-payment of fees) |
Effective date: 20201001 |