RU2365998C2 - Method of forming panoramic images - Google Patents

Abstract

FIELD: information technology.

SUBSTANCE: invention relates to computer engineering and can be used for forming panoramic images from several images, obtained using digital still- and video cameras, with high accuracy due to automatic correction of distortions, arising from radial distortion. For this purpose a contour is selected on overlapping images. Several contours are formed for each image. Several contours which are identical on different images are determined and two calibration contours are then selected, based on a fuzzy logic mathematical apparatus. The centres of gravity of the calibration contours on different images are calculated. The coefficient of radial distortion is calculated, as well as automatic correction of images, arising from radial distortion, rotation and displacement of one image relative the other so as to form a panoramic image.

EFFECT: wider field of use due to use of minimum number of overlapping images, without setting the camera in defined positions, as well as increased accuracy through correction of radial distortion.

3 dwg

Description

Изобретение относится к вычислительной технике и может быть использовано для формирования панорамных изображений, лишенных искажений, вызванных радиальной дисторсией.The invention relates to computer technology and can be used to form panoramic images devoid of distortion caused by radial distortion.

Известен способ получения панорамных изображений и устройство, его реализующее (патент США №5563650, H04N 7/18, от 08.10.1996). В основе способа лежит получение изображений с использованием камеры с объективом типа «fish eye» (объектив со сверхшироким углом обзора), последующее преобразование изображений в цифровой вид и трансформация в панорамные изображения, лишенные искажений, видимых человеческим глазом, с использованием компьютера и специального программного обеспечения.A known method of obtaining panoramic images and a device that implements it (US patent No. 5563650, H04N 7/18, from 08.10.1996). The method is based on obtaining images using a camera with a fish eye lens (lens with an ultra-wide viewing angle), subsequent conversion of images into digital form and transformation into panoramic images devoid of distortion visible to the human eye using a computer and special software .

Недостатками этого способа являются возможность применения данного способа только к заявленному устройству - камере с объективом типа «fish eye», соответственно узкая область применения, а также необходимость получения большого количества изображений для обеспечения высокой точности получения панорамных изображений.The disadvantages of this method are the possibility of applying this method only to the claimed device - a camera with a lens type "fish eye", respectively, a narrow scope, as well as the need to obtain a large number of images to ensure high accuracy of obtaining panoramic images.

Наиболее близким к предлагаемому является способ создания панорамных изображений в системах цифровых камер (патент США №6714249, H04N 7/00; G03B 17/00, от 30.03.2004), в котором заранее подготавливают и устанавливают в определенное положение камеру, поворачивая ее в предопределенные позиции, получают несколько серий перекрывающихся изображений (изображений с одинаковыми областями), сохраняют в памяти эти изображения и автоматически объединяют несколько изображений в панорамное изображение.Closest to the proposed is a method for creating panoramic images in digital camera systems (US patent No. 6714249, H04N 7/00; G03B 17/00, 03/30/2004), in which the camera is prepared and installed in a certain position in advance, turning it to a predetermined position positions, they receive several series of overlapping images (images with the same areas), store these images in memory and automatically combine several images into a panoramic image.

Недостатками этого способа являются получение панорамных изображений с низкой точностью из-за отсутствия коррекции аберраций оптических систем, а именно радиальной дисторсии, а также сложность практической реализации способа в связи с установкой камеры в строго определенное положение и поворота в предопределенные позиции.The disadvantages of this method are the obtaining of panoramic images with low accuracy due to the lack of correction of aberrations of optical systems, namely radial distortion, as well as the difficulty of practical implementation of the method in connection with the installation of the camera in a strictly defined position and rotation in predetermined positions.

Технической задачей изобретения является расширение области применения за счет использования минимального количества перекрывающихся изображений, без предварительной установки камеры в определенные позиции, повышение точности путем коррекции радиальной дисторсии.An object of the invention is to expand the scope through the use of a minimum number of overlapping images, without first installing the camera in certain positions, increasing accuracy by correcting radial distortion.

Задача решается тем, что в известный способ получения панорамных изображений, включающий получение изображений с одинаковыми областями, преобразование изображений в цифровую форму, автоматическое соединение нескольких изображений в панорамное изображение, добавляют автоматическое выделение контуров на перекрывающихся изображениях, формирование множеств контуров для каждого изображения, определение множества контуров, идентичных на разных изображениях, и выбор двух калибровочных контуров из этого множества на основе математического аппарата нечеткой логики, вычисление центров тяжести калибровочных контуров на разных изображениях, расчет коэффициента радиальной дисторсии, автоматическую коррекцию искажений, вызванных радиальной дисторсией, поворот и смещение одного изображения относительно другого для формирования панорамного изображения.The problem is solved in that in the known method for obtaining panoramic images, including obtaining images with the same areas, converting images to digital form, automatically connecting several images to a panoramic image, add automatic outline selection on overlapping images, the formation of multiple contours for each image, the definition of many contours identical in different images, and the choice of two calibration contours from this set based on mathematical th apparatus of fuzzy logic, the calculation of the centers of gravity gauge circuits in the different images, the calculation of the radial distortion coefficient, automatic correction of distortion caused by the radial distortion, rotation, and displacement of one image relative to the other to form a panorama image.

Изобретение может быть использовано для формирования панорамных изображений из нескольких изображений, полученных цифровыми фото-, видеокамерами, с высокой точностью за счет автоматической корректировки искажений, вызванных радиальной дисторсией, и соответствует критерию «промышленная применимость».The invention can be used to form panoramic images from several images obtained by digital cameras, video cameras, with high accuracy due to automatic correction of distortions caused by radial distortion, and meets the criterion of "industrial applicability".

Сущность изобретения поясняется чертежами, где на фиг.1 изображен алгоритм формирования панорамных изображений, на фиг.2 показан рисунок, поясняющий процесс коррекции радиальной дисторсии на изображениях, на фиг.3 представлен рисунок, поясняющий процесс идентификации контуров на двух изображениях.The invention is illustrated by drawings, in which Fig. 1 shows a panoramic image formation algorithm, Fig. 2 is a drawing explaining a radial distortion correction process in images, Fig. 3 is a diagram illustrating a process of identifying contours in two images.

Искажения, вызванные радиальной дисторсией, определяются [R.Y.Tsai «A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses», IEEE Trans, Rob. Autom, RA-3(4), pp.323-344, 1987] по формуле:The distortion caused by radial distortion is determined by [R.Y. Tsai “A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses”, IEEE Trans, Rob. Autom, RA-3 (4), pp. 323-344, 1987] according to the formula:

где (Δx_r, Δy_r) - отклонение точки изображения от ее истинного положения - положения, которое занимала бы точка при отсутствии радиальной дисторсии, k₁, k₂,…k_n - коэффициенты радиальной дисторсии, r=(x²+y²)^1/2 - расстояние от центра кадра до точки с координатами (х, y).where (Δx _r , Δy _r ) is the deviation of the image point from its true position - the position that the point would occupy in the absence of radial distortion, k ₁ , k ₂ , ... k _n - radial distortion coefficients, r = (x ² + y ² ) ^1/2 - the distance from the center of the frame to the point with coordinates (x, y).

Согласно [Vark Reeves, Andrew J. Moore, Duncan P. Hand, Julian D.C. Jones «Dynamic shape measurement system for laser materials processing», Opt. Eng. 42(10), pp.2923-2929, 2003] для практического применения достаточно определять только коэффициент k₁.According to [Vark Reeves, Andrew J. Moore, Duncan P. Hand, Julian DC Jones "Dynamic shape measurement system for laser materials processing", Opt. Eng. 42 (10), pp.2923-2929, 2003] for practical use, it is sufficient to determine only the coefficient k ₁ .

Искажения, вызванные радиальной дисторсией в декартовой системе координат, исходя из (1), определяют по формулам:The distortions caused by radial distortion in the Cartesian coordinate system, based on (1), are determined by the formulas:

Δх=х'-х,Δx = x'x

Δy=y'-y,Δy = y'-y,

y'-y=yk₁(x²+y²),y'-y = yk ₁ (x ² + y ² ),

х'-x=xk₁(x²+y²),x'-x = xk ₁ (x ² + y ² ),

в полярной системе координат:in the polar coordinate system:

R'-R=k₁R³,R'-R = k ₁ R ³ ,

где (х', y') - координаты точки, измеряемые по изображению.where (x ', y') are the coordinates of the point, measured in the image.

Алгоритм формирования панорамных изображений представлен на фиг.1.The algorithm for forming panoramic images is presented in figure 1.

В блоке 1 (фиг.1) вводят два цифровых изображения с наличием одинаковых областей. Изображения получают с помощью цифровых фотокамер. Это происходит путем аналого-цифрового преобразования сигнала, характеризующего изображение, и сохранения изображений в цифровой форме в запоминающем устройстве фотокамеры.In block 1 (Fig. 1) two digital images are introduced with the presence of the same areas. Images are captured using digital cameras. This occurs by analog-to-digital conversion of the signal characterizing the image, and storing the images in digital form in the camera memory.

Под изображением понимают матрицу значений яркостей пикселей цифрового изображения:An image is understood as a matrix of pixel brightness values of a digital image:

где x, y - координаты пикселя изображения по горизонтали и вертикали, соответственно,

,

, X, Y - размерность изображения по горизонтали и вертикали соответственно.where x, y are the horizontal and vertical coordinates of the image pixel, respectively,

,

, X, Y - horizontal and vertical image dimensions, respectively.

Следующие действия выполняет контроллер. После ввода изображений производят автоматическое выделение контуров объектов (блок 2, фиг.1) стандартным оператором, например, оператором Лапласа [Методы компьютерной обработки изображений. / Под. ред. В.А.Сойфера. - М.: Физматлит, 2001], и бинаризируют их. Для первого изображения формируют множество Z₁ контуров, а для второго - Z₂.The following actions are performed by the controller. After entering the images, the contours of the objects are automatically extracted (block 2, Fig. 1) by a standard operator, for example, the Laplace operator [Methods of computer image processing. / Under. ed. V.A.Soyfera. - M .: Fizmatlit, 2001], and binarize them. For the first image, a plurality of Z ₁ contours are formed, and for the second, Z ₂ .

В блоке 3 (фиг.1) осуществляют определение множества идентичных контуров Q (контуров, соответствующих идентичным областям на обоих изображениях), причем:In block 3 (Fig. 1), a plurality of identical Q loops (loops corresponding to identical regions in both images) are determined, moreover:

Множество контуров Q состоит из элементов (контуров) Q_l:The set of contours Q consists of elements (circuits) Q _l :

,

,

где N_k - количество идентичных контуров.where N _k is the number of identical circuits.

Под контуром Q_l понимают совокупность отличных от фона изображения точек, таких, что для каждой точки (x_i, y_i) найдется не менее одной соседней точки (x_j, y_j), расположенной на расстоянии 1 пиксель:The contour Q _{l is} understood as a set of points different from the background of the image, such that for each point (x _i , y _i ) there is at least one adjacent point (x _j , y _j ) located at a distance of 1 pixel:

.

.

Каждый контур описывается множеством из N_kl пар координат точек (x_i, y_i):Each contour is described by a set of N _kl pairs of coordinate points (x _i , y _i ):

,

,

где N_kl - количество пар координат точек, составляющих контур.where N _kl is the number of coordinate pairs of points making up the contour.

Множество Q определяют с использованием нечеткой логики [Алтунин А.Е., Семухин М.В. Модели и алгоритмы принятия решений в нечетких условиях: Монография. Тюмень: Издательство Тюменского государственного университета, 2000]. Каждый контур множества Z₁ сравнивают с каждым контуром из множества Z₂. Контур описывается совокупностью внутренних и внешних, по отношению к контуру, параметров.The set Q is determined using fuzzy logic [Altunin A.E., Semukhin M.V. Models and decision-making algorithms in fuzzy conditions: Monograph. Tyumen: Publishing House of the Tyumen State University, 2000]. Each contour of the set Z _{1 is} compared with each contour of the set Z ₂ . The circuit is described by a combination of internal and external, with respect to the circuit, parameters.

Для описания контура Q_l определяется множество векторов ν_ij с i-й точки T_i(x_i, y_i) контура на j-ю точку T_j(x_j, y_j) этого же контура:To describe the contour Q _l , the set of vectors ν _ij from the i-th point T _i (x _i , y _i ) of the contour to the j-th point T _j (x _j , y _j ) of the same contour is determined:

ν_ij={d_ij,α_ij},ν _ij = {d _ij , α _ij },

i=1…N_kl,i = 1 ... N _kl ,

j=1…N_kl,j = 1 ... N _kl ,

i≠j,i ≠ j,

где d_ij - расстояние между точками T_i и T_j, α_ij - направление с i-й точки контура на j-ю точку.where d _ij is the distance between points T _i and T _j , α _ij is the direction from the i-th point of the contour to the j-th point.

Расстояние d_ij с учетом пропорционального увеличения контура равно:The distance d _ij taking into account the proportional increase in the contour is equal to:

Углом с i-й точки контура на j-ю точку считают угол между вертикальной осью изображения и направлением на j-ю точку (фиг.3). По теореме косинусов из треугольника ΔT_fT_iT_j:The angle from the i-th point of the contour to the j-th point is considered the angle between the vertical axis of the image and the direction to the j-th point (figure 3). By the cosine theorem from the triangle ΔT _f T _i T _j :

Внешние параметры, аналогично внутренним, представляют множество векторов V_l, определяемых расстоянием d_l и направлением α_l на N_nr соседних контуров:The external parameters, similar to the internal ones, represent a set of vectors V _l defined by the distance d _l and the direction α _l to N _nr adjacent contours:

V_l={d_l,α_l},V _l = {d _l , α _l },

,

,

где d_l, α_l определяются по формулам (5), (6) из треугольника ΔT_fT_iT_j (фиг.3), точки T_i, T_j являются центрами координат контура Q_l и соседнего для него контура.where d _l , α _{l are} determined by formulas (5), (6) from the triangle ΔT _f T _i T _j (Fig. 3), the points T _i , T _j are the coordinate centers of the contour Q _l and the contour adjacent to it.

Экспериментально установлен оптимальный диапазон значений N_nr∈[3;8]. При N_nr<3 могут быть неправильно сопоставлены контуры на разных изображениях, приThe optimal range of values of N _nr ∈ [3; 8] was experimentally established. For N _nr <3, the contours in different images may be incorrectly compared;

N_nr>8 существенно увеличиваются вычислительные затраты, тогда как вероятность правильного сопоставления контуров остается практически такой же, как и при N_nr=8.N _nr > 8, the computational cost increases significantly, while the probability of correct contour matching remains almost the same as with N _nr = 8.

Поиск идентичного контура на втором изображении осуществляют на основе функции принадлежности (ФП) µ_f2 терму «идентичный контур»:The search for an identical contour in the second image is carried out on the basis of the membership function (FP) µ _{f2 the} term “identical contour”:

µ_f2=µ_ид∧µ_идвн∧µ_sp,µ _f2 = µ _id ∧µ _idvn ∧µ _sp ,

гдеWhere

µ_ид - ФП терму «внутренняя идентичность», по которой производят сравнения контуров по расположению составляющих каждый контур точек,µ _id - FP term “internal identity”, which compares the contours by the location of the points that make up each contour,

µ_идвн - ФП терму «внешняя идентичность», характеризующая схожесть контуров по взаимному расположению с соседними контурами,µ _IDN - FP term “external identity”, characterizing the similarity of the contours in relative position with neighboring contours,

µ_sp - ФП терму «яркостная идентичность», характеризующая идентичность контура по гистограмме распределения частот яркостей пикселей в прямоугольных областях, ограничивающих контур на изображениях.µ _sp - FP term “luminance identity”, characterizing the identity of the contour by the histogram of the distribution of frequencies of pixel brightness in the rectangular areas that bound the contour in the images.

ФП µ_ид равна:FP µ _id is equal to:

,

,

при a=0.5. b=1, c=2.5,

at a = 0.5. b = 1, c = 2.5,

при a=0.5. b=0.1, c=2.5,

at a = 0.5. b = 0.1, c = 2.5,

где

- разность расстояний между точками контура на разных изображениях,

- разность величин углов между точками контура на разных изображениях, параметры а, b, с подобраны экспериментально.Where

- the difference between the points between the contour points in different images,

- the difference between the angles between the points of the contour in different images, the parameters a, b, c are selected experimentally.

ФП µ_идвн, характеризующая идентичность контура по множеству векторов внешних параметров, определяется как:FP µ _idvn , characterizing the identity of the circuit by the set of vectors of external parameters, is defined as:

, при а=0.5, b=1, c=2.5,

, with a = 0.5, b = 1, c = 2.5,

, при а=0.5, b=0.1, с=2.5,

, with a = 0.5, b = 0.1, c = 2.5,

где

- разность расстояний между контурами на разных изображениях,

- разность величин углов на разных изображениях, параметры а, b, с подобраны экспериментально.Where

- the difference between the distances between the contours in different images,

- the difference between the angles in different images, the parameters a, b, c are selected experimentally.

ФП µ_sp, характеризующая идентичность контура по гистограмме K(I_w) распределения частот яркостей пикселей в прямоугольных областях, ограничивающих контур на обоих изображениях, равна:FP µ _sp , characterizing the identity of the contour according to the histogram K (I _w ) of the distribution of frequencies of pixel brightness in the rectangular areas bounding the contour in both images, is equal to:

µ_sp=(1+(а(b-r))^c)^-1, при а=1.5, b=1, с=5,μ _sp = (1+ (a (br)) ^c ) ^-1 , with a = 1.5, b = 1, c = 5,

,

,

где W(I₁), W(I₂) - количество точек с яркостями I₁ и I₂ на первом и втором изображениях соответственно, параметры a, b, с подобраны экспериментально.where W (I ₁ ), W (I ₂ ) is the number of points with brightnesses I ₁ and I ₂ in the first and second images, respectively, parameters a, b, c are selected experimentally.

Если рассматриваемому контуру Q_l не найден идентичный на втором изображении, его не включают во множество Q.If the considered contour Q _{l is} not found identical in the second image, it is not included in the set Q.

После определения множества идентичных контуров в блоке 4 (фиг.1) производят выбор двух калибровочных контуров из множества Q на основе математического аппарата нечеткой логики.After determining the set of identical circuits in block 4 (Fig. 1), two calibration circuits are selected from the set Q based on the mathematical apparatus of fuzzy logic.

Вводят лингвистическую переменную (ЛП) «калибровочный контур» для выбора двух калибровочных контуров из множества Q. Калибровочные контуры должны удовлетворять следующим условиям:A linguistic variable (LP) “calibration loop” is introduced to select two calibration loops from the set Q. Calibration loops must satisfy the following conditions:

- иметь оптимальную площадь и размер, определяемый размером описанного вокруг объекта прямоугольника;- have an optimal area and size, determined by the size of the rectangle described around the object;

- находиться на оптимальном расстоянии от края изображения.- be at an optimal distance from the edge of the image.

Функция принадлежности ЛП «калибровочный контур» µ_кк равна:The membership function of the LP “calibration loop” µ _kk is equal to:

гдеWhere

µ_s - функция принадлежности терму «оптимальная площадь»,µ _s - membership function of the term “optimal area”,

µ_w - функция принадлежности терму «оптимальное окно»,µ _w - membership function of the term “optimal window”,

µ_kp - функция принадлежности терму «оптимальное положение в кадре».µ _kp - membership function of the term “optimal position in the frame”.

Функция принадлежности µ_s терма «оптимальная площадь», зависящая от площади контура S, равна:The membership function µ _{s of the} term “optimal area”, depending on the area of the contour S, is:

µ_s=(1+e^-(S-5))^-1,µ _s = (1 + e ^{- (S-5)} ) ^-1 ,

Функция принадлежности µ_w терма «оптимальное окно» определяется размерами по горизонтали и вертикали описанного вокруг объекта прямоугольника:The membership function µ _{w of the} term “optimal window” is determined by the horizontal and vertical dimensions of the rectangle described around the object:

µ_w=µ_wx∧µ_wy,µ _w = µ _wx ∧µ _wy ,

, при а=6.8, b=1.5,

, with a = 6.8, b = 1.5,

,

,

где W_x, W_y - размеры описанного вокруг контура прямоугольника по горизонтали и вертикали соответственно, параметры a, b подобраны экспериментально.where W _x , W _y are the dimensions of the horizontal and vertical rectangles described around the contour, respectively, the parameters a, b are selected experimentally.

ФП µ_kp терму «оптимальное положение в кадре» позволяет выбрать контуры, расположенные близко к краю кадра, и равна:FP µ _{kp the} term "optimal position in the frame" allows you to select contours located close to the edge of the frame, and is equal to:

µ_kp=µ_kx∧µ_ky,µ _kp = µ _kx ∧µ _ky ,

,

,

,

,

приat

а₁=0.2,a ₁ = 0.2,

b₁=0.05,b ₁ = 0.05,

a₂=0.8,a ₂ = 0.8,

b₂=0.07,b ₂ = 0.07,

где (х, y) - координаты центра описанного вокруг контура прямоугольника, параметры а, b подобраны экспериментально.where (x, y) are the coordinates of the center of the rectangle described around the contour, the parameters a, b are selected experimentally.

После выбора двух калибровочных контуров Q₁ и Q₂, удовлетворяющих указанным выше условиям, в блоке 5 (фиг.1) производят определение центральной точки (ЦТ) каждого калибровочного контура на первом и на втором изображениях. В качестве ЦТ выбирается точка изображения, являющаяся центром тяжести [Дегтярев С.В., Садыков С.С., Тевс С.С., Ширабакина Т.А. Методы цифровой обработки изображений: Учебное пособие. Ч.1 / Курск. Гос. Техн. Ун-т. Курск, 2001] калибровочного контура и определяемая средними координатами всех его точек по горизонтали и вертикали. Обозначают ЦТ контура Q₁ на первом изображении точкой

, на втором -

, ЦТ контура Q₂ на первом изображении - точкой

, на втором -

.After selecting two calibration loops Q ₁ and Q ₂ that satisfy the above conditions, in block 5 (Fig. 1), the center point (CT) of each calibration loop is determined in the first and second images. The image point, which is the center of gravity, is selected as the CT [Degtyarev S.V., Sadykov S.S., Tevs S.S., Shirabakina T.A. Digital Image Processing Methods: A Tutorial. Part 1 / Kursk. Gos. Tech. Un-t. Kursk, 2001] of the calibration contour and determined by the average coordinates of all its points horizontally and vertically. Designate the CT of the circuit Q ₁ in the first image with a dot

, on the second -

, CT of the contour Q ₂ in the first image is a point

, on the second -

.

Т.к. в пространстве расстояние между объектами, которые описаны калибровочными контурами Q₁ и Q₂, не менялось во время получения первого и второго изображений, то и на изображениях без учета искажений радиальной дисторсии проекция этих расстояний на ось абсцисс будет постоянной (фиг.2):Because in space, the distance between the objects that are described by the calibration loops Q ₁ and Q ₂ did not change during the acquisition of the first and second images, then the images projection of these distances on the abscissa axis will be constant on the images without taking into account distortions of radial distortion (Fig. 2):

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

где

,

,

,

- точки на искаженном радиальной дисторсией изображении, соответствующие точкам A₁, B₁, A₂, В₂, чьи координаты рассчитывают в блоке 5 (фиг.1).Where

,

,

,

- points on the image distorted by radial distortion corresponding to points A ₁ , B ₁ , A ₂ , B ₂ , whose coordinates are calculated in block 5 (Fig. 1).

В блоке 6 (фиг.1) производят расчет коэффициента радиальной дисторсии.In block 6 (figure 1) calculate the coefficient of radial distortion.

На основе формул (2), (9) составляют систему уравнений:Based on formulas (2), (9), they compose a system of equations:

Первые четыре уравнения из системы (10) являются кубическими уравнениями (если их решать относительно R) и имеют корни [И.Н.Бронштейн, К.А.Семендяев. Справочник по математике. Издание седьмое, стереотипное. М.: гос. изд-во технико-теоретической лит-ры, 1957, с.138], которые вычисляют:The first four equations from system (10) are cubic equations (if they are solved with respect to R) and have roots [I.N. Bronstein, K.A.Semendyaev. Math reference. The seventh edition is stereotyped. M .: state. publishing house of technical and theoretical literature, 1957, p.138], which calculate:

Подставив корни (11-14) первых четырех уравнений системы (10) в последнее уравнение, получают:Substituting the roots (11-14) of the first four equations of system (10) in the last equation, we obtain:

Уравнение (15) с одной неизвестной k₁ решают численными методами [Демидович Б.П., Марон И.А. Основы вычислительной математики. - М.: Наука. Гл. ред. физ.-мат. лит., 1966].Equation (15) with one unknown k _{1 is} solved by numerical methods [Demidovich B.P., Maron I.A. Fundamentals of Computational Mathematics. - M .: Science. Ch. ed. Phys.-Math. lit., 1966].

После нахождения коэффициента радиальной дисторсии производят автоматическую коррекцию (блок 7, фиг.1) изображений путем расчета истинных координат всех точек для каждого изображения, используя формулу (1), и восстановления истинных положений этих точек.After finding the coefficient of radial distortion, automatic correction (block 7, Fig. 1) of the images is performed by calculating the true coordinates of all points for each image using formula (1) and restoring the true positions of these points.

После того, как получают изображения со скорректированной радиальной дисторсией, в блоке 8 (фиг.1) рассчитывают угол поворота одного изображения относительно другого для последующего корректного соединения изображений с целью создания панорамного. Для этого вычисляют угол наклона ξ₁ прямой, проходящей через точки А₁, В₁, к оси абсцисс на первом изображении и угол наклона ξ₂ прямой, проходящей через точки А₂, В₂, к оси абсцисс на втором изображении по формулам:After receiving images with adjusted radial distortion, in block 8 (figure 1) calculate the angle of rotation of one image relative to another for the subsequent correct connection of images in order to create a panoramic. To do this, calculate the angle of inclination ξ _{1 of the} straight line passing through the points A ₁ , B ₁ to the abscissa axis in the first image and the angle of inclination ξ _{2 of the} straight line passing through the points A ₂ , B ₂ to the abscissa in the second image according to the formulas:

Вычисляют разность углов Δξ:The angle difference Δξ is calculated:

По формулам (16) и (17) рассчитывают угол, на который поворачивают второе изображение, используя формулы аффинного преобразования на плоскости, а именно поворота относительно начала координат на угол γ:Using formulas (16) and (17), we calculate the angle by which the second image is rotated using the affine transformation formulas on the plane, namely, rotation relative to the origin by an angle γ:

Если Δξ=0, то поворот не выполняется.If Δξ = 0, then the rotation is not performed.

Затем в блоке 9 (фиг.1) рассчитывают расстояние h, на которое затем смещают второе изображение, по формуле:Then, in block 9 (Fig. 1), the distance h is calculated, by which the second image is then shifted, according to the formula:

В случае соединения по горизонтали двух изображений для получения панорамных u и ν вычисляют по формулам:In the case of horizontal connection of two images to obtain panoramic u and ν are calculated by the formulas:

где X₁, X₂ - размерность первого и второго изображений по горизонтали соответственно.where X ₁ , X ₂ - the dimension of the first and second images horizontally, respectively.

В случае соединения по вертикали двух изображений для получения панорамных u и ν рассчитывают по формулам:In the case of a vertical connection of two images to obtain panoramic u and ν are calculated by the formulas:

где Y₁, Y₂ - размерность первого и второго изображений по вертикали соответственно.where Y ₁ , Y ₂ - the dimension of the first and second images vertically, respectively.

Используя формулы аффинного преобразования переноса вдоль оси абсцисс на плоскости, осуществляют перенос второго изображения по направлению к левому краю или к нижнему краю, в зависимости от направления соединения, изображения на расстояние h, определяемое по формуле (19).Using the affine transfer transformation formulas along the abscissa axis on the plane, the second image is transferred towards the left edge or toward the lower edge, depending on the direction of the connection, the image at a distance h determined by formula (19).

В блоке 10 (фиг.1) выполняют соединение первого и второго изображения с целью формирования панорамного изображения.In block 10 (Fig. 1), the first and second images are connected to form a panoramic image.

При получении панорамного изображения, имея n исходных изображений, последовательность действий, рассмотренных в способе, выполняется n-1 раз.Upon receipt of a panoramic image, having n source images, the sequence of actions described in the method is performed n-1 times.

Рассмотрим варианты реализации предложенного способа:Consider the implementation options of the proposed method:

1. Получают изображения цифровой фотокамерой, изображения сохраняют в памяти фотокамеры, определение коэффициента и коррекцию радиальной дисторсии производят с использованием контроллера фотокамеры, осуществляют ввод изображений в ЭВМ через USB-порт, формирование панорамных изображений производит ЭВМ;1. Images are obtained by a digital camera, images are saved in the camera’s memory, coefficient determination and correction of radial distortion are carried out using the camera controller, images are input into a computer via a USB port, and panoramic computers are generated by a computer;

2. Получают изображения цифровой фотокамерой, изображения сохраняют в памяти фотокамеры, осуществляют ввод изображений в ЭВМ через USB-порт, определение коэффициента и коррекцию радиальной дисторсии, а также формирование панорамных изображений производит ЭВМ;2. Images are obtained by a digital camera, images are saved in the camera’s memory, images are input into a computer via a USB port, coefficient determination and correction of radial distortion, as well as panoramic image formation, are performed by a computer;

3. Получают изображения цифровой фотокамерой, изображения сохраняют в памяти фотокамеры, последовательность действий, предложенную в рамках данного способа, выполняет контроллер фотокамеры, панорамные изображения сохраняются в памяти фотокамеры.3. Images are obtained by a digital camera, images are stored in the camera’s memory, the sequence of actions proposed in the framework of this method is performed by the camera controller, panoramic images are saved in the camera’s memory.

Таким образом, изобретение позволяет повысить точность формирования панорамных изображений, которая достигается коррекцией радиальной дисторсии, а также расширить область применения за счет использования минимального количества перекрывающихся изображений, без предварительной установки камеры в определенные позиции.Thus, the invention allows to increase the accuracy of panoramic image formation, which is achieved by correcting radial distortion, as well as expand the scope by using the minimum number of overlapping images, without first installing the camera in certain positions.

Claims (1)

Способ формирования панорамных изображений, включающий получение одинаковых изображений нескольких областей панорамных изображений посредством фото или видеокамер, аналого-цифровое преобразование сигналов, характеризующее полученные изображения, и сохранение их в запоминающем устройстве, соединение цифровых изображений в панорамное изображение в виде матрицы пикселей, отличающийся тем, что для каждого панорамного изображения выделяют на матрице пикселей контура из совокупности точек изображения, отличных от фона изображения на перекрывающихся изображениях, формируют множества контуров для каждого панорамного изображения, определяют множество контуров, идентичных на разных панорамных изображениях, и выбирают два калибровочных контура из этого множества на основе математического аппарата нечеткой логики, вычисляют центры тяжести калибровочных контуров на разных изображениях, рассчитывают коэффициент радиальной дисторсии, корректируют искажения, вызванные радиальной дисторсией, поворачивают и смещают одно изображение относительно другого для получения панорамного изображения, характеризующегося высокой точностью. A method for generating panoramic images, including obtaining identical images of several regions of panoramic images by means of photo or video cameras, analog-to-digital conversion of signals characterizing the received images, and storing them in a storage device, combining digital images into a panoramic image in the form of a matrix of pixels, characterized in that for each panoramic image, a contour is selected on the matrix of pixels from the set of image points other than the background of the image by overlapping images, form a set of contours for each panoramic image, determine a set of contours that are identical on different panoramic images, and select two calibration contours from this set based on the mathematical apparatus of fuzzy logic, calculate the centers of gravity of the calibration contours on different images, calculate the radial distortion coefficient, correct distortions caused by radial distortion, rotate and shift one image relative to another to obtain pa high-precision image.

Images