RU2289111C2 - Способ адаптивной калибровки радиальной дисторсии оптической подсистемы системы технического зрения - Google Patents
Способ адаптивной калибровки радиальной дисторсии оптической подсистемы системы технического зрения Download PDFInfo
- Publication number
- RU2289111C2 RU2289111C2 RU2004104494/09A RU2004104494A RU2289111C2 RU 2289111 C2 RU2289111 C2 RU 2289111C2 RU 2004104494/09 A RU2004104494/09 A RU 2004104494/09A RU 2004104494 A RU2004104494 A RU 2004104494A RU 2289111 C2 RU2289111 C2 RU 2289111C2
- Authority
- RU
- Russia
- Prior art keywords
- image
- graduation
- radial distortion
- calibration
- coordinates
- Prior art date
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
Abstract
Изобретение относится к вычислительной технике и может быть использовано для определения и коррекции дисторсии оптических подсистем видеокамер и систем технического зрения, использующих в качестве приемников изображения матричные приемники изображения. Его применение позволяет получить технический результат в виде обеспечения калибровки радиальной дисторсии оптической подсистемы системы технического зрения (СТЗ) без использования специально создаваемого калибровочного объекта. Этот результат достигается благодаря тому, что в известном способе калибровки активной системы технического зрения, включающем ввод изображения в ЭВМ, определение радиальной дисторсии линз, согласно изобретению выделяют контура и бинаризируют изображение, выбирают калибровочный объект из объектов рабочей сцены, определяют координаты центральной точки калибровочного объекта, позиционируют видеокамеру СТЗ в n разных направлениях наблюдения, определяют координаты центральной точки калибровочного объекта на изображении для n разных направлений наблюдения и определяют коэффициенты радиальной дисторсии. 4 ил.
Description
Изобретение относится к вычислительной технике и может быть использовано для определения и коррекции радиальной дисторсии оптических подсистем видеокамер и систем технического зрения, использующих в качестве приемников изображения матричные приемники изображения.
Известен способ калибровки видеокамеры, входящей в систему технического зрения [R.Y. Tsai. "A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses", IEEE Trans. Rob. Autom, RA-3(4), pp.323-344, 1987; George S.K. Fung, Nelson H.C. Yung, Grantham K.H. Pang, "Camera calibration from road lane markings", The university of Hong Kong department of electrical and electronic engineering. Opt. Eng, 42(10), pp.2967-2977, 2003 (стр.2968, 2 колонка, первый абзац)], позволяющий по изображению эталонного калибровочного объекта на ряду с другими параметрами определять радиальную дисторсию линз оптической подсистемы. Недостатком способа является использование при калибровке калибровочного объекта, состоящего из калибровочных точек - вершин 16 черных квадратов, расположенных на светлом фоне, исключающее проведение калибровки в случае невозможности размещения калибровочного объекта на рабочей сцене и исключающее проведение адаптивной калибровки (т.е. когда необходимость проведения калибровки вызвана какими-либо изменениями в системе технического зрения (СТЗ)), например, с целью "приблизить" наблюдаемый объект необходимо изменить фокусное расстояние оптической подсистемы (при оснащении СТЗ трансфокатором - устройством, изменяющим фокусное расстояние оптической подсистемы и, как следствие, изменяющим угол просмотра ("увеличение")).
Наиболее близким является способ калибровки лазерной системы технического зрения [Vark Reeves, Andrew J. Moore, Duncan P. Hand, Julian D.C. Jones. "Dynamic shape measurement system for laser materials processing", Opt. Eng. 42(10), pp.2923-2929, 2003 (стр.2925, последний абзац)], согласно которому наряду с другими параметрами калибровки определяется радиальная дисторсия и заключающийся в расположении калибровочной плоскости в n+1 параллельных позициях, проецировании на калибровочную плоскость интерференционной картины и последующем определении параметров калибровки. Недостатком способа является использование лазера для проецирования и многократное расположение калибровочных плоскостей в параллельных позициях, исключающее применение способа в случаях, когда приведенное выше расположение калибровочной плоскости невозможно или затруднено, например, в системах слежения за дорожным движением.
Технической задачей изобретения является калибровка радиальной дисторсии оптической подсистемы системы технического зрения без использования специально созданного калибровочного объекта, калибровочный объект выбирается из объектов рабочей сцены.
Техническая задача решается тем, что в известный способ калибровки активной системы технического зрения, включающий ввод изображения в ЭВМ, определение радиальной дисторсии линз по формуле
где k1, k2,... - коэффициенты радиальной дисторсии, ra=(хa 2+ya 2)1/2 - радиальное расстояние, (Δхra, Δyra) - отклонение точки изображения от ее истинного положения - положения, которое занимала бы точка при отсутствии радиальной дисторсии, согласно изобретению выделяют контура и бинаризируют изображение, выбирают калибровочный объект из объектов рабочей сцены на основе математического аппарата нечеткой логики, определяют координаты центральной точки калибровочного объекта как среднее арифметическое координат всех точек объекта, позиционируют видеокамеру СТЗ в n разных направлениях наблюдения при постоянно находящемся в кадре калибровочном объекте, определяют координаты центральной точки калибровочного объекта на изображении для n разных направлений наблюдения и определяют коэффициенты радиальной дисторсии.
Изобретение может быть использовано для калибровки радиальной дисторсии систем технического зрения, широко применяемых для контроля различных автоматизированных процессов промышленности, автоматизированного слежения за дорожным движением, а также для калибровки радиальной дисторсии при производстве фото- и видеокамер с матричными приемниками изображения и соответствует критерию "промышленная применимость".
Сущность изобретения поясняется чертежами, где на фиг.1 - блок-схема алгоритма калибровки радиальной дисторсии, фиг.2 изображает процесс определения угла вращения камеры вокруг оптической оси, фиг.3 поясняет идентификацию калибровочного объекта до и после смещения направления наблюдения видеокамеры, на фиг.4 показана декартова система координат, используемая при определении координат точки на изображении, а также пояснение к способу определения радиальной дисторсии.
Предлагаемый способ позволяет калибровать радиальную дисторсию оптической подсистемы СТЗ путем определения коэффициентов k1, k2,... выражения (1). Согласно [Vark Reeves, Andrew J. Moore, Duncan P. Hand, Julian D.C. Jones. "Dynamic shape measurement system for laser materials processing", Opt. Eng. 42(10), pp.2923-2929, 2003 (стр.2926, текст между 4 и 5 формулами)], для практического применения достаточно определять только коэффициент k1, однако разработанный способ позволяет, при необходимости, определять и последующие коэффициенты ряда k2,....
Блок-схема алгоритма процесса калибровки представлена на фиг.1.
В блоке 1 (фиг.1) производится ввод изображения в ЭВМ. Ввод может быть произведен с помощью серийно выпускаемых устройств ввода видеосигнала в ПЭВМ, например с помощью видеокарты фирмы Nvidia типа "GeForce" с видеовходом, или другими устройствами, входящими в комплект видеокамеры или фотоаппарата, например по шине USB. Под изображением будем понимать матрицу значений яркостей пикселов оцифрованного изображения
где х, y - координаты пиксела изображения по горизонтали и вертикали, соответственно, x∈[-X/2; X/2], y∈[-Y/2; Y/2], X, Y - размерность изображения по горизонтали и вертикали, соответственно
В блоке 2 (фиг.1) производится выделение контуров объектов на изображении стандартным оператором, например оператором Лапласа [Методы компьютерной обработки изображений /Под. Ред. В.А. Сойфера. - М.: Физматлит, 2001] и бинаризация. Согласно оператору Лапласа вычисляются вторые производные функции яркости Ι~(х,y) по горизонтальному и вертикальному направлениям изображения
В случае дискретной функции яркости Ι(х, y) вторые производные аппроксимируются вторыми разностями и оператор определения контура в точке с координатами (х, у) записывается [Методы компьютерной обработки изображений /Под. Ред. В.А. Сойфера. - М.: Физматлит, 2001]
где G(x,y)=|Ι(x+1,y)+Ι(x-1,y)+Ι(x,y+1)+Ι(х,у-1)-4·Ι(х,у)|,
Β - контурное изображение, определяемое множеством значений яркостей в точках с координатами (х,у),
Lp - пороговое значение изменения яркости, по которому определяется принадлежность точки изображения фону или контуру.
где Gmin - параметр, определяющий минимальное изменение яркости и задаваемый для всего изображения:
После выделения контуров осуществляется переход к выбору калибровочного объекта. В блоке 3 (фиг.1) производится выбор калибровочного объекта из объектов рабочей сцены на основе математического аппарата нечеткой логики [Алтунин А.Е., Семухин М.В. Модели и алгоритмы принятия решений в нечетких условиях: Монография. Тюмень: Издательство Тюменского государственного университета, 2000].
Введем лингвистическую переменную (ЛП) "калибровочный объект" для выбора калибровочного объекта из множества объектов на изображении. Калибровочный объект должен удовлетворять следующим условиям:
- иметь оптимальную площадь и размер, определяемый размером описанного вокруг объекта прямоугольника;
- находиться на оптимальном расстоянии от края кадра изображения;
- не изменяться в течение определенного промежутка времени (позволяет отделить изменяющиеся во времени объекты от
статичных).
Функция принадлежности ЛП "калибровочный объект" μкк равна
где μs - функция принадлежности терму "оптимальная площадь",
μw - функция принадлежности терму "оптимальное окно",
μkf - функция принадлежности терму "оптимальное положение в кадре",
μt - функция принадлежности терму "неподвижный объект".
Функция принадлежности μs терма "оптимальная площадь", зависящая от площади контура S, равна
где Nkl - количество точек объекта.
Функция принадлежности μw терма "оптимальное окно" определяется размерами по горизонтали и вертикали описанного вокруг объекта прямоугольника
Wx, Wy - размеры описанного прямоугольника по горизонтали и вертикали, соответственно, параметры a, b подобраны экспериментально.
Функция принадлежности μkf терма "оптимальное положение в кадре" позволяет выбрать контура, расположенные близко к краю кадра, и равна
(х, у) - координаты центра описанного прямоугольника, параметры а, b подобраны экспериментально.
Функция принадлежности μt терма "неподвижный объект" позволяет отделить статичные объекты от динамических
ΔК - количество несовпадающих точек объекта через определенный промежуток времени, выбранный в результате экспериментальных исследований равным 1 с.
В блоке 4 (фиг.1) производится определение центральной точки (ЦТ) калибровочного объекта. В качестве ЦТ выбирается точка кадра, являющаяся центром тяжести [Дегтярев С.В., Садыков С.С., Тевс С.С., Ширабакина Т.А. Методы цифровой обработки изображений: Учебное пособие. Ч.1/Курск. Гос. Техн. Ун-т. Курск, 2001] изображения калибровочного объекта и определяемая средними координатами всех точек калибровочного объекта по горизонтали и вертикали.
В блоке 5 (фиг.1) угол вращения видеокамеры вокруг оптической оси калибруется путем смещения направления наблюдения видеокамеры в горизонтальной плоскости и последующего определения угла (фиг.2) по двумерным координатам на плоскости изображения ЦТ до и после смещения направления наблюдения видеокамеры.
Определение угла θ основано на том, что высота h ЦТ в кадре, измеренного от нижней границы кадра, не будет совпадать с высотой h', измеренной при смещении направления наблюдения видеокамеры в ту или иную сторону по горизонтали (фиг.2, высоты h и h' не равны), в случае, если угол ≠0.
где l, l' - расстояния от левого края кадра до ЦТ, выраженные в пикселях,
h, h' - высоты от нижнего края кадра до ЦТ, выраженные в пикселях.
В блоке 6 (фиг.1) производится последовательное ориентирование видеокамеры в n направлениях наблюдения, так чтобы калибровочный объект всегда находился в кадре. При этом для идентификации калибровочного объекта после смещения введена ЛП "идентичность смещенного объекта"
где μид - функция принадлежности терма "идентичность объекта",
μn - функция принадлежности терма "ожидаемое положение", характеризующая полученное положение калибровочного объекта после смещения и ожидаемое положение калибровочного объекта.
Для описания объекта Κl строится множество векторов νij с i-й точки Тi(xi,yi) объекта на j-ю точку Тj(xj,yi) этого же объекта
где dij - расстояние между точками Ti, и Tj,
αij - направление с i-й точки объекта на j-ю точку.
Расстояние dij определяется как
Углом с i-й точки объекта на j-ю точку считается угол между вертикальной осью кадра и направлением на j-ю точку (фиг.3). По теореме косинусов из треугольника ΔTfTiTj
Функция принадлежности терма "идентичность объекта" μид определяется как идентичность расстояний dij между i-й j-й точками и идентичность углов αij-
Функция принадлежности μn терма "ожидаемое положение" характеризуется разностью ожидаемого и фактического положения калибровочного объекта
- фактическое среднее значение горизонтальных координат множества составляющих объект точек, рассчитываемое на основе априорной информации об угловой скорости смещения направления наблюдения и времени смещения или на основе апостериорного определения угловой скорости при смещении на 1 пиксель и последующего расчета по формуле
где Vx - скорость смещения в пикселях в секунду (которая может быть известна или определена каким-либо способом),
t - время смещения.
В блоке 7 (фиг.1) производится определение координат (х', y') ЦТ на изображении после каждого изменения направления наблюдения. В блоке 8 (фиг.1) производится определение радиальной дисторсии, путем решения системы уравнений и определения коэффициентов радиальной дисторсии.
Рассмотрим определение коэффициента радиальной дисторсии с учетом того, что для практического применения достаточно определять только коэффициент k1. Формула (1) преобразуется к виду
Разности Δxr, Δyr между измеренными координатами точки по горизонтали х' и вертикали у' и их истинными координатами х по горизонтали и у по вертикали соответственно равны
Δxr=х'-х,
Δyr=y'-y.
После подстановки разностей Δxr, Δyr в (23) получаем систему
в которой три неизвестных (х, у, k1) и два уравнения.
Сориентируем видеокамеру так, чтобы ЦТ занимала на изображении положение А (фиг.4), характеризующееся равенством ординаты точки нулю. Затем сместим направление наблюдения в вертикальной плоскости так, чтобы ЦТ занимала положение В, при этом истинные абсциссы точек А и В равны. Составим систему уравнений, используя определенные по изображению координаты точек А(хА,уА) и B(xВ,уВ) и выражения (23), (24)
Система (25) состоит из 4 уравнений, 4 неизвестных (хА, xВ, уВ, k1) и, с учетом принадлежности абсцисс и ординат точек лежащей внутри фотоприемной матрицы области х∈[-Х/2; Х/2], y∈[-Y/2; Y/2], имеет единственное решение. Система может быть решена одним из известных численных методов на ЭВМ.
При недостаточной для какой-либо задачи точности определения радиальной дисторсии по коэффициенту k1 точность может быть повышена путем определения дополнительных коэффициентов k2...k2+m. Для этого после получения координат точки В продолжается смещение видеокамеры в вертикальном направлении вверх или вниз для получения координат m дополнительных точек. При этом в систему (25) дополнительно вводятся по два аналогичных второму и третьему уравнениям системы (25) уравнения на каждую дополнительную точку и два новых неизвестных (ki и yi). Первое уравнение системы (25) изменяется в соответствии с выражением (1).
Точность определения коэффициента k1 может быть повышена путем определения коэффициентов k1p no p парам точек А и В (т.е. ЦТ единственная, а видеокамера смещается так, чтобы образовалось несколько пар А и В) и последующего усреднения коэффициентов k1p. Аналогично может быть повышена точность определения дополнительных коэффициентов k2...k2+m.
При определении радиальной дисторсии наряду со смещением направления наблюдения видеокамеры в вертикальной плоскости может использоваться смещение в горизонтальной плоскости.
Изобретение позволяет определять радиальную дисторсию оптических подсистем видеокамер, цифровых фотокамер и систем технического зрения, использующих в качестве приемников изображения матричные приемники изображения без использования специального калибровочного объекта в автоматическом режиме, благодаря чему калибровка радиальной дисторсии может производится адаптивно - по мере необходимости, вызванной какими-либо причинами, например изменениями в системе технического зрения, оснащенной трансфокатором, - с целью "приблизить" наблюдаемый объект необходимо изменить фокусное расстояние оптической подсистемы.
Claims (1)
- Способ адаптивной калибровки радиальной дисторсии оптической подсистемы системы технического зрения, включающий ввод изображения в ЭВМ, определение радиальной дисторсии линз по формулегде k1, k2,... - коэффициенты радиальной дисторсии, радиальное расстояние, (Δхra, Δyra) - отклонение точки изображения от ее истинного положения - положения, которое занимала бы точка при отсутствии дисторсии, отличающийся тем, что дополнительно выделяют контуры и бинаризируют изображение, выбирают калибровочный объект из объектов рабочей сцены на основе математического аппарата нечеткой логики, определяют центральную точку калибровочного объекта как среднее арифметическое всех точек объекта, позиционируют видеокамеру СТЗ в n разных направлениях наблюдения при постоянно находящемся в кадре калибровочном объекте, определяют координаты центральной точки калибровочного объекта на изображении для n разных направлений наблюдения и определяют коэффициенты радиальной дисторсии.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2004104494/09A RU2289111C2 (ru) | 2004-02-16 | 2004-02-16 | Способ адаптивной калибровки радиальной дисторсии оптической подсистемы системы технического зрения |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2004104494/09A RU2289111C2 (ru) | 2004-02-16 | 2004-02-16 | Способ адаптивной калибровки радиальной дисторсии оптической подсистемы системы технического зрения |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2004104494A RU2004104494A (ru) | 2005-08-10 |
RU2289111C2 true RU2289111C2 (ru) | 2006-12-10 |
Family
ID=35844368
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2004104494/09A RU2289111C2 (ru) | 2004-02-16 | 2004-02-16 | Способ адаптивной калибровки радиальной дисторсии оптической подсистемы системы технического зрения |
Country Status (1)
Country | Link |
---|---|
RU (1) | RU2289111C2 (ru) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2601421C2 (ru) * | 2012-11-29 | 2016-11-10 | Ксир | Способ и система калибровки камеры |
RU2610137C1 (ru) * | 2016-04-11 | 2017-02-08 | Общество с ограниченной ответственностью "ТрекИТ" | Способ калибровки видеосистемы для контроля объектов на плоской площадке |
RU2682588C1 (ru) * | 2018-02-28 | 2019-03-19 | Федеральное государственное автономное научное учреждение "Центральный научно-исследовательский и опытно-конструкторский институт робототехники и технической кибернетики" (ЦНИИ РТК) | Способ высокоточной калибровки дисторсии цифровых видеоканалов |
RU2806669C1 (ru) * | 2023-05-02 | 2023-11-02 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет имени В.Ф. Уткина" | Тест-объект для оценки коэффициентов радиальной и тангенциальной дисторсии |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006115429A1 (fr) * | 2005-04-28 | 2006-11-02 | Samsung Electronics Co. Ltd. | Procede de calibrage adaptatif de distorsion radiale de sous-systeme optique d'un systeme de vision technique |
-
2004
- 2004-02-16 RU RU2004104494/09A patent/RU2289111C2/ru not_active IP Right Cessation
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2601421C2 (ru) * | 2012-11-29 | 2016-11-10 | Ксир | Способ и система калибровки камеры |
RU2610137C1 (ru) * | 2016-04-11 | 2017-02-08 | Общество с ограниченной ответственностью "ТрекИТ" | Способ калибровки видеосистемы для контроля объектов на плоской площадке |
RU2682588C1 (ru) * | 2018-02-28 | 2019-03-19 | Федеральное государственное автономное научное учреждение "Центральный научно-исследовательский и опытно-конструкторский институт робототехники и технической кибернетики" (ЦНИИ РТК) | Способ высокоточной калибровки дисторсии цифровых видеоканалов |
RU2806669C1 (ru) * | 2023-05-02 | 2023-11-02 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет имени В.Ф. Уткина" | Тест-объект для оценки коэффициентов радиальной и тангенциальной дисторсии |
Also Published As
Publication number | Publication date |
---|---|
RU2004104494A (ru) | 2005-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kümmerle et al. | Automatic calibration of multiple cameras and depth sensors with a spherical target | |
US10452949B2 (en) | System and method for scoring clutter for use in 3D point cloud matching in a vision system | |
Fiala et al. | Self-identifying patterns for plane-based camera calibration | |
US20100103266A1 (en) | Method, device and computer program for the self-calibration of a surveillance camera | |
US9613425B2 (en) | Three-dimensional measurement apparatus, three-dimensional measurement method and program | |
Lerchen et al. | Methods and procedure of referenced in situ control of lateral contour displacements in additive manufacturing | |
RU2289111C2 (ru) | Способ адаптивной калибровки радиальной дисторсии оптической подсистемы системы технического зрения | |
KR20180061803A (ko) | 도로면 폐색 영역 복원 장치 및 방법 | |
Ibisch et al. | Arbitrary object localization and tracking via multiple-camera surveillance system embedded in a parking garage | |
KR101705330B1 (ko) | 스테레오 카메라 이미지에서 물체의 기울어진 각도를 찾기 위한 특징점 선택 방법 | |
Li et al. | Triangulation-based edge measurement using polyview optics | |
JP2007200364A (ja) | ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置 | |
Toschi et al. | Improving automated 3D reconstruction methods via vision metrology | |
RU2365998C2 (ru) | Способ формирования панорамных изображений | |
Altuntas | Pair-wise automatic registration of three-dimensional laser scanning data from historical building by created two-dimensional images | |
Alturki | Principal point determination for camera calibration | |
Kushwaha et al. | Depth estimation and navigation route planning for mobile robots based on stereo camera | |
Kim et al. | Automatic target recognition for camera calibration | |
CN112785647A (zh) | 一种三目立体图像检测方法和*** | |
RU2685761C1 (ru) | Фотограмметрический способ измерения расстояний вращением цифрового фотоаппарата | |
Riou et al. | Calibration and disparity maps for a depth camera based on a four-lens device | |
RU2346326C2 (ru) | Способ калибровки радиальной дисторсии оптической подсистемы системы технического зрения | |
Makarov et al. | Distance and speed measurements from monocular images | |
Najman et al. | Stereo camera pair calibration for traffic surveillance applications | |
JPH11223516A (ja) | 3次元画像撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FA94 | Acknowledgement of application withdrawn (non-payment of fees) |
Effective date: 20060123 |
|
FZ9A | Application not withdrawn (correction of the notice of withdrawal) |
Effective date: 20060215 |
|
MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20190217 |