RU2720604C1 - Способ калибровки оптического измерительного устройства - Google Patents

Способ калибровки оптического измерительного устройства Download PDF

Info

Publication number
RU2720604C1
RU2720604C1 RU2019136357A RU2019136357A RU2720604C1 RU 2720604 C1 RU2720604 C1 RU 2720604C1 RU 2019136357 A RU2019136357 A RU 2019136357A RU 2019136357 A RU2019136357 A RU 2019136357A RU 2720604 C1 RU2720604 C1 RU 2720604C1
Authority
RU
Russia
Prior art keywords
correlation
cameras
camera
fields
images
Prior art date
Application number
RU2019136357A
Other languages
English (en)
Inventor
Бернхард ВИНЕКЕ
Original Assignee
Лавижн Гмбх
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Лавижн Гмбх filed Critical Лавижн Гмбх
Application granted granted Critical
Publication of RU2720604C1 publication Critical patent/RU2720604C1/ru

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P5/00Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft
    • G01P5/18Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft by measuring the time taken to traverse a fixed distance
    • G01P5/20Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft by measuring the time taken to traverse a fixed distance using particles entrained by a fluid stream
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

Изобретение относится к способу калибровки оптического измерительного устройства. Технический результат заключается в обеспечении способа калибровки для высоких плотностей частичек в трехмерных измерительных объемах и достигается тем, что способ калибровки включает дополнительные этапы: b) ректификация каждого изображения (I1, I2, I3) камеры относительно одной общей референтной плоскости в измерительном объеме (V) с применением предназначенной для каждого из них, предварительно калиброванной функции отображения, c) выполнение двухмерной корреляции для по меньшей мере одной пары ректифицированных изображений (Ir1, Ir2, Ir3) камер с целью создания соответствующего количества полей (C12) корреляции, при этом каждое поле (C12) корреляции показывает продолговатой формы полосу максимумов корреляции, d) для каждого поля (C12) корреляции: d1) уменьшение полосы максимумов корреляции до некоторой репрезентативной для нее прямой (g12), d2) определение расстояния (d12) от этой репрезентативной прямой (g12) до начала координат поля (C12) корреляции как корректировочного значения, e) корректировка функций отображения тех камер (K1, K2, K3), у которых ректифицированные изображения (Ir1, Ir2, Ir3) камер были включены в корреляцию на этапе c, с помощью определенных корректировочных значений. 7 з.п. ф-лы, 2 ил.

Description

Область изобретения
Изобретение касается способа калибровки оптического измерительного устройства, имеющего содержащий введенные в него частицы измерительный объем и имеющего по меньшей мере две камеры, посредством которых измерительный объем под различными углами обзора может отображаться в каждом случае с помощью одной известной из предварительной калибровки функции отображения, включающий в себя этап:
a) одновременное отображение измерительного объема посредством камер для создания по одному изображению камеры для каждой камеры.
Уровень техники
Такой способ калибровки известен из EP 1 926 049 B1.
Известно, что для замера течений в текущую текучую среду вводятся оптически обнаруживаемые частицы и наблюдаются посредством камер. При этом измерительный объем, через который протекает текучая среда, наблюдается несколькими камерами под различными углами наблюдения. Чтобы можно было точно судить о деталях течения, необходимо иметь возможность точно определять в измерительном объеме положение частиц, которые считаются репрезентативными для течения. Для этого служит обозначенный выше стереоскопический метод, при котором положения частичек в измерительном объеме могут рассчитываться по изображениям камер, снятым под различными углами одновременно. Существенным для этого является точное знание так называемой функции отображения каждой камеры, т.е. той функции, которая соотносит трехмерное положение в измерительном объеме с соответствующим двухмерным положением на изображении с камеры. Эта функция M отображения может записываться в общем виде как
Figure 00000001
,
где индекс i идентифицирует конкретную камеру, x, y обозначают двухмерные координаты на соответствующем изображении с камеры, а X, Y, Z (называемые также мировыми координатами) - пространственные координаты в измерительном объеме.
Определение этих функций отображения называется калибровкой.
Из вышеназванной публикации известен двухступенчатый способ калибровки. Сначала выполняется предварительная калибровка, которая обычно осуществляется посредством так называемых калибровочных пластин. Для этого снабженная известными маркировками структура вводится в измерительный объем и отображается посредством камеры. Путем сравнения изображений камеры с известной структурой могут рассчитываться соответствующие функции отображения. Однако эта предварительная калибровка является сравнительно грубой и, чтобы быть пригодной для определенных точных измерений, еще нуждается в корректировке, т.е. изменении функции M отображения на скорректированную функцию Mʽ отображения. Также случается, что во время между предварительной калибровкой и собственно измерением оптическое устройство изменяется, например, вследствие механических неустойчивостей, или же в текущем режиме во время измерения возникают изменения в уравнении отображения, например, вследствие вибраций.
Для корректировки предварительно калиброванных функций отображения упомянутая публикация предлагает применение известных способов триангуляции. Сначала необходимо отображение выбранной частицы на всех изображениях с камер. Затем путем инверсии функции отображения определяется линия зрения, на которой могла бы лежать частица в измерительном объеме, чтобы отображаться в фактическом месте отображения на изображении камеры (из–за разности количества измерений между двухмерным изображением камеры и трехмерным измерительным объемом однозначная привязка точки путем преобразования функции отображения невозможна). Она осуществляется при допущении, что функция отображения правильна. При фактически правильно определенных функциях отображения линии зрения всех камер встречаются в одной точке в измерительном объеме, а именно, в фактическом положении частицы, что, однако, как правило, после грубой предварительной калибровки не происходит. Поэтому названная публикация предлагает принять ту точку в измерительном объеме, которая имеет наименьшее расстояние до всех рассчитанных линий зрения, за «истинное» положение частицы, а расстояния от нее ее до линий зрения использовать для корректировки данной функции отображения. При этом речь идет о самокалибровке объема, так как корректировка калибровки достигается с помощью параметров, полученных из самого измерения. Одно– или многократное прохождение этой самокалибровки приводит к правильным функциям отображения.
Недостатком в этом известном способе является необходимость однозначно идентифицировать и соотносить друг с другом отображения частицы в измерительном объеме на всех изображениях с камер. Этот успешный при небольших плотностях частичек метод больше не реализуем при более высоких плотностях частичек, поскольку количество так называемых фиктивных частичек, то есть кажущихся отображений фактически не существующих частичек на изображениях камер возрастает с возрастающей плотностью частичек более чем сверхпропорционально.
Из технологии обработки изображений общеизвестна так называемая корректировка искажений (англ. dewarping) изображений с камер, которая называется также ректификацией. Этот термин следует также применять в настоящем случае. Ректификация изображения с камеры осуществляется всегда относительно некоторой реальной или воображаемой плоскости в наблюдаемом объеме, т.е. в настоящем случае в измерительном объеме. Поскольку оптическая ось камеры не точно совпадает с центральной нормалью к референтной плоскости, при отображении получаются геометрические искажения в зависимости от конкретного угла наблюдения. К ним добавляются оптические искажения от объектива камеры, которыми, однако, при достаточно хорошей оптике и достаточно малом измерительном объеме практически можно пренебречь. Возникающие при отображении искажения учтены в предусмотренной функции отображения. Ректификацией называется перерасчет изображения камеры, который изменяет снятое изображение камеры так, чтобы оно соответствовало тому (виртуальному) изображению, которое возникло бы, если бы камера при съемке изображения стояла в своей поясненной выше идеальной ориентации относительно референтной плоскости, причем это касается, однако, только отображений тех частиц, которые фактически лежат в референтной плоскости. Для частиц, лежащих «перед» или, соответственно, «за» референтной плоскостью ректификация вследствие параллакса не обязательно приводит к тому, что их ректифицированное положение отображения соответствует положению при фактическом отображении при идеальной ориентации камеры. Существенными в настоящем контексте являются известные специалисту зависимости, соответственно которым, во–первых, ректификация всегда осуществляется относительно некоторой конкретно выбранной референтной плоскости, а во–вторых, функции отображения входят в ректификацию.
В качестве примера ректификации здесь дается расчет для плоскости Z=0 и для камеры 1. При этом интенсивность каждой точки (или пикселя) в месте (X, Y, Z=0) на изображении со скорректированным искажением выражена при этом пространственно соответствующей интенсивностью на первоначальном изображении с камеры:
Ir1(X, Y) = I1( x1, y1 ) = I1( M1x(X, Y,Z=0), M1y(X, Y,Z=0) ).
Следует учитывать, что координаты X и Y являются теми самыми мировыми координатами X и Y, которые служат также для определения пространственного положения (X Y Z) в измерительном объеме. При этом ректификация представляет собой преобразование координат x, y изображения камеры в мировые координаты X Y .
Также из EP 1 460 433 B1 известен расчет двухмерных корреляций между изображениями камер. При раскрытом в названной публикации способе, который применим только к определенному так называемым световым сечением измерительному объему в виде тонких пластин, а для трехмерных измерительных объемов не работает, снятые из различных углов наблюдения изображения с камер коррелируются друг с другом по опрашиваемым полям (интеррогации, исследования) , что приводит к пику корреляции в каждом опрашиваемое поле . Расстояние от него до начала координат корреляционного опрашиваемого поля используется в качестве меры корректировки функции отображения в представленной опрашиваемым полем области пластинчатого измерительного объема.
Постановка задачи
Задачей настоящего изобретения является предложить способ, альтернативный родственному способу самокалибровки, который пригоден, в частности, для более высоких плотностей частичек в трехмерных измерительных объемах.
Изложение изобретения
Эта задача решается признаками ограничительной части п.1 формулы изобретения с помощью следующих этапов:
b) ректификация каждого изображения камеры относительно одной общей референтной плоскости в измерительном объеме с применением предназначенной для каждого из них, предварительно калиброванной функции отображения,
c) выполнение двухмерной корреляции для по меньшей мере одной пары ректифицированных изображений с камер с целью создания соответствующего количества полей корреляции, при этом каждое поле корреляции обнаруживает продолговатой формы полосу максимумов корреляции,
d) для каждого поля корреляции:
d1) уменьшение полосы максимумов корреляции до некоторой репрезентативной для нее прямой,
d2) определение расстояния от этой репрезентативной прямой до начала координат поля корреляции как корректировочного значения,
e) корректировка функций отображения тех камер, у которых ректифицированные изображения камер были включены в корреляцию на этапе c, с помощью определенных корректировочных значений.
Предпочтительные варианты осуществления являются предметом зависимых пунктов формулы изобретения.
Итак, сначала выбирается одна общая референтная плоскость для всех камер. Она лежит целесообразным образом в измеряемом объеме центрально. Однако ее конкретный выбор не важен для основополагающего функционального принципа изобретения. Удобно определить для нее Z=0. Затем каждое снятое изображение камеры ректифицируется относительно этой общей референтной плоскости, как это принципиально известно специалисту. Как уже пояснялось, текущие функции отображения вливаются в ректификацию, так что ректифицированные изображения неявно содержат информацию о функциях отображения, подлежащих контролю или, соответственно, подлежащих корректировке посредством предлагаемого изобретением способа, без необходимости -как в уровне техники согласно EP 1 926 049 B1 - идентификации соотнесенных друг с другом отображений частиц и последующей прямой триангуляции. Из изображений Ii камер получаются, таким образом, ректифицированные изображения Iri камер.
Затем между каждыми двумя ректифицированными изображениями камер выполняется двухмерная корреляция, как это тоже принципиально известно специалисту. Под корреляцией здесь будет пониматься вообще оператор подобия или, соответственно, его применение. Особенно предпочтительно при этом находит применение стандартная взаимная корреляция общего вида
Figure 00000002
,
которая здесь сокращенно называется «взаимной корреляцией». Специалисту известны сравнимые функции, такие как LSM (least–square–matching) или ZNSSD (zero–averaged normalized sum–of–square–differences), которые, наряду со многими другими, тоже применимы в качестве оператора подобия в контексте настоящего изобретения. Термин «максимум корреляции» следует понимать соответственно как относительное смещение коррелированных друг с другом изображений (точка на поле корреляции), которое ведет к особенно сильному по сравнению с соседними относительными смещениями совпадению коррелированных друг с другом изображений. При применении взаимной корреляции по приведенной выше формуле это фактически связано также с некоторым (локальным) математическим максимальным значением на поле (взаимной) корреляции; при применении основанных на алгоритмах минимизации операторов подобия в результате получаются математически соответствующие (локальные) минимумы на поле корреляции. Также специалисту известны надлежащие этапы предварительной обработки изображений, такие как уменьшение интенсивности фона, которые улучшают качество корреляции.
Корреляция может выполняться единым образом на всем ректифицированном изображении камеры или, как предпочтительно предусмотрено, между отдельными, соотнесенными друг с другом опрашиваемыми полями (позже об этом будет сказано больше). Каждая выполненная корреляция дает поле Cij корреляции, которое имеет множество, возможно, перекрывающихся пиков корреляции. Они возникают вследствие корреляции между изображением частички на первом изображении с изображением частички на втором изображении. При этом оба изображения частички могут принадлежать одной и той же частичке в объеме (правильное соответствие) или происходить от двух разных частичек (фиктивные частицы или, соответственно, фиктивные корреляции). Если эти пики корреляции происходят от фиктивных частиц, они практически случайно распределены по полю корреляции. Те пики корреляции, которые происходят от реальных частиц, распространяются по полю корреляции узкой полосой продолговатой формы. При этом угол протяженности этой полосы относительно системы координат поля корреляции по существу обусловлен геометрическим относительным расположением включенных в корреляцию камер и может рассчитываться из функции отображения. Максимальная длина полосы определена глубиной измерительного объема или, соответственно, длиной линии зрения камер в измерительном объеме. Обычно эта длина ограничена также размером полей корреляции. Например, при размере поля корреляции 64х64 пикселей (dx, dy < ± 32 пикселя) полоса корреляции показывает только корреляции частичек в некоторой малой (Z–)области вокруг референтной плоскости. Это делает возможной, как излагается позже, селективную различную корректировку уравнения отображения для нескольких плоскостей в измерительном объеме. Ширина полосы получается по существу из размера изображений частичек, умноженного на √2. Расстояние до начала координат поля корреляции (dx=0, dy=0), напротив, обусловлено неточностями в применяемой при ректификации функции отображения. Эти зависимости представляют собой существенные обнаруженные изобретателем факты, воплощение которых в практический способ калибровки представляет собой суть настоящего изобретения.
Использование обнаруженных зависимостей осуществляется в соответствии с изобретением, когда упомянутая полоса максимумов корреляции уменьшается до репрезентативной прямой.
Затем находится расстояние dij от определенной репрезентативной прямой до начала координат поля Cij корреляции. Следуя обычному определению «расстояния», измеряется перпендикулярная отдаленность между репрезентативной прямой и началом координат.
Один из простых методов, который комбинирует функциональные этапы определения прямой и определения расстояния от нее до начала координат в один единственный практический этап расчета, заключается в том, чтобы для всех расстояний d от начала перпендикулярно (известному) направлению прямой производить суммирование интенсивностей корреляции вдоль прямой. Тогда расстояние dij прямой соответствует расстоянию, имеющему максимум суммированных интенсивностей. Другие методы обработки изображений, а также обычные способы минимизации квадратичной ошибки известны в мире специалистов. При характерных для измерений течений плотностях частичек оказалось достаточным, когда все значения корреляции поля корреляции включаются в расчет прямой. Однако возможна также предварительная селекция путем создания порогового значения интенсивности и/или путем неучета пиков корреляции, размещенных в краевых областях поля корреляции. Однако так как предлагаемый изобретением способ оказался неожиданно надежным, такая предварительная селекция в большинстве случаев не является необходимой.
Характерным образом оси X, Y координат ректифицированных изображений камер разделяются на единицы положений измерения «пиксель», которые могут конвертироваться с масштабированием в единицы длины, такие как мм. Поэтому и оси dx, dy координат полей корреляции характерным образом разделяются на единицы смещения измерения «пиксель». В этом контексте также значение расстояния между репрезентативной прямой и началом координат получается в измерении «пиксель». Предпочтительно расстояние находится векторное, т.е. как исходящий из начала координат вектор dij, направление которого задается его поясненным выше перпендикулярным положением к репрезентативной прямой, а его длина поясненным выше значением расстояния. Поэтому параллельные осям координат компоненты dij_x и dij_y расстояния могут определяться отдельно.
Определенное расстояние используется затем в качестве корректировочного значения для функций отображения, и причем всегда для функций отображения тех камер i и j, ректифицированные изображения Iri и Irj камер которых были включены в дающую упомянутое корректировочное значение dij корреляцию Cij. Конкретная мера корректировки функций отображения на базе определенного корректировочного значения может быть различной. Одним из предпочтительных предписаний по корректировке в этой связи оказался простой перенос уравнения отображения, при котором имеется скорректированное уравнение Mʽ отображения в виде
Figure 00000003
для каждой камеры i. При этом определенные расстояния dij находятся в известной функциональной зависимости с еще подлежащими определению переносами (ΔXi,ΔYi,ΔZi).
Для случая двух камер, имеющих одно единственное рассчитанное расстояние d12, получается простое решение в виде ΔX1=d12_x/2, ΔY1=d12_y/2, ΔX2 = –d12_x/2, ΔY2 = –d12_y/2, ΔZ1 = ΔZ2=0. Для случая трех камер, имеющих три измеренных расстояния d12, d13 и d23, можно, например, взять камеру 1 в качестве референтной камеры, имеющей ΔX1 = ΔY1 = ΔY1=0, а также рассчитать оставшиеся шесть неизвестных (ΔX2, ΔY2, ΔZ2, ΔX3, ΔY3, ΔZ3) таким образом, чтобы в качестве трех дополнительных условий добавить ƩΔXi = ƩΔYi = ƩΔZi=0. Это предпочтительно, чтобы минимизировать возможное преобразование координат, так как каждое одинаковое для всех камер смещение (ΔX, ΔY, ΔZ), которое соответствует переносу начала координат, является свободным параметром, который не изменяет поля корреляции и измеренные расстояния dij, по меньшей мере при не слишком больших смещениях. Для более трех камер специалисту также известны предпочтительные методы решения.
При этом изобретение при наличии многих камер, имеющих высокое разрешение в пикселях, предоставляет хотя и требующий большого объема вычислений, но легко выполняемый и неожиданно надежный способ самокалибровки, который удовлетворяет особенностям высоких плотностей частичек в реальных измерительных объемах, протяженность которых во всех трех направлениях пространства имеет примерно один и тот же порядок величины.
Как вытекает из вышестоящих пояснений, для каждого поля корреляции получается ровно одно корректировочное значение dij = (dij_x, dij_y). То есть в случае, когда соответственно полные, ректифицированные изображения камер коррелируются друг с другом, получается одно единственное, глобальное корректировочное значение. Однако во многих случаях необходимы локально различные корректировки функции отображения, а именно, когда, как это чаще всего случается, когда различные области измерительного объема отображаются слегка различно. Поэтому в одном из уточнений предлагаемого изобретением способа предусмотрено, что ректифицированные изображения камер перед этапом c разделяются каждое на множество одинакового размера и одинаково расположенных опрашиваемых полей , этапы c и d выполняются на опрашиваемых полях, и функции отображения на этапе e в поставленных в соответствие различным опрашиваемым полям различных пространственных областях измерительного объема корректируются с помощью присвоенных каждой из них, различных корректировочных значений. То есть вместо единственного глобального корректировочного значения для каждой пары ректифицированных изображений камер получают соответствующее количеству опрашиваемых полей множество корректировочных значений, и функция отображения может локально различно корректироваться с пространственным разрешением опрашиваемых полей . Специалисту в отдельном случае придется взвешивать повышенные требования к вычислениям, с одной стороны, и более высокую точность результирующих функций отображения. С другой стороны.
Специалист поймет, что поясненное выше разделение ректифицированных изображений камер на опрашиваемые поля приводит только к диверсификации корректировки функции отображения в пределах выбранной референтной плоскости. Однако возможны и на практике часто встречаются также отклонения функции отображения, которые различны для разных референтных плоскостей в измерительном объеме. Чтобы и в этом отношении достичь дифференциации корректировки функции отображения, в одном из усовершенствований изобретения предусмотрено, что способ по меньшей мере на этапах b–e выполняется несколько раз, при этом изображения камер при каждом прохождении на этапе b ректифицируются относительно другой общей референтной плоскости, и при этом функции отображения на этапе e корректируются каждая только ставящейся в соответствие данной референтной плоскости пространственной области измерительного объема с помощью определенных для каждой из них корректировочных значений. Другими словами, измерительный объем путем выбора различных референтных плоскостей разделяется послойно, при этом также корректировка функций отображения осуществляется соответственно послойно. То есть в комбинации с поясненным выше вариантом опрашиваемых полей изобретения осуществляется разделение измерительного объема на подобъемы во всех трех направлениях пространства, и соответственно во всех трех направлениях пространства диверсифицированная корректировка функций отображения.
Другой предпочтительный вариант осуществления способа заключается в том, чтобы рассчитывать поля корреляции не только с помощью изображений, которые были сняты в один единственный момент времени, но и рассчитывать соответствующие поля корреляции для нескольких моментов времени и суммировать друг с другом, чтобы достичь лучшей статистики за счет большего количества частичек. Это имеет место, в частности, когда ректифицированное изображение разделяется еще на несколько подобластей. Поэтому в одном из усовершенствований изобретения предусмотрено, что предлагаемый изобретением способ на этапах a–c выполняется несколько раз для нескольких моментов времени, соответствующие каждому из них поля корреляции суммируются, и затем выполняется этапы d и e.
Предлагаемый изобретением способ натыкается на принципиальную границу, когда применяется классической стереоскопическое устройство из трех камер, т.е. когда оптические оси всех трех камер лежат в одной и той же плоскости, например, когда все камеры установлены в одну линию. Такое взаимное расположение часто называется также взаимным расположением «inline».
При таком взаимном расположении камер репрезентативные прямые в полях корреляции имеют одно и то же угловое положение относительно своих осей координат, так что, хотя и может ожидаться улучшение функций отображения, однако не их оптимизация, т.е. вышеупомянутые системы уравнений больше не могут решаться однозначно. В частности, но не исключительно, чтобы удовлетворить этому взаимному расположению, предлагаемый изобретением способ может расширяться. Тогда речь идет о способе, который описан выше, при этом оптическое измерительное устройство имеет первую камеру, вторую камеру и третью камеру, у которых из ректифицированных изображений камер только изображения первой и второй камеры включаются в корреляцию и корректировку уравнения отображения камеры 1 и 2 на этапах c–e, и который отличается следующими дополнительными этапами:
f) ректификация
– изображений камер первой и второй камеры с применением в предназначенной для каждой из них, cкорректированной на этапе e функции отображения и
– изображения камеры третей камеры с применением предназначенной для нее, предварительно калиброванной функции отображения
относительно некоторого множества общих параллельных референтных плоскостей;
g) выполнение для каждой референтной плоскости двухмерной корреляции между произведением ректифицированных изображений камер первой и второй камеры и ректифицированного изображения камеры третей камеры и суммирование результирующих полей корреляции для создания суммарного поля корреляции;
h) определение расстояния от максимума корреляции в суммарном поле корреляции до начала координат суммарного поля корреляции как дополнительного корректировочного значения;
i) корректирование функции отображения третьей камеры с помощью определенного корректировочного значения.
Другими словами, предлагаемый изобретением способ, как описано до сих пор, сначала применяется к изображениям камер только у двух камер. В следующем этапе изображения камер этих двух камер ректифицируются с помощью скорректированных функций отображения. Изображение камеры третьей камеры, в отличие от этого, ректифицируется с помощью поставленной в соответствие, первоначальной и еще не скорректированной функции отображения. При этом ректификация осуществляется всегда для множества параллельных референтных плоскостей, при этом корректировка становится тем точнее (однако также требует большего объема вычислений), чем теснее выбранные референтные плоскости распределены в измерительном объеме. Затем для каждой референтной плоскости выполняется двухмерная корреляция, предпочтительно взаимная корреляция, однако не непосредственно между ректифицированными изображениями камер, как описано до сих пор. Более того, первая из двух корреляционных звезд является расчетным произведением ректифицированных изображений камер первой и второй камеры, в то время как вторая корреляционная звезда соответствует ректифицированному изображению камеры третьей камеры. При этом для каждой референтной плоскости получается поле корреляции, которое представляет корреляцию между указанным произведением первого и второго ректифицированного изображения камеры, с одной стороны, и третьим ректифицированным изображением камеры, с другой стороны. Эти поля корреляции суммируются. Получается суммарное поле корреляции, которое в случае применения взаимной корреляции в качестве оператора подобия в общем виде может записываться следующем образом:
Figure 00000004
,
где Iri, z обозначает ссылку на ректифицированное относительно данной референтной плоскости Z изображение камеры. Простоты ради здесь снова обращаемся к примеру референтной плоскости в плоскости Z, и суммирование по Z происходит обычно, например, с интервалом примерно в один пиксель (или, соответственно, воксел).
Суммарное поле корреляции имеет один единственный, однозначно определяемый пик корреляции. Тогда расстояние (dx, dy) от этого пика корреляции до начала координат суммарного поля корреляции определяется как дополнительное корректировочное значение. Это дополнительное корректировочное значение служит для корректировки еще не скорректированной функции отображения, т.е. функции отображения третьей камеры. Также две уже предварительно скорректированные функции отображения, т.е. функции отображения первой и второй камеры, могут подвергаться дополнительной корректировке на базе этого дополнительного корректировочного значения. Соответствующие предпочтительные способы корректировки, в свою очередь, известны специалисту.
Разумеется, также расширенный способ может дополнительно улучшаться путем двухмерной диверсификации корректировки функции отображения на базе опрашиваемых полей . Так, в одном из усовершенствований расширенного способа может быть предусмотрено, чтобы ректифицированные изображения камер перед этапом g разделялись каждое на множество одинакового размера и одинаково расположенных опрашиваемых полей , этапы g и h выполнялись на этих опрашиваемых полях, и функции отображения на этапе i в поставленных в соответствие различным опрашиваемым полям, различных пространственных областях измерительного объема различно, то есть с помощью присвоенных каждой из них, различных корректировочных значений, корректировались. Также расчеты могут, в свою очередь, осуществляться на разных (параллельных) референтных плоскостях, чтобы для разных плоскостей в измерительном объеме производить различные корректировки уравнения отображения.
В отношении эффектов и преимуществ этой меры можно сослаться на вышестоящее пояснение в контексте не расширенного предлагаемого изобретением способа.
Другие признаки и преимущества изобретения явствуют из последующего конкретного описания и чертежей.
Краткое описание чертежей
Показано:
фиг.1: схематичное изображение характерной ситуации применения предлагаемого изобретением способа, одновременно этап a способа и
фиг.2: схематичное изображение этапов b, c, d1 и d2 предлагаемого изобретением способа, которые следуют после этапа a с фиг.1.
Описание предпочтительных вариантов осуществления
Одинаковые ссылочные обозначения на фигурах указывают на одинаковые или аналогичные элементы.
На фиг.1 в сильно схематизированном изображении показана характерная ситуация измерения, в которой применима предлагаемая изобретением калибровка.
В центре устройства находится измерительный объем V, через который в характерном случае применения для измерения течения протекает содержащая введенные в нее частицы текучая среда. Частицы выбраны так, что они оптически обнаружимы. При этом речь может идти, например, о рассеивающих или фосфоресцирующих частицах. Соответственно необходимые детали освещения и/или обнаружения известны специалисту и могут в каждом случае применяться надлежащим образом. Для настоящего изобретения эти детали роли не играют. Так же мало необходимо для предлагаемого изобретением способа калибровки движущееся течение.
Каждая точка в измерительном объеме V может идентифицироваться соответственно координатам X, Y, Z пространства. Это относится, в частности, к положениям частиц. На фиг.1 серым цветом в глубине показана в изображенном примере произвольно расположенная на Z=0 референтная плоскость.
Измерительный объем V в показанном варианте осуществления рассматривается тремя камерами K1, K2, K2 под различными углами наблюдения. Выбор точно трех камер здесь следует понимать чисто в качестве примера. Предлагаемый изобретением способ может выполняться с любым множеством камер.
На этапе a (соответственно перечню по пунктам) предлагаемого изобретением способа все три камеры K1, K2, K3 одновременно снимают изображение камеры измерительного объема. В результате получаются схематично изображенные на фиг.1 изображения I1, I2 и I3 камер. Эти изображения I1, I2 и I3 камер показывают некоторое искажение, которое получается отчасти из чисто оптических свойств, но в основном из их геометрического относительного размещения относительно измерительного объема. На фиг.1 это изображено утрированно. В изображенном примере камера K1 размещена точно перпендикулярно плоскости XY и ориентирована на центр измерительного объема V. При этом она слегка повернута вокруг ее собственной оптической оси. Поэтому принадлежащее ей изображение I1 камеры показывает только небольшое в перспективе вращательное искажение. Ориентированные под значительным углом к плоскости XY камеры K2 и K3 дают, в отличие от этого, дополнительно соответственно в перспективе геометрически искаженные изображения I2, I3 камер.
На фиг.2 показаны дополнительные этапы предлагаемого изобретением способа, которые выполняются на базе вычислительного устройства и полностью автоматизированным образом. Эта часть предлагаемого изобретением способа характерным образом реализована в программном обеспечении.
Исходной точкой являются изображения I1, I2 и I3 камер. На этапе b (в соответствии с перечнем согласно пунктам формулы) предлагаемого изобретением способа осуществляется ректификация изображений I1, I2 и I3 камер, которая приводит к ректифицированным изображениям Ir1, Ir2 и Ir3 камер. Ректификация должна всегда осуществляться относительно определенной плоскости. Предпочтительно в рамках предлагаемого изобретением способа для этого применяется ранее названная референтная плоскость Z=0. Как поймет специалист, калибрующая функция отображения через этот этап ректификации входит в предлагаемый изобретением способ.
На этапе c (соответственно перечню по пунктам) предлагаемого изобретением способа осуществляется попарная корреляция ректифицированных изображений Ir1, Ir2, Ir3 камер, которая приводит к трем полям корреляции, из которых для ясности показано только результирующее из корреляции ректифицированных изображений Ir1 и Ir2 камер поле C12 корреляции. При этом светлая точка указывает на высокое значение корреляции; темная точка на соответственно низкое значение корреляции.
Поля корреляции на фоне по существу случайного распределения пиков корреляции по всей поверхности поля корреляции показывают продолговато вытянутую «полосу», в которой заметно скапливается количество пиков корреляции.
На этапе d как объединении этапов d1 и d2 (соответственно перечню по пунктам) предлагаемого изобретением способа затем к каждой полосе пиков корреляции находится репрезентативная прямая, а также расстояние от нее до начала координат поля корреляции. Для ясности снова изображены только поле C12 корреляции и поставленная ему в соответствие прямая g12. Определение репрезентативных прямых g12 может осуществляться с помощью обычных алгоритмов обработки изображений.
Также рассчитывается расстояние от репрезентативной прямой до начала каждого поля корреляции. В результате получается в каждом случае поставленный в соответствие вектор расстояния, т.е. в случае изображенного поля C12 корреляции вектор d12 расстояния, имеющий свои компоненты d12_x и d12_y , параллельные оси dx или, соответственно, dy координат. Этот вектор начинается в каждом начале поля корреляции и располагается перпендикулярно поставленной в соответствие репрезентативной прямой.
В последнем, уже не изображенном на фиг.2 этапе предлагаемого изобретением способа (этап e соответственно перечню по пунктам) определенные таким образом векторы расстояния используются затем для корректировки функций M1, M2 и M3 отображения. Специалист поймет, что при применении большего или меньшего количества камер соответственно должны выполняться большее или меньшее количество корреляций, однако при этом обработка отдельных полей корреляции осуществляется идентично вышеизложенному примеру, а корректировка функций отображения соответственно.
В случае поясненного в общей части описания «однорядного» расположения камер предлагаемая изобретением корректировка, хотя и приводит к улучшению функций отображения, но не обязательно к их оптимизации. Поэтому поясненный выше способ применяется только к двум из трех камер K1, K2, K3, функции отображения которых также соответственно корректируются.
Конечно, рассмотренные в конкретном описании и показанные на фигурах варианты осуществления представляют собой только иллюстративные примеры осуществления настоящего изобретения. Специалисту в свете данного раскрытия предоставляется широкий спектр возможностей варьирования.
СПИСОК ССЫЛОЧНЫХ ОБОЗНАЧЕНИЙ
V Измерительный объем
X, Y, Z Координаты пространства в V
K1, K2, K3 Камеры
I1, I2, I3 Изображения с камер K1, K2 или, соответственно, K3
Ir1, Ir2, Ir3 Ректифицированные изображения с камер K1, K2 или, соответственно, K3
x, y Координаты поверхности на I1, I2, I3 и Ir1, Ir2, Ir3
C12 Поле корреляции
dx, dy Координаты поверхности на C12
g12 Репрезентативная прямая
d12 Расстояние до g12 (векторное)

Claims (23)

1. Способ калибровки оптического измерительного устройства, имеющего измерительный объем (V), в который введены частицы, и имеющего по меньшей мере две камеры (K1, K2, K3), посредством которых измерительный объем (V) под различными углами обзора может отображаться в каждом случае с помощью одной функции отображения, известной из предварительной калибровки, включающий в себя этап:
a) одновременного отображения измерительного объема (V) посредством камер (K1, K2, K3) для создания по одному изображению (l1, l2, l3) с камеры для каждой камеры (K1, K2, K3), отличающийся дополнительными этапами:
b) ректификации каждого изображения (I1, I2, I3) с камеры относительно общей референтной плоскости в измерительном объеме (V) с применением соответственно соотнесенной, предварительно калиброванной функции отображения,
c) выполнения двухмерной корреляции для по меньшей мере одной пары ректифицированных изображений (Ir1, Ir2, Ir3) с камер для создания соответствующего количества полей (C12) корреляции, при этом каждое поле (C12) корреляции показывает полосу максимумов корреляции, имеющую продолговатую форму,
d) для каждого поля (C12) корреляции:
d1) уменьшения полосы максимумов корреляции до некоторой репрезентативной для нее прямой (g12),
d2) определение расстояния (d12) от этой репрезентативной прямой (g12) до начала координат поля (C12) корреляции как корректировочного значения,
e) корректировки функций отображения тех камер (K1, K2, K3), у которых ректифицированные изображения (Ir1, Ir2, Ir3) камер были включены в корреляцию на этапе c, посредством определенных корректировочных значений.
2. Способ по п.1, отличающийся тем, что ректифицированные изображения (Ir1, Ir2, Ir3) камер перед этапом c разделяют на соответственное множество опрашиваемых полей, одинакового размера и одинаково расположенных, этапы c и d выполняют на опрашиваемых полях, и функции отображения на этапе e в различных пространственных областях измерительного объема (V), соотнесенных с различными опрашиваемыми полями, корректируют с помощью соответственно соотнесенных различных корректировочных значений.
3. Способ по одному из предыдущих пунктов, отличающийся тем, что способ по меньшей мере на этапах b–e выполняют несколько раз, при этом изображения (I1, I2, I3) с камер при каждом прохождении на этапе b ректифицируют относительно другой общей референтной плоскости, и при этом функции отображения на этапе e корректируют каждая только в пространственной области измерительного объема (V), соотнесенной с соответствующей референтной плоскостью, с помощью определенных для каждой из них корректировочных значений.
4. Способ по одному из предыдущих пунктов, отличающийся тем, что способ на этапах a–c выполняют несколько раз для нескольких моментов времени, соответствующие поля корреляции суммируются, и затем способ выполняют на этапах d и e.
5. Способ по одному из предыдущих пунктов, при этом оптическое измерительное устройство имеет первую камеру (K1), вторую камеру (K2) и третью камеру (K3), у которых из ректифицированных изображений (Ir1, Ir2) с камер только изображения первой и второй камеры (K1, K2) включают в корреляцию и корректировку этапа c–e, отличающийся дополнительными этапами:
f) ректификации
– изображений (I1, I2) с камер первой и второй камеры (K1, K2) с применением соответственно соотнесенной, cкорректированной на этапе e функции отображения и
– изображения (I3) с камеры третей камеры (K3) с применением соотнесенной, предварительно калиброванной функции отображения
относительно множества общих параллельных референтных плоскостей;
g) выполнения для каждой референтной плоскости двухмерной корреляции между произведением ректифицированных изображений (Ir1, Ir2) с камер первой и второй камеры (K1, K2) и ректифицированного изображения (Ir3) с камеры третей камеры (K3) и суммирование результирующих полей корреляции для создания суммарного поля корреляции;
h) определения расстояния от максимума корреляции в суммарном поле корреляции до начала координат суммарного поля корреляции как дополнительного корректировочного значения;
i) корректирования функции отображения третьей камеры (K3) с помощью определенного корректировочного значения.
6. Способ по п.5, отличающийся тем, что на этапе i дополнительно скорректированные на этапе e функции отображения первой и/или второй камеры (K1, K2) корректируют вновь с помощью определенного дополнительного корректировочного значения.
7. Способ по одному из пп.5, 6, отличающийся тем, что ректифицированные изображения (Ir1, I2, Ir3) камер перед этапом g разделяют соответственно на множество опрашиваемых полей, одинакового размера и одинаково расположенных, этапы g и h выполняют на этих опрашиваемых полях, и функции отображения на этапе i в различных пространственных областях измерительного объема (V), соотнесенных с различными опрашиваемыми полями, корректируют с помощью соответственно соотнесенных, различных корректировочных значений.
8. Способ по одному из предыдущих пунктов, отличающийся тем, что по меньшей мере одну корреляцию выполняют как взаимную корреляцию общего вида
Figure 00000005
.
RU2019136357A 2017-05-15 2018-05-09 Способ калибровки оптического измерительного устройства RU2720604C1 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017110533.6A DE102017110533A1 (de) 2017-05-15 2017-05-15 Verfahren zum Kalibrieren eines optischen Messaufbaus
DEDE102017110533.6 2017-05-15
PCT/EP2018/062098 WO2018210672A1 (de) 2017-05-15 2018-05-09 Verfahren zum kalibrieren eines optischen messaufbaus

Publications (1)

Publication Number Publication Date
RU2720604C1 true RU2720604C1 (ru) 2020-05-12

Family

ID=62244458

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2019136357A RU2720604C1 (ru) 2017-05-15 2018-05-09 Способ калибровки оптического измерительного устройства

Country Status (8)

Country Link
US (1) US10943369B2 (ru)
EP (1) EP3420533B1 (ru)
JP (1) JP6951469B2 (ru)
CN (1) CN110622216B (ru)
DE (1) DE102017110533A1 (ru)
DK (1) DK3420533T3 (ru)
RU (1) RU2720604C1 (ru)
WO (1) WO2018210672A1 (ru)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11835997B2 (en) 2019-09-27 2023-12-05 Electronic Theatre Controls, Inc. Systems and methods for light fixture location determination
CN115112098B (zh) * 2022-08-30 2022-11-08 常州铭赛机器人科技股份有限公司 一种单目视觉的一维二维测量方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040183909A1 (en) * 2003-03-21 2004-09-23 Lavision Gmbh Method of determining the imaging equation for self calibration with regard to performing stereo-PIV methods
EP1926049B1 (de) * 2006-11-25 2010-10-20 LaVision GmbH Verfahren zur Korrektur einer Volumenabbildungsgleichung zur Bestimmung eines Geschwindigkeitsfeldes von Teilchen in einem Volumen
RU2449291C2 (ru) * 2006-09-15 2012-04-27 Мту Аэро Энджинз Гмбх Устройство и способ трехмерного измерения скорости потока
US20120274746A1 (en) * 2009-12-23 2012-11-01 Lavision Gmbh Method for determining a set of optical imaging functions for three-dimensional flow measurement

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007033306A (ja) * 2005-07-28 2007-02-08 Tokyo Electric Power Co Inc:The 流体の流動計測システム及びその計測方法
DE102014117888A1 (de) * 2014-12-04 2016-10-13 Connaught Electronics Ltd. Online-Kalibrierung eines Kraftfahrzeug-Kamerasystems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040183909A1 (en) * 2003-03-21 2004-09-23 Lavision Gmbh Method of determining the imaging equation for self calibration with regard to performing stereo-PIV methods
RU2449291C2 (ru) * 2006-09-15 2012-04-27 Мту Аэро Энджинз Гмбх Устройство и способ трехмерного измерения скорости потока
EP1926049B1 (de) * 2006-11-25 2010-10-20 LaVision GmbH Verfahren zur Korrektur einer Volumenabbildungsgleichung zur Bestimmung eines Geschwindigkeitsfeldes von Teilchen in einem Volumen
US20120274746A1 (en) * 2009-12-23 2012-11-01 Lavision Gmbh Method for determining a set of optical imaging functions for three-dimensional flow measurement

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
B. Wieneke "Stereo-PIV using self-calibration on particle images" Experiments in Fluids, Experimental Methods and their Applications to Fluid Flow, 01.08.2005, Springer, Berlin, Vol.:39, no. 2, стр. 267 - 280. *

Also Published As

Publication number Publication date
EP3420533A1 (de) 2019-01-02
JP6951469B2 (ja) 2021-10-20
EP3420533B1 (de) 2019-12-25
DE102017110533A1 (de) 2018-11-15
US10943369B2 (en) 2021-03-09
DK3420533T3 (da) 2020-03-30
CN110622216A (zh) 2019-12-27
JP2020520028A (ja) 2020-07-02
CN110622216B (zh) 2023-05-09
US20200202572A1 (en) 2020-06-25
WO2018210672A1 (de) 2018-11-22

Similar Documents

Publication Publication Date Title
US12010431B2 (en) Systems and methods for multi-camera placement
CN106682673B (zh) 图像处理装置以及方法
CN104142157B (zh) 一种标定方法、装置及设备
US10529076B2 (en) Image processing apparatus and image processing method
CN111192235B (zh) 一种基于单目视觉模型和透视变换的图像测量方法
CN109357632A (zh) 一种镜面物体三维形貌测量方法及装置
US20120287240A1 (en) Camera calibration using an easily produced 3d calibration pattern
US20120287287A1 (en) Display screen for camera calibration
US20030035100A1 (en) Automated lens calibration
CN110057295A (zh) 一种免像控的单目视觉平面距离测量方法
CN106709955B (zh) 基于双目立体视觉的空间坐标系标定***和方法
RU2720604C1 (ru) Способ калибровки оптического измерительного устройства
WO2014074003A1 (ru) Способ контроля линейных размеров трехмерных объектов
CN108362205B (zh) 基于条纹投影的空间测距方法
CN103234475A (zh) 一种基于激光三角测量法的亚像素表面形态检测方法
US10962363B2 (en) Method and apparatus for single camera optical measurements
CN109341588B (zh) 一种双目结构光三***法视角加权的三维轮廓测量方法
CN111127560B (zh) 一种用于三维重建的三目视觉***的标定方法及***
Kuznetsov et al. Image rectification for prism-based stereoscopic optical systems
CN109445229A (zh) 一种获取含一阶径向畸变的变焦相机焦距的方法
RU125335U1 (ru) Устройство контроля линейных размеров трехмерных объектов
CN113379854B (zh) 相机图像融合方法及相机图像融合***
Kuhl et al. Monocular 3D scene reconstruction at absolute scales by combination of geometric and real-aperture methods
KR101869226B1 (ko) 이종 카메라를 위한 시차 맵 생성 방법
Ahrnbom et al. Calibration and absolute pose estimation of trinocular linear camera array for smart city applications