RU2065133C1 - Method of automated measurement of coordinates of points of external medium to plot its three-dimensional model in stereo television system of technical vision - Google Patents

Abstract

FIELD: robotics, measurement of objects from distance while controlling transport and manipulator robots under extreme conditions, geology for remote probing of cavity in worked out rock. SUBSTANCE: method is realized by manned machine complex which main part is technical vision system including TV stereo unit matched with personal computer, display for visualization of image and device controlling movement of cursor. Measured point of observed scene is indicated by means of cursor on screen of display and its three spatial coordinates are computed automatically with the aid of program by personal computer and are visualized on screen of display. Analysis of area of interest in image is carried out thanks to capability of selection of measured points. Integration of measured points in model of external medium is realized on the basis of their belonging to observed object which enhances authenticity of model. EFFECT: enhanced authenticity of model. 1 dwg

Description

Изобретение относится к области робототехники и (полу) автоматического измерения трехмерных объектов на расстоянии, в частности к системам технического зрения в оптическом диапазоне. The invention relates to the field of robotics and (semi) automatic measurement of three-dimensional objects at a distance, in particular to vision systems in the optical range.

В настоящее время известны различные способы, применяемые в фотограмметрии для измерения объектов по стереопаре изображений, на которых объекты представлены соответствующими областями, получаемых в условиях естественного освещения. Они служат основой для способов обработки стереоизображений в устройствах технического зрения роботов, состоящих из стереосистем, сопряженных с ЭВМ, использующие стереопару, преобразованную в двумерный цифровой сигнал цифровое изображение. Среди известных аналогов фотограмметрических способов измерений, применяемых в аэрофотосъемке, известен способ мнимой метки для определения плоских прямоугольных координат соответственных точек пары фотоснимков с последующим вычислением третьей координаты-высоты [1] Для его реализации используют сложное электромеханическое устройство-стереокомпаратор, который позволяет вручную, с помощью нескольких штурвалов перемещать снимки относительно двух неподвижных марок, каждая из которых совмещается с соответственными точками пары снимков. При глубинном перемещении наблюдаемой (мнимой) метки, осуществляемого путем относительного перемещения и поворота снимков, добиваются ее совмещения с объектом съемки. Перечисленные движения позволяют восстановить ход лучей зрения при съемке и получить стереомодель, измеряя которую можно получить план объекта путем определения параллаксов (продольного и поперечного) и координат Х, Y. Отсчитывание и регистрация результатов измерения автоматизированы путем преобразования величины перемещения в код для непосредственного ввода и запоминания в ЭВМ с последующим выводом на перфоленту или печатающее устройство. Currently, various methods are known that are used in photogrammetry for measuring objects by a stereopair of images, in which objects are represented by the corresponding areas obtained in natural light. They serve as the basis for the processing of stereo images in the technical vision devices of robots consisting of stereo systems coupled to computers using a stereo pair converted into a two-dimensional digital signal, a digital image. Among the known analogues of photogrammetric measurement methods used in aerial photography, there is a method of imaginary marking for determining the flat rectangular coordinates of the corresponding points of a pair of photographs, followed by the calculation of the third coordinate-height [1] For its implementation, a complex electromechanical device-stereo comparator is used, which allows you to manually, using several helms to move the pictures relative to two fixed marks, each of which is combined with the corresponding points of the pair of shots Cove. With the deep movement of the observed (imaginary) mark, carried out by relative movement and rotation of the images, they achieve its alignment with the subject. These movements allow you to restore the course of the rays of vision when shooting and get a stereo model, measuring which you can get a plan of the object by determining the parallaxes (longitudinal and transverse) and X, Y coordinates. Reading and recording the measurement results are automated by converting the amount of movement into a code for direct input and storage in a computer with subsequent output to a punched tape or printing device.

В робототехнике обычно изображения стереопары специально ориентированы; их получают в плоскости перпендикулярной к оптической оси стереосистемы при нулевой конвергенции, фокусные расстояния объективов делают одинаковыми, а базис устанавливают параллельно плоскости стереопар [2] При этом существенно упрощаются автоматическая обработка и анализ стереопарных изображений. In robotics, usually stereo pair images are specifically oriented; they are obtained in the plane perpendicular to the optical axis of the stereo system at zero convergence, the focal lengths of the lenses are made the same, and the basis is set parallel to the plane of stereo pairs [2] At the same time, the automatic processing and analysis of stereo pairs images is greatly simplified.

В качестве аналога для автоматического измерения можно указать способ отождествления совокупности контурных признаков локальных экстремумов контрастности на цифровых изображениях стереопары, построенный на основе метода динамического программирования. Он обладает достаточной надежностью отождествления, даже в случае слабоконтрастных изображений, но не обладает избирательностью по принадлежности измеряемых точек к интересующему объекту и требует больших затрат машинного времени [3]
Известен способ автоматического отождествления одиночных контурных признаков на соответственных строках стереопары. Для обеспечения надежного отождествления применяется грубо-точный алгоритм последовательного отождествления, с использованием на первом этапе наиболее контрастных перепадов яркости [4] Этот способ автоматического измерения внешней среды робота выбран в качестве прототипа.As an analogue for automatic measurement, you can specify a method for identifying a set of contour signs of local contrast extremes on digital images of a stereo pair, based on the method of dynamic programming. It has sufficient identification reliability, even in the case of low-contrast images, but does not have selectivity in terms of belonging of the measured points to the object of interest and requires a lot of computer time [3]
A known method for the automatic identification of single contour features on the corresponding lines of the stereo pair. To ensure reliable identification, a rough-accurate sequential identification algorithm is used, using the most contrasting brightness differences at the first stage [4]. This method of automatic measurement of the robot’s external environment is selected as a prototype.

Способ заключается в том, что получают стереопару измеряемого объекта в виде двух оцифрованных изображений в системе координат Хл, Yл и Хп, Yп, где оси Хл и Хп ортогональны базису стереосистемы В; выделяют фрагменты изображений, наиболее контрастные перепады интенсивности, превышающие заданный порог, путем регулярного автоматического сканирования изображения по Yл; выделяют на фрагменте левого изображения отождествляемый элемент; выделяют на правом изображении группы отождествляемых элементов; отождествляют перепады по критерию близости в пространстве параметров и находят корреспондирующую пару на множестве элементов группы; для всех корреспондирующих пар находят параллаксы, вычисляют координаты точек объекта, соответствюущих элементу отождествления и вычисляют геометрическую модель объекта. The method consists in the fact that a stereopair of the measured object is obtained in the form of two digitized images in the coordinate system Chl, Yl and Xn, Yn, where the axes Chl and Xn are orthogonal to the basis of the stereo system B; fragments of images are distinguished, the most contrasting intensity differences exceeding a predetermined threshold by regular automatic scanning of the image by Yl; identify an identifiable element on a fragment of the left image; groups of identifiable elements are identified on the right image; identify differences by the criterion of proximity in the space of parameters and find the corresponding pair on the set of elements of the group; for all the corresponding pairs, parallaxes are found, the coordinates of the points of the object corresponding to the identification element are calculated, and the geometric model of the object is calculated.

Во всех устройствах, подобных прототипу, заложен принцип автоматического преобразования двумерных данных стереопары в трехмерные (пространственные) координаты измеряемых точек. В этом преобразовании заключается противоречие между требованиями высокой точности воспроизведения большого количества деталей объекта и надежностью отождествления элементов стереопары, включая слабоконтрастные. In all devices similar to the prototype, the principle of automatic conversion of two-dimensional data of a stereo pair into three-dimensional (spatial) coordinates of the measured points is laid. This transformation is a contradiction between the requirements of high fidelity of reproducing a large number of parts of an object and the reliability of identifying stereo elements, including low-contrast ones.

Целью предложенного способа является увеличение точности определения координат точек для построения модели измеряемого объекта, путем повышения надежности отождествления и уменьшения количества неправильно отождествленных точек; повышение достоверности модели при ее построении на основе визуализации монокулярного изображения, входящего в стереопару, наложением на него измеренных точек по указанию оператора. The aim of the proposed method is to increase the accuracy of determining the coordinates of points to build a model of the measured object, by increasing the reliability of identification and reducing the number of incorrectly identified points; increasing the reliability of the model when constructing it based on the visualization of a monocular image entering a stereo pair by superimposing measured points on it as directed by the operator.

Поставленная цель достигается тем, что в отличие от известного способа автоматического измерения внешней среды робота, заключающемся в получении стереопары измеряемого объекта; фрагментации одного изображения стереопары по координате Y и обнаружении на всей строке наиболее контрастных элементов по порогу; получении параметрического описания отождествляемых элементов; группировании фрагментов изображения по координате Y на другом изображении стереопары; обнаружении на всей строке наиболее контрастных элементов; получении их параметрического описания с последующим отождествлением; вычислении параллаксов для корреспондирующих точек соответствующих элементов; вычислении координат точек объекта и вычислении модели измеряемого объекта; предлагается полуавтоматическое отождествление, отличающееся тем, что после получения стереопары одно из ее изображений визуализируется на экране дисплея; выбирают на изображении область, соответствующую объекту на анализируемой сцене; выделяют контрастную точку с помощью курсора, перемещаемого от указывающего устройства (типа "мышь") [5] производят группирование элементов первого изображения по координате Y в малой окрестности указанной точки; уточняют положение точки контрастного элемента в этой окрестности; вычисляют параметры элемента отождествления; передают уточненные координаты в ЭВМ; группируют элементы второго изображения по координате Y в пределах допустимого значения параллакса; обнаруживают контрастные элементы отождествления; вычисляют параметры отождествления и находят корреспондирующие элементы; вычисляют для них параллакс; вычисляют пространственные координаты точки; отображают их на экране монитора наложением на монокулярное изображение; вычисляют модель внешней среды и отображают ее на экране дисплея. The goal is achieved in that, in contrast to the known method of automatic measurement of the external environment of the robot, which consists in obtaining a stereo pair of the measured object; fragmentation of one stereopair image along the Y coordinate and detection of the most contrasting elements on the threshold on the entire line; obtaining a parametric description of the identified elements; grouping image fragments in the Y coordinate on another stereo pair image; detection on the entire line of the most contrasting elements; obtaining their parametric description with subsequent identification; calculating parallaxes for the corresponding points of the corresponding elements; calculating the coordinates of the points of the object and calculating the model of the measured object; semi-automatic identification is proposed, characterized in that after receiving the stereo pair one of its images is visualized on the display screen; select on the image the area corresponding to the object in the analyzed scene; highlighting the contrast point using the cursor moved from the pointing device (type "mouse") [5] group the elements of the first image in the Y coordinate in a small neighborhood of the specified point; specify the position of the point of the contrast element in this neighborhood; calculate the parameters of the identity element; transmit the specified coordinates to the computer; group the elements of the second image in the Y coordinate within the acceptable parallax value; detect contrasting elements of identification; calculate the identification parameters and find the corresponding elements; calculate parallax for them; calculate the spatial coordinates of the point; display them on a monitor screen overlay on a monocular image; calculate the model of the external environment and display it on the display screen.

Именно возможность выбора измеряемой точки с помощью перемещаемого курсора повышает надежность последующего автоматического отождествления. Возможность ложных (неправильных) отождествлений значительно снижается еще и потому, что количество измеряемых точек в несколько раз меньше: вычисляются координаты только тех точек, которые дают оператору представление о геометрических особенностях наблюдаемой сцены, учитываемых при управлении роботом. При этом оператор выбирает наиболее контрастные точки, что дополнительно повышает надежность отождествления. Сравнение заявляемого способа отождествления с прототипом позволяет установить соответствие его критерию "новизна". It is the possibility of choosing the measured point with the help of the movable cursor that increases the reliability of the subsequent automatic identification. The possibility of false (incorrect) identifications is also significantly reduced because the number of measured points is several times smaller: the coordinates of only those points are calculated that give the operator an idea of the geometric features of the observed scene, taken into account when controlling the robot. In this case, the operator selects the most contrasting points, which further increases the reliability of identification. Comparison of the proposed method of identification with the prototype allows us to establish compliance with its criterion of "novelty."

При изучении других известных способов отождествления в данной области, в частности, рассмотренных аналогов, были сделаны следующие выводы. Существенным отличием обладает признак способа, заключающейся в выборе измеряемых точек оператором, что исключает необходимость группирования фрагментов первого изображения по всей строке; позволяет ограничить группирование на строке второго изображения лишь в пределах допустимого параллакса; освобождает от привлечения дополнительной информации и приемов, как это делается для повышения надежности при автоматическом отождествлении. Благодаря тому, что выбор измеряемой точки осуществляется лишь по одному из изображений стереопары, не требуется специально обучать оператора, как это необходимо при работе на стереокомпараторе. In the study of other known methods of identification in this area, in particular, of the considered analogues, the following conclusions were made. The feature of the method has a significant difference, consisting in the selection of measured points by the operator, which eliminates the need for grouping fragments of the first image along the entire line; allows you to limit the grouping on the line of the second image only within the allowable parallax; exempts from attracting additional information and techniques, as is done to increase reliability during automatic identification. Due to the fact that the choice of the measured point is carried out only on one of the images of the stereo pair, it is not necessary to specifically train the operator, as is necessary when working on a stereo comparator.

Хотя остальные признаки, отличающие заявленный способ от прототипа, по отдельности присущи аналогам, тем не менее ни в одном из известных способов нельзя, как в предлагаемом, получить с достаточным быстродействием координаты отдельных точек, действительно интересующих оператора (исследователя), в экстремальных ситуациях, характерных, например, для транспортного или манипуляционного робота, находящийся в аварийном помещении, когда автоматическое построение полной цифровой модели окружающей среды не имеет смысла. Предлагаемый способ значительно расширяет область применения стереоизмерений, путем проведения дистанционных бесконтактных измерений с использованием персональных ЭВМ (ПЭВМ). Although the other features that distinguish the claimed method from the prototype are individually inherent to analogues, nevertheless, in none of the known methods, as proposed, it is possible to obtain, with sufficient speed, the coordinates of the individual points that are really interesting for the operator (researcher) in extreme situations, typical , for example, for a transport or handling robot located in an emergency room when the automatic construction of a complete digital environmental model does not make sense. The proposed method significantly expands the scope of stereo measurements, by conducting remote non-contact measurements using personal computers (PCs).

Для осуществления предлагаемого способа измерения точек внешней среды робота разработано устройство, блок-схема которого представлена на рисунке. Устройство содержит блок (1) из двух идентичных телевизионных камер, ПЭВМ (2) с дисплеем (3) и указывающего устройства (УУ) для перемещения курсора (4). ПЭВМ оснащена платой визуализации и ввода телевизионного изображения ПВВТ, и устройством ввода-вывода стереоизображений УВВС. Формируемый в ПЭВМ курсор отображается на экране дисплея путем "наложения" на изображение сцены и перемещается оператором по экрану с помощью УУ для указания измеряемой точки. ПЭВМ, с вставленными в нее платами ПВВТ и УВВС, вместе с дисплеем и УУ, размещены на рабочем месте оператора, а стереоблок вынесен в рабочую зону, где расположены измеряемые объекты. Таким образом, устройство представляет собой человеко-машинный измерительный комплекс отображения и анализа видеоинформации. To implement the proposed method for measuring points of the external environment of the robot, a device has been developed, a block diagram of which is shown in the figure. The device comprises a unit (1) of two identical television cameras, a personal computer (2) with a display (3) and a pointing device (UU) for moving the cursor (4). The personal computer is equipped with a board for the visualization and input of the television image of the PVVT, and a device for input-output of stereo images of UVVS. The cursor formed in the PC is displayed on the display screen by “superimposing” the scene image and the operator moves around the screen using the control unit to indicate the measured point. A personal computer, with PVVT and UVVS boards inserted in it, together with a display and a control unit, are located at the operator’s workplace, and the stereo unit is placed in the working area where the measured objects are located. Thus, the device is a human-machine measuring complex for displaying and analyzing video information.

Конкретная реализация предлагаемого способа измерения осуществляется в рассматриваемом способе следующим образом: получают основную стереопару измеряемого объекта в виде двух оцифрованных изображений в системах координат Хл, Yл и Хп, Yп, где оси Хл и Хп ортогональны базису; выводят одно изображение (левое) на экран монитора; оператор с помощью устройства "мышь" устанавливает курсор на интересующую точку объекта (достаточно контрастную); координаты этой точки (Хл, Yп) пересылаются в память ПЭВМ; где осуществляют фрагментацию левого изображения по координате Y на малой окрестности X_л± ΔX; уточняют положение точки контрастного элемента в этой окрестности (Хл, Yл); вычисляют параметры отождествляемого элемента; передают уточненные координаты в ПЭВМ; выделяют фрагмент на строке второго изображения при ограничении на параллакс Р
Pmin≅P≅Pmax, (1)
где Pmin, Pmax минимальный и максимальный допустимые параллаксы; проводят отождествление на множестве элементов стереопары, входящих в указанную группу; вычисляют параллаксы соответственных элементов; вычисляют координаты точек объекта, соответствующих этим элементам; вычисляют модель внешней среды.A specific implementation of the proposed measurement method is carried out in the considered method as follows: the main stereo pair of the measured object is obtained in the form of two digitized images in the coordinate systems Chl, Yl and Xn, Yn, where the axes Chl and Xn are orthogonal to the basis; display one image (left) on the monitor screen; the operator using the mouse device sets the cursor on the point of interest of the object (quite contrasting); the coordinates of this point (Chl, Yp) are sent to the PC memory; where the left image is fragmented along the Y coordinate in a small neighborhood of X _l ± ΔX; specify the position of the point of the contrast element in this neighborhood (Chl, Yl); calculate the parameters of the identified element; transmit the specified coordinates to the PC; select the fragment on the line of the second image with the restriction on parallax P
Pmin≅P≅Pmax, (1)
where Pmin, Pmax are the minimum and maximum allowable parallaxes; identify on the set of elements of the stereo pair included in the specified group; calculating parallaxes of the corresponding elements; calculate the coordinates of the points of the object corresponding to these elements; calculate the model of the external environment.

Использование предлагаемого способа дает следующие преимущества. По сравнению с прототипом увеличивается надежность измерения. Благодаря возможности выбора и визуального контроля измеренных координат точек, путем сопоставления их значений для разных точек одного объекта. Благодаря этому возрастает точность воспроизведения геометрических свойств внешней среды. Using the proposed method provides the following advantages. Compared with the prototype increases the reliability of the measurement. Due to the possibility of selection and visual control of the measured coordinates of points, by comparing their values for different points of one object. Due to this, the accuracy of reproducing the geometric properties of the external environment increases.

По сравнению с аналогом [3] и прототипом [4] уменьшается время, требуемое для отождествления, путем ограничения фрагментации на втором изображении условием (1), кроме того, вместо регулярной обработки изображения по оси Y производится выборочный анализ строк по указанию оператора, что приводит к дополнительному существенному сокращению времени на обработку. Благодаря значительному уменьшению необходимого количества измеряемых точек нужных оператору, время на получение информации о координатах объекта уменьшается в несколько раз. Compared with the analogue [3] and prototype [4], the time required for identification is reduced by limiting fragmentation in the second image by condition (1), in addition, instead of regularly processing the image along the Y axis, selective analysis of the lines is performed according to the instructions of the operator, which leads to to an additional significant reduction in processing time. Due to a significant reduction in the required number of measured points needed by the operator, the time to obtain information about the coordinates of the object is reduced several times.

По сравнению с аналогом [1] отождествление производится автоматически с помощью программного обеспечения на ПЭВМ, а не механическим способом (вручную), что приводит к упрощению системы обработки данных, улучшению конструктивных характеристик и уменьшению стоимости устройства. Compared with the analogue [1], identification is performed automatically using PC software, rather than mechanically (manually), which leads to a simplification of the data processing system, improved design characteristics and reduced cost of the device.

Устройство удобно для использования при дистанционном управлении транспортными и манипуляционными роботами. В этом случае стереоблок устанавливают на роботе, а изображение по каналу связи поступает на пункт управления с рабочим местом оператора, где размещены телевизионный монитор, ПЭВМ с платой ввода-вывода изображений и устройством управления курсором. Благодаря малому времени измерения координат оператор имеет возможность манипулировать роботом без больших задержек на формирование команд. Если в системе управления роботом уже имеется система стереовизуализации внешней среды, включающая стереокамеру на борту робота, канал связи для передачи стереотелевизионных изображений в пункт управления, где имеется ПЭВМ и устройство стереовизуализации с телевизионным монитором, то предлагаемый способ реализуется в этой системе с помощью дополнительного программного обеспечения на ПЭВМ и платы ввода-вывода изображений. Тем самым сохраняется преемственность системы стереовизуализации с полуавтоматическим измерительным комплексом, позволяющим дополнительно к стереовизуализации получить числовую информацию о пространственных координатах измеряемых точек. The device is convenient for use with remote control of transport and handling robots. In this case, the stereo unit is installed on the robot, and the image is transmitted via the communication channel to the control point with the operator’s workstation, where a television monitor, a personal computer with an image input-output board and a cursor control device are located. Due to the short measurement time of coordinates, the operator has the ability to manipulate the robot without large delays in the formation of teams. If the robot control system already has a stereo-visualization system of the external environment, including a stereo camera on board the robot, a communication channel for transmitting stereo-television images to a control center where there is a PC and a stereo-visualization device with a television monitor, the proposed method is implemented in this system using additional software on a PC and image input-output boards. This preserves the continuity of the stereo imaging system with a semi-automatic measuring system, which, in addition to stereo imaging, allows obtaining numerical information about the spatial coordinates of the measured points.

Применительно к транспортным телеуправляемым роботам предлагаемый способ позволяет осуществлять ближнюю навигацию, например, в целях определения расстояний до препятствий и предотвращения столкновений с ними. Для манипуляционных роботов предлагаемый способ можно применять для решения задачи автоматического перевода манипулятора из текущей позиции в заданную (определяемую координатами измеренной точки). В других областях, например геологии, предлагаемый способ найдет применение при дистанционном зондировании выработки породы с помощью стереоблока, размещенного в капсуле, опускаемой в полость разрабатываемой породы. In relation to transport telecontrolled robots, the proposed method allows close navigation, for example, in order to determine distances to obstacles and prevent collisions with them. For manipulation robots, the proposed method can be used to solve the problem of automatically translating the manipulator from the current position to a given position (determined by the coordinates of the measured point). In other areas, for example, geology, the proposed method will find application in remote sensing of rock production using a stereo block placed in a capsule, lowered into the cavity of the developed rock.

Claims (1)

Способ автоматического измерения координат точек внешней среды для построения ее трехмерной модели в стереотелевизионной системе технического зрения, заключающийся в получении стереопары в виде левого и правого оцифрованных изображений с помощью двух телекамер, образующих стереосистему, сопряженную с ПЭВМ, фрагментации левого изображения, выделении на фрагменте измеряемой точки, выделении фрагмента правого изображения в соответствии с расчетным диапазоном параллаксов, выделении на фрагменте правого изображения группы отождествляемых элементов поиска корреспондирующей пары на множестве элементов группы, вычислении параллакса корреспондирующей пары, вычислении пространственных координат измеряемой точки, соответствующей этой паре, и объединении всех измеренных точек в модель внешней среды, отличающийся тем, что после получения стереопары изображений визуально осуществляют выбор области изображения на экране дополнительно введенного дисплея, выделение фрагмента области производят дополнительно по характерному перепаду яркости с применением дополнительного введенного указывающего устройства. A method of automatically measuring the coordinates of the points of the external environment for constructing its three-dimensional model in a stereo television system of technical vision, which consists in obtaining a stereo pair in the form of left and right digitized images using two television cameras forming a stereo system paired with a PC, fragmenting the left image, highlighting the measured point on a fragment , selecting a fragment of the right image in accordance with the calculated range of parallaxes, highlighting the group of identifications for the fragment of the right image searchable elements of the corresponding pair on the set of elements of the group, calculating the parallax of the corresponding pair, calculating the spatial coordinates of the measured point corresponding to this pair, and combining all the measured points in the environmental model, characterized in that after receiving stereopairs of images, the image area on the screen is visually selected additionally entered display, the selection of a fragment of the region is performed additionally by a characteristic brightness difference using an additional On the introduction of a pointing device.