WO2023128783A1 - Method for automated extrinsic calibration of a lidar scanner - Google Patents
Method for automated extrinsic calibration of a lidar scanner Download PDFInfo
- Publication number
- WO2023128783A1 WO2023128783A1 PCT/RU2021/000614 RU2021000614W WO2023128783A1 WO 2023128783 A1 WO2023128783 A1 WO 2023128783A1 RU 2021000614 W RU2021000614 W RU 2021000614W WO 2023128783 A1 WO2023128783 A1 WO 2023128783A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- points
- parameters
- external calibration
- calibration
- lidar
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
Definitions
- the invention relates to the field of measurement technology, in particular to methods for external calibration of lidar scanners as part of mobile scanning systems.
- the method allows to quickly estimate the relative position of the coordinate systems of the lidar scanner (LS) and the inertial navigation system (INS), information about which in the form of a transformation equation is used to mutually align spherical long-range images of the LS and build digital volumetric maps based on them.
- the method can be used to clarify the mutual position of the LS and INS coordinate systems after temperature, vibration, shock and other effects on the mobile scanning system, as well as during the operation of this system.
- the method allows to increase the accuracy of digital volumetric maps generated from the results of laser scanning.
- Mobile laser scanning is a modern way to obtain a detailed three-dimensional model of the landscape and the objects located on it.
- the lidar scanner measures the distance to terrain objects, and the INS of the mobile scanning system generates the trajectory data necessary to determine the lidar scanner's trajectory and its orientation in space during movement.
- LS scans
- ANN trajectory data
- an array of laser reflection points is obtained - a digital volumetric map in which each point has spatial coordinates in a given coordinate system.
- mobile scanning systems can be installed on road, rail, water and air transport, including multicopters.
- the equipment can be installed on ATVs or various types of hand-held vehicles, or carried by the operator.
- Mobile scanning technology will be used to solve the following tasks: engineering surveys, cadastral works, creation of geographic information systems.
- Alignment of scans involves the use of data on the trajectory of movement and orientation of the LS in the scanning process. These data are generated by the inertial navigation system, but since the scanner and the navigation system are separate devices of the mobile scanning system, their direct use in calculations is inefficient. The displacement between the coordinate systems of the navigation system and the scanner and their rotation relative to each other lead to distortions in the construction of a digital volumetric map. External calibration of the lidar scanner — determination of the parameters of displacement and rotation of the coordinate systems of the scanner and the navigation system relative to each other leads to an increase in the accuracy of the generated digital volumetric map.
- the process is repeated iteratively with a fixed number of steps. At each step, the voxel size decreases, thus ensuring the selection of points belonging to the same object.
- the disadvantages of this method are: the need to process the entire generated digital volumetric map, which significantly increases the time of the calibration procedure, the arbitrary inclusion of scan data in the bill, which negatively affects the convergence of optimization procedures.
- the closest to the proposed method is the method described in [US 20140240690A1], which consists in building a digital volumetric map according to debug scan data, maximizing the quality index for the constructed digital volumetric map by varying the external calibration parameters and using calibration parameters corresponding to the maximum quality index for building a refined digital volumetric map.
- the measure of quantitative diversity for the constructed digital volumetric map in particular, the Renyi entropy, acts as a quality indicator. Other quality indicators are also used, based on pairwise distances between points of the constructed digital volumetric map.
- the maximization of the quality index is performed by numerical optimization methods such as the Levenberg-Marquardt method.
- the technical problem to be solved by the invention is to increase the accuracy of the digital volumetric map formed based on the results of mobile scanning due to the operational external calibration of the lidar scanner, which is performed, if necessary, immediately before the start of the scanning procedure.
- An increase in accuracy is achieved by refining the parameters of the external calibration of the lidar scanner as part of a mobile scanning system in relation to the nominal parameters during an optimization procedure that minimizes the point cloud scatter in the areas selected by the operator, formed by the results of the debug scanning of a digital volumetric map.
- the technical result of the invention is to increase the accuracy of the volumetric map generated by the digit by using the actual parameters of the external calibration of the lidar scanner as part of a mobile scanning system.
- the method is implemented in three stages.
- a calibration data set is formed, including laser scanning data and trajectory data.
- Trajectory data includes information about changes in the position of the mobile scanning system and the orientation of the mobile system in space during scanning.
- the calibration data set is used to build a digital volumetric map. Alignment of scans along the trajectory of the scanning system is performed using the nominal parameters of the transformation of the lidar coordinate system into the coordinate system of the navigation system Wj.
- the generated digital volumetric map (Fig. 1) is presented to the operator to select L, L > 2 areas, on the basis of which the external calibration procedure will be performed.
- the selection of areas is carried out by the standard means of the operator's working computer, for example, using the "mouse" manipulator.
- Region is selected by specifying its center point and specifying the radius of the sphere, the center of which is the control point (Fig. 2).
- cubic voxels are automatically formed.
- the centers of the bills coincide with the central points of the selected areas, the size of the bill is determined by the radius of the sphere specified by the operator.
- Schematically formed voxels are shown in Fig. 3.
- Laser scanning points and their corresponding trajectory data falling into the formed voxels are selected for further use in the external calibration procedure.
- the sampled data form an optimization data subset of the calibration dataset.
- the dimension of the problem is reduced for the process of optimizing the external calibration procedure.
- the second stage consists in an iterative search for the transformation parameters w opt , for example, the vector [x y z a where x, y, z are the displacements of the origin of the lidar coordinate axes relative to the origin of the INS coordinate axes, a, /3, y are the angles of rotation of the lidar coordinate system relative to the INS along the course, tilt and roll, respectively, during the optimization process.
- Optimization consists in minimizing the scatter index of the experimental points of vexels relative to the reference planes of the corresponding voxel.
- the formation of the reference plane for each voxel is carried out on the basis of the coordinates of the points that fell into the bill at the first stage.
- the reference plane of a voxel is defined as the plane containing the two major axes of the scatter ellipsoid of points that fall into the voxel b.
- bill points and their reference planes are shown in Fig. 3.
- the scatter index has the form: where w k are the transformation parameters at the fc-th step of the iterative procedure, a ik is the reference plane of the l-th voxel at the k-th step of the iterative procedure, p ni is the n-th point of the l-th voxel,
- £ (Pnl> a lk I w k) is the distance from the nth point of the lth voxel to the reference plane of the lth voxel at the kth step of the iterative procedure.
- Minimization of the scatter index is implemented by one of the well-known numerical optimization methods, for example, the Levenberg-Marquardt method.
- the use of the Levenberg-Marquardt method leads to the definition of a new vector of transformation parameters at the next iteration as follows:
- TM k+i w k - [] ] k + rj ⁇ diag(/ ⁇ k )]-7 ⁇ £ fc , where m] is a structural parameter that regulates the rate of convergence of the method,
- £ k is the vector function of the distances between the experimental points and their reference planes at the next (kth) iteration
- J k is the Jacobi matrix of the first partial derivatives of the vector-function of distances with respect to the optimized parameters at the next (/c-th) iteration.
- the distance vector function is a composite vector of the form
- the final expressions for the components of the distance vector function depend on the method of parametrization of the rotation matrix (components a, ft, y of the vector of transformation parameters). To prevent discrepancies in the optimization process, it is advisable to parametrize the components a, (3, y) through a stereographic projection or unit quaternions.
- Obtaining the values of the spread index ⁇ k and the vector of transformation parameters w k+1 for the next iteration makes it possible to make a decision on the completion of the iterative procedure or on the execution of the next iteration.
- a criterion for terminating an iterative procedure for example, the criterion
- Completion of the iterative procedure results in obtaining a set of transformation parameters w opt and a value of the spread index ⁇ P opt for the generated optimization subset of the calibration data set.
- the obtained values are used at the final stage of the external calibration procedure.
- the step of preparing the next iteration is performed.
- the refined parameters of the transformation vector w k+1 are calculated, if it was not calculated in the main part of the iterative procedure, as an integral part of the iteration termination criterion.
- the coordinates are recalculated in accordance with the refined transformation parameters w k+1 .
- the procedures for determining the parameters of the reference planes for each voxel are performed. Further, the procedures for calculating the spread index, controlling the iteration termination criterion, and calculating the transformation parameters are repeated.
- the second stage of the method is shown in Fig. 4.
- the iterative procedure of the second stage is repeated M times M > 1. Repeating the procedure for the second and subsequent times is accompanied by randomization of the transformation parameters: adding random values to each element of the parameter vector. Randomization is performed in order to set different initial conditions for finding the optimum on the surface given by the scatter index, thus ensuring that the global optimum is found in the presence of local ones.
- the third stage of the procedure consists in choosing a set of transformation parameters from among the sets obtained at the second stage in the course of iterative procedures. If the iterative procedure was performed once, the obtained set of transformation parameters is used as an updated value of the parameters in the further use of the scanning system. If the iterative procedure was performed more than once, a set of transformation parameters is selected that corresponds to the minimum value of the scatter index. The selected set of transformation parameters is used as a refined value of the transformation parameters in the further use of the scanning system.
- FIG. 1 shows the original digital volumetric map
- the arrows mark the distortions that occur due to the use of the nominal parameters of the external calibration.
- the areas selected by the operator for the calibration procedure are shown in FIG. 2, the selected areas are marked with arrows.
- a digital volume map constructed using the transformation parameters obtained as a result of the external calibration procedure is shown in FIG. 5. Nominal transformation parameters
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Manufacturing & Machinery (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
The invention relates to the field of measuring technology, and more particularly to methods for the extrinsic calibration of lidar scanners within a mobile scanning system. The present extrinsic calibration method is carried out using a test dataset obtained by a mobile scanning system prior to direct execution of a calibration procedure. The method consists in that an operator selects characteristic regions of a three-dimensional digital map obtained from the test dataset, after which the scattering of points of said characteristic regions is automatically minimized by variation of the displacement and rotation parameters of the coordinate systems of a lidar scanner and an inertial navigation system. The technical result consists in improving the accuracy of a three-dimensional digital map formed during scanning by compensating in real time for axial misalignment and displacement of the coordinate systems of a lidar scanner and an inertial navigation system within a mobile scanning system.
Description
СПОСОБ АВТОМАТИЗИРОВАННОЙ ВНЕШНЕЙ КАЛИБРОВКИ ЛИДАРНОГО СКАНЕРА METHOD OF AUTOMATED EXTERNAL CALIBRATION OF LIDAR SCANNER
Изобретение относится к области измерительной техники, в частности — к способам внешней калибровки лидарных сканеров в составе мобильных систем сканирования. Способ позволяет оперативно оценить взаимное положение систем координат лидарного сканера (ЛС) и инерциальной системы навигации (ИНС), сведения о котором в форме уравнения трансформации используются для взаимного выравнивания сферических дальностных изображений ЛС и построения на их основе цифровых объемных карт. Способ может быть использован для уточнения взаимного положение систем координат ЛС и ИНС после температурных, вибрационных, ударных и иных воздействий на мобильную систему сканирования, а также в процессе эксплуатации указанной системы. Способ позволяет повысить точность цифровых объемных карт, формируемых по результатам лазерного сканирования. The invention relates to the field of measurement technology, in particular to methods for external calibration of lidar scanners as part of mobile scanning systems. The method allows to quickly estimate the relative position of the coordinate systems of the lidar scanner (LS) and the inertial navigation system (INS), information about which in the form of a transformation equation is used to mutually align spherical long-range images of the LS and build digital volumetric maps based on them. The method can be used to clarify the mutual position of the LS and INS coordinate systems after temperature, vibration, shock and other effects on the mobile scanning system, as well as during the operation of this system. The method allows to increase the accuracy of digital volumetric maps generated from the results of laser scanning.
Мобильное лазерное сканирование — современный способ получения подробной трехмерной модели ландшафта и находящихся на нём объектов. Во время проведения съемки лидарный сканер выполняет измерение дальности до объектов местности, а ИНС мобильной системы сканирования формирует траекторные данные, необходимые для определения траектории движения лидарного сканера и его ориентации в пространстве во время движения. В результате совместной обработки данных ЛС (сканов) и ИНС (траекторных данных) с помощью специального программного обеспечения получается массив точек лазерного отражения — цифровая объёмная карта, в которой каждая точка имеет пространственные координаты в заданной системе координат.
В зависимости от объекта съемки мобильные системы сканирования могут устанавливаться на автомобильный, железнодорожный, водный и воздушный, включая мультикоптеры, транспорт. Для съёмок труднодоступных объектов оборудование может устанавливаться на квадроциклы или различного рода ручные подвижные средства, либо переноситься оператором. Технология мобильного сканирования применятся для решения следующих задач: выполнение инженерных изысканий, проведение кадастровых работ, создание геоинформационных систем. Mobile laser scanning is a modern way to obtain a detailed three-dimensional model of the landscape and the objects located on it. During the survey, the lidar scanner measures the distance to terrain objects, and the INS of the mobile scanning system generates the trajectory data necessary to determine the lidar scanner's trajectory and its orientation in space during movement. As a result of the joint processing of LS (scans) and ANN (trajectory data) data using special software, an array of laser reflection points is obtained - a digital volumetric map in which each point has spatial coordinates in a given coordinate system. Depending on the object of shooting, mobile scanning systems can be installed on road, rail, water and air transport, including multicopters. For filming hard-to-reach objects, the equipment can be installed on ATVs or various types of hand-held vehicles, or carried by the operator. Mobile scanning technology will be used to solve the following tasks: engineering surveys, cadastral works, creation of geographic information systems.
Выравнивание сканов предполагает использование данных о траектории движения и ориентации ЛС в процессе сканирования. Эти данные формируются инерциальной навигационной системой, но, поскольку сканер и навигационная система являются отдельными устройствами мобильной системы сканирования, непосредственное использование их в расчётах неэффективно. Смещение между системами координат навигационной системы и сканера и их поворот друг относительно друга приводят к искажениям при построении цифровой объемной карты. Внешняя калибровка лидарного сканера — определение параметров смещения и поворота координатных систем сканера и навигационной системы друг относительно друга приводит к повышению точности формируемой цифровой объемной карты. Alignment of scans involves the use of data on the trajectory of movement and orientation of the LS in the scanning process. These data are generated by the inertial navigation system, but since the scanner and the navigation system are separate devices of the mobile scanning system, their direct use in calculations is inefficient. The displacement between the coordinate systems of the navigation system and the scanner and their rotation relative to each other lead to distortions in the construction of a digital volumetric map. External calibration of the lidar scanner — determination of the parameters of displacement and rotation of the coordinate systems of the scanner and the navigation system relative to each other leads to an increase in the accuracy of the generated digital volumetric map.
Известен способ внешней калибровки лидара в составе автомобиля, изложенный в [US 20190049566 А 1], заключающийся в итеративной оптимизации плотности векселей за счёт варьирования параметров внешней калибровки при постепенном уменьшении размера вокселя. Формируемая из отладочного набора данных цифровая объёмная карта разбивается на воксели (объёмные элементы) фиксированного размера, для каждого вокселя вычисляется параметр, характеризующий его плотность — степень разброса входящих в воксель точек, полученных в ходе сканирования. Далее, в ходе численной оптимизации плотностей векселей в пространстве параметров калибровки, а именно смещения начал координат и их взаимного поворота, находятся оптимальные параметры калибровки. Процесс повторяется итеративно с фиксированным количеством шагов. На каждом шаге размер вокселя уменьшается, обеспечивая таким образом селекцию точек, принадлежащих одному объекту. Недостатками данного способа
являются: необходимость обработки всей формируемой цифровой объёмной карты, которая существенно увеличивает время выполнения процедуры калибровки, произвольное включение данных сканирования в вексель, негативно влияющее на сходимость оптимизационных процедур. There is a known method for external calibration of a lidar in a car, described in [US 20190049566 A 1], which consists in iteratively optimizing the density of bills by varying the parameters of external calibration with a gradual decrease in the size of the voxel. The digital volumetric map formed from the debugging data set is divided into voxels (volumetric elements) of a fixed size, for each voxel a parameter is calculated that characterizes its density - the degree of spread of the points included in the voxel obtained during scanning. Further, in the course of numerical optimization of bill densities in the space of calibration parameters, namely, the displacement of the origins and their mutual rotation, the optimal calibration parameters are found. The process is repeated iteratively with a fixed number of steps. At each step, the voxel size decreases, thus ensuring the selection of points belonging to the same object. The disadvantages of this method are: the need to process the entire generated digital volumetric map, which significantly increases the time of the calibration procedure, the arbitrary inclusion of scan data in the bill, which negatively affects the convergence of optimization procedures.
Известен также способ калибровки [US ОЮ841483В1], заключающийся в поиске особенностей лидарного и видеоизображений и совмещении указанных изображений за счёт варьирования параметров внешней калибровки. К особенностям изображений относят протяжённые линейные объекты: углы зданий и сооружений, кромки проезжей части и тротуаров, столбы, края ограждений, хорошо выделяющиеся как на лидарных изображениях, так и на видеоизображениях. Параметры внешней калибровки рассчитываются аналитически на основе данных о совпадающих особенностях изображений различных типов. Недостатком указанного способа является его интерактивный характер: оператор процедуры калибровки осуществляет отбор особенностей изображений и осуществляет их взаимное сопоставление для изображений, полученных лидаром, и видеокамерой. There is also a calibration method [US OYu841483V1], which consists in searching for features of lidar and video images and combining these images by varying the external calibration parameters. The features of the images include extended linear objects: the corners of buildings and structures, the edges of the carriageway and sidewalks, poles, the edges of fences, which stand out well both in lidar images and in video images. External calibration parameters are calculated analytically based on data on matching features of images of different types. The disadvantage of this method is its interactive nature: the operator of the calibration procedure selects the features of the images and performs their mutual comparison for the images obtained by the lidar and the video camera.
Наиболее близким к предлагаемому способу является способ, описанный в [US 20140240690А1], заключающийся в построении цифровой объёмной карты по данным отладочного сканирования, максимизации показателя качества для построенной цифровой объёмной карты за счёт вариации параметров внешней калибровки и использовании параметров калибровки, соответствующих максимуму показателя качества для построения уточнённой цифровой объёмной карты. В роли показателя качества выступает мера количественного разнообразия для построенной цифровой объёмной карты, в частности — энтропия Реньи. Используются также и другие показатели качества, основанные на попарных расстояниях между точками построенной цифровой объёмной карты. Максимизация показателя качества выполняется методами численной оптимизации, такими как метод Левенберга-Марквардта. Недостатком данного способа является высокая трудоёмкость, поскольку вычисление показателя качества на каждом из шагов его оптимизации производится с использованием всех точек, полученных в ходе отладочного сканирования. Вследствие этого способ по
патенту [US 20140240690A1] неприменим для оперативной внешней калибровки лидарного сканера из-за больших временных и вычислительных затрат. The closest to the proposed method is the method described in [US 20140240690A1], which consists in building a digital volumetric map according to debug scan data, maximizing the quality index for the constructed digital volumetric map by varying the external calibration parameters and using calibration parameters corresponding to the maximum quality index for building a refined digital volumetric map. The measure of quantitative diversity for the constructed digital volumetric map, in particular, the Renyi entropy, acts as a quality indicator. Other quality indicators are also used, based on pairwise distances between points of the constructed digital volumetric map. The maximization of the quality index is performed by numerical optimization methods such as the Levenberg-Marquardt method. The disadvantage of this method is high labor intensity, since the calculation of the quality index at each of the steps of its optimization is performed using all the points obtained during the debug scan. As a result of this, the method patent [US 20140240690A1] is not applicable for online external calibration of a lidar scanner due to the high time and computational costs.
Технической проблемой, на решение которой направлено изобретение, является повышение точности формируемой по результатам мобильного сканирования цифровой объёмной карты за счёт оперативной внешней калибровки лидарного сканера, выполняемой, при необходимости, непосредственно перед началом процедуры сканирования. Повышение точности достигается уточнением параметров внешней калибровки лидарного сканера в составе мобильной системы сканирования по отношению к номинальным параметрам в ходе оптимизационной процедуры, минимизирующей показатель разброса облака точек в выбранных оператором областях сформированной по результатам отладочного сканирования цифровой объёмной карты. Технический результат изобретения — повышение точности формируемой цифрой объёмной карты за счёт использования актуальных параметров внешней калибровки лидарного сканера в составе мобильной системы сканирования. The technical problem to be solved by the invention is to increase the accuracy of the digital volumetric map formed based on the results of mobile scanning due to the operational external calibration of the lidar scanner, which is performed, if necessary, immediately before the start of the scanning procedure. An increase in accuracy is achieved by refining the parameters of the external calibration of the lidar scanner as part of a mobile scanning system in relation to the nominal parameters during an optimization procedure that minimizes the point cloud scatter in the areas selected by the operator, formed by the results of the debug scanning of a digital volumetric map. The technical result of the invention is to increase the accuracy of the volumetric map generated by the digit by using the actual parameters of the external calibration of the lidar scanner as part of a mobile scanning system.
Способ реализуется в три этапа. The method is implemented in three stages.
На первом этапе формируется калибровочный набор данных, включающий данные лазерного сканирования и траекторные данные. Траекторные данные включают в себя сведения об изменениях положения мобильной системы сканирования и ориентации мобильной системы в пространстве в ходе сканирования. Калибровочный набор данных используется для построения цифровой объёмной карты. Выравнивание сканов вдоль траектории движения системы сканирования выполняется с использованием номинальных параметров трансформации системы координат лидара в систему координат навигационной системы Wj. At the first stage, a calibration data set is formed, including laser scanning data and trajectory data. Trajectory data includes information about changes in the position of the mobile scanning system and the orientation of the mobile system in space during scanning. The calibration data set is used to build a digital volumetric map. Alignment of scans along the trajectory of the scanning system is performed using the nominal parameters of the transformation of the lidar coordinate system into the coordinate system of the navigation system Wj.
Сформированная цифровая объёмная карта (фиг. 1) предъявляется оператору для выбора L, L > 2 областей, на основании которых будет выполняться процедура внешней калибровки. Выбор областей выполняется штатными средствами рабочего компьютера оператора, например, при помощи манипулятора “мышь”. Область
выбирается указанием её центральной точки и заданием радиуса сферы, центром которой является контрольная точка (фиг. 2). The generated digital volumetric map (Fig. 1) is presented to the operator to select L, L > 2 areas, on the basis of which the external calibration procedure will be performed. The selection of areas is carried out by the standard means of the operator's working computer, for example, using the "mouse" manipulator. Region is selected by specifying its center point and specifying the radius of the sphere, the center of which is the control point (Fig. 2).
На основании выбранных оператором областей автоматически формируются кубические воксели. Центры векселей совпадают с центральными точками выбранных областей, размер векселя определяется радиусом заданной оператором сферы. Схематически формируемые воксели показаны на фиг. 3. Based on the areas selected by the operator, cubic voxels are automatically formed. The centers of the bills coincide with the central points of the selected areas, the size of the bill is determined by the radius of the sphere specified by the operator. Schematically formed voxels are shown in Fig. 3.
Точки лазерного сканирования и соответствующие им траекторные данные, попадающие в сформированные воксели, отбираются для дальнейшего использования в процедуре внешней калибровки. Отобранные данные формируют оптимизационное подмножество данных калибровочного набора данных. Таким образом на первом этапе выполняется сокращение размерности задачи для процесса оптимизации процедуры внешней калибровки. Laser scanning points and their corresponding trajectory data falling into the formed voxels are selected for further use in the external calibration procedure. The sampled data form an optimization data subset of the calibration dataset. Thus, at the first stage, the dimension of the problem is reduced for the process of optimizing the external calibration procedure.
Второй этап заключается в итерационном поиске параметров трансформации wopt, например, вектора [х у z а
где х,у, z — смещения начала осей координат лидара относительно начала осей координат ИНС, а,/3, у — углы поворота системы координат лидара относительно ИНС по курсу, наклону и крену, соответственно, в ходе процесса оптимизации. The second stage consists in an iterative search for the transformation parameters w opt , for example, the vector [x y z a where x, y, z are the displacements of the origin of the lidar coordinate axes relative to the origin of the INS coordinate axes, a, /3, y are the angles of rotation of the lidar coordinate system relative to the INS along the course, tilt and roll, respectively, during the optimization process.
Оптимизация заключается в минимизации показателя разброса экспериментальных точек векселей относительно опорных плоскостей соответствующего вокселя. Формирование опорной плоскости для каждого вокселя осуществляется на основе координат точек, попавших в вексель на первом этапе. Например, опорная плоскость вокселя определяется как плоскость, в которой лежат две больших оси эллипсоида рассеивания точек, попавших в воксел ь. Схематично точки векселей и их опорные плоскости представлены на фиг. 3. Показатель разброса имеет вид:
где wk — параметры трансформации на fc-м шаге итерационной процедуры,
aik — опорная плоскость l-го вокселя на к-м шаге итерационной процедуры, pni — п-я точка l-го вокселя, Optimization consists in minimizing the scatter index of the experimental points of vexels relative to the reference planes of the corresponding voxel. The formation of the reference plane for each voxel is carried out on the basis of the coordinates of the points that fell into the bill at the first stage. For example, the reference plane of a voxel is defined as the plane containing the two major axes of the scatter ellipsoid of points that fall into the voxel b. Schematically, bill points and their reference planes are shown in Fig. 3. The scatter index has the form: where w k are the transformation parameters at the fc-th step of the iterative procedure, a ik is the reference plane of the l-th voxel at the k-th step of the iterative procedure, p ni is the n-th point of the l-th voxel,
£(Pnl> alk I wk) — расстояние от п-й точки l-го вокселя до опорной плоскости l-го вокселя на к-м шаге итерационной процедуры. £ (Pnl> a lk I w k) is the distance from the nth point of the lth voxel to the reference plane of the lth voxel at the kth step of the iterative procedure.
Минимизация показателя разброса реализуется одним из известных методов численной оптимизации, например, методом Левенберга-Марквардта. Использование метода Левенберга-Марквардта, в частности, приводит к определению нового вектора параметров трансформации на очередной итерации следующим образом: Minimization of the scatter index is implemented by one of the well-known numerical optimization methods, for example, the Levenberg-Marquardt method. The use of the Levenberg-Marquardt method, in particular, leads to the definition of a new vector of transformation parameters at the next iteration as follows:
™k+i = wk - [] ]к + rj ■ diag(/^k)]-7^£fc, где т] — структурный параметр, регулирующий скорость сходимости метода,™ k+i = w k - [] ] k + rj ■ diag(/^ k )]-7^£ fc , where m] is a structural parameter that regulates the rate of convergence of the method,
£к — вектор-функция расстояний между экспериментальными точками и их опорными плоскостями на очередной (k-й) итерации, £ k is the vector function of the distances between the experimental points and their reference planes at the next (kth) iteration,
Jk — матрица Якоби первых частных производных вектор-функции расстояний по оптимизируемым параметрам на очередной (/с-й) итерации. J k is the Jacobi matrix of the first partial derivatives of the vector-function of distances with respect to the optimized parameters at the next (/c-th) iteration.
Вектор-функция расстояний представляет собой составной вектор вида
The distance vector function is a composite vector of the form
Матрица Якоби вектор-функции расстояний — блочная матрица вида = [/(1) 7(2) - /(т)]т, где
Итоговые выражения для составляющих вектор-функции расстояний зависят от способа параметризации матрицы вращения (составляющие a, ft, у вектора параметров трансформации). Для предотвращения расхождения процесса оптимизации составляющие а, (3, у целесообразно параметризовать через стереографическую проекцию или единичные кватернионы. The Jacobi matrix of the distance vector function is a block matrix of the form = [/(1) 7(2) - /(m)] m , where The final expressions for the components of the distance vector function depend on the method of parametrization of the rotation matrix (components a, ft, y of the vector of transformation parameters). To prevent discrepancies in the optimization process, it is advisable to parametrize the components a, (3, y) through a stereographic projection or unit quaternions.
Получение значений показателя разброса Фк и вектора параметров трансформации wk+1 для следующей итерации даёт возможность принять решение о завершении итерационной процедуры или о выполнении очередной итерации. В качестве критерия завершения итерационной процедуры может использоваться, например, критерий || ]кгк ||< Д, где Д — заранее определенное пороговое значение. Если значение вектора параметров трансформации для следующей итерации wk+1 не используется в критерии завершения итераций, то оно может быть рассчитано на шаге подготовки очередной итерации. Obtaining the values of the spread index Ф k and the vector of transformation parameters w k+1 for the next iteration makes it possible to make a decision on the completion of the iterative procedure or on the execution of the next iteration. As a criterion for terminating an iterative procedure, for example, the criterion || ] to g to ||< D, where D is a predetermined threshold value. If the value of the transformation parameter vector for the next iteration w k+1 is not used in the iteration completion criteria, then it can be calculated at the step of preparing the next iteration.
Завершение итерационной процедуры приводит к получению набора параметров трансформации wopt и величины показателя разброса <Popt для сформированного оптимизационного подмножества калибровочного набора данных. Полученные значения используются на завершающем этапе процедуры внешней калибровки. Completion of the iterative procedure results in obtaining a set of transformation parameters w opt and a value of the spread index <P opt for the generated optimization subset of the calibration data set. The obtained values are used at the final stage of the external calibration procedure.
В случае продолжения итераций выполняется шаг подготовки следующей итерации. На этом шаге производится вычисление уточненных параметров вектора трансформации wk+1, если оно не было вычислено в основной части итерационной процедуры, как составная часть критерия завершения итераций. Для каждой точки лазерного сканирования из оптимизационного подмножества выполняется перерасчёт координат в соответствии с уточненными параметрами трансформации wk+1. После перерасчета координат точек лазерного сканирования выполняются процедуры определения параметров опорных плоскостей для каждого вокселя. Далее повторяются процедуры вычисления показателя разброса, контроля критерия завершения итераций и расчёта параметров трансформации. Схематично второй этап способа представлен на фиг. 4.
Итерационная процедура второго этапа повторяется М раз М > 1. Повторение процедуры во второй и последующие разы сопровождается рандомизацией параметров трансформации: добавлением случайных значений к каждому элементу вектора параметров. Рандомизация выполняется с целью задания различных начальных условий для поиска оптимума на поверхности, задаваемой показателем разброса, обеспечивая таким образом нахождение глобального оптимума при наличии локальных. In case of continuation of iterations, the step of preparing the next iteration is performed. At this step, the refined parameters of the transformation vector w k+1 are calculated, if it was not calculated in the main part of the iterative procedure, as an integral part of the iteration termination criterion. For each laser scanning point from the optimization subset, the coordinates are recalculated in accordance with the refined transformation parameters w k+1 . After recalculating the coordinates of the laser scanning points, the procedures for determining the parameters of the reference planes for each voxel are performed. Further, the procedures for calculating the spread index, controlling the iteration termination criterion, and calculating the transformation parameters are repeated. Schematically, the second stage of the method is shown in Fig. 4. The iterative procedure of the second stage is repeated M times M > 1. Repeating the procedure for the second and subsequent times is accompanied by randomization of the transformation parameters: adding random values to each element of the parameter vector. Randomization is performed in order to set different initial conditions for finding the optimum on the surface given by the scatter index, thus ensuring that the global optimum is found in the presence of local ones.
Третий этап процедуры заключается в выборе набора параметров трансформации из числа наборов, полученных на втором этапе в ходе итерационных процедур. Если итерационная процедура выполнялась один раз, полученный набор параметров трансформации используется как уточненное значение параметров при дальнейшем использовании сканирующей системы. Если итерационная процедура выполнялась более одного раза, выбирается набор параметров трансформации, соответствующий минимальному значению показателя разброса. Выбранный набор параметров трансформации используется как уточненное значение параметров трансформации при дальнейшем использовании сканирующей системы. The third stage of the procedure consists in choosing a set of transformation parameters from among the sets obtained at the second stage in the course of iterative procedures. If the iterative procedure was performed once, the obtained set of transformation parameters is used as an updated value of the parameters in the further use of the scanning system. If the iterative procedure was performed more than once, a set of transformation parameters is selected that corresponds to the minimum value of the scatter index. The selected set of transformation parameters is used as a refined value of the transformation parameters in the further use of the scanning system.
Пример применения предлагаемого способа внешней калибровки приведён на фиг. 1, фиг. 2 и фиг. 5. На фиг. 1 показана исходная цифровая объёмная карта, стрелками помечены искажения, возникающие из-за применения номинальных параметров внешней калибровки. Области, выбранные оператором для проведения процедуры калибровки, показаны на фиг. 2, выбранные области помечены стрелками. Цифровая объёмная карта, построенная с использованием параметров трансформации, полученных в результате процедуры внешней калибровки, показана на фиг. 5. Номинальные параметры трансформацииAn example of the application of the proposed external calibration method is shown in Fig. 1, fig. 2 and FIG. 5. In FIG. Figure 1 shows the original digital volumetric map, the arrows mark the distortions that occur due to the use of the nominal parameters of the external calibration. The areas selected by the operator for the calibration procedure are shown in FIG. 2, the selected areas are marked with arrows. A digital volume map constructed using the transformation parameters obtained as a result of the external calibration procedure is shown in FIG. 5. Nominal transformation parameters
[0 0 0,05 0 —0,45 0,89]т, уточнённые параметры трансформации[0 0 0.05 0 -0.45 0.89] t , refined transformation parameters
[-0,07 0,012 0,054 0,002 -0,454 0,891]г.
[-0.07 0.012 0.054 0.002 -0.454 0.891] g .
Claims
1. Способ автоматизированной внешней калибровки лидарного сканера в составе мобильной системы сканирования на основе оптимизации показателя разброса точек лазерного сканирования в ходе итерационной процедуры, отличающийся тем, что на первом этапе из построенной на базе номинальных параметров внешней калибровки цифровой объемной карты оператором выделяется не менее двух областей, на основе выделенных областей строятся в автоматическом режиме воксели и из всего множества точек отбираются точки, попадающие в указанные воксели, затем на втором этапе для выделенных векселей и отобранных точек производится расчет расстояний от точек до опорных плоскостей соответствующего векселя, а сумма квадратов отклонений служит показателем разброса точек лазерного сканирования, далее в ходе итерационной процедуры оптимизации, минимизирующей показатель разброса точек лазерного сканирования, повторяемой не менее одного раза, определяются уточненные параметры внешней калибровки, причем при повторении итерационной процедуры более одного раза с рандомизацией номинальных параметров внешней калибровки из итогового набора пар показатель разброса и уточненные параметры внешней калибровки, на третьем этапе выбирается пара с минимальным значением показателя разброса. 1. A method for automated external calibration of a lidar scanner as part of a mobile scanning system based on optimizing the spread of laser scanning points during an iterative procedure, characterized in that at the first stage, at least two areas are selected by the operator from the digital volumetric map built on the basis of the nominal external calibration parameters , on the basis of the selected areas, voxels are built in automatic mode and from the entire set of points the points that fall into the specified voxels are selected, then at the second stage, for the selected bills and selected points, the distances from the points to the reference planes of the corresponding bill are calculated, and the sum of squared deviations serves as an indicator of the spread of laser scanning points, then in the course of an iterative optimization procedure that minimizes the spread index of laser scanning points, repeated at least once, the refined parameters of the external calibration are determined, and when the iterative procedure is repeated more than once with randomization of the nominal parameters of the external calibration from the final set of pairs, the indicator scatter and refined parameters of external calibration, at the third stage, a pair with the minimum value of the scatter index is selected.
9 9
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26)
SUBSTITUTE SHEET (RULE 26)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/RU2021/000614 WO2023128783A1 (en) | 2021-12-29 | 2021-12-29 | Method for automated extrinsic calibration of a lidar scanner |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/RU2021/000614 WO2023128783A1 (en) | 2021-12-29 | 2021-12-29 | Method for automated extrinsic calibration of a lidar scanner |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2023128783A1 true WO2023128783A1 (en) | 2023-07-06 |
Family
ID=86999976
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/RU2021/000614 WO2023128783A1 (en) | 2021-12-29 | 2021-12-29 | Method for automated extrinsic calibration of a lidar scanner |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2023128783A1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140240690A1 (en) * | 2011-09-30 | 2014-08-28 | The Chancellor Masters And Scholars Of The University Of Oxford | Determining extrinsic calibration parameters for a sensor |
| CN109255749A (en) * | 2017-07-12 | 2019-01-22 | 来福机器人 | From the map structuring optimization in non-autonomous platform of advocating peace |
| US10241198B2 (en) * | 2017-03-30 | 2019-03-26 | Luminar Technologies, Inc. | Lidar receiver calibration |
| CN109920011A (en) * | 2019-05-16 | 2019-06-21 | 长沙智能驾驶研究院有限公司 | Outer ginseng scaling method, device and the equipment of laser radar and binocular camera |
| RU2744012C1 (en) * | 2019-12-24 | 2021-03-02 | Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" | Methods and systems for automated determination of objects presence |
-
2021
- 2021-12-29 WO PCT/RU2021/000614 patent/WO2023128783A1/en unknown
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140240690A1 (en) * | 2011-09-30 | 2014-08-28 | The Chancellor Masters And Scholars Of The University Of Oxford | Determining extrinsic calibration parameters for a sensor |
| US10241198B2 (en) * | 2017-03-30 | 2019-03-26 | Luminar Technologies, Inc. | Lidar receiver calibration |
| CN109255749A (en) * | 2017-07-12 | 2019-01-22 | 来福机器人 | From the map structuring optimization in non-autonomous platform of advocating peace |
| CN109920011A (en) * | 2019-05-16 | 2019-06-21 | 长沙智能驾驶研究院有限公司 | Outer ginseng scaling method, device and the equipment of laser radar and binocular camera |
| RU2744012C1 (en) * | 2019-12-24 | 2021-03-02 | Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" | Methods and systems for automated determination of objects presence |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105136054B (en) | The fine deformation monitoring method of structures and system based on Three Dimensional Ground laser scanning | |
| CN112525164B (en) | Method for detecting deformation of super high-rise building based on unmanned aerial vehicle oblique photography technology | |
| US6922234B2 (en) | Method and apparatus for generating structural data from laser reflectance images | |
| CN109556569B (en) | Topographic map surveying and mapping method and device | |
| Dold | Extended Gaussian images for the registration of terrestrial scan data | |
| CN108267134B (en) | Self-adaptive air route adjusting method | |
| Fryskowska et al. | Mobile Laser Scanning accuracy assessment for the purpose of base-map updating | |
| CN113538668A (en) | Geological model construction method, geological model construction system, storage medium and electronic equipment | |
| CN114662336A (en) | Intelligent hole distribution method for bench blasting of surface mine based on three-dimensional laser scanning technology | |
| TWI718380B (en) | A method for judging the position of discontinuous surface of rock by using point cloud | |
| CN111006645A (en) | Unmanned aerial vehicle surveying and mapping method based on motion and structure reconstruction | |
| CN113534110B (en) | Static calibration method for multi-laser radar system | |
| CN113160292B (en) | Laser radar point cloud data three-dimensional modeling device and method based on intelligent mobile terminal | |
| JPH1019562A (en) | Surveying equipment and surveying method | |
| Wujanz et al. | Survey configuration for terrestrial laser scanning | |
| CN113432572A (en) | Complex structure optimal measuring point planning method based on three-dimensional scanning | |
| CN116839539A (en) | Automatic monitoring and measuring system for tunnel engineering construction | |
| WO2023128783A1 (en) | Method for automated extrinsic calibration of a lidar scanner | |
| CN115854995B (en) | Foundation pile measurement system and method based on unmanned aerial vehicle mapping | |
| Giussani et al. | Application of TLS to support landslides study: survey planning, operational issues and data processing | |
| CN116381726A (en) | Unmanned aerial vehicle laser point cloud precision self-evaluation method based on data | |
| KR102357109B1 (en) | Tunnel surface mapping system under construction | |
| CN113066161B (en) | Modeling method of urban radio wave propagation model | |
| Kuczyńska et al. | Modern applications of terrestrial laser scanning | |
| CN115018983A (en) | Phase-shifting transformer site selection method, device, electronic equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21970116 Country of ref document: EP Kind code of ref document: A1 |