WO2023124398A1 - 一种外参标定方法及控制设备 - Google Patents

一种外参标定方法及控制设备 Download PDF

Info

Publication number
WO2023124398A1
WO2023124398A1 PCT/CN2022/125375 CN2022125375W WO2023124398A1 WO 2023124398 A1 WO2023124398 A1 WO 2023124398A1 CN 2022125375 W CN2022125375 W CN 2022125375W WO 2023124398 A1 WO2023124398 A1 WO 2023124398A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
projection
calibration pattern
photographing
key feature
Prior art date
Application number
PCT/CN2022/125375
Other languages
English (en)
French (fr)
Inventor
郑月
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Publication of WO2023124398A1 publication Critical patent/WO2023124398A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Definitions

  • the present application relates to the communication field, in particular to an external parameter calibration method and control equipment.
  • 3D cameras to complete target detection and ranging, scene measurement and modeling, etc., is a common solution in many application fields such as computational vision, automatic driving, robot positioning and navigation.
  • 3D camera solutions are mainly divided into structured light technology, binocular (multi-eye) technology, and Time of Flight (ToF) technology.
  • binocular technology has the advantages of simple system structure and low cost.
  • binocular 3D cameras are usually arranged in an integrated way, such as two cameras packaged in a box. According to the binocular principle, under the condition of a given ranging distance, the binocular ranging accuracy is proportional to the baseline length (the distance between the two cameras).
  • the baseline length of an integrated binocular 3D camera is usually only a dozen centimeters, which greatly reduces the accuracy of binocular ranging under long-distance conditions. Taking the baseline length of 15cm as an example, in a long-distance scene, if the target is 80m away from the camera, a parallax error of 1-2 pixels may cause a ranging error of 20-50m. Therefore, miniaturized binocular 3D cameras usually only work in close-range scenes, such as less than 10m. In addition, although binocular 3D cameras usually provide factory baseline, focal length and other information for consumers to use when implementing applications, in scenes with vibration or even movement, the distance between the two cameras is likely to drift over time. , leading to an increase in the error of binocular ranging. Existing binocular cameras have the problems of short baseline and limited ranging accuracy.
  • Embodiments of the present application provide an extrinsic parameter calibration method, which can determine extrinsic parameters of a binocular camera, thereby improving ranging accuracy.
  • an external parameter calibration method including: a control device sends a first projection instruction to a first projection device, and the first projection instruction is used to instruct the first projection device to project a first external parameter calibration pattern .
  • the control device sends a first photographing instruction to the first photographing device and the second photographing device respectively, and the first photographing instruction is used to instruct the first photographing device and the second photographing device to photograph the first extrinsic parameter Calibration pattern.
  • the control device receives a first image from the first photographic device and a second image from the second photographic device, the first image is the first external reference calibration pattern captured by the first photographic device The obtained image, the second image is an image obtained by capturing the first external reference calibration pattern by the second photographing device.
  • the control device according to the projection coordinates of the first external reference calibration pattern in the first projection device, the pixel coordinates of the first external reference calibration pattern in the first image, the first external reference calibration pattern
  • the pixel coordinates of the calibration pattern in the second image are used to determine an extrinsic parameter between the first photographing device and the second photographing device.
  • the projection coordinates of the first external reference calibration pattern in the first projection device include: the first external reference calibration pattern The projection coordinates P1 of the key feature points on the first projection device.
  • the pixel coordinates of the first external parameter calibration pattern in the first image include: the The pixel coordinates U1 of key feature points in the first image; the pixel coordinates of the first external reference calibration pattern in the second image include: the pixel coordinates of the key feature points in the second image U2.
  • the control device further The external reference between the first projection device, the internal reference of the first projection device, the internal reference of the first photographing device, and the internal reference of the second photographing device determine the relationship between the first photographing device and the second
  • the internal parameters of the second photographic device include at least one of focal length, principal point position, and distortion parameters; external parameters between the first photographic device and the first projection device, and internal parameters of the first projection device .
  • the internal parameters of the first photographic device are determined when the first projection device and the first photographic device leave the factory, and the internal parameters of the second photographic device are determined when the second photographic device leaves the factory.
  • the determination of the first photography device and the second The external parameters between the photographic devices include: the control device according to the pixel coordinate U1 of the key feature point, the projection coordinate P1 of the key feature point, the distance between the first photographic device and the first projection device.
  • the external reference, the internal reference of the first projection device, and the internal reference of the first photographic device determine the coordinate X of the key feature point in the three-dimensional space, and the optical center of the first photographic device in the three-dimensional space is origin.
  • the control device according to the pixel coordinate U1 of the key feature point in the first image, the pixel coordinate U2 of the key feature point in the second image, the key feature point in the three-dimensional space
  • the coordinate X of is used to determine the extrinsic parameters between the first photographing device and the second photographing device.
  • the first external reference calibration pattern includes a plurality of first calibration patterns, the poses of the multiple first calibration patterns are different.
  • each of the first calibration patterns has the key feature point;
  • the projection coordinates of the external reference calibration pattern in the first projection device include: the projection coordinates P1 of each of the key feature points in the first projection device;
  • the first external reference calibration pattern is in The pixel coordinates in the first image include: the pixel coordinates U1 of each of the key feature points in the first image;
  • the pixel coordinates of the first external reference calibration pattern in the second image include: The pixel coordinate U2 of each key feature point in the second image.
  • the instructing the first projection device to project the first extrinsic parameter The calibration pattern includes: instructing the first projection device to sequentially project the first external reference calibration pattern in different areas; or instructing the first projection device to sequentially project the first external reference calibration pattern with different postures in the same area.
  • the first external parameter calibration pattern in the first image includes: the pixel coordinates U1 of each key feature point in the first image in the corresponding first image; the pixel coordinates of the first external reference calibration pattern in the second image include: each The pixel coordinates U2 of the key feature points in the corresponding second image in the second image.
  • the determination of the first photography device and the second The external parameters between the photographic devices include: the control device according to the pixel coordinate U1 of each of the key feature points, the projection coordinates P1 of each of the key feature points, the first photographic device and the first projection
  • the external reference between the devices, the internal reference of the first projection device, and the internal reference of the first photography device determine the coordinate X of each of the key feature points in the three-dimensional space, and the three-dimensional space is represented by the first
  • the optical center of the photography device is the origin; the control device according to the pixel coordinate U1 of each of the key feature points in the first image, the pixel coordinate U2 of each of the key feature points in the second image , the coordinate X of each key feature point in the three-dimensional space, and determine the extrinsic parameters between the first photographing device and the second photographing device.
  • the method further includes: the control device controlling the first projection device to project a three-dimensional ranging pattern, and controlling the first photographing device to photograph the three-dimensional ranging pattern.
  • the control device receives an image obtained by shooting the three-dimensional ranging pattern by the first photographing device.
  • the control device determines three-dimensional information of the image, and determines a target projection plane according to the three-dimensional information.
  • the control device sends a projection instruction to the first projection device, and the control instruction is used to instruct the first projection device to project a first external reference calibration pattern, including: the control device controls the first projection device to The first external parameter calibration pattern is projected on the target projection plane.
  • the method further includes: the control device sends a second projection instruction to the second projection device, and the second projection instruction is used to instruct the second projection device to project The second extrinsic calibration pattern.
  • the control device sends a second photographing instruction to the first photographing device and the second photographing device, and the second photographing instruction is used to instruct the first photographing device and the second projection device to photograph the first photographing device. Two external reference calibration patterns.
  • the control device receives a third image from the first photographing device and a fourth image from the second photographing device, the third image is the second external reference calibration pattern captured by the first photographing device The obtained image, the fourth image is an image obtained by capturing the second external reference calibration pattern by the second photographing device.
  • the control device is based on the projection coordinates of the second external reference calibration pattern in the second projection device, the pixel coordinates of the third image in the first photographing device, the fourth image in the The pixel coordinates in the second photographing device and the extrinsic parameters determine the optimized extrinsic parameters between the first photographing device and the second photographing device.
  • control device is further configured according to the second photographing device
  • the external reference between the second projection device, the internal reference of the second projection device, and the internal reference of the second photographing device determine the optimized relationship between the first photographing device and the second photographing device External reference.
  • a control device including a sending module, a receiving module, and a processing module: the sending module is configured to send a first projection instruction to a first projection device, and the first projection instruction is used to instruct the The first projection device projects the first external parameter calibration pattern.
  • the sending module is further configured to send a first photographing instruction to the first photographing device and the second photographing device respectively, and the first photographing instruction is used to instruct the first photographing device and the second photographing device to photograph the The first extrinsic calibration pattern.
  • the receiving module is configured to receive a first image from the first photographing device and a second image from the second photographing device, the first image being the first photograph taken by the first photographing device
  • the second image is an image obtained by taking the first external reference calibration pattern by the second photography device.
  • the processing module is configured to, according to the projection coordinates of the first external reference calibration pattern in the first projection device, the pixel coordinates of the first external reference calibration pattern in the first image, the second The pixel coordinates of an extrinsic reference calibration pattern in the second image are used to determine the extrinsic parameters between the first photographing device and the second photographing device.
  • the projection coordinates of the first external reference calibration pattern in the first projection device include: the first external reference calibration pattern The projection coordinates P1 of the key feature points on the first projection device.
  • the pixel coordinates of the first external parameter calibration pattern in the first image include: the The pixel coordinates U1 of key feature points in the first image; the pixel coordinates of the first external reference calibration pattern in the second image include: the pixel coordinates of the key feature points in the second image U2.
  • the processing module is further configured to The external reference between the device and the first projection device, the internal reference of the first projection device, the internal reference of the first photographing device, and the internal reference of the second photographing device determine the relationship between the first photographing device and the The external parameters between the second photography device; the external parameters between the first photography device and the first projection device include rotation parameters and translation parameters, the internal parameters of the first projection device, the first photography device.
  • the internal parameters of the device and the internal parameters of the second photographic device include at least one of focal length, principal point position, and distortion parameters; the external parameters between the first photographic device and the first projection device, the first projection
  • the internal parameters of the equipment and the internal parameters of the first photographic device are determined when the first projection device and the first photographic device leave the factory, and the internal parameters of the second photographic device are determined when the second photographic device leaves the factory.
  • the processing module is further configured to The pixel coordinate U1 of the key feature point, the projection coordinate P1 of the key feature point, the external parameter between the first photographing device and the first projection device, the internal reference of the first projection device, the The internal reference is to determine the coordinate X of the key feature point in a three-dimensional space, where the origin of the three-dimensional space is the optical center of the first photography device.
  • the processing module is further configured to: according to the pixel coordinate U1 of the key feature point in the first image, the pixel coordinate U2 of the key feature point in the second image, the key feature point in the coordinate X in the three-dimensional space, and determine an extrinsic parameter between the first photographing device and the second photographing device.
  • the first external reference calibration pattern includes a plurality of first calibration patterns, the poses of the multiple first calibration patterns are different.
  • each of the first calibration patterns has the key feature point;
  • the projection coordinates of the external reference calibration pattern in the first projection device include: the projection coordinates P1 of each of the key feature points in the first projection device;
  • the first external reference calibration pattern is in The pixel coordinates in the first image include: the pixel coordinates U1 of each of the key feature points in the first image;
  • the pixel coordinates of the first external reference calibration pattern in the second image include: The pixel coordinate U2 of each key feature point in the second image.
  • the instructing the first projection device to project the first extrinsic parameter The calibration pattern includes: instructing the first projection device to sequentially project the first external reference calibration pattern in different areas; or instructing the first projection device to sequentially project the first external reference calibration pattern with different postures in the same area.
  • the first external parameter calibration pattern in the first image includes: the pixel coordinates U1 of each key feature point in the first image in the corresponding first image; the pixel coordinates of the first external reference calibration pattern in the second image include: each The pixel coordinates U2 of the key feature points in the corresponding second image in the second image.
  • the processing module is further configured to The pixel coordinates U1 of feature points, the projection coordinates P1 of each key feature point, the external parameters between the first photography device and the first projection device, the internal parameters of the first projection device, the second An internal reference of a photographic device, determining the coordinate X of each key feature point in a three-dimensional space, the three-dimensional space taking the optical center of the first photographic device as the origin.
  • the processing module is further configured to: according to the pixel coordinate U1 of each of the key feature points in the first image, the pixel coordinate U2 of each of the key feature points in the second image, and each of the key feature points
  • the coordinate X of the key feature point in the three-dimensional space is used to determine the extrinsic parameters between the first photographing device and the second photographing device.
  • the sending module is further configured to send the first Before the projection device sends the first projection instruction, the first projection device is controlled to project the three-dimensional ranging pattern, and the first photographing device is controlled to capture the three-dimensional ranging pattern.
  • the receiving module is further configured to receive an image obtained by shooting the three-dimensional ranging pattern by the first photographing device.
  • the processing module is further configured to determine three-dimensional information of the image, and determine a target projection plane according to the three-dimensional information.
  • the sending module is further configured to control the first projection device to project the first external reference calibration pattern on the target projection plane.
  • the sending module is further configured to send the second projection device Sending a second projection instruction, where the second projection instruction is used to instruct the second projection device to project a second external reference calibration pattern.
  • the sending module is further configured to send a second photography instruction to the first photography device and the second photography device respectively, and the second photography instruction is used to instruct the first photography device and the second projection The device photographs the second external reference calibration pattern.
  • the receiving module is further configured to receive a third image from the first photographing device and a fourth image from the second photographing device, the third image is the first photographing device to capture the second An image obtained by the external reference calibration pattern, the fourth image is an image obtained by the second photographic device capturing the second external reference calibration pattern.
  • the processing module is further configured to: according to the projection coordinates of the second external reference calibration pattern in the second projection device, the pixel coordinates of the third image in the first photography device, the fourth The pixel coordinates of the image in the second photographing device and the extrinsic parameters determine the optimized extrinsic parameters between the first photographing device and the second photographing device.
  • the processing module is further configured to: The external parameters between the second photography device and the second projection device, the internal parameters of the second projection device, and the internal parameters of the second photography device determine the relationship between the first photography device and the second photography device Optimized external parameters.
  • a third aspect provides an external reference calibration system, including the control device described in the second aspect or any possible implementation manner of the second aspect, a first structured light camera, and a second structured light camera.
  • the first structured light camera includes the first projection device and the first photographing device
  • the second structured light camera includes the second photographing device.
  • a computing device In a fourth aspect, a computing device, a processor, and a memory are provided, and the computing device is used to execute the method described in the first aspect and any implementation manner of the first aspect.
  • the external parameters of the binocular cameras can be determined, thereby determining the baseline length between the binocular cameras, and the purpose of flexibly adjusting the baseline length between the binocular cameras according to the deployment scenario can also be determined. Solve the problem of increased ranging error caused by changes in the baseline length of the binocular camera in shaking or moving scenes, and improve the ranging accuracy.
  • Fig. 1 is an external parameter calibration system according to an embodiment of the present application
  • Fig. 2 is an external parameter calibration method according to an embodiment of the present application
  • Fig. 3A is a first external parameter calibration pattern according to an embodiment of the present application.
  • FIG. 3B is a first external parameter calibration pattern according to an embodiment of the present application.
  • Fig. 4 is a schematic structural diagram of a control device according to an embodiment of the present application.
  • 3D camera solutions are mainly divided into structured light technology, binocular (multi-eye) technology, and ToF technology.
  • structured light technology structured light is a system structure composed of cameras, projectors, and processors. Usually, the projector projects a specific pattern of light (such as stripes, two-dimensional codes, etc.) 3D information.
  • binocular (multi-eye) technology binocular (multi-eye) is a system structure composed of two (multiple) cameras and a processor. The binocular is similar to the human eye.
  • the processor performs feature extraction and matching on the images collected by the two cameras, and calculates the parallax (referring to the difference between the image pixel coordinates of the object when the two cameras observe the same object), thereby calculating the target's Depth, location and other information.
  • the accuracy of its ranging can be expressed as
  • the position and distance of the target are calculated by calculating the time from the emission of near-infrared/infrared light to the reflection of the object, combined with the speed of light.
  • the external parameter calibration method in the embodiment of the present application is applied to an external parameter calibration system.
  • the external reference calibration system includes projection equipment and photographic equipment.
  • FIG. 1 is an external parameter calibration system according to an embodiment of the present application.
  • the external parameter calibration system includes a control device, a first projection device, a first photographic device, and a second photographic device.
  • the external reference calibration system may also include a second projection device.
  • the first projection device and the first photographing device are arranged in the same physical machine, and when the external parameter calibration system includes the second projection device, the second projection device and the second photographing device are also arranged in the same physical machine.
  • the above physical machine can be called a structured light camera
  • the extrinsic calibration system can include multiple structured light cameras, and each structured light includes a projection device and a photography device.
  • the two structured light cameras in the extrinsic calibration system can be called binocular cameras, similarly, multiple structured light cameras can be called multi-eye cameras.
  • Extrinsic parameters include the baseline length of the binocular camera.
  • FIG. 2 is an external parameter calibration method according to an embodiment of the present application.
  • the control device sends a first projection instruction to a first projection device, where the first projection instruction is used to instruct the first projection device to project a first external parameter calibration pattern.
  • the first external reference calibration pattern may include one or more first calibration patterns, and the poses of the multiple first calibration patterns are different. Gesture includes orientation, color, shape, size, etc.
  • multiple first calibration patterns can be checkerboards with the same shape but different orientations and colors, as shown in Figure 3A, or, multiple first calibration patterns can be patterns with different shapes but the same color, as shown in Figure 3B .
  • the first projection instruction is used to instruct the first projection device to project the first external reference calibration pattern, which may be to instruct the first projection device to project the first external reference calibration pattern in different areas in sequence, or may be to instruct the first projection device to sequentially project the first external reference calibration pattern in the same area. Regions project different first extrinsic calibration patterns with different poses.
  • the control device sends first photographing instructions to the first photographing device and the second photographing device respectively, where the first photographing instructions are used to instruct the first photographing device and the second photographing device to photograph a first extrinsic calibration pattern.
  • the control device receives the first image from the first photographing device and the second image from the second photographing device, wherein the first image is an image obtained by the first photographing device shooting the first external parameter calibration pattern, and the second image The image obtained by the first external parameter calibration pattern is photographed for the second photographic device.
  • the control device according to the projection coordinates of the first external parameter calibration pattern in the first projection device, the pixel coordinates of the first external parameter calibration pattern in the first image, and the pixel coordinates of the first external parameter calibration pattern in the second image , to determine the extrinsic parameters between the first camera device and the second camera device.
  • the projection coordinates of the first external reference calibration pattern in the first projection device include: projection coordinates P1 of key feature points on the first external reference calibration pattern in the first projection device.
  • the projection coordinates of each point on the projection pattern in the projection device are known. Therefore, the projection coordinates P1 of the key feature points on the first external reference calibration pattern in the first projection device are known.
  • each first calibration pattern has key feature points.
  • the first external reference calibration pattern is the pattern shown in Figure 3A
  • the first calibration pattern is a checkerboard, and the four checkerboards respectively have key feature points, which can be the four corner points a, b, c, d.
  • the pixel coordinates of the first external reference calibration pattern in the first image include: the pixel coordinate U1 of the key feature point in the first image.
  • the pixel coordinates of the first external reference calibration pattern in the second image include: the pixel coordinate U2 of the key feature point in the second image.
  • the pixel coordinates of the key feature points a, b, c, d in the first image are U1 a , U1 b , U1 c , U1 d respectively, and the pixel coordinates in the second image are respectively U2 a , U2 b , U2 c , U2 d . Similar to red chessboard, green chessboard, and yellow chessboard, no longer repeat them.
  • the control device also determines the first photographic device and the second photographic device according to the external parameters between the first photographic device and the first projection device, the internal parameters of the first projection device, the internal parameters of the first photographic device, and the internal parameters of the second photographic device. extrinsic parameters between.
  • the external parameters between the first photographic device and the first projection device include the rotation parameter R1 and the translation parameter t1
  • the internal parameters of the first projection device, the internal parameters of the first photographic device, and the internal parameters of the second photographic device include the focal length, principal point position, Distortion parameters, etc.
  • the external parameters between the projection device and the photography device in a structured light camera are known, for example, they have been determined when the structured light camera leaves the factory.
  • the internal reference of the first projection device, the internal reference of the first photographing device, and the internal reference of the second photographing device are determined when leaving the factory.
  • the first projection instruction instructs the first projection device to sequentially project the first external reference calibration pattern in different areas, or when instructing the first projection device to sequentially project the first external reference calibration pattern with different attitudes in the same area, the images captured by the first photography device
  • the pixel coordinates of the first external reference calibration pattern in the first image include: pixel coordinates U1 of key feature points in each first image.
  • the pixel coordinates of the first external reference calibration pattern in the second image include: the pixel coordinate U2 of the key feature point in each second image.
  • the control device determining the external parameters between the first photographing device and the second photographing device includes: the control device is based on the pixel coordinate U1 of the key feature point, the projection coordinate P1 of the key feature point, the distance between the first photographing device and the first projection device.
  • the external reference, the internal reference of the first projection device, and the internal reference of the first photographic device determine the coordinate X of the key feature point in the three-dimensional space with the optical center of the first photographic device as the origin.
  • the control device determines the first photographing device and the second photographing device according to the pixel coordinate U1 of the key feature point in the first image, the pixel coordinate U2 of the key feature point in the second image, and the coordinate X of the key feature point in the three-dimensional space. extrinsic parameters between.
  • checkerboards of different colors can be distinguished by setting color thresholds in color spaces such as HSV and CIELAB.
  • a black and white checkerboard is obtained through binarization.
  • the control device can determine the key feature points on the chessboard in the first image and the corresponding key feature points on the corresponding chessboard in the second image according to the positional relationship of different chessboards, so that the key feature points in the first image can be determined.
  • the key feature points on the blue checkerboard in the second image For example, for the pixel coordinates U1 a , U1 b , U1 c , U1 d of the key feature points a, b , c , and d on the blue checkerboard in the first image, the key feature points on the blue checkerboard in the second image
  • the pixel coordinates U2 a , U2 b , U2 c , U2 d of points a, b, c, d the control device determines that U1 a corresponds to U2 a , U1 b corresponds to U2 b , U1 c corresponds to U2 c , and U1 d Corresponds to U2 d .
  • the control device can determine the corresponding relationship between the pixel coordinates of the key feature points on the red checkerboard, the green checkerboard, and the yellow checkerboard in the first image and the second image.
  • the control device determines the key feature points based on the pixel coordinate U1, the projection coordinate P1, the external parameters R1 and t1 of the structured light camera, the focal length of the first projection device, and the focal length of the first photographic device
  • the coordinate X in the three-dimensional space with the optical center of the first photographing device as the origin.
  • the calculation may be performed by a triangulation method (or called a parallax ranging method), as follows.
  • (x cl , y cl ) T is the pixel coordinate corresponding to the principal point of the first photographic device
  • dx l and dy l are the physical dimensions in the x direction and y direction corresponding to one pixel
  • dx l dy l
  • f l is The focal length of the first photographic device in physical space
  • x cl , y cl , dx l , dy l and f l together constitute the internal reference of the first photographic device.
  • (x cr , y cr ) T is the pixel coordinate corresponding to the principal point of the first projection device
  • f r is The focal length of the first projection device in the physical space, x cr , y cr , dx r , dy r and f r together constitute the internal reference of the first projection device.
  • the control device After determining the coordinate X of the key feature point in the three-dimensional space with the optical center of the first photographic device as the origin, the control device based on the pixel coordinates U1 and U2 of the corresponding key feature point, the internal parameters of the second photographic device, and the three-dimensional
  • the coordinate X in the space determines the extrinsic parameters between the first camera device and the second camera device. See below for specific methods.
  • the internal parameter matrices K l1 and K l2 of the first photographing device and the second photographing device are known parameters from the factory. Usually K matrix can be expressed as
  • f is the focal length of the device in the physical space
  • dx and dy are the pixel dimensions
  • x c and y c are the pixel coordinates of the main point.
  • X w is the coordinate of a certain point in the world coordinate system
  • R w1 and T w1 are the external parameters between the world coordinate system and the first camera equipment coordinate system
  • R w2 and T w2 are the world coordinate system and the second camera equipment Extrinsic parameters between coordinate systems. Then the extrinsic parameters R and T between the first photographing device and the second photographing device can be calculated by the following formula
  • the extrinsic parameters R and T between the first photographing device and the second photographing device can be determined.
  • the control device may first determine the target projection plane on which the first projection device projects the first external reference calibration pattern.
  • the control device controls the first projection device to project a three-dimensional ranging pattern, and controls the first photographing device to capture the three-dimensional ranging pattern.
  • the control device receives the image obtained by shooting the three-dimensional ranging pattern by the first photographing device.
  • the control device determines the three-dimensional information of the image, and determines the target projection plane according to the three-dimensional information. After the target projection plane is determined, the control device controls the first projection device to project the first external parameter calibration pattern on the target projection plane.
  • the control device may determine the three-dimensional information according to the parallax ranging method described above, which will not be repeated here.
  • the determined external parameters may also be optimized.
  • control device sends a second projection instruction to the second projection device, and the second projection instruction is used to instruct the second projection device to project the second external reference calibration pattern.
  • the control device sends second photographing instructions to the first photographing device and the second photographing device respectively, and the second photographing instructions are used to instruct the first photographing device and the second projection device to photograph the second external reference calibration pattern.
  • the control device receives the third image from the first photographing device and the fourth image from the second photographing device, the third image is the image obtained by the first photographing device shooting the second external parameter calibration pattern, and the fourth image is the second photographing device The device shoots an image obtained by the second external parameter calibration pattern.
  • the control device determines in S204 according to the projection coordinates of the second external reference calibration pattern in the second projection device, the pixel coordinates of the third image in the first photographing device, and the pixel coordinates of the fourth image in the second photographing device.
  • the extrinsic parameters between the first photographing device and the second photographing device determine the optimized extrinsic parameters between the first photographing device and the second photographing device. For the specific optimization process, refer to the above S201 to S204, which will not be repeated here.
  • Fig. 4 is a schematic structural diagram of a control device according to an embodiment of the present application.
  • the control device includes a sending module 401 , a receiving module 402 and a processing module 403 .
  • the sending module 401 is used to execute the related content of S201 and S202 in the embodiment of FIG. 2
  • the receiving module 402 is used to execute the related content of S203 in the embodiment of FIG. Let me repeat.
  • the embodiment of the present application provides an external parameter calibration method and control device, which can determine the external parameters of the binocular cameras, thereby determining the baseline length between the binocular cameras, and realize the flexible adjustment of the baseline between the binocular cameras according to the deployment scenario
  • the purpose of the length can also solve the problem of increased ranging error caused by changes in the baseline length of the binocular camera in shaking or moving scenes, and improve the ranging accuracy.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Projection Apparatus (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请的实施例提供一种外参标定方法，控制设备向第一投影设备发送第一投影指令，指示第一投影设备投射第一外参标定图案。控制设备向第一摄影设备和第二摄影设备分别发送第一摄影指令，指示第一摄影设备和第二摄影设备拍摄第一外参标定图案。控制设备接收来自第一摄影设备的第一图像和来自第二摄影设备的第二图像，第一图像和第二图像分别为第一摄影设备和第二摄影设备拍摄第一外参标定图案所得到的图像。控制设备根据第一外参标定图案在所述第一投影设备中的投影坐标、第一外参标定图案在第一图像中的像素坐标、第一外参标定图案在第二图像中的像素坐标，确定第一摄影设备与第二摄影设备之间的外参。能够确定双目相机的外参，提高测距精度。

Description

一种外参标定方法及控制设备
本申请要求于2021年12月31日提交中国国家知识产权局、申请号202111663443.5、申请名称为“一种外参标定方法及控制设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及通信领域，尤其涉及一种外参标定方法及控制设备。
背景技术
使用3D相机完成目标检测与测距、场景测量与建模等，是计算视觉、自动驾驶、机器人定位与导航等众多应用领域常采用的方案。目前，常用的3D相机方案主要分为结构光技术、双目(多目)技术、飞行时间(Time of Flight，ToF)技术。其中，双目技术具有***结构简单、成本低等优点。在实际应用中，受限于产品的尺寸与布置的难度，双目3D相机通常采用一体化布置的方式，如两个摄像头封装在一个盒子里。根据双目的原理，在给定测距距离的条件下，双目测距精度和基线长度(两个摄像头的间距)成正比。一体化布置的双目3D相机，基线长度通常只有十几厘米，从而导致远距离条件下双目测距精度大打折扣。以基线长度为15cm为例，在远距离场景下，如目标在相机80m外，1～2个像素的视差误差有可能导致20～50m的测距误差。因此，小型化的双目3D相机通常只在近距离场景下工作，如小于10m。此外，尽管双目3D相机通常提供出厂基线、焦距等信息，供消费者实现应用时使用，但在有震动、甚至运动的场景下，两摄像头之间的间距很有可能会随时间变化产生漂移，导致双目测距的误差增大。现有的双目相机存在基线短、测距精度受限的问题。
发明内容
本申请的实施例提供一种外参标定方法，能够确定双目相机的外参，从而提高测距精度。
第一方面，提供了一种外参标定方法，包括：控制设备向第一投影设备发送第一投影指令，所述第一投影指令用于指示所述第一投影设备投射第一外参标定图案。所述控制设备向第一摄影设备和第二摄影设备分别发送第一摄影指令，所述第一摄影指令用于指示所述第一摄影设备和所述第二摄影设备拍摄所述第一外参标定图案。所述控制设备接收来自所述第一摄影设备的第一图像和来自所述第二摄影设备的第二图像，所述第一图像为所述第一摄影设备拍摄所述第一外参标定图案所得到的图像，所述第二图像为所述第二摄影设备拍摄所述第一外参标定图案得到的图像。所述控制设备根据所述第一外参标定图案在所述第一投影设备中的投影坐标、所述第一外参标定图案在所述第一图像中的像素坐标、所述第一外参标定图案在所述第二 图像中的像素坐标，确定所述第一摄影设备与所述第二摄影设备之间的外参。
结合第一方面的实现方式，在第一方面第一种可能的实现方式中，所述第一外参标定图案在所述第一投影设备中的投影坐标包括：所述第一外参标定图案上的关键特征点在所述第一投影设备中的投影坐标P1。
结合第一方面或第一方面的第一种可能的实现方式中，在第二种可能实现的方式中，所述第一外参标定图案在所述第一图像中的像素坐标包括：所述关键特征点在所述第一图像中的像素坐标U1；所述第一外参标定图案在所述第二图像中的像素坐标包括：所述关键特征点在所述第二图像中的像素坐标U2。
结合第一方面或第一方面的第一种至第二种可能的实现方式中的任意一种，在第三种可能实现的方式中，所述控制设备还根据所述第一摄影设备与所述第一投影设备之间的外参、所述第一投影设备的内参、所述第一摄影设备的内参、所述第二摄影设备的内参，确定所述第一摄影设备与所述第二摄影设备之间的外参；所述第一摄影设备与所述第一投影设备之间的外参包括旋转参数和平移参数，所述第一投影设备的内参、所述第一摄影设备的内参、所述第二摄影设备的内参包括焦距、主点位置、畸变参数中的至少一个；所述第一摄影设备与所述第一投影设备之间的外参、所述第一投影设备的内参、所述第一摄影设备的内参在所述第一投影设备和所述第一摄影设备出厂时确定，所述第二摄影设备的内参在所示第二摄影设备出厂时确定。
结合第一方面或第一方面的第一种至第三种可能的实现方式中的任意一种，在第四种可能实现的方式中，所述确定所述第一摄影设备与所述第二摄影设备之间的外参包括：所述控制设备根据所述关键特征点的像素坐标U1、所述关键特征点的投影坐标P1、所述第一摄影设备与所述第一投影设备之间的外参、所述第一投影设备的内参、所述第一摄影设备的内参，确定所述关键特征点在三维空间中的坐标X，所述三维空间以所述第一摄影设备的光心为原点。所述控制设备根据所述关键特征点在所述第一图像中的像素坐标U1、所述关键特征点在所述第二图像中的像素坐标U2、所述关键特征点在所述三维空间中的坐标X，确定所述第一摄影设备与所述第二摄影设备之间的外参。
结合第一方面或第一方面的第一种至第四种可能的实现方式中的任意一种，在第五种可能实现的方式中，所述第一外参标定图案包括多个第一标定图案，所述多个第一标定图案的姿态不同。
结合第一方面或第一方面的第一种至第五种可能的实现方式中的任意一种，在第六种可能实现的方式中，每个所述第一标定图案都具有所述关键特征点；所述外参标定图案在所述第一投影设备中的投影坐标包括：每个所述关键特征点在所述第一投影设备中的投影坐标P1；所述第一外参标定图案在所述第一图像中的像素坐标包括：每个所述关键特征点在所述第一图像中的像素坐标U1；所述第一外参标定图案在所述第二图像中的像素坐标包括：每个所述关键特征点在所述第二图像中的像素坐标U2。
结合第一方面或第一方面的第一种至第六种可能的实现方式中的任意一种，在第七种可能实现的方式中，所述指示所述第一投影设备投射第一外参标定图案，包 括：指示所述第一投影设备依次在不同区域投射所述第一外参标定图案；或者，指示所述第一投影设备依次在同一区域投射姿态不同的第一外参标定图案。
结合第一方面或第一方面的第一种至第七种可能的实现方式中的任意一种，在第八种可能实现的方式中，所述第一外参标定图案在所述第一图像中的像素坐标包括：每个所述第一图像中的关键特征点在相应第一图像中的像素坐标U1；所述第一外参标定图案在所述第二图像中的像素坐标包括：每个所述第二图像中的关键特征点在相应第二图像中的像素坐标U2。
结合第一方面或第一方面的第一种至第八种可能的实现方式中的任意一种，在第九种可能实现的方式中，所述确定所述第一摄影设备与所述第二摄影设备之间的外参包括：所述控制设备根据每个所述关键特征点的像素坐标U1、每个所述关键特征点的投影坐标P1、所述第一摄影设备与所述第一投影设备之间的外参、所述第一投影设备的内参、所述第一摄影设备的内参，确定每个所述关键特征点在三维空间中的坐标X，所述三维空间以所述第一摄影设备的光心为原点；所述控制设备根据每个所述关键特征点在所述第一图像中的像素坐标U1、每个所述关键特征点在所述第二图像中的像素坐标U2、每个所述关键特征点在所述三维空间中的坐标X，确定所述第一摄影设备与所述第二摄影设备之间的外参。
结合第一方面或第一方面的第一种至第九种可能的实现方式中的任意一种，在第十种可能实现的方式中，在所述控制设备向所述第一投影设备发送所述投影指令之前，所述方法还包括：所述控制设备控制所述第一投影设备投射三维测距图案，以及控制所述第一摄影设备拍摄所述三维测距图案。所述控制设备接收所述第一摄影设备拍摄所述三维测距图案得到的图像。所述控制设备确定所述图像的三维信息，根据所述三维信息确定目标投射平面。所述控制设备向第一投影设备发送投影指令，所述控制指令用于指示所述第一投影设备投射第一外参标定图案，包括：所述控制设备控制所述第一投影设备在所述目标投射平面上投射所述第一外参标定图案。
结合第一方面或第一方面的第一种至第十种可能的实现方式中的任意一种，在第十一种可能实现的方式中，在所述控制设备确定所述第一摄影设备与所述第二摄影设备之间的外参之后，所述方法还包括：所述控制设备向第二投影设备发送第二投影指令，所述第二投影指令用于指示所述第二投影设备投射第二外参标定图案。所述控制设备向所述第一摄影设备和所述第二摄影设备发送第二摄影指令，所述第二摄影指令用于指示所述第一摄影设备和所述第二投影设备拍摄所述第二外参标定图案。所述控制设备接收来自所述第一摄影设备的第三图像和来自所述第二摄影设备的第四图像，所述第三图像为所述第一摄影设备拍摄所述第二外参标定图案所得到的图像，所述第四图像为所述第二摄影设备拍摄所述第二外参标定图案得到的图像。所述控制设备根据所述第二外参标定图案在所述第二投影设备中的投影坐标、所述第三图像在所述第一摄影设备中的像素坐标、所述第四图像在所述第二摄影设备中的像素坐标、所述外参，确定所述第一摄影设备与所述第二摄影设备之间优化后的外参。
结合第一方面或第一方面的第一种至第十一种可能的实现方式中的任意一种，在第十二种可能实现的方式中，所述控制设备还根据所述第二摄影设备与所述第二 投影设备之间的外参、所述第二投影设备的内参、所述第二摄影设备的内参，确定所述第一摄影设备与所述第二摄影设备之间优化后的外参。
第二方面，提供了一种控制设备，包括发送模块，接收模块和处理模块：所述发送模块，用于向第一投影设备发送第一投影指令，所述第一投影指令用于指示所述第一投影设备投射第一外参标定图案。所述发送模块，还用于向第一摄影设备和第二摄影设备分别发送第一摄影指令，所述第一摄影指令用于指示所述第一摄影设备和所述第二摄影设备拍摄所述第一外参标定图案。所述接收模块，用于接收来自所述第一摄影设备的第一图像和来自所述第二摄影设备的第二图像，所述第一图像为所述第一摄影设备拍摄所述第一外参标定图案所得到的图像，所述第二图像为所述第二摄影设备拍摄所述第一外参标定图案得到的图像。所述处理模块，用于根据所述第一外参标定图案在所述第一投影设备中的投影坐标、所述第一外参标定图案在所述第一图像中的像素坐标、所述第一外参标定图案在所述第二图像中的像素坐标，确定所述第一摄影设备与所述第二摄影设备之间的外参。
结合第二方面的实现方式，在第二方面第一种可能的实现方式中，所述第一外参标定图案在所述第一投影设备中的投影坐标包括：所述第一外参标定图案上的关键特征点在所述第一投影设备中的投影坐标P1。
结合第二方面或第二方面的第一种可能的实现方式中，在第二种可能实现的方式中，所述第一外参标定图案在所述第一图像中的像素坐标包括：所述关键特征点在所述第一图像中的像素坐标U1；所述第一外参标定图案在所述第二图像中的像素坐标包括：所述关键特征点在所述第二图像中的像素坐标U2。
结合第二方面或第二方面的第一种至第二种可能的实现方式中的任意一种，在第三种可能实现的方式中，所述处理模块，还用于根据所述第一摄影设备与所述第一投影设备之间的外参、所述第一投影设备的内参、所述第一摄影设备的内参、所述第二摄影设备的内参，确定所述第一摄影设备与所述第二摄影设备之间的外参；所述第一摄影设备与所述第一投影设备之间的外参包括旋转参数和平移参数，所述第一投影设备的内参、所述第一摄影设备的内参、所述第二摄影设备的内参包括焦距、主点位置、畸变参数中的至少一个；所述第一摄影设备与所述第一投影设备之间的外参、所述第一投影设备的内参、所述第一摄影设备的内参在所述第一投影设备和所述第一摄影设备出厂时确定，所述第二摄影设备的内参在所示第二摄影设备出厂时确定。
结合第二方面或第二方面的第一种至第三种可能的实现方式中的任意一种，在第四种可能实现的方式中，所述处理模块，还用于根据所述关键特征点的像素坐标U1、所述关键特征点的投影坐标P1、所述第一摄影设备与所述第一投影设备之间的外参、所述第一投影设备的内参、所述第一摄影设备的内参，确定所述关键特征点在三维空间中的坐标X，所述三维空间以所述第一摄影设备的光心为原点。所述处理模块，还用于根据所述关键特征点在所述第一图像中的像素坐标U1、所述关键特征点在所述第二图像中的像素坐标U2、所述关键特征点在所述三维空间中的坐标X，确定所述第一摄影设备与所述第二摄影设备之间的外参。
结合第二方面或第二方面的第一种至第四种可能的实现方式中的任意一种，在 第五种可能实现的方式中，所述第一外参标定图案包括多个第一标定图案，所述多个第一标定图案的姿态不同。
结合第二方面或第二方面的第一种至第五种可能的实现方式中的任意一种，在第六种可能实现的方式中，每个所述第一标定图案都具有所述关键特征点；所述外参标定图案在所述第一投影设备中的投影坐标包括：每个所述关键特征点在所述第一投影设备中的投影坐标P1；所述第一外参标定图案在所述第一图像中的像素坐标包括：每个所述关键特征点在所述第一图像中的像素坐标U1；所述第一外参标定图案在所述第二图像中的像素坐标包括：每个所述关键特征点在所述第二图像中的像素坐标U2。
结合第二方面或第二方面的第一种至第六种可能的实现方式中的任意一种，在第七种可能实现的方式中，所述指示所述第一投影设备投射第一外参标定图案，包括：指示所述第一投影设备依次在不同区域投射所述第一外参标定图案；或者，指示所述第一投影设备依次在同一区域投射姿态不同的第一外参标定图案。
结合第二方面或第二方面的第一种至第七种可能的实现方式中的任意一种，在第八种可能实现的方式中，所述第一外参标定图案在所述第一图像中的像素坐标包括：每个所述第一图像中的关键特征点在相应第一图像中的像素坐标U1；所述第一外参标定图案在所述第二图像中的像素坐标包括：每个所述第二图像中的关键特征点在相应第二图像中的像素坐标U2。
结合第二方面或第二方面的第一种至第八种可能的实现方式中的任意一种，在第九种可能实现的方式中，所述处理模块，还用于根据每个所述关键特征点的像素坐标U1、每个所述关键特征点的投影坐标P1、所述第一摄影设备与所述第一投影设备之间的外参、所述第一投影设备的内参、所述第一摄影设备的内参，确定每个所述关键特征点在三维空间中的坐标X，所述三维空间以所述第一摄影设备的光心为原点。所述处理模块，还用于根据每个所述关键特征点在所述第一图像中的像素坐标U1、每个所述关键特征点在所述第二图像中的像素坐标U2、每个所述关键特征点在所述三维空间中的坐标X，确定所述第一摄影设备与所述第二摄影设备之间的外参。
结合第二方面或第二方面的第一种至第九种可能的实现方式中的任意一种，在第十种可能实现的方式中，所述发送模块，还用于在向所述第一投影设备发送第一投影指令之前，控制所述第一投影设备投射三维测距图案，以及控制所述第一摄影设备拍摄所述三维测距图案。所述接收模块，还用于接收所述第一摄影设备拍摄所述三维测距图案得到的图像。所述处理模块，还用于确定所述图像的三维信息，根据所述三维信息确定目标投射平面。所述发送模块，还用于控制所述第一投影设备在所述目标投射平面上投射所述第一外参标定图案。
结合第二方面或第二方面的第一种至第十种可能的实现方式中的任意一种，在第十一种可能实现的方式中，所述发送模块，还用于向第二投影设备发送第二投影指令，所述第二投影指令用于指示所述第二投影设备投射第二外参标定图案。所述发送模块，还用于向所述第一摄影设备和所述第二摄影设备分别发送第二摄影指令，所述第二摄影指令用于指示所述第一摄影设备和所述第二投影设备拍摄所述第二外 参标定图案。所述接收模块，还用于接收来自所述第一摄影设备的第三图像和来自所述第二摄影设备的第四图像，所述第三图像为所述第一摄影设备拍摄所述第二外参标定图案所得到的图像，所述第四图像为所述第二摄影设备拍摄所述第二外参标定图案得到的图像。所述处理模块，还用于根据所述第二外参标定图案在所述第二投影设备中的投影坐标、所述第三图像在所述第一摄影设备中的像素坐标、所述第四图像在所述第二摄影设备中的像素坐标、所述外参，确定所述第一摄影设备与所述第二摄影设备之间优化后的外参。
结合第二方面或第二方面的第一种至第十一种可能的实现方式中的任意一种，在第十二种可能实现的方式中，所述处理模块，还用于根据所述第二摄影设备与所述第二投影设备之间的外参、所述第二投影设备的内参、所述第二摄影设备的内参，确定所述第一摄影设备与所述第二摄影设备之间优化后的外参。
第三方面，提供了一种外参标定***，包括第二方面或第二方面的任意一种可能的实现方式所述的控制设备、第一结构光相机和第二结构光相机。所述第一结构光相机包含所述第一投影设备和所述第一摄影设备，所述第二结构光相机包含所述第二摄影设备。
第四方面，提供了一计算设备，处理器和存储器，该计算设备用于执行上述第一方面以及第一方面的任意一种实现方式所述的方法。
根据本申请实施例提供的技术方案，能够确定双目相机的外参，从而确定双目相机之间的基线长度，实现了根据部署场景灵活调整双目相机之间的基线长度的目的，也能够解决在震动或运动场景下，双目相机的基线长度发生变化导致测距误差增大的问题，提升了测距精度。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
图1是依据本申请一实施例的外参标定***；
图2是依据本申请一实施例的外参标定方法；
图3A是依据本申请一实施例的第一外参标定图案；
图3B是依据本申请一实施例的第一外参标定图案；
图4是依据本申请一实施例的控制设备的结构示意图。
具体实施方式
常用的3D相机方案主要分为结构光技术、双目(多目)技术、ToF技术。结构光技术中，结构光是由摄像头、投影仪、处理器共同组成的***结构。通常，投影仪投射特定图案的光(如条纹、二维编码等)到被检测目标的表面，摄像头拍摄采集图像，处理器对图像解码，即可计算目标的深度、位置等信息，恢复出完整的3D信息。双目(多目)技术中，双目(多目)是由两个(多个)摄像头、处理器共同组成的***结构。双目与人眼类似，处理器对两个摄像头分别采集的图像进行特征提取与匹配，计算视差(指两个摄像头观察同一个物体时，此物体的图像像素坐标的差异)，从而计算目标的深度、位置等信息。其测距的精度可表示为
Figure PCTCN2022125375-appb-000001
其中z为距离，D为视差，B为两摄像基线长度，f为摄像头焦距。ToF技术中，通过计算近红外/红外光从发射到遇物体反射的这段时间，结合光速，计算目标的位置与距离。
本申请实施例的外参标定方法应用于外参标定***。外参标定***中包括投影设备和摄影设备。图1是依据本申请一实施例的外参标定***。外参标定***中包括控制设备、第一投影设备、第一摄影设备、第二摄影设备。外参标定***还可以包含第二投影设备。第一投影设备和第一摄影设备设置于同一个物理机器内，当外参标定***包括第二投影设备时，第二投影设备和第二摄影设备也设置于同一个物理机器内。在实际应用中，上述物理机器可称为结构光相机，外参标定***可以包含多个结构光相机，每个结构光都包含一个投影设备和一个摄影设备。外参标定***中的两个结构光相机可称为双目相机，类似的，多个结构光相机可称为多目相机。外参包括双目相机的基线长度。
基于图1所示的外参标定***，图2是依据本申请一实施例的外参标定方法。
S201，控制设备向第一投影设备发送第一投影指令，第一投影指令用于指示第一投影设备投射第一外参标定图案。
第一外参标定图案可以包括一个或多个第一标定图案，多个第一标定图案的姿态不同。姿态包括方位、颜色、形状、大小等。例如，多个第一标定图案可以为形状相同但方位和颜色不同的棋盘格，如图3A所示，或者，多个第一标定图案可以为形状不同但颜色相同的图案，如图3B所示。
第一投影指令用于指示第一投影设备投射第一外参标定图案，可以为指示第一投影设备依次在不同区域投射第一外参标定图案，或者，可以为指示第一投影设备依次在同一区域投射姿态不同的第一外参标定图案。
S202，控制设备向第一摄影设备和第二摄影设备分别发送第一摄影指令，第一摄影指令用于指示所述第一摄影设备和所述第二摄影设备拍摄第一外参标定图案。
S203，控制设备接收来自第一摄影设备的第一图像和来自第二摄影设备的第二图像，其中，第一图像为第一摄影设备拍摄第一外参标定图案所得到的图像，第二图像为第二摄影设备拍摄第一外参标定图案得到的图像。
S204，控制设备根据第一外参标定图案在第一投影设备中的投影坐标、第一外参标定图案在第一图像中的像素坐标、第一外参标定图案在第二图像中的像素坐标，确定第一摄影设备与第二摄影设备之间的外参。
第一外参标定图案在第一投影设备中的投影坐标包括：第一外参标定图案上的关键特征点在第一投影设备中的投影坐标P1。在实际应用中，基于结构光相机的工作原理，投影图案上的每个点在投影设备中的投影坐标是已知的。因此，第一外参标定图案上的关键特征点在第一投影设备中的投影坐标P1是已知的。当外参标定图案包括多个第一标定图案时，每个第一标定图案有具有关键特征点。例如，第一外参标定图案为图3A所示的图案时，第一标定图案为棋盘格，四个棋盘格分别具有关键特征点，可以为每个棋盘格的四个角点a、b、c、d。
第一外参标定图案在第一图像中的像素坐标包括：所述关键特征点在第一图像中的像素坐标U1。第一外参标定图案在第二图像中的像素坐标包括：所述关键特征点在第二图像中的像素坐标U2。控制设备在接收到第一图像和第二图像后，分别基于第一图像和第二图像，确定关键特征点在各自图像中的像素坐标U1、U2。当第一外参标定图案包括多个第一标定图案时，控制设备确定每个第一标定图案上的关键特征点在各自图像中的像素坐标。例如，对于蓝色棋盘格，上述关键特征点a、b、c、d在第一图像中的像素坐标分别为U1 a、U1 b、U1 c、U1 d，在第二图像中的像素坐标分别为U2 a、U2 b、U2 c、U2 d。对于红色棋盘、绿色棋盘、黄色棋盘类似，不再赘述。
控制设备还根据第一摄影设备与第一投影设备之间的外参、第一投影设备的内参、第一摄影设备的内参、第二摄影设备的内参，确定第一摄影设备与第二摄影设备之间的外参。
第一摄影设备与第一投影设备之间的外参包括旋转参数R1和平移参数t1，第一投影设备的内参、第一摄影设备的内参、第二摄影设备的内参包括焦距、主点位置、畸变参数等。在实际应用中，一个结构光相机中的投影设备与摄影设备之间的外参是已知的，比如在结构光相机出厂时已确定好。第一投影设备的内参、第一摄影设备的内参、第二摄影设备的内参在出厂时确定。
第一投影指令指示第一投影设备依次在不同区域投射第一外参标定图案，或者，指示第一投影设备依次在同一区域投射姿态不同的第一外参标定图案时，第一摄影设备拍摄的第一图案具有多个，第二摄影设备拍摄的第二图案具有多个，其数量与第一投影设备所投射的第一外参标定图案的数量相同。在这种情况下，第一外参标定图案在第一图像中的像素坐标包括：关键特征点在每个第一图像中的像素坐标U1。第一外参标定图案在第二图像中的像素坐标包括：关键特征点在每个第二图像中的像素坐标U2。
控制设备确定第一摄影设备与第二摄影设备之间的外参包括：控制设备根据关键特征点的像素坐标U1、关键特征点的投影坐标P1、第一摄影设备与第一投影设备之间的外参、第一投影设备的内参、第一摄影设备的内参，确定关键特征点在以第一摄影设备的光心为原点的三维空间中的坐标X。控制设备根据关键特征点在第一图像中的像素坐标U1、关键特征点在第二图像中的像素坐标U2、关键特征点在三维空间中的坐标X，确定第一摄影设备与第二摄影设备之间的外参。
具体的，以图3A所示的投影图案为例，可以在HSV、CIELAB等颜色空间，通过设定颜色阈值，区分出不同颜色的棋盘。对于每个棋盘，通过二值化处理获取黑白颜色的棋盘。对于每个棋盘，控制设备都可以根据不同棋盘的位置关系，确定第一图像中该棋盘上的关键特征点在第二图像中的对应棋盘上的对应关键特征点，从而可以确定第一图像中每个棋盘上的关键特征点的像素坐标U1与第二图像中相应棋盘上关键特征点的像素坐标U2的对应关系。例如，对于第一图像中的蓝色棋盘上的关键特征点a、b、c、d的像素坐标U1 a、U1 b、U1 c、U1 d，第二图像中的蓝色棋盘上的关键特征点a、b、c、d的像素坐标U2 a、U2 b、U2 c、U2 d，控制设备确定出U1 a与U2 a对应，U1 b与U2 b对应，U1 c与U2 c对应，U1 d与U2 d对应。类似的，控制设备可以确定出第一图像和第二图像中红色棋盘、绿色棋盘、黄色棋盘上各自 的关键特征点的像素坐标的对应关系。
在获取了关键特征点的对应关系后，控制设备基于像素坐标U1、投影坐标P1以及结构光相机的外参R1、t1、第一投影设备的焦距、第一摄影设备的焦距，确定关键特征点在以第一摄影设备的光心为原点的三维空间中的坐标X。具体可以通过三角测量法(或称为视差测距法)进行计算，如下。
假设结构光相机中的第一摄影设备的光心坐标为(0，0，0) T，第一投影设备的光心坐标为(x *，y *，z *) T，则存在
Figure PCTCN2022125375-appb-000002
因此在已知R1、t1的情况下，可求解第一投影设备光心坐标(x *，y *，z *) T。对于在以第一摄影设备的光心为原点的三维空间中的任意一点X＝(x，y，z) T，根据共线特性，存在关系
Figure PCTCN2022125375-appb-000003
其中(x cl，y cl) T为第一摄影设备主点对应的像素坐标，dx l与dy l为一个像素对应的x方向与y方向的物理尺寸，通常dx l＝dy l,f l为第一摄影设备在物理空间下的焦距，x cl、y cl、dx l、dy l与f l共同构成第一摄影设备的内参。类似地，也存在下述关系
Figure PCTCN2022125375-appb-000004
其中(x cr，y cr) T为第一投影设备主点对应的像素坐标，dx r与dy r为一个像素对应的x方向与y方向的物理尺寸，通常dx r＝dy r，f r为第一投影设备在物理空间下的焦距，x cr、y cr、dx r、dy r与f r共同构成第一投影设备的内参。联立上述公式(3)和公式(4)，即可求解X坐标(x，y，z) T。
在确定了关键特征点在以第一摄影设备的光心为原点的三维空间中的坐标X后，控制设备基于相对应的关键特征点的像素坐标U1、U2、第二摄影设备的内参以及三维空间中的坐标X，确定第一摄影设备与第二摄影设备之间的外参。具体的方法见下。第一摄影设备与第二摄影设备内参矩阵K l1与K l2是出厂已知的参数。通常K矩阵可以表示为
Figure PCTCN2022125375-appb-000005
其中f为该设备在物理空间中的焦距，dx与dy为像元尺寸，x c与y c为主点的像素坐标。根据相机成像原理，存在下述关系
Figure PCTCN2022125375-appb-000006
其中X w为某点在世界坐标系下的坐标，R w1与T w1为世界坐标系与第一摄影设备坐标系之间的外参，R w2与T w2为世界坐标系与第二摄影设备坐标系之间的外参。则第一摄影设备与第二摄影设备之间的外参R与T可以由下式计算得到
Figure PCTCN2022125375-appb-000007
T＝T w2-RT w1，公式(8)
对于本实施例的情况，世界坐标系与第一摄影设备坐标系一致，即均为以第一摄影设备的光心为原点的三维空间，则X 1＝X w＝X,则有
R＝R w2*I＝R w2，公式(9)
T＝T w2-RT w1＝T w2-R*0＝T w2，公式(10)
即
U2＝K l2*(R w2*X w+T w2)＝K l2*(R*X+T)公式(11)
因此已知与像素坐标U1对应的像素坐标U2、第二摄影设备内参K l2以及三维空间中的坐标X，即可确定第一摄影设备与第二摄影设备之间的外参R与T。
在实际应用中，无法保证所有投影设备、摄影设备的视野所及范围内都是平整区域。如果存在障碍物，在投射外参标定图案时，可能会造成一些图案的错位，导致关键特征点的误匹配。因此，在S201之前，控制设备还可以先确定第一投影设备投射第一外参标定图案的目标投射平面。
具体的，控制设备控制第一投影设备投射三维测距图案，以及控制第一摄影设备拍摄该三维测距图案。控制设备接收第一摄影设备拍摄该三维测距图案得到的图像。控制设备确定图像的三维信息，根据三维信息确定目标投射平面。在确定了目标投射平面之后，控制设备控制第一投影设备在该目标投射平面上投射第一外参标定图案。控制设备可以根据前文所述的视差测距法来确定三维信息，此处不再赘述。
在S204确定了第一摄影设备和第二摄影设备之间的外参之后，还可以对确定出的外参进行优化。
具体的，控制设备向第二投影设备发送第二投影指令，第二投影指令用于指示第二投影设备投射第二外参标定图案。控制设备向第一摄影设备和第二摄影设备分别发送第二摄影指令，第二摄影指令用于指示第一摄影设备和第二投影设备拍摄第二外参标定图案。控制设备接收来自第一摄影设备的第三图像和来自第二摄影设备的第四图像，第三图像为第一摄影设备拍摄第二外参标定图案所得到的图像，第四图像为第二摄影设备拍摄第二外参标定图案得到的图像。控制设备根据第二外参标定图案在第二投影设备中的投影坐标、第三图像在第一摄影设备中的像素坐标、第四图像在第二摄影设备中的像素坐标、S204中所确定的第一摄影设备和第二摄影设备之间的外参，确定第一摄影设备与第二摄影设备之间优化后的外参。具体优化过程参考上述S201至S204，此处不再赘述。
图4是依据本申请一实施例的控制设备的结构示意图。控制设备包括发送模块401，接收模块402，处理模块403。发送模块401用于执行图2实施例中S201、S202相关内容，接收模块402用于执行图2实施例中S203相关内容，处理模块403用于执行图2实施例中S204相关内容，此处不再赘述。
本申请的实施例提供一种外参标定方法及控制设备，能够确定双目相机的外参，从而确定双目相机之间的基线长度，实现了根据部署场景灵活调整双目相机之间的基线长度的目的，也能够解决在震动或运动场景下，双目相机的基线长度发生变化导致测距误差增大的问题，提升了测距精度。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (27)

  1. 一种外参标定方法，其特征在于，包括：
    控制设备向第一投影设备发送第一投影指令，所述第一投影指令用于指示所述第一投影设备投射第一外参标定图案；
    所述控制设备向第一摄影设备和第二摄影设备分别发送第一摄影指令，所述第一摄影指令用于指示所述第一摄影设备和所述第二摄影设备拍摄所述第一外参标定图案；
    所述控制设备接收来自所述第一摄影设备的第一图像和来自所述第二摄影设备的第二图像，所述第一图像为所述第一摄影设备拍摄所述第一外参标定图案所得到的图像，所述第二图像为所述第二摄影设备拍摄所述第一外参标定图案得到的图像；
    所述控制设备根据所述第一外参标定图案在所述第一投影设备中的投影坐标、所述第一外参标定图案在所述第一图像中的像素坐标、所述第一外参标定图案在所述第二图像中的像素坐标，确定所述第一摄影设备与所述第二摄影设备之间的外参。
  2. 根据权利要求1所述的方法，其特征在于，所述第一外参标定图案在所述第一投影设备中的投影坐标包括：所述第一外参标定图案上的关键特征点在所述第一投影设备中的投影坐标P1。
  3. 根据权利要求2所述的方法，其特征在于，所述第一外参标定图案在所述第一图像中的像素坐标包括：所述关键特征点在所述第一图像中的像素坐标U1；所述第一外参标定图案在所述第二图像中的像素坐标包括：所述关键特征点在所述第二图像中的像素坐标U2。
  4. 根据权利要求1至3任意一项所述的方法，其特征在于，所述控制设备还根据所述第一摄影设备与所述第一投影设备之间的外参、所述第一投影设备的内参、所述第一摄影设备的内参、所述第二摄影设备的内参，确定所述第一摄影设备与所述第二摄影设备之间的外参；所述第一摄影设备与所述第一投影设备之间的外参包括旋转参数和平移参数，所述第一投影设备的内参、所述第一摄影设备的内参、所述第二摄影设备的内参包括焦距、主点位置、畸变参数中的至少一个。
  5. 根据权利要求4所述的方法，其特征在于，所述确定所述第一摄影设备与所述第二摄影设备之间的外参包括：
    所述控制设备根据所述关键特征点的像素坐标U1、所述关键特征点的投影坐标P1、所述第一摄影设备与所述第一投影设备之间的外参、所述第一投影设备的内参、所述第一摄影设备的内参，确定所述关键特征点在三维空间中的坐标X，所述三维空间以所述第一摄影设备的光心为原点；
    所述控制设备根据所述关键特征点在所述第一图像中的像素坐标U1、所述关键特征点在所述第二图像中的像素坐标U2、所述关键特征点在所述三维空间中的坐标X、所述第二摄影设备的内参，确定所述第一摄影设备与所述第二摄影设备之间的外参。
  6. 根据权利要求1至5任意一项所述的方法，其特征在于，包括：所述第一 外参标定图案包括多个第一标定图案，所述多个第一标定图案的姿态不同。
  7. 根据权利要求6所述的方法，其特征在于，每个所述第一标定图案都具有所述关键特征点；所述外参标定图案在所述第一投影设备中的投影坐标包括：每个所述关键特征点在所述第一投影设备中的投影坐标P1；所述第一外参标定图案在所述第一图像中的像素坐标包括：每个所述关键特征点在所述第一图像中的像素坐标U1；所述第一外参标定图案在所述第二图像中的像素坐标包括：每个所述关键特征点在所述第二图像中的像素坐标U2。
  8. 根据权利要求1至5任意一项所述的方法，其特征在于，所述指示所述第一投影设备投射第一外参标定图案，包括：
    指示所述第一投影设备依次在不同区域投射所述第一外参标定图案；或者，
    指示所述第一投影设备依次在同一区域投射姿态不同的第一外参标定图案。
  9. 根据权利要求8所述的方法，其特征在于，所述第一外参标定图案在所述第一图像中的像素坐标包括：每个所述第一图像中的关键特征点在相应第一图像中的像素坐标U1；所述第一外参标定图案在所述第二图像中的像素坐标包括：每个所述第二图像中的关键特征点在相应第二图像中的像素坐标U2。
  10. 根据权利要求7或9所述的方法，其特征在于，所述确定所述第一摄影设备与所述第二摄影设备之间的外参包括：
    所述控制设备根据每个所述关键特征点的像素坐标U1、每个所述关键特征点的投影坐标P1、所述第一摄影设备与所述第一投影设备之间的外参、所述第一投影设备的内参、所述第一摄影设备的内参，确定每个所述关键特征点在三维空间中的坐标X，所述三维空间以所述第一摄影设备的光心为原点；
    所述控制设备根据每个所述关键特征点在所述第一图像中的像素坐标U1、每个所述关键特征点在所述第二图像中的像素坐标U2、每个所述关键特征点在所述三维空间中的坐标X、所述第二摄影设备的内参，确定所述第一摄影设备与所述第二摄影设备之间的外参。
  11. 根据权利要求1至10任意一项所述的方法，其特征在于，在所述控制设备向所述第一投影设备发送所述投影指令之前，所述方法还包括：
    所述控制设备控制所述第一投影设备投射三维测距图案，以及控制所述第一摄影设备拍摄所述三维测距图案；
    所述控制设备接收所述第一摄影设备拍摄所述三维测距图案得到的图像；
    所述控制设备确定所述图像的三维信息，根据所述三维信息确定目标投射平面；
    所述控制设备向第一投影设备发送投影指令，所述控制指令用于指示所述第一投影设备投射第一外参标定图案，包括：
    所述控制设备控制所述第一投影设备在所述目标投射平面上投射所述第一外参标定图案。
  12. 根据权利要求1至11任意一项所述的方法，其特征在于，在所述控制设备确定所述第一摄影设备与所述第二摄影设备之间的外参之后，所述方法还包括：
    所述控制设备向第二投影设备发送第二投影指令，所述第二投影指令用于指示所述第二投影设备投射第二外参标定图案；
    所述控制设备向所述第一摄影设备和所述第二摄影设备分别发送第二摄影指令，所述第二摄影指令用于指示所述第一摄影设备和所述第二投影设备拍摄所述第二外参标定图案；
    所述控制设备接收来自所述第一摄影设备的第三图像和来自所述第二摄影设备的第四图像，所述第三图像为所述第一摄影设备拍摄所述第二外参标定图案所得到的图像，所述第四图像为所述第二摄影设备拍摄所述第二外参标定图案得到的图像；
    所述控制设备根据所述第二外参标定图案在所述第二投影设备中的投影坐标、所述第三图像在所述第一摄影设备中的像素坐标、所述第四图像在所述第二摄影设备中的像素坐标、所述外参，确定所述第一摄影设备与所述第二摄影设备之间优化后的外参。
  13. 根据权利要求12所述的方法，其特征在于，所述控制设备还根据所述第二摄影设备与所述第二投影设备之间的外参、所述第二投影设备的内参、所述第二摄影设备的内参，确定所述第一摄影设备与所述第二摄影设备之间优化后的外参。
  14. 一种控制设备，其特征在于，包括发送模块，接收模块和处理模块：
    所述发送模块，用于向第一投影设备发送第一投影指令，所述第一投影指令用于指示所述第一投影设备投射第一外参标定图案；
    所述发送模块，还用于向第一摄影设备和第二摄影设备分别发送第一摄影指令，所述第一摄影指令用于指示所述第一摄影设备和所述第二摄影设备拍摄所述第一外参标定图案；
    所述接收模块，用于接收来自所述第一摄影设备的第一图像和来自所述第二摄影设备的第二图像，所述第一图像为所述第一摄影设备拍摄所述第一外参标定图案所得到的图像，所述第二图像为所述第二摄影设备拍摄所述第一外参标定图案得到的图像；
    所述处理模块，用于根据所述第一外参标定图案在所述第一投影设备中的投影坐标、所述第一外参标定图案在所述第一图像中的像素坐标、所述第一外参标定图案在所述第二图像中的像素坐标，确定所述第一摄影设备与所述第二摄影设备之间的外参。
  15. 根据权利要求14所述的控制设备，其特征在于，所述第一外参标定图案在所述第一投影设备中的投影坐标包括：所述第一外参标定图案上的关键特征点在所述第一投影设备中的投影坐标P1。
  16. 根据权利要求15所述的控制设备，其特征在于，所述第一外参标定图案在所述第一图像中的像素坐标包括：所述关键特征点在所述第一图像中的像素坐标U1；所述第一外参标定图案在所述第二图像中的像素坐标包括：所述关键特征点在所述第二图像中的像素坐标U2。
  17. 根据权利要求14至16任意一项所述的控制设备，其特征在于，所述处理模块，还用于根据所述第一摄影设备与所述第一投影设备之间的外参、所述第一投影设备的内参、所述第一摄影设备的内参、所述第二摄影设备的内参，确定所述第一摄影设备与所述第二摄影设备之间的外参；所述第一摄影设备与所述第一投影设 备之间的外参包括旋转参数和平移参数，所述第一投影设备的内参、所述第一摄影设备的内参、所述第二摄影设备的内参包括焦距、主点位置、畸变参数中的至少一个。
  18. 根据权利要求17所述的控制设备，其特征在于，所述处理模块，还用于根据所述关键特征点的像素坐标U1、所述关键特征点的投影坐标P1、所述第一摄影设备与所述第一投影设备之间的外参、所述第一投影设备的内参、所述第一摄影设备的内参，确定所述关键特征点在三维空间中的坐标X，所述三维空间以所述第一摄影设备的光心为原点；
    所述处理模块，还用于根据所述关键特征点在所述第一图像中的像素坐标U1、所述关键特征点在所述第二图像中的像素坐标U2、所述关键特征点在所述三维空间中的坐标X、所述第二摄影设备的内参，确定所述第一摄影设备与所述第二摄影设备之间的外参。
  19. 根据权利要求14至18任意一项所述的控制设备，其特征在于，所述第一外参标定图案包括多个第一标定图案，所述多个第一标定图案的姿态不同。
  20. 根据权利要求19所述的控制设备，其特征在于，每个所述第一标定图案都具有所述关键特征点；所述外参标定图案在所述第一投影设备中的投影坐标包括：每个所述关键特征点在所述第一投影设备中的投影坐标P1；所述第一外参标定图案在所述第一图像中的像素坐标包括：每个所述关键特征点在所述第一图像中的像素坐标U1；所述第一外参标定图案在所述第二图像中的像素坐标包括：每个所述关键特征点在所述第二图像中的像素坐标U2。
  21. 根据权利要求14至18任意一项所述的控制设备，其特征在于，所述指示所述第一投影设备投射第一外参标定图案，包括：
    指示所述第一投影设备依次在不同区域投射所述第一外参标定图案；或者，
    指示所述第一投影设备依次在同一区域投射姿态不同的第一外参标定图案。
  22. 根据权利要求21所述的控制设备，其特征在于，所述第一外参标定图案在所述第一图像中的像素坐标包括：每个所述第一图像中的关键特征点在相应第一图像中的像素坐标U1；所述第一外参标定图案在所述第二图像中的像素坐标包括：每个所述第二图像中的关键特征点在相应第二图像中的像素坐标U2。
  23. 根据权利要求20或22所述的控制设备，其特征在于，所述处理模块，还用于根据每个所述关键特征点的像素坐标U1、每个所述关键特征点的投影坐标P1、所述第一摄影设备与所述第一投影设备之间的外参、所述第一投影设备的内参、所述第一摄影设备的内参，确定每个所述关键特征点在三维空间中的坐标X，所述三维空间以所述第一摄影设备的光心为原点；
    所述处理模块，还用于根据每个所述关键特征点在所述第一图像中的像素坐标U1、每个所述关键特征点在所述第二图像中的像素坐标U2、每个所述关键特征点在所述三维空间中的坐标X、所述第二摄影设备的内参，确定所述第一摄影设备与所述第二摄影设备之间的外参。
  24. 根据权利要求14至23任意一项所述的控制设备，其特征在于，所述发送模块，还用于在向所述第一投影设备发送第一投影指令之前，控制所述第一投影设 备投射三维测距图案，以及控制所述第一摄影设备拍摄所述三维测距图案；
    所述接收模块，还用于接收所述第一摄影设备拍摄所述三维测距图案得到的图像；
    所述处理模块，还用于确定所述图像的三维信息，根据所述三维信息确定目标投射平面；
    所述发送模块，还用于控制所述第一投影设备在所述目标投射平面上投射所述第一外参标定图案。
  25. 根据权利要求14至24任意一项所述的控制设备，其特征在于，所述发送模块，还用于向第二投影设备发送第二投影指令，所述第二投影指令用于指示所述第二投影设备投射第二外参标定图案；
    所述发送模块，还用于向所述第一摄影设备和所述第二摄影设备发送第二摄影指令，所述第二摄影指令用于指示所述第一摄影设备和所述第二投影设备拍摄所述第二外参标定图案；
    所述接收模块，还用于接收来自所述第一摄影设备的第三图像和来自所述第二摄影设备的第四图像，所述第三图像为所述第一摄影设备拍摄所述第二外参标定图案所得到的图像，所述第四图像为所述第二摄影设备拍摄所述第二外参标定图案得到的图像；
    所述处理模块，还用于根据所述第二外参标定图案在所述第二投影设备中的投影坐标、所述第三图像在所述第一摄影设备中的像素坐标、所述第四图像在所述第二摄影设备中的像素坐标、所述外参，确定所述第一摄影设备与所述第二摄影设备之间优化后的外参。
  26. 根据权利要求25所述的控制设备，其特征在于，所述处理模块，还用于根据所述第二摄影设备与所述第二投影设备之间的外参、所述第二投影设备的内参、所述第二摄影设备的内参，确定所述第一摄影设备与所述第二摄影设备之间优化后的外参。
  27. 一种外参标定***，其特征在于，包括如权利要求14至26任意一项所述的控制设备、第一结构光相机和第二结构光相机；所述第一结构光相机包含所述第一投影设备和所述第一摄影设备，所述第二结构光相机包含所述第二摄影设备。
PCT/CN2022/125375 2021-12-31 2022-10-14 一种外参标定方法及控制设备 WO2023124398A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111663443.5 2021-12-31
CN202111663443.5A CN116416315A (zh) 2021-12-31 2021-12-31 一种外参标定方法及控制设备

Publications (1)

Publication Number Publication Date
WO2023124398A1 true WO2023124398A1 (zh) 2023-07-06

Family

ID=86997475

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/125375 WO2023124398A1 (zh) 2021-12-31 2022-10-14 一种外参标定方法及控制设备

Country Status (2)

Country Link
CN (1) CN116416315A (zh)
WO (1) WO2023124398A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011102728A (ja) * 2009-11-10 2011-05-26 Nippon Telegr & Teleph Corp <Ntt> 光学系パラメータ校正装置、光学系パラメータ校正方法、プログラム、及び記録媒体
CN113112553A (zh) * 2021-05-26 2021-07-13 北京三快在线科技有限公司 双目相机的参数标定方法、装置、电子设备及存储介质
CN113610932A (zh) * 2021-08-20 2021-11-05 苏州智加科技有限公司 双目相机外参标定方法和装置
CN113838151A (zh) * 2021-10-15 2021-12-24 西安维沃软件技术有限公司 相机标定方法、装置、设备及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011102728A (ja) * 2009-11-10 2011-05-26 Nippon Telegr & Teleph Corp <Ntt> 光学系パラメータ校正装置、光学系パラメータ校正方法、プログラム、及び記録媒体
CN113112553A (zh) * 2021-05-26 2021-07-13 北京三快在线科技有限公司 双目相机的参数标定方法、装置、电子设备及存储介质
CN113610932A (zh) * 2021-08-20 2021-11-05 苏州智加科技有限公司 双目相机外参标定方法和装置
CN113838151A (zh) * 2021-10-15 2021-12-24 西安维沃软件技术有限公司 相机标定方法、装置、设备及介质

Also Published As

Publication number Publication date
CN116416315A (zh) 2023-07-11

Similar Documents

Publication Publication Date Title
US12010431B2 (en) Systems and methods for multi-camera placement
US10085011B2 (en) Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof
US20170127045A1 (en) Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof
US11039121B2 (en) Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method
US8111910B2 (en) Stereoscopic image processing device, method, recording medium and stereoscopic imaging apparatus
TWI253006B (en) Image processing system, projector, information storage medium, and image processing method
JP2017108387A (ja) パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステム
WO2020228694A1 (zh) 一种相机姿态信息检测方法、装置以及相应的智能驾驶设备
CN108629756B (zh) 一种Kinectv2深度图像无效点修复方法
CN113841384B (zh) 校准装置，用于校准的图表和校准方法
CN109920004B (zh) 图像处理方法、装置、标定物组合、终端设备及标定***
TW201904643A (zh) 控制裝置、飛行體以及記錄媒體
WO2019144269A1 (zh) 多目摄像***、终端设备及机器人
WO2020181409A1 (zh) 拍摄装置参数标定方法、设备及存储介质
CN109801336A (zh) 基于可见光及红外光视觉的机载目标定位***及方法
JP2024072827A (ja) 制御装置、撮像システム及び撮像方法
CN112950727B (zh) 基于仿生曲面复眼的大视场多目标同时测距方法
CN111654626B (zh) 一种包含深度信息的高分辨率相机
WO2023124398A1 (zh) 一种外参标定方法及控制设备
CN111131801A (zh) 投影仪校正***、方法及投影仪
JP7254209B2 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
WO2021093804A1 (zh) 全向立体视觉的摄像机配置***及摄像机配置方法
US9633279B2 (en) Free space positioning method and system
CN112470188B (zh) 用于多相机放置的***和方法
TWI725620B (zh) 全向立體視覺的相機配置系統及相機配置方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22913662

Country of ref document: EP

Kind code of ref document: A1