WO2019047284A1 - 特征提取、全景拼接方法及其装置、设备、可读存储介质 - Google Patents

特征提取、全景拼接方法及其装置、设备、可读存储介质 Download PDF

Info

Publication number
WO2019047284A1
WO2019047284A1 PCT/CN2017/102871 CN2017102871W WO2019047284A1 WO 2019047284 A1 WO2019047284 A1 WO 2019047284A1 CN 2017102871 W CN2017102871 W CN 2017102871W WO 2019047284 A1 WO2019047284 A1 WO 2019047284A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
rotation
feature
matrix
calculating
Prior art date
Application number
PCT/CN2017/102871
Other languages
English (en)
French (fr)
Inventor
王健宗
王义文
刘奡智
肖京
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2019047284A1 publication Critical patent/WO2019047284A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Definitions

  • the present application relates to the field of information processing technologies, and in particular, to a feature extraction method, a panoramic splicing method, a device thereof, a device, and a computer readable storage medium.
  • panoramic virtual reality technology In many commercial display projects, the application of panoramic virtual reality technology has become a trend and new ideas. In the process of achieving panoramic stitching, the precision and speed of stitching are very important. Some existing panoramic stitching algorithms have insufficient precision and speed of stitching, resulting in poor practicability.
  • the embodiment of the present application provides a feature extraction method, a panoramic splicing method, a device thereof, a device, and a computer readable storage medium.
  • the feature extraction method is used in a panoramic splicing method, and the panoramic splicing is improved under the premise of ensuring accuracy. Speed and practicality.
  • the embodiment of the present application provides the following method:
  • a feature extraction method comprising:
  • a panoramic stitching method comprising:
  • an embodiment of the present application provides an apparatus, including: a unit for performing the feature extraction method described in the above first aspect or a unit for performing the panoramic splicing method described in the above first aspect.
  • an embodiment of the present application further provides an apparatus, where the device includes a memory, and a processor connected to the memory;
  • the memory is configured to store program data for implementing feature extraction, and the processor is configured to execute program data stored in the memory to perform the feature extraction method described in the first aspect;
  • the memory is configured to store program data for implementing panoramic stitching
  • the processor is configured to execute program data stored in the memory to perform the panoramic stitching method of the first aspect described above.
  • an embodiment of the present application provides a computer readable storage medium, where the one or more program data is stored, and the one or more program data may be processed by one or more processes.
  • the device is executed to implement the feature extraction method or the panoramic stitching method described in the above first aspect.
  • an input image that needs to be spliced is received; a feature point is calculated according to the image and feature point matching is performed; a transformation matrix is calculated according to the feature point on the image; and the image is transformed by using a transformation matrix to obtain The transformed image; the transformed image is projected to complete the stitching; the stitched image is blended to obtain the merged panoramic image.
  • a circular area centered on the position where the key point is located is acquired on the scale space where each key point is located; the circular area is divided into N small sector-shaped areas; The cumulative value of the gradients in the M directions allocated in each of the small fan-shaped regions, where M is the number of directions in the direction parameter; and the feature vector of the key points is determined according to the calculated cumulative values of the N*M gradients.
  • the embodiment of the present application is not in the square region where the feature point is located, but in the circular region where the feature point is located.
  • the rotation axis is rotated to the direction of the feature point to satisfy the rotation invariance.
  • the feature vector of the key point is determined according to the calculated cumulative value of the N*M gradients, which reduces the calculation amount and improves the calculation efficiency.
  • the feature points and the feature vectors of the feature points are calculated, and then matched according to the feature points of the feature points and the feature points, which improves the matching speed and improves the speed of the panorama stitching.
  • FIG. 1 is a schematic flowchart of a feature extraction method provided by an embodiment of the present application.
  • FIG. 2 is a schematic diagram of a sub-flow of a feature extraction method according to an embodiment of the present application
  • FIG. 3 is a schematic diagram of a calculated feature vector provided by an embodiment of the present application.
  • FIG. 4 is a schematic flowchart of a method for splicing a panorama according to an embodiment of the present application
  • FIG. 5 is a schematic diagram of a sub-flow of a method for splicing a panorama according to an embodiment of the present application
  • FIG. 6 is a schematic diagram of a sub-flow of a method for splicing a panorama according to another embodiment of the present application.
  • FIG. 7 is a schematic diagram of a sub-flow of a method for splicing a panorama according to another embodiment of the present application.
  • FIG. 8 is a schematic flowchart of a method for splicing a panorama according to another embodiment of the present application.
  • FIG. 9 is a schematic block diagram of a feature extraction apparatus according to an embodiment of the present application.
  • FIG. 10 is a schematic block diagram of a feature vector determining unit provided by an embodiment of the present application.
  • FIG. 11 is a schematic block diagram of a panoramic splicing apparatus provided by an embodiment of the present application.
  • FIG. 12 is a schematic block diagram of a transformation matrix calculation unit provided by an embodiment of the present application.
  • FIG. 13 is a schematic block diagram of a transformation matrix calculation unit according to another embodiment of the present application.
  • FIG. 14 is a schematic block diagram of a transformation matrix calculation unit according to another embodiment of the present application.
  • FIG. 15 is a schematic block diagram of a panoramic splicing apparatus according to another embodiment of the present application.
  • FIG. 16 is a schematic block diagram of a feature extraction device according to an embodiment of the present application.
  • FIG. 17 is a schematic block diagram of a panoramic splicing device according to an embodiment of the present application.
  • first rotation matrix may be referred to as a second rotation matrix without departing from the scope of the present application.
  • second rotation matrix may be referred to as a first rotation matrix. Both the first rotation matrix and the second rotation matrix are rotation matrices, but they are not the same rotation matrix.
  • FIG. 1 is a schematic flowchart diagram of a feature extraction method according to an embodiment of the present application. The method includes S101 ⁇ S109.
  • the scale space refers to: obtaining the scale space representation sequence at multiple scales by continuously varying the scale parameters. Using the scale space to further process the image makes it easier to capture the essential features of the image.
  • the scale space satisfies translation invariance, scale invariance, Euclidean invariance, and affine invariance.
  • the scale space of an image is defined as the convolution of a Gaussian function of a varying scale with the original image.
  • the scale space of the image is represented by Gaussian pyramid.
  • the construction of the Gaussian pyramid is divided into two parts: Gaussian blurring of different scales on the image; downsampling of the image.
  • the Gaussian difference image is obtained by subtracting the adjacent upper and lower layers of the image in each group of Gaussian pyramids. On Gaussian difference images, find the extreme points of the Gaussian difference function. Specifically, each pixel point is compared with all its neighboring points, and all the adjacent points include adjacent points on the scale space where the pixel point is located and corresponding adjacent points on the upper and lower adjacent scales of the pixel point. Whether the pixel is larger or smaller than its neighboring point, taking the point corresponding to the largest or smallest pixel value of the adjacent point, and using the point as an extreme point.
  • each extreme point includes the scale and position of the scale space in which the extreme point is located.
  • S104 calculating a key point according to the extreme point.
  • the extreme points of a discrete space are not necessarily true extreme points. In order to improve stability, it is necessary to find true extreme points from discrete extreme points and eliminate unstable edge extreme points. Specifically, curve fitting is performed on the Gaussian difference function of the scale space.
  • the direction parameter includes M directions, and M is a natural number greater than 1.
  • M is a natural number greater than 1.
  • the histogram is used to calculate the gradient and direction of the pixels in the neighborhood. For example, the histogram divides the direction range of 0 to 360 degrees into 36 bins, each of which is 10 degrees.
  • the M column in which the gradient value of each column is large is selected, and the direction in which the M column is located is taken as the direction of the key point.
  • M 8.
  • S106 Obtain a circular area centered on the position where the key point is located in the scale space where each key point is located.
  • Each key point includes the scale and location of the scale space in which the key point is located. Since the obtained key points may be located in different scale spaces, it is necessary to know the scale at which the key points are located, and in the scale space corresponding to the scale, obtain a circular area centered on the position where the key points are located.
  • the radius of the circular area is related to the resolution of the input image, and the resolution of the image represents the quality of the image. The higher the resolution of the input image, the smaller the radius of the circular area; the lower the resolution of the input image, the larger the radius of the circular area. In this way, it is guaranteed that useful feature information can be extracted.
  • the diameter of the circular area is the original sift algorithm (David The length of the square diagonal of the 4*4 window in the key point scale space in the algorithm proposed by Lowe.
  • the radius of the circular area may also be some other fixed value or the like.
  • N is a natural number greater than 1.
  • N 8.
  • S109 Determine a feature vector of the key point according to the calculated cumulative value of the N*M gradients. Specifically, as shown in FIG. 2, S109 includes S201-S202. S201, the calculated N*M gradient integrated values are arranged in descending order. The calculated gradient cumulative values are sorted for better feature point (keypoint) matching. S202: Normalize the aligned gradient cumulative values to obtain feature vectors of the key points. The purpose of normalization is to eliminate the effects of light. In the specific implementation, the order of the alignment and the normalization is not limited. It can be understood that the gradient cumulative values may be first aligned and then normalized, or may be normalized and then ranked.
  • Figure 3 is a schematic diagram of a calculated feature vector.
  • the circular area 30 is divided into eight sector-shaped small areas 31, wherein the diameter 32 is the length of the diameter of the circular area, and the feature 33 corresponding to each small area of the sector is by the pixels in the small area of the sector.
  • the gradient values of the points are assigned to 8 directions, and the cumulative gradients in the 8 directions are counted.
  • the feature vector of the key point includes the gradient cumulative value in eight directions in the eight sector-shaped small regions. It should be noted that the gradient cumulative value is normalized and descended.
  • the 4*4 area of the key point of the original sift algorithm is directly replaced by the circular area, and the main direction of the key point in the 4*4 area is not required to be determined, and there is no need to Rotation invariance can be satisfied by rotating the original 4*4 area of the sift.
  • the circular area is divided into 8 blocks, and the cumulative shaving values assigned to the 8 directions in each block are calculated.
  • the eigenvectors of each key point are changed from the original 4*4*8 (8 directions) dimension to 8*8 (8 directions), that is, from the original 128-dimensional to 64-dimensional, each key
  • the dimension of the feature vector of the point is reduced by half. The speed of image feature extraction is greatly improved under the premise of maintaining accuracy.
  • FIG. 4 is a schematic block diagram of a method for splicing a panorama provided by an embodiment of the present application.
  • the panoramic stitching method includes S401-S406.
  • S401 Receive an input image that needs to be stitched.
  • the image to be stitched input by the panoramic stitching method does not need to be corrected before the feature point extraction, such as by an ordinary SLR camera/phone camera.
  • the image that needs to be spliced according to the actual demand may be pre-processed, such as removing some interference noise.
  • the feature points and the feature vectors of the feature points are calculated by the embodiment shown in FIG. 1 to FIG. 2, and details are not described herein again.
  • the feature points are matched according to the calculated feature points and the feature vectors of the feature points, so that two or two images that can match each other can be found. It can be understood that two or two images that match each other have the same feature points. Since the embodiment shown in FIG. 1 to FIG. 2 can greatly improve the speed of image feature extraction under the premise of maintaining accuracy, the feature points and feature points of each image are calculated by using the embodiment shown in FIG. Vector, and then feature point matching between images, can greatly improve the speed of image matching.
  • S403 includes S501-S503.
  • S501 Calculate a first rotation matrix by using a least square method according to feature points on the image, where the first rotation matrix includes a rotation parameter. Specifically, the feature points of the images that can match each other are input, and the rotation matrix between the two images that can be matched with each other is calculated by the least square method, and the rotation matrix between the images of the two matching images can be calculated. Then, the rotation matrix between all the two mutually matching images is adjusted to the same standard, and the adjusted rotation matrix of the same standard is called the first rotation matrix.
  • the rotation matrix is a representation of camera parameters between images.
  • adjusting to the same standard can be understood as, for example, for the scale parameter, the scale of the rotation matrix of the first pair of images that can match each other is 1, and the scale of the rotation matrix of the second pair of images that can match each other is 1.5, then the scale of the rotation matrix of the second pair of images that can match each other can be adjusted to be the same as the first scale based on the scale of the rotation matrix of the first pair of images that can match each other; The scale of the first one can be changed to 1.5 based on the scale of the rotation matrix of the second pair of images that can match each other; or the scale of the two can be adjusted to 3. The same is true for other parameters such as rotation parameters and translation parameters. S502. Calculate a homography matrix according to feature points on the image.
  • the parameters in the homography matrix include rotation parameters, translation parameters, and scaling parameters. Specifically, the feature points on the images that can match each other are input, and the homography matrix is calculated by the principle of the polar geometry. For the idea of specific calculations, please refer to the description of the first rotation matrix calculation. S503. Replace the rotation parameter in the homography matrix by using the calculated rotation parameter in the first rotation matrix to obtain a transformation matrix. By replacing the rotation parameters in the homography matrix with the rotation parameters in the first rotation matrix calculated according to the least squares method, the obtained transformation matrix is more accurate.
  • the method of fusion specifically includes: equalization processing of image brightness and color, etc., so that the stitched panoramic image looks more natural.
  • the feature points of the image to be spliced are calculated and matched, the image is transformed by the transformation matrix to obtain the transformed image, the transformed image is projected to complete the splicing, and the spliced image is fused to obtain The merged panoramic image.
  • the method embodiment described above calculates the feature points of the image and performs matching by the method of the embodiment shown in FIG. 1 to FIG. 2, which speeds up the image matching speed and improves the efficiency of the panoramic image stitching.
  • the rotation parameters in the homography matrix are replaced by the rotation parameters in the first rotation matrix calculated according to the least squares method, and the obtained transformation matrix is more accurate, thereby improving the precision of the panorama stitching.
  • the transformation matrix is calculated according to the feature points on the image, that is, step S403, including S601-S603.
  • S601 using a random sampling consistency algorithm according to feature points on the image (Random Sample Consensus, RANSAC) calculates a second rotation matrix comprising rotation parameters.
  • the RANSAC algorithm finds the optimal second rotation matrix by inputting the feature points on the images that can be matched by the two pairs, and uses the model and some trusted parameters to make the number of feature points satisfying the second rotation matrix the most.
  • S602. Calculate a homography matrix according to feature points on the image.
  • the parameters in the homography matrix include rotation parameters, translation parameters, and scaling parameters.
  • the homography matrix is calculated by the principle of the polar geometry.
  • S603. Replace the rotation parameter in the homography matrix by using the calculated rotation parameter in the second rotation matrix to obtain a transformation matrix.
  • the transformation matrix is calculated according to the feature points on the image, that is, step S403, including S701-S704.
  • S701. Calculate a first rotation matrix by using a least square method according to feature points on the image, where the first rotation matrix includes a rotation parameter.
  • S702. Calculate a third rotation matrix according to the feature points on the image by using a RANSAC algorithm and a first rotation matrix, where the third rotation matrix includes a rotation parameter.
  • the rotation parameter in the first rotation matrix is taken as the initial value of the parameter in the RANSAC algorithm.
  • the third rotation matrix is calculated using the RANSAC algorithm on the basis of the initial value.
  • S703. Calculate a homography matrix according to feature points on the image.
  • the parameters in the homography matrix include rotation parameters, translation parameters, and scaling parameters. Specifically, the feature points on the images that can match each other are input, and the homography matrix is calculated by the principle of the polar geometry. S704. Replace the rotation parameter in the homography matrix by using the calculated rotation parameter in the third rotation matrix to obtain a transformation matrix.
  • the accuracy of the transformation matrix obtained is greatly improved, and the precision of the panorama stitching is greatly improved.
  • FIG. 8 is a schematic flowchart of a method for splicing a panorama according to another embodiment of the present application.
  • the method includes S801-S808.
  • the method embodiment differs from the embodiment described in FIG. 4 in that steps S802-S803 are added before the feature points of the image are calculated. For other steps, please refer to the description of the embodiment described in FIG.
  • S802. Determine whether the input image to be spliced is a fisheye image. Specifically, whether the input image is a fisheye image can be judged by judging the input parameter, such as the parameter of the type of the input image/the parameter of whether or not the fisheye distortion correction is required. If the type of the input image is the type of the fisheye image or the fisheye distortion correction is required, it is judged that the input image is a fisheye image. Because the fisheye camera does not need to take a lot of pictures compared to the ordinary SLR camera/phone camera, it improves the efficiency of image acquisition. In addition, the less image acquisition, the probability of errors in the panorama stitching process is reduced, and the accuracy of panoramic stitching is improved.
  • the input parameter such as the parameter of the type of the input image/the parameter of whether or not the fisheye distortion correction is required.
  • the method of distortion correction includes a spherical coordinate positioning method, a warp and longitude mapping method, and the like.
  • the fisheye image is processed, and the image acquired by the fisheye image is less, which reduces the probability of error in the panorama stitching process and improves the precision of the panorama stitching.
  • FIG. 9 is a schematic block diagram of a feature extraction apparatus according to an embodiment of the present application.
  • the apparatus 90 includes a first receiving unit 901, a generating unit 902, a detecting unit 903, a key point calculating unit 904, a direction calculating unit 905, an obtaining unit 906, a blocking unit 907, a calculation allocating unit 908, and a feature vector determining unit 909.
  • the first receiving unit 901 is configured to receive an input image.
  • the generating unit 902 is configured to generate a scale space of the image.
  • the detecting unit 903 is for detecting an extreme point in the scale space of the image.
  • the key point calculation unit 904 is configured to calculate a key point based on the extreme point.
  • the direction calculation unit 905 is used to calculate the direction parameter of each key point.
  • the obtaining unit 906 is configured to acquire a circular area centered on the position where the key point is located on the scale space where each key point is located.
  • Each key point includes the scale and location of the scale space in which the key point is located. Since the obtained key points may be located in different scale spaces, it is necessary to know the scale at which the key points are located, and in the scale space corresponding to the scale, obtain a circular area centered on the position where the key points are located.
  • the radius of the circular area is related to the resolution of the input image, and the resolution of the image represents the quality of the image. The higher the resolution of the input image, the smaller the radius of the circular area; the lower the resolution of the input image, the larger the radius of the circular area.
  • the diameter of the circular area is the length of the square diagonal of the 4*4 window in the key point scale space of the original sift algorithm.
  • the radius of the circular area may also be a fixed value or the like.
  • the calculation allocating unit 908 is configured to calculate the gradient cumulative value in the M directions allocated in each of the small sector regions, where M is the number of directions in the direction parameter and is a natural number greater than 1.
  • M is the number of directions in the direction parameter and is a natural number greater than 1.
  • M 8.
  • the gradient and direction of the pixel points in each small fan-shaped area are calculated, and the gradient values of the pixel points in the small fan-shaped area are allocated to eight directions, and the gradient integrated values in eight directions are counted.
  • the specific formula for calculating the gradient cumulative value is the same as the original sift algorithm, and will not be described here.
  • the feature vector determining unit 909 is configured to determine a feature vector of the key point according to the calculated N*M gradient integrated values.
  • the feature vector determining unit includes a sorting unit 101 and a normalizing unit 102.
  • the sorting unit 101 is configured to sort the calculated gradient cumulative values in descending order.
  • the calculated gradient cumulative values are sorted for better feature point (keypoint) matching.
  • the normalization unit 102 is configured to normalize the aligned gradient cumulative values to obtain feature vectors of the key points.
  • the purpose of normalization is to eliminate the effects of light.
  • the order of the alignment and the normalization is not limited. It can be understood that the gradient cumulative values may be first aligned and then normalized, or may be normalized and then ranked.
  • the 4*4 area of the key point of the original sift algorithm is directly replaced by the circular area, and the main direction of the key point in the 4*4 area is not required to be determined, and the original direction is not needed.
  • Rotation invariance can be satisfied by rotating the 4*4 area of the sift.
  • the circular area is divided into 8 blocks, and the cumulative shaving values assigned to the 8 directions in each block are calculated.
  • the eigenvectors of each key point are changed from the original 4*4*8 (8 directions) dimension to 8*8 (8 directions), that is, from the original 128-dimensional to 64-dimensional, each key
  • the dimension of the feature vector of the point is reduced by half. The speed of image feature extraction is greatly improved under the premise of maintaining accuracy.
  • the feature extraction device described above can be implemented in the form of a computer program that can be run on a feature extraction device as shown in FIG.
  • FIG. 11 is a schematic block diagram of a panoramic splicing apparatus provided by an embodiment of the present application.
  • the apparatus 110 includes a second receiving unit 111, a matching unit 112, a transformation matrix calculation unit 113, a transformation unit 114, a projection unit 115, and a fusion unit 116.
  • the second receiving unit 111 is configured to receive an input image that needs to be spliced.
  • the matching unit 112 is configured to calculate feature points and perform feature point matching according to the input image that needs to be spliced. Specifically, the feature points and the feature vectors of the feature points can be calculated by the feature extraction device as shown in FIG. 9 to FIG. 10, and the matching unit 112 performs feature point matching according to the calculated feature points and the feature vectors of the feature points.
  • the matching unit includes the first receiving unit 901, the generating unit 902, the detecting unit 903, the key point calculating unit 904, the direction calculating unit 905, the obtaining unit 906, and the blocking unit of the feature extracting device shown in FIG. 907.
  • the feature vector determining unit 906 includes a sorting unit 101 and a normalizing unit 102.
  • the matching unit 112 performs feature point matching according to the calculated feature points and the feature vectors of the feature points. This way you can find images that match each other. It can be understood that two or two images that match each other have the same feature points. Since the feature extraction device shown in FIG. 9 to FIG. 10 can greatly improve the speed of image feature extraction under the premise of maintaining accuracy, the feature extraction device or the matching unit shown in FIG. 9 to FIG. 10 is used (the matching unit includes FIG. 9 The unit corresponding to the feature extraction device shown) calculates the feature vector of each image and the feature vector of the feature point, and then performs feature point matching between the images, which can greatly improve the speed of image matching.
  • the transformation matrix calculation unit 113 is for calculating a transformation matrix from feature points on the image.
  • the transformation matrix calculation unit includes a first rotation matrix calculation unit 121, a homography matrix calculation unit 122, and a first replacement unit 123.
  • the first rotation matrix calculation unit 121 is configured to calculate a first rotation matrix by a least square method according to feature points on the image, wherein the first rotation matrix includes a rotation parameter. Specifically, the feature points of the images that can match each other are input, and the rotation matrix between the two images that can be matched with each other is calculated by the least square method, and the rotation matrix between the images of the two matching images can be calculated. Then, the rotation matrix between all the two mutually matching images is adjusted to the same standard, and the adjusted rotation matrix of the same standard is called the first rotation matrix.
  • the homography matrix calculation unit 122 is configured to calculate a homography matrix according to feature points on the image.
  • the parameters in the homography matrix include rotation parameters, translation parameters, and scaling parameters.
  • the first replacement unit 123 is configured to replace the rotation parameter in the homography matrix with the calculated rotation parameter in the first rotation matrix to obtain a transformation matrix. By replacing the rotation parameters in the homography matrix with the rotation parameters in the first rotation matrix calculated according to the least squares method, the obtained transformation matrix is more accurate.
  • the transform unit 114 is configured to transform the image using the transform matrix to obtain the transformed image. Since the camera parameters of each image may change during shooting, and the camera parameters change, the captured images may also have corresponding differences. If the image is not adjusted correspondingly and directly spliced, then ghosting will occur, which directly affects the effect of the final splicing. Therefore, it is necessary to use the transformation matrix to transform the input image that needs to be spliced. Like the camera parameters of the transformed image, there is no relative rotation, relative scale change, or relative translation.
  • the projection unit 115 is configured to project the transformed image to complete the splicing.
  • the merging unit 116 is configured to fuse the spliced images to obtain a fused panoramic image.
  • the above embodiment calculates the feature points of the image and performs matching by the embodiment shown in FIG. 9 to FIG. 10, which speeds up the image matching speed and improves the efficiency of the panoramic image stitching.
  • the rotation parameters in the homography matrix are replaced by the rotation parameters in the first rotation matrix calculated according to the least squares method, and the obtained transformation matrix is more accurate, thereby improving the precision of the panorama stitching.
  • the transformation matrix calculation unit 113 includes a second rotation matrix calculation unit 131, a homography matrix calculation unit 132, and a second replacement unit 133.
  • the second rotation matrix calculation unit 131 is configured to calculate a second rotation matrix using a RANSAC algorithm according to feature points on the image, the second rotation matrix including a rotation parameter.
  • the homography matrix calculation unit 132 is configured to calculate a homography matrix from feature points on the image.
  • the parameters in the homography matrix include rotation parameters, translation parameters, and scaling parameters.
  • the second replacement unit 133 is configured to replace the rotation parameter in the homography matrix with the rotation parameter in the calculated second rotation matrix to obtain a transformation matrix.
  • the transformation matrix calculation unit 113 includes a first rotation matrix calculation unit 141, a third rotation matrix calculation unit 142, a homography matrix calculation unit 143, and a third replacement unit 144.
  • the first rotation matrix calculation unit 141 is configured to calculate a first rotation matrix by a least square method according to feature points on the image, wherein the first rotation matrix includes a rotation parameter.
  • the third rotation matrix calculation unit 142 is configured to calculate a third rotation matrix using a RANSAC algorithm and a first rotation matrix according to feature points on the image, the third rotation matrix including a rotation parameter. Specifically, the rotation parameter in the first rotation matrix is taken as the initial value of the parameter in the RANSAC algorithm.
  • the third rotation matrix is calculated using the RANSAC algorithm on the basis of the initial value.
  • the homography matrix calculation unit 143 is configured to calculate a homography matrix from feature points on the image.
  • the third replacement unit 144 is configured to replace the rotation parameter in the homography matrix with the rotation parameter in the calculated third rotation matrix to obtain a transformation matrix.
  • FIG. 15 is a schematic block diagram of a panoramic splicing apparatus according to another embodiment of the present application.
  • the apparatus 150 includes a second receiving unit 151, a judging unit 152, a distortion correcting unit 153, a matching unit 154, a transform matrix calculating unit 155, a transform unit 156, a projecting unit 157, and a merging unit 158.
  • the difference between this embodiment and the embodiment of FIG. 11 is that the determining unit 152 and the distortion correcting unit 153 are added.
  • the determining unit 152 is configured to determine whether the input image to be stitched is a fisheye image. Specifically, whether the input image is a fisheye image can be judged by judging the input parameter, such as the parameter of the type of the input image/the parameter of whether or not the fisheye distortion correction is required. If the type of the input image is the type of the fisheye image or the fisheye distortion correction is required, it is judged that the input image is a fisheye image. Compared with the ordinary SLR camera/phone camera, the fisheye camera does not need to take a lot of pictures, and collects fewer images, which improves the efficiency of image acquisition, and also reduces the probability of errors in the panorama stitching process, and improves the panorama. The precision of the stitching.
  • the distortion correcting unit 153 is configured to perform distortion correction on the input fisheye image if the input image to be spliced is a fisheye image.
  • the above-described panoramic splicing device can be implemented in the form of a computer program that can be run on a panoramic splicing device as shown in FIG.
  • FIG. 16 is a schematic block diagram of a feature extraction device according to an embodiment of the present application.
  • the feature extraction device 160 includes an input device 161, an output device 162, a memory 163, and a processor 164.
  • the input device 161, the output device 162, the memory 163, and the processor 164 are connected by a bus 165.
  • the input device 161 is for inputting an image that requires feature extraction.
  • the input device 161 of the embodiment of the present application may include a keyboard, a mouse, a voice input device, a touch input device, and the like.
  • the output device 162 is for outputting a feature vector or the like.
  • the output device 162 of the embodiment of the present application may include a voice output device, a display, a display screen, a touch screen, and the like.
  • the memory 163 is used to store program data that implements feature extraction.
  • the memory 163 of the embodiment of the present application may be a system memory, such as a non-volatile (such as a ROM, a flash memory, etc.).
  • the memory 163 of the embodiment of the present application may also be an external memory outside the system, such as a magnetic disk, an optical disk, a magnetic tape, or the like.
  • the processor 164 is configured to run program data stored in the memory 163 to perform the following operations:
  • the processor 114 also performs the following operations:
  • the calculated N*M gradient integrated values are arranged in descending order; the aligned gradient integrated values are normalized to obtain the feature vectors of the key points.
  • FIG. 17 is a schematic block diagram of a panoramic splicing device according to an embodiment of the present application.
  • the panoramic splicing device 170 includes an input device 171, an output device 172, a memory 173, and a processor 174.
  • the input device 171, the output device 172, the memory 173, and the processor 174 are connected by a bus 175.
  • the input device 171 is for inputting an image that requires panoramic stitching.
  • the input device 171 of the embodiment of the present application may include a keyboard, a mouse, a voice input device, a touch input device, and the like.
  • the output device 172 is for outputting a panoramic image or the like.
  • the output device 172 of the embodiment of the present application may include a display, a display screen, a touch screen, and the like.
  • the memory 173 is used to store program data for realizing panoramic stitching.
  • the memory 173 of the embodiment of the present application may be a system memory, such as a non-volatile (such as a ROM, a flash memory, etc.).
  • the memory 173 of the embodiment of the present application may also be an external memory outside the system, such as a magnetic disk, an optical disk, a magnetic tape, or the like.
  • the processor 174 is configured to run program data stored in the memory 173 to perform the following operations:
  • the processor 174 also performs the following operations:
  • the processor 174 also performs the following operations:
  • the processor 174 also performs the following operations:
  • the third rotation matrix includes a rotation parameter;
  • the homography matrix is calculated according to the feature points on the image, the homography matrix includes a rotation parameter; and the rotation parameter in the calculated third rotation matrix is used to replace the rotation condition
  • the rotation parameters in the sex matrix to get the transformation matrix.
  • the application further provides a computer readable storage medium storing one or more program data, the one or more program data being executable by one or more processors to implement the following step:
  • the program data may be executed by the processor to implement the following steps:
  • the calculated cumulative values of the N*M gradients are arranged in descending order; the aligned cumulative values of the gradients are normalized to obtain the feature vectors of the key points.
  • the present application also provides another computer readable storage medium storing one or more program data, the one or more program data being executable by one or more processors to implement The following steps:
  • the transformed image is projected to complete the splicing; the spliced image is fused to obtain the fused panoramic image;
  • the calculating the feature points according to the image and performing feature point matching may be by acquiring the aforementioned computer readable storage medium
  • the calculated key point and the feature vector of the key point are implemented, and the key point is a feature point, and feature point matching is performed according to the feature point in the image and the feature vector of the feature point.
  • related program data stored in the foregoing computer readable storage medium may also be stored into the computer readable storage medium to implement the calculating feature points according to the image and calculating according to the Feature points for feature point matching.
  • the program data may be executed by the processor to implement the following steps:
  • the program data may be executed by the processor to implement the following steps:
  • the program data may be executed by the processor to implement the following steps:
  • the third rotation matrix includes a rotation parameter;
  • the homography matrix is calculated according to the feature points on the image, the homography matrix includes a rotation parameter; and the rotation parameter in the calculated third rotation matrix is used to replace the rotation condition
  • the rotation parameters in the sex matrix to get the transformation matrix.
  • the disclosed apparatus, apparatus, and method may be implemented in other manners.
  • the device embodiments described above are merely illustrative.
  • the division of the unit is only a logical function division, and the actual implementation may have another division manner.
  • the integrated unit, if implemented in the form of a software functional unit and sold or used as a standalone product, may be stored in a computer readable storage medium.
  • the aforementioned storage medium includes : U disk, removable hard disk, read-only memory (ROM, Read-Only Memory), disk or optical disk, and other media that can store program code.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供一种特征提取方法、全景拼接方法及其装置、设备、计算机可读存储介质。所述全景拼接方法包括：接收输入的需要拼接的图像；根据所述图像计算特征点并进行特征点匹配；根据所述图像上的特征点计算变换矩阵；利用变换矩阵对所述图像进行变换以得到变换后的图像；对变换后的图像进行投影以完成拼接；对拼接的图像进行融合以得到融合后的全景图像；其中，所述根据所述图像计算特征点并进行特征点匹配是根据特征提取方法计算出关键点以及所述关键点的特征向量，所述关键点即为特征点，根据所述图像中的特征点以及所述特征点的特征向量进行特征点匹配。本申请实施例提高了特征提取的速度、特征点匹配的速度、全景拼接的速度。

Description

特征提取、全景拼接方法及其装置、设备、可读存储介质
本申请要求于2017年9月5日提交中国专利局、申请号为201710790764.9、发明名称为“一种特征提取方法、全景拼接方法及其装置、设备及计算机可读存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及信息处理技术领域，尤其涉及一种特征提取方法、全景拼接方法及其装置、设备及计算机可读存储介质。
背景技术
在许多商业展示项目中，应用全景虚拟现实技术已经成为了一种发展趋势和新思路。在实现全景拼接的过程中，拼接的精度和速度都非常重要。现有的一些全景拼接算法，拼接的精度和速度不够，导致实用性较差。
发明内容
本申请实施例提供了一种特征提取方法、全景拼接方法及其装置、设备及计算机可读存储介质，在全景拼接方法中使用该特征提取方法，在保证精度的前提下，提高了全景拼接的速度，实用性较强。
第一方面，本申请实施例提供了如下方法：
一种特征提取方法，该方法包括：
接收输入的图像；生成所述图像的尺度空间；检测所述图像的尺度空间中的极值点；根据所述极值点计算关键点；计算每个关键点的方向参数；在每个关键点所在的尺度空间上，获取以关键点所在的位置为中心的圆形区域；将所述圆形区域分成N块扇形小区域，其中，N为大于1的自然数；计算每一块扇形小区域中分配到的M个方向上的梯度累计值，其中，M为方向参数中的方向个数，为大于1的自然数；根据计算出的N*M个梯度累计值确定所述关键点的特征向量。
一种全景拼接方法，该方法包括：
接收输入的需要拼接的图像；根据所述图像计算特征点并进行特征点匹配；根据所述图像上的特征点计算变换矩阵；利用变换矩阵对所述图像进行变换以得到变换后的图像；对变换后的图像进行投影以完成拼接；对拼接的图像进行融合以得到融合后的全景图像；其中，所述根据所述图像计算特征点并进行特征点匹配是根据上述特征提取方法计算出关键点以及所述关键点的特征向量，所述关键点即为特征点，根据所述图像中的特征点以及所述特征点的特征向量进行特征点匹配。
第二方面，本申请实施例提供了一种装置，该装置包括用于执行上述第一方面所述的特征提取方法的单元或者包括用于执行上述第一方面所述的全景拼接方法的单元。
第三方面，本申请实施例还提供了一种设备，所述设备包括存储器，以及与所述存储器相连的处理器；
所述存储器用于存储实现特征提取的程序数据，所述处理器用于运行所述存储器中存储的程序数据，以执行上述第一方面所述的特征提取方法；或者
所述存储器用于存储实现全景拼接的程序数据，所述处理器用于运行所述存储器中存储的程序数据，以执行上述第一方面所述的全景拼接方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上程序数据，所述一个或者一个以上程序数据可被一个或者一个以上的处理器执行，以实现上述第一方面所述的特征提取方法或者全景拼接方法。
本申请实施例，通过接收输入的需要拼接的图像；根据所述图像计算特征点并进行特征点匹配；根据所述图像上的特征点计算变换矩阵；利用变换矩阵对所述图像进行变换以得到变换后的图像；对变换后的图像进行投影以完成拼接；对拼接的图像进行融合以得到融合后的全景图像。其中，计算所述图像的特征点时，在每个关键点所在的尺度空间上，获取以关键点所在的位置为中心的圆形区域；将所述圆形区域分成N块扇形小区域；计算每一块扇形小区域中分配到的M个方向上的梯度累计值，其中，M为方向参数中的方向个数；根据计算出的N*M个梯度累计值确定所述关键点的特征向量。本申请实施例在计算特征点的特征向量时，不是在特征点所在的正方形区域内，而是在特征点所在的圆形区域内，一方面，在特征点所在的圆形区域内，无需将坐标轴旋转到特征点的方向就可以满足旋转不变性，另一方面，根据计算出的N*M个梯度累计值确定所述关键点的特征向量，减少了计算量，提高了计算的效率。计算出特征点以及特征点的特征向量，再根据特征点和特征点的特征向量进行匹配，提高了匹配的速度，同时也提高了全景拼接的速度。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种特征提取方法的流程示意图；
图2是本申请实施例提供的一种特征提取方法的子流程示意图；
图3是本申请实施例提供的一种计算出的特征向量的示意图；
图4是本申请实施例提供的一种全景拼接方法的流程示意图；
图5是本申请实施例提供的一种全景拼接方法的子流程示意图；
图6是本申请另一实施例提供的一种全景拼接方法的子流程示意图；
图7是本申请另一实施例提供的一种全景拼接方法的子流程示意图；
图8是本申请另一实施例提供的一种全景拼接方法的流程示意图；
图9是本申请实施例提供的一种特征提取装置的示意性框图；
图10是本申请实施例提供的特征向量确定单元的示意性框图；
图11是本申请实施例提供的全景拼接装置的示意性框图；
图12是本申请实施例提供的变换矩阵计算单元的示意性框图；
图13是本申请另一实施例提供的变换矩阵计算单元的示意性框图；
图14是本申请另一实施例提供的变换矩阵计算单元的示意性框图；
图15是本申请另一实施例提供的全景拼接装置的示意性框图；
图16是本申请实施例提供的一种特征提取设备的示意性框图；
图17是本申请实施例提供的一种全景拼接设备的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。也应当理解，尽管术语第一、第二等可以在此用来描述各种元素，但这些元素不应该受限于这些术语。这些术语仅用来将这些元素彼此区分开。例如，在不脱离本申请范围的前提下，第一旋转矩阵可以被称为第二旋转矩阵，并且类似地，第二旋转矩阵可以被称为第一旋转矩阵。第一旋转矩阵和第二旋转矩阵均为旋转矩阵，但他们并非同一旋转矩阵。
图1为本申请实施例提供的一种特征提取方法的流程示意图。该方法包括S101~S109。
S101，接收输入的图像。
S102，生成该图像的尺度空间。其中，尺度空间指的是：通过连续变化尺度参数获得多尺度下的尺度空间表示序列。使用尺度空间对图像进行进一步的处理，更容易获取图像的本质特征。尺度空间满足平移不变性、尺度不变性、欧几里德不变性以及仿射不变性。一个图像的尺度空间定义为一个变化尺度的高斯函数与原图像的卷积。图像的尺度空间在实现时使用高斯金字塔表示，高斯金字塔的构建分为两部分：对图像做不同尺度高斯模糊；对图像做降采样。如此得到原图像以及原图像在不同尺度上的图像，即生成了该图像的尺度空间。
S103，检测该图像的尺度空间中的极值点。使用高斯金字塔每组中相邻上下两层图像相减，得到高斯差分图像。在高斯差分图像上，寻找高斯差分函数的极值点。具体地，每一个像素点和它所有的相邻点比较，所有的相邻点包括该像素点所在的尺度空间上的相邻点和该像素点上下相邻尺度上对应的相邻点，看该像素点是否比它的相邻点大或者小，取相邻点中最大或者最小的像素值所对应的点，将该点作为一个极值点。如在3*3的像素区域内，假设中间的像素点为检测点，该检测点和它同尺度的其他8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，选取26个点中最大或者最小的像素值所对应的点，将该点作为一个极值点。其中，每个极值点包括该极值点所在的尺度空间的尺度、位置。
S104，根据极值点计算关键点。离散空间的极值点并不一定是真正的极值点。为了提高稳定性，需要从离散的极值点中找到真正的极值点，并且剔除不稳定的边缘极值点。具体地，对尺度空间高斯差分函数进行曲线拟合。
S105，计算每个关键点的方向参数。其中方向参数中包括M个方向，M为大于1的自然数。对于检测出的关键点，采集其所在高斯金字塔图像一定邻域内像素的梯度和方向分布特征。具体地，使用直方图统计邻域内像素的梯度和方向，如直方图将0~360度的方向范围分为36个柱(bins)，其中每柱10度。选取其中每柱的梯度值较大的M柱，将该M柱所在的方向作为关键点的方向。优选地，M=8。
S106，在每个关键点所在的尺度空间上，获取以关键点所在的位置为中心的圆形区域。其中，每个关键点包括该关键点所在的尺度空间的尺度、位置。因为得出的多个关键点可能位于不同的尺度空间上，需要知道关键点所在的尺度，在该尺度所对应的尺度空间上，获取以关键点所在的位置为中心的圆形区域。其中，圆形区域的半径与输入的图像的分辨率有关，图像的分辨率表示图像的质量。输入的图像的分辨率越高，圆形区域的半径越小；输入的图像的分辨率越低，圆形区域的半径越大。如此，保证能提取到有用的特征信息。优选地，该圆形区域的直径为原sift算法（David Lowe提出的算法）中关键点尺度空间内4*4的窗口所在的正方形对角线的长度。在其他实施例中，圆形区域的半径也可以是其他某个固定的值等。
S107，将圆形区域分成N块扇形小区域，其中，N为大于1的自然数。优选地，N=8。
S108，计算每一块扇形小区域中分配到的M个方向上的梯度累计值，其中，M为方向参数中的方向个数，为大于1的自然数。优选地，M=8。计算每一块扇形小区域内像素点的梯度和方向，将该扇形小区域内的像素点的梯度值分配到8个方向上，统计8个方向上的梯度累计值。其中，计算梯度累计值的具体公式与原sift算法相同，在此不再赘述。当N=8，M=8时，提取的特征向量，可以很好的表示该关键点的特征。
S109，根据计算出的N*M个梯度累计值确定关键点的特征向量。具体地，如图2所示，S109包括S201-S202。S201，将计算出的N*M个梯度累计值进行降序排列。将计算出的梯度累计值进行排序以为了更好的进行特征点（关键点）匹配。S202，对排列后的梯度累计值进行归一化，以得到关键点的特征向量。进行归一化的目的是为了消除光照的影响。在具体实现中，进行排列和归一化的顺序没有限制，可以理解为，可以对梯度累计值先排列再归一化，也可以先归一化再排列。
图3是一种计算出的特征向量的示意图。如图3所示，圆形区域30分成8个扇形小区域31，其中，直径32是圆形区域的直径的长度，每个扇形小区域所对应的特征33是通过将该扇形小区域内的像素点的梯度值分配到8个方向上，统计8个方向上的梯度累计值得出的。关键点的特征向量包括8个扇形小区域内的8个方向上的梯度累计值，需要注意的是，该梯度累计值经过归一化和降序排列。
上述方法实施例，计算关键点的特征向量时，直接将原sift算法的关键点的4*4区域换成圆形区域，无需对4*4区域中关键点的主方向进行判定，也无需对原sift的4*4区域进行旋转就可以满足旋转不变性。将圆形区域分成8块，计算每一块中分配到8个方向上的累计剃度值。最后计算出来的每个关键点的特征向量从原来的4*4*8（8个方向）维变成8*8（8个方向），即由原来的128维变成64维，每个关键点的特征向量的维数减少了一半。在保持精度的前提下大大提高了图像特征提取的速度。
图4是本申请实施例提供的一种全景拼接方法的示意性框图。该全景拼接方法包括S401-S406。
S401，接收输入的需要拼接的图像。该全景拼接方法输入的需要拼接的图像在进行特征点提取之前是无需进行畸变校正的，如通过普通的单反摄像机/手机摄像头拍摄的。需要注意的是，根据实际需求对输入的需要拼接的图像可能会做一些预处理，比如去除一些干扰噪音等。
S402，根据输入的需要拼接的图像计算特征点并进行特征点匹配。具体地，通过如图1-图2所示的实施例计算出特征点以及特征点的特征向量，在此不再赘述。根据计算出的特征点以及特征点的特征向量进行特征点匹配，如此可以找到两两可以相互匹配的图像。可以理解为，两两可以相互匹配的图像上有相同的特征点。由于图1-图2所示的实施例可以在保持精度的前提下大大提高图像特征提取的速度，利用图1-图2所示的实施例计算出每张图像的特征点和特征点的特征向量，再进行图像间的特征点匹配，可以大大提高图像匹配的速度。
S403，根据图像上的特征点计算变换矩阵。变换矩阵的精度直接影响着全景拼接的结果。
具体地，如图5所示，S403包括S501-S503。S501，根据图像上的特征点利用最小二乘法计算第一旋转矩阵，其中，第一旋转矩阵包括旋转参数。具体地，输入两两可以相互匹配的图像的特征点，利用最小二乘法计算出两两可以相互匹配的图像之间的旋转矩阵，所有的两两可以相互匹配的图像之间的旋转矩阵计算出来后，将所有两两可以相互匹配的图像之间的旋转矩阵调整到同一标准，将调整后的同一标准的旋转矩阵称为第一旋转矩阵。其中，旋转矩阵是图像之间的摄像机参数的表示。其中，调整到同一标准，可以理解为，比如对于尺度参数，第一个两两可以相互匹配的图像的旋转矩阵的尺度是1，第二个两两可以相互匹配的图像的旋转矩阵的尺度为1.5，那么可以以第一个两两可以相互匹配的图像的旋转矩阵的尺度为基准，将第二个两两可以相互匹配的图像的旋转矩阵的尺度调整到与第一个的尺度相同；也可以以第二个两两可以相互匹配的图像的旋转矩阵的尺度为基准，将第一个的尺度变为1.5；也可以将两个的尺度调整到3。同样对其他的参数如旋转参数、平移参数也需要进行如此的变换。S502，根据图像上的特征点计算单应性矩阵。该单应性矩阵中的参数包括旋转参数、平移参数和缩放参数。具体地，输入两两可以相互匹配的图像上的特征点，通过对极几何的原理，计算出单应性矩阵。具体计算的思想，请参看第一旋转矩阵计算的描述。S503，利用计算出来的第一旋转矩阵中的旋转参数替换单应性矩阵中的旋转参数以得到变换矩阵。通过根据最小二乘法计算出的第一旋转矩阵中的旋转参数替换单应性矩阵中的旋转参数，得到的变换矩阵更加的精确。
S404，利用变换矩阵对图像进行变换以得到变换后的图像。由于每张图像在拍摄时的摄像机参数可能有变化，摄像机参数变化，会导致拍摄出来的图像也存在对应的不同。如果对图像不进行相应的调整，直接做拼接，那么会出现重影，直接影响了最后拼接的效果，因此需要利用变换矩阵对输入的需要拼接的图像进行变换。变换后的图像的摄像机参数一样，不存在相对的旋转、相对尺度的变化、相对的平移。
S405，对变换后的图像进行投影以完成拼接。由于每张图像是摄像机在不同角度下拍摄得到的，所以每张图像并不在同一投影平面上，如果对重叠的图像直接进行无缝拼接，会破坏实际景物的视觉一致性，需要先对图像进行投影变换，再进行拼接。其中，若是360度拼接需使用柱面投影，若是720度拼接需使用球面投影。具体方法可以为：以其中某一张图像的对应的摄像机参数为基准，将该图像可以匹配的另一张图像使用该摄像机参数进行投影变换，直至所有的图像都投影变换完毕。最终所有的图像都在同一个坐标系、同一个投影面，并且两两可以匹配的图像之间的特征点是对应的。
S406，对拼接的图像进行融合以得到融合后的全景图像。融合的方法具体包括：图像亮度与颜色的均衡处理等，以使拼接后的全景图像看起来更自然。
上述方法实施例通过计算需要拼接的图像的特征点并进行匹配，利用变换矩阵对图像进行变换以得到变换后的图像，对变换后的图像进行投影以完成拼接，对拼接的图像进行融合以得到融合后的全景图像。上述方法实施例通过图1-图2所示的实施例的方法计算图像的特征点并进行匹配，加快了图像匹配的速度，提高了全景图像拼接的效率。另外，计算变换矩阵时，通过根据最小二乘法计算出的第一旋转矩阵中的旋转参数替换单应性矩阵中的旋转参数，得到的变换矩阵更加的精确，提高了全景拼接的精度。
在其他实施例中，如图6所示，根据图像上的特征点计算变换矩阵，即步骤S403，包括S601-S603。S601，根据图像上的特征点，利用随机抽样一致性算法（Random Sample Consensus，RANSAC）计算第二旋转矩阵，该第二旋转矩阵包括旋转参数。其中，RANSAC算法通过输入两两可以匹配的图像上的特征点，利用模型和一些可信的参数，找到最优的第二旋转矩阵使得满足第二旋转矩阵的特征点个数最多。S602，根据图像上的特征点计算单应性矩阵。该单应性矩阵中的参数包括旋转参数、平移参数和缩放参数。具体地，输入两两可以相互匹配的图像上的特征点，通过对极几何的原理，计算出单应性矩阵。S603，利用计算出来的第二旋转矩阵中的旋转参数替换单应性矩阵中的旋转参数以得到变换矩阵。通过根据RANSAC算法计算出的第二旋转矩阵中的旋转参数替换单应性矩阵中的旋转参数，得到的变换矩阵更加的精确，提高了全景拼接的精度。
在其他实施例中，如图7所示，根据图像上的特征点计算变换矩阵，即步骤S403，包括S701-S704。S701，根据图像上的特征点利用最小二乘法计算第一旋转矩阵，其中，第一旋转矩阵包括旋转参数。S702，根据图像上的特征点，利用RANSAC算法和第一旋转矩阵计算第三旋转矩阵，该第三旋转矩阵包括旋转参数。具体地，将第一旋转矩阵中的旋转参数当成是RANSAC算法中参数的初始值。在该初始值的基础上利用RANSAC算法计算第三旋转矩阵。S703，根据图像上的特征点计算单应性矩阵。该单应性矩阵中的参数包括旋转参数、平移参数和缩放参数。具体地，输入两两可以相互匹配的图像上的特征点，通过对极几何的原理，计算出单应性矩阵。S704，利用计算出来的第三旋转矩阵中的旋转参数替换单应性矩阵中的旋转参数以得到变换矩阵。利用RANSAC算法和第一旋转矩阵计算出的第三旋转矩阵中的旋转参数替换单应性矩阵中的旋转参数，得到的变换矩阵精确度上大大提高，大大提高了全景拼接的精度。
图8是本申请另一实施例提供的一种全景拼接方法的流程示意图。该方法包括S801-S808。该方法实施例与图4所述的实施例的区别在于：在计算图像的特征点之前，增加了步骤S802-S803。其他的步骤请参看图4所述的实施例的描述。
S802，判断输入的需要拼接的图像是否为鱼眼图像。具体地，可以通过判断输入的参数，如输入的图像的类型的参数/是否需要进行鱼眼畸变校正的参数，来判断输入的图像是否为鱼眼图像。如若输入的图像的类型为鱼眼图像的类型或者需要进行鱼眼畸变校正，那么判断输入的图像为鱼眼图像。因为鱼眼摄像机相对于普通的单反摄像机/手机摄像头来说，无需拍摄很多张图片，提高了采集图像的效率。另外，图像采集的越少，降低了全景拼接过程中出现误差的概率，提高全景拼接的精度。
S803，若为鱼眼图像，对输入的鱼眼图像进行畸变校正。具体地，畸变校正的方法包括球面坐标定位法、经纬映射法等。对鱼眼图像进行处理，由于鱼眼图像采集的图像较少，降低了全景拼接过程中出现误差的概率，提高全景拼接的精度。
图9为本申请实施例提供的一种特征提取装置的示意性框图。该装置90包括第一接收单元901、生成单元902、检测单元903、关键点计算单元904、方向计算单元905、获取单元906、分块单元907、计算分配单元908、特征向量确定单元909。
第一接收单元901用于接收输入的图像。
生成单元902用于生成该图像的尺度空间。
检测单元903用于检测该图像的尺度空间中的极值点。
关键点计算单元904用于根据极值点计算关键点。
方向计算单元905用于计算每个关键点的方向参数。
获取单元906用于在每个关键点所在的尺度空间上，获取以关键点所在的位置为中心的圆形区域。其中，每个关键点包括该关键点所在的尺度空间的尺度、位置。因为得出的多个关键点可能位于不同的尺度空间上，需要知道关键点所在的尺度，在该尺度所对应的尺度空间上，获取以关键点所在的位置为中心的圆形区域。其中，圆形区域的半径与输入的图像的分辨率有关，图像的分辨率表示图像的质量。输入的图像的分辨率越高，圆形区域的半径越小；输入的图像的分辨率越低，圆形区域的半径越大。如此，保证能提取到有用的特征信息。优选地，该圆形区域的直径为原sift算法中关键点尺度空间内4*4的窗口所在的正方形对角线的长度。在其他实施例中，圆形区域的半径也可以是某个固定的值等。
分块单元907用于将圆形区域分成N块扇形小区域，其中，N为大于1的自然数。优选地，N=8。
计算分配单元908用于计算每一块扇形小区域中分配到的M个方向上的梯度累计值，其中，M为方向参数中的方向个数，为大于1的自然数。优选地，M=8。计算每一块扇形小区域内像素点的梯度和方向，将该扇形小区域内的像素点的梯度值分配到8个方向上，统计8个方向上的梯度累计值。其中，计算梯度累计值的具体公式与原sift算法相同，在此不再赘述。当N=8，M=8时，提取的特征向量，可以很好的表示该关键点的特征。
特征向量确定单元909用于根据计算出的N*M个梯度累计值确定关键点的特征向量。具体地，如图10所示，特征向量确定单元包括排序单元101、归一化单元102。排序单元101用于将计算出的梯度累计值进行降序排列。将计算出的梯度累计值进行排序以为了更好的进行特征点（关键点）匹配。归一化单元102用于对排列后的梯度累计值进行归一化，以得到关键点的特征向量。进行归一化的目的是为了消除光照的影响。在具体实现中，进行排列和归一化的顺序没有限制，可以理解为，可以对梯度累计值先排列再归一化，也可以先归一化再排列。
上述实施例，计算关键点的特征向量时，直接将原sift算法的关键点的4*4区域换成圆形区域，无需对4*4区域中关键点的主方向进行判定，也无需对原sift的4*4区域进行旋转就可以满足旋转不变性。将圆形区域分成8块，计算每一块中分配到8个方向上的累计剃度值。最后计算出来的每个关键点的特征向量从原来的4*4*8（8个方向）维变成8*8（8个方向），即由原来的128维变成64维，每个关键点的特征向量的维数减少了一半。在保持精度的前提下大大提高了图像特征提取的速度。
上述特征提取装置可以实现为一种计算机程序的形式，该计算机程序可以在如图16所示的特征提取设备上运行。
图11是本申请实施例提供的全景拼接装置的示意性框图。该装置110包括第二接收单元111、匹配单元112、变换矩阵计算单元113、变换单元114、投影单元115、融合单元116。
第二接收单元111用于接收输入的需要拼接的图像。
匹配单元112用于根据输入的需要拼接的图像计算特征点并进行特征点匹配。具体地，可以通过如图9-图10所示的特征提取装置计算出特征点以及特征点的特征向量，匹配单元112根据计算出的特征点以及特征点的特征向量进行特征点匹配。在其他实施例中，匹配单元包括图9所示的特征提取装置的第一接收单元901、生成单元902、检测单元903、关键点计算单元904、方向计算单元905、获取单元906、分块单元907、计算分配单元908、特征向量确定单元909。其中，特征向量确定单元906包括排序单元101、归一化单元102。匹配单元112再根据计算出的特征点以及特征点的特征向量进行特征点匹配。如此可以找到两两可以相互匹配的图像。可以理解为，两两可以相互匹配的图像上有相同的特征点。由于图9-图10所示的特征提取装置可以在保持精度的前提下大大提高图像特征提取的速度，利用图9-图10所示的特征提取装置或者匹配单元（匹配单元中包括图9所示的特征提取装置对应的单元）计算出每张图像的特征点和特征点的特征向量，再进行图像间的特征点匹配，可以大大提高图像匹配的速度。
变换矩阵计算单元113用于根据图像上的特征点计算变换矩阵。
具体地，如图12所示，变换矩阵计算单元包括第一旋转矩阵计算单元121、单应性矩阵计算单元122、第一替换单元123。第一旋转矩阵计算单元121用于根据图像上的特征点利用最小二乘法计算第一旋转矩阵，其中，第一旋转矩阵包括旋转参数。具体地，输入两两可以相互匹配的图像的特征点，利用最小二乘法计算出两两可以相互匹配的图像之间的旋转矩阵，所有的两两可以相互匹配的图像之间的旋转矩阵计算出来后，将所有两两可以相互匹配的图像之间的旋转矩阵调整到同一标准，将调整后的同一标准的旋转矩阵称为第一旋转矩阵。单应性矩阵计算单元122用于根据图像上的特征点计算单应性矩阵。该单应性矩阵中的参数包括旋转参数、平移参数和缩放参数。第一替换单元123用于利用计算出来的第一旋转矩阵中的旋转参数替换单应性矩阵中的旋转参数以得到变换矩阵。通过根据最小二乘法计算出的第一旋转矩阵中的旋转参数替换单应性矩阵中的旋转参数，得到的变换矩阵更加的精确。
变换单元114用于利用变换矩阵对图像进行变换以得到变换后的图像。由于每张图像在拍摄时的摄像机参数可能有变化，摄像机参数变化，会导致拍摄出来的图像也存在对应的不同。如果对图像不进行相应的调整，直接做拼接，那么会出现重影，直接影响了最后拼接的效果，因此需要利用变换矩阵对输入的需要拼接的图像进行变换。变换后的图像的摄像机参数一样，不存在相对的旋转、相对尺度的变化、相对的平移。
投影单元115用于对变换后的图像进行投影以完成拼接。
融合单元116用于对拼接的图像进行融合以得到融合后的全景图像。
上述实施例通过图9-图10所示的实施例计算图像的特征点并进行匹配，加快了图像匹配的速度，提高了全景图像拼接的效率。另外，计算变换矩阵时，通过根据最小二乘法计算出的第一旋转矩阵中的旋转参数替换单应性矩阵中的旋转参数，得到的变换矩阵更加的精确，提高了全景拼接的精度。
在其他实施例中，如图13所示，变换矩阵计算单元113包括第二旋转矩阵计算单元131、单应性矩阵计算单元132、第二替换单元133。第二旋转矩阵计算单元131用于根据图像上的特征点，利用RANSAC算法计算第二旋转矩阵，该第二旋转矩阵包括旋转参数。单应性矩阵计算单元132用于根据图像上的特征点计算单应性矩阵。该单应性矩阵中的参数包括旋转参数、平移参数和缩放参数。第二替换单元133用于利用计算出来的第二旋转矩阵中的旋转参数替换单应性矩阵中的旋转参数以得到变换矩阵。通过根据RANSAC算法计算出的第二旋转矩阵中的旋转参数替换单应性矩阵中的旋转参数，得到的变换矩阵更加的精确，提高了全景拼接的精度。
在其他实施例中，如图14所示，变换矩阵计算单元113包括第一旋转矩阵计算单元141、第三旋转矩阵计算单元142、单应性矩阵计算单元143、第三替换单元144。第一旋转矩阵计算单元141用于根据图像上的特征点利用最小二乘法计算第一旋转矩阵，其中，第一旋转矩阵包括旋转参数。第三旋转矩阵计算单元142用于根据图像上的特征点，利用RANSAC算法和第一旋转矩阵计算第三旋转矩阵，该第三旋转矩阵包括旋转参数。具体地，将第一旋转矩阵中的旋转参数当成是RANSAC算法中参数的初始值。在该初始值的基础上利用RANSAC算法计算第三旋转矩阵。单应性矩阵计算单元143用于根据图像上的特征点计算单应性矩阵。第三替换单元144用于利用计算出来的第三旋转矩阵中的旋转参数替换单应性矩阵中的旋转参数以得到变换矩阵。利用RANSAC算法和第一旋转矩阵计算出的第三旋转矩阵中的旋转参数替换单应性矩阵中的旋转参数，得到的变换矩阵精确度上大大提高，大大提高了全景拼接的精度。
图15是本申请另一实施例提供的全景拼接装置的示意性框图。该装置150包括第二接收单元151、判断单元152、畸变校正单元153、匹配单元154、变换矩阵计算单元155、变换单元156、投影单元157、融合单元158。其中，该实施例与图11实施例的区别在于：增加了判断单元152、畸变校正单元153。该实施例中的其他单元请参看图11实施例的相对应的单元，在此不再赘述。
判断单元152用于判断输入的需要拼接的图像是否为鱼眼图像。具体地，可以通过判断输入的参数，如输入的图像的类型的参数/是否需要进行鱼眼畸变校正的参数，来判断输入的图像是否为鱼眼图像。如若输入的图像的类型为鱼眼图像的类型或者需要进行鱼眼畸变校正，那么判断输入的图像为鱼眼图像。因为鱼眼摄像机相对于普通的单反摄像机/手机摄像头来说，无需拍摄很多张图片，采集的图像较少，提高了采集图像的效率，同时也降低了全景拼接过程中出现误差的概率，提高全景拼接的精度。
畸变校正单元153用于若输入的需要拼接的图像为鱼眼图像，对输入的鱼眼图像进行畸变校正。
上述全景拼接装置可以实现为一种计算机程序的形式，该计算机程序可以在如图17所示的全景拼接设备上运行。
图16为本申请实施例提供的一种特征提取设备的示意性框图。该特征提取设备160包括输入装置161、输出装置162、存储器163以及处理器164，上述输入装置161、输出装置162、存储器163以及处理器164通过总线165连接。
输入装置161用于输入需要进行特征提取的图像。具体实现中，本申请实施例的输入装置161可包括键盘、鼠标、语音输入装置、触摸式输入装置等。输出装置162用于输出特征向量等。具体实现中，本申请实施例的输出装置162可包括语音输出装置、显示器、显示屏、触摸屏等。存储器163用于存储实现特征提取的程序数据。具体实现中，本申请实施例的存储器163可以是***存储器，比如非易失性的（诸如ROM，闪存等）。具体实现中，本申请实施例的存储器163还可以是***之外的外部存储器，比如，磁盘、光盘、磁带等。
处理器164用于运行存储器163中存储的程序数据，以执行如下操作：
接收输入的图像；生成所述图像的尺度空间；检测所述图像的尺度空间中的极值点；根据所述极值点计算关键点；计算每个关键点的方向参数；在每个关键点所在的尺度空间上，获取以关键点所在的位置为中心的圆形区域；将所述圆形区域分成N块扇形小区域，其中，N为大于1的自然数；计算每一块扇形小区域中分配到的M个方向上的梯度累计值，其中，M为方向参数中的方向个数，为大于1的自然数；根据计算出的N*M个梯度累计值确定所述关键点的特征向量。其中，圆形区域的半径跟输入的图像的分辨率有关，输入的图像的分辨率越高，圆形区域的半径越小；输入的图像的分辨率越低，圆形区域的半径越大。可选地，N=8，M=8。
处理器114还执行如下操作：
将计算出的N*M个梯度累计值进行降序排列；对排列后的梯度累计值进行归一化，以得到所述关键点的特征向量。
图17是本申请实施例提供的一种全景拼接设备的示意性框图。该全景拼接设备170包括输入装置171、输出装置172、存储器173以及处理器174，上述输入装置171、输出装置172、存储器173以及处理器174通过总线175连接。
输入装置171用于输入需要进行全景拼接的图像。具体实现中，本申请实施例的输入装置171可包括键盘、鼠标、语音输入装置、触摸式输入装置等。输出装置172用于输出全景图像等。具体实现中，本申请实施例的输出装置172可包括显示器、显示屏、触摸屏等。存储器173用于存储实现全景拼接的程序数据。具体实现中，本申请实施例的存储器173可以是***存储器，比如非易失性的（诸如ROM，闪存等）。具体实现中，本申请实施例的存储器173还可以是***之外的外部存储器，比如，磁盘、光盘、磁带等。
处理器174用于运行存储器173中存储的程序数据，以执行如下操作：
接收输入的需要拼接的图像；根据所述图像计算特征点并进行特征点匹配；根据所述图像上的特征点计算变换矩阵；利用变换矩阵对所述图像进行变换以得到变换后的图像；对变换后的图像进行投影以完成拼接；对拼接的图像进行融合以得到融合后的全景图像；其中，所述根据所述图像计算特征点并进行特征点匹配可以是通过获取如图16所述的特征提取设备160计算出的关键点以及所述关键点的特征向量来实现的，所述关键点即为特征点，根据所述图像中的特征点以及所述特征点的特征向量进行特征点匹配。可理解地，在其它实施例中，也可将以上特征提取设备160中存储器163所存储的相关程序数据存储到存储器173中，以实现所述根据所述图像计算特征点并根据计算出的特征点进行特征点匹配。
处理器174还执行如下操作：
根据所述图像上的特征点利用最小二乘法计算第一旋转矩阵，所述第一旋转矩阵包括旋转参数；根据所述图像上的特征点计算单应性矩阵，所述单应性矩阵包括旋转参数；利用计算出来的第一旋转矩阵中的旋转参数替换单应性矩阵中的旋转参数以得到变换矩阵。
处理器174还执行如下操作：
根据所述图像上的特征点，利用RANSAC算法计算第二旋转矩阵，所述第二旋转矩阵包括旋转参数；根据所述图像上的特征点计算单应性矩阵，所述单应性矩阵包括旋转参数；利用计算出来的第二旋转矩阵中的旋转参数替换单应性矩阵中的旋转参数以得到变换矩阵。
处理器174还执行如下操作：
根据所述图像上的特征点利用最小二乘法计算第一旋转矩阵，所述第一旋转矩阵包括旋转参数；根据所述图像上的特征点，利用RANSAC算法和第一旋转矩阵计算第三旋转矩阵，所述第三旋转矩阵包括旋转参数；根据所述图像上的特征点计算单应性矩阵，所述单应性矩阵包括旋转参数；利用计算出来的第三旋转矩阵中的旋转参数替换单应性矩阵中的旋转参数以得到变换矩阵。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上程序数据，所述一个或者一个以上程序数据可被一个或者一个以上的处理器执行，以实现以下步骤：
接收输入的图像；生成所述图像的尺度空间；检测所述图像的尺度空间中的极值点；根据所述极值点计算关键点；计算每个关键点的方向参数；在每个关键点所在的尺度空间上，获取以关键点所在的位置为中心的圆形区域；将所述圆形区域分成N块扇形小区域，其中，N为大于1的自然数；计算每一块扇形小区域中分配到M个方向上的梯度累计值，其中，M为方向参数中的方向个数，为大于1的自然数；根据计算出的N*M个梯度累计值确定所述关键点的特征向量。其中，圆形区域的半径跟输入的图像的分辨率有关，输入的图像的分辨率越高，圆形区域的半径越小；输入的图像的分辨率越低，圆形区域的半径越大。可选的，N=8，M=8。
在其中一个实施例中，该程序数据被处理器执行时还可以实现以下步骤：
将计算出的N*M梯度累计值进行降序排列；对排列后的梯度累计值进行归一化，以得到所述关键点的特征向量。
本申请还提供另一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上程序数据，所述一个或者一个以上程序数据可被一个或者一个以上的处理器执行，以实现以下步骤：
接收输入的需要拼接的图像；根据所述图像计算特征点并进行特征点匹配；根据所述图像上的特征点计算变换矩阵；利用变换矩阵对所述图像进行变换以得到变换后的图像；对变换后的图像进行投影以完成拼接；对拼接的图像进行融合以得到融合后的全景图像；其中，所述根据所述图像计算特征点并进行特征点匹配可以是通过获取前述计算机可读存储介质计算出的关键点以及所述关键点的特征向量来实现的，所述关键点即为特征点，根据所述图像中的特征点以及所述特征点的特征向量进行特征点匹配。可理解地，在其它实施例中，也可将前述计算机可读存储介质所存储的相关程序数据存储到该计算机可读存储介质中，以实现所述根据所述图像计算特征点并根据计算出的特征点进行特征点匹配。
在其中一个实施例中，该程序数据被处理器执行时还可以实现以下步骤：
根据所述图像上的特征点利用最小二乘法计算第一旋转矩阵，所述第一旋转矩阵包括旋转参数；根据所述图像上的特征点计算单应性矩阵，所述单应性矩阵包括旋转参数；利用计算出来的第一旋转矩阵中的旋转参数替换单应性矩阵中的旋转参数以得到变换矩阵。
在其中一个实施例中，该程序数据被处理器执行时还可以实现以下步骤：
根据所述图像上的特征点，利用RANSAC算法计算第二旋转矩阵，所述第二旋转矩阵包括旋转参数；根据所述图像上的特征点计算单应性矩阵，所述单应性矩阵包括旋转参数；利用计算出来的第二旋转矩阵中的旋转参数替换单应性矩阵中的旋转参数以得到变换矩阵。
在其中一个实施例中，该程序数据被处理器执行时还可以实现以下步骤：
根据所述图像上的特征点利用最小二乘法计算第一旋转矩阵，所述第一旋转矩阵包括旋转参数；根据所述图像上的特征点，利用RANSAC算法和第一旋转矩阵计算第三旋转矩阵，所述第三旋转矩阵包括旋转参数；根据所述图像上的特征点计算单应性矩阵，所述单应性矩阵包括旋转参数；利用计算出来的第三旋转矩阵中的旋转参数替换单应性矩阵中的旋转参数以得到变换矩阵。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。而前述的存储介质包括 ：U 盘、移动硬盘、只读存储器 (ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (20)

  1. 一种特征提取方法，其特征在于，所述方法包括：
    接收输入的图像；
    生成所述图像的尺度空间；
    检测所述图像的尺度空间中的极值点；
    根据所述极值点计算关键点；
    计算每个关键点的方向参数；
    在每个关键点所在的尺度空间上，获取以关键点所在的位置为中心的圆形区域；
    将所述圆形区域分成N块扇形小区域，其中，N为大于1的自然数；
    计算每一块扇形小区域中分配到的M个方向上的梯度累计值，其中，M为方向参数中的方向个数，为大于1的自然数；
    根据计算出的N*M个梯度累计值确定所述关键点的特征向量。
  2. 如权利要求1所述的方法，其特征在于，所述根据计算出的N*M个梯度累计值确定所述关键点的特征向量，包括：
    将计算出的N*M个梯度累计值进行降序排列；
    对排列后的梯度累计值进行归一化，以得到所述关键点的特征向量。
  3. 一种全景拼接方法，其特征在于，所述方法包括：
    接收输入的需要拼接的图像；
    根据所述图像计算特征点并进行特征点匹配；
    根据所述图像上的特征点计算变换矩阵；
    利用变换矩阵对所述图像进行变换以得到变换后的图像；
    对变换后的图像进行投影以完成拼接；
    对拼接的图像进行融合以得到融合后的全景图像；
    其中，所述根据所述图像计算特征点并进行特征点匹配是根据如权利要求1-2任一项所述的方法计算出关键点以及所述关键点的特征向量，所述关键点即为特征点，根据所述图像中的特征点以及所述特征点的特征向量进行特征点匹配。
  4. 如权利要求3所述的方法，其特征在于，所述根据所述图像上的特征点计算变换矩阵，包括：
    根据所述图像上的特征点利用最小二乘法计算第一旋转矩阵，所述第一旋转矩阵包括旋转参数；
    根据所述图像上的特征点计算单应性矩阵，所述单应性矩阵包括旋转参数；
    利用计算出来的第一旋转矩阵中的旋转参数替换单应性矩阵中的旋转参数以得到变换矩阵。
  5. 如权利要求3所述的方法，其特征在于，所述根据所述图像上的特征点计算变换矩阵，包括：
    根据所述图像上的特征点，利用随机抽样一致性算法计算第二旋转矩阵，所述第二旋转矩阵包括旋转参数；
    根据所述图像上的特征点计算单应性矩阵，所述单应性矩阵包括旋转参数；
    利用计算出来的第二旋转矩阵中的旋转参数替换单应性矩阵中的旋转参数以得到变换矩阵。
  6. 如权利要求3所述的方法，其特征在于，所述根据所述图像上的特征点计算变换矩阵，包括：
    根据所述图像上的特征点利用最小二乘法计算第一旋转矩阵，所述第一旋转矩阵包括旋转参数；
    根据所述图像上的特征点，利用随机抽样一致性算法和第一旋转矩阵计算第三旋转矩阵，所述第三旋转矩阵包括旋转参数；
    根据所述图像上的特征点计算单应性矩阵，所述单应性矩阵包括旋转参数；
    利用计算出来的第三旋转矩阵中的旋转参数替换单应性矩阵中的旋转参数以得到变换矩阵。
  7. 如权利要求3所述的方法，其特征在于，所述根据所述图像计算特征点并进行特征点匹配之前，所述方法还包括：
    判断所述图像是否为鱼眼图像；
    若所述图像为鱼眼图像，对所述鱼眼图像进行畸变校正；
    所述根据所述图像计算特征点并进行特征点匹配，包括：根据校正后的图像计算特征点并进行特征点匹配。
  8. 一种特征提取装置，其特征在于，所述装置包括：
    第一接收单元，用于接收输入的图像；
    生成单元，用于生成所述图像的尺度空间；
    检测单元，用于检测所述图像的尺度空间中的极值点；
    关键点计算单元，用于根据所述极值点计算关键点；
    方向计算单元，用于计算每个关键点的方向参数；
    获取单元，用于在每个关键点所在的尺度空间上，获取以关键点所在的位置为中心的圆形区域；
    分块单元，用于将所述圆形区域分成N块扇形小区域，其中，N为大于1的自然数；
    计算分配单元，用于计算每一块扇形小区域中分配到的M个方向上的梯度累计值，其中，M为方向参数中的方向个数，为大于1的自然数；
    特征向量确定单元，用于根据计算出的N*M个梯度累计值确定所述关键点的特征向量。
  9. 一种全景拼接装置，其特征在于，所述装置包括：
    第二接收单元，用于接收输入的需要拼接的图像；
    匹配单元，用于根据所述图像计算特征点并进行特征点匹配；
    变换矩阵计算单元，用于根据所述图像上的特征点计算变换矩阵；
    变换单元，用于利用变换矩阵对所述图像进行变换以得到变换后的图像；
    投影单元，用于对变换后的图像进行投影以完成拼接；
    融合单元，用于对拼接的图像进行融合以得到融合后的全景图像；
    其中，通过权利要求8所述的特征提取装置计算出关键点以及关键点的特征向量，所述关键点即为特征点，所述匹配单元再根据所述图像中的特征点和特征向量进行特征点匹配；或者
    所述匹配单元包括权利要求8所述的特征提取装置中的单元，利用权利要求8所述的特征提取装置中的单元计算出关键点以及关键点的特征向量，所述关键点即为特征点，所述匹配单元再根据所述图像中的特征点和特征向量进行特征点。
  10. 如权利要求9所述的装置，其特征在于，所述变换矩阵计算单元包括：
    第一旋转矩阵计算单元，用于根据所述图像上的特征点利用最小二乘法计算第一旋转矩阵，所述第一旋转矩阵包括旋转参数；
    单应性矩阵计算单元，用于根据所述图像上的特征点计算单应性矩阵，所述单应性矩阵包括旋转参数；
    第一替换单元，用于利用计算出来的第一旋转矩阵中的旋转参数替换单应性矩阵中的旋转参数以得到变换矩阵。
  11. 如权利要求9所述的装置，其特征在于，所述变换矩阵计算单元包括：
    第二旋转矩阵计算单元，用于根据所述图像上的特征点，利用随机抽样一致性算法计算第二旋转矩阵，所述第二旋转矩阵包括旋转参数；
    单应性矩阵计算单元，用于根据所述图像上的特征点计算单应性矩阵，所述单应性矩阵包括旋转参数；
    第二替换单元，用于利用计算出来的第二旋转矩阵中的旋转参数替换单应性矩阵中的旋转参数以得到变换矩阵。
  12. 如权利要求9所述的装置，其特征在于，所述变换矩阵计算单元包括：
    第一旋转矩阵计算单元，用于根据所述图像上的特征点利用最小二乘法计算第一旋转矩阵，所述第一旋转矩阵包括旋转参数；
    第三旋转矩阵计算单元，用于根据所述图像上的特征点，利用随机抽样一致性算法和第一旋转矩阵计算第三旋转矩阵，所述第三旋转矩阵包括旋转参数；
    单应性矩阵计算单元，用于根据所述图像上的特征点计算单应性矩阵，所述单应性矩阵包括旋转参数；
    第三替换单元，用于利用计算出来的第三旋转矩阵中的旋转参数替换单应性矩阵中的旋转参数以得到变换矩阵。
  13. 一种特征提取设备，其特征在于，所述设备包括：输入装置、输出装置、处理器以及存储器，所述输入装置、输出装置、处理器以及存储器相互连接；所述存储器用于存储实现特征提取的程序数据；所述处理器用于运行所述存储器中存储的程序数据，以执行如下操作：
    接收输入的图像；
    生成所述图像的尺度空间；
    检测所述图像的尺度空间中的极值点；
    根据所述极值点计算关键点；
    计算每个关键点的方向参数；
    在每个关键点所在的尺度空间上，获取以关键点所在的位置为中心的圆形区域；
    将所述圆形区域分成N块扇形小区域，其中，N为大于1的自然数；
    计算每一块扇形小区域中分配到的M个方向上的梯度累计值，其中，M为方向参数中的方向个数，为大于1的自然数；
    根据计算出的N*M个梯度累计值确定所述关键点的特征向量。
  14. 一种全景拼接设备，其特征在于，所述设备包括：输入装置、输出装置、处理器以及存储器，所述输入装置、输出装置、处理器以及存储器相互连接；所述存储器用于存储实现全景拼接的程序数据；所述处理器用于运行所述存储器中存储的程序数据，以执行如下操作：
    接收输入的需要拼接的图像；
    根据所述图像计算特征点并进行特征点匹配；
    根据所述图像上的特征点计算变换矩阵；
    利用变换矩阵对所述图像进行变换以得到变换后的图像；
    对变换后的图像进行投影以完成拼接；
    对拼接的图像进行融合以得到融合后的全景图像；
    其中，所述根据所述图像计算特征点并进行特征点匹配是通过权利要求13中的特征提取设备计算出关键点以及所述关键点的特征向量，所述关键点即为特征点，根据所述图像中的特征点以及特征点的特征向量进行特征点匹配；或者
    将权利要求13中存储器所存储的特征提取的程序数据存储到所述存储器中，以实现所述根据所述图像计算特征点并根据计算出的特征点进行特征点匹配。
  15. 如权利要求14所述的设备，其特征在于，所述处理器还执行如下操作：
    根据所述图像上的特征点利用最小二乘法计算第一旋转矩阵，所述第一旋转矩阵包括旋转参数；
    根据所述图像上的特征点计算单应性矩阵，所述单应性矩阵包括旋转参数；
    利用计算出来的第一旋转矩阵中的旋转参数替换单应性矩阵中的旋转参数以得到变换矩阵。
  16. 如权利要求14所述的设备，其特征在于，所述处理器还执行如下操作：
    根据所述图像上的特征点利用最小二乘法计算第一旋转矩阵，所述第一旋转矩阵包括旋转参数；
    根据所述图像上的特征点，利用随机抽样一致性算法和第一旋转矩阵计算第三旋转矩阵，所述第三旋转矩阵包括旋转参数；
    根据所述图像上的特征点计算单应性矩阵，所述单应性矩阵包括旋转参数；
    利用计算出来的第三旋转矩阵中的旋转参数替换单应性矩阵中的旋转参数以得到变换矩阵。
  17. 一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上程序数据，所述一个或者一个以上程序数据可被一个或者一个以上的处理器执行，以实现以下步骤：
    接收输入的图像；生成所述图像的尺度空间；检测所述图像的尺度空间中的极值点；根据所述极值点计算关键点；计算每个关键点的方向参数；在每个关键点所在的尺度空间上，获取以关键点所在的位置为中心的圆形区域；将所述圆形区域分成N块扇形小区域，其中，N为大于1的自然数；计算每一块扇形小区域中分配到的M个方向上的梯度累计值，其中，M为方向参数中的方向个数，为大于1的自然数；根据计算出的N*M个梯度累计值确定所述关键点的特征向量。
  18. 一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上程序数据，所述一个或者一个以上程序数据可被一个或者一个以上的处理器执行，以实现以下步骤：
    接收输入的需要拼接的图像；根据所述图像计算特征点并进行特征点匹配；根据所述图像上的特征点计算变换矩阵；利用变换矩阵对所述图像进行变换以得到变换后的图像；对变换后的图像进行投影以完成拼接；对拼接的图像进行融合以得到融合后的全景图像；
    其中，所述根据所述图像计算特征点并进行特征点匹配是通过权利要求17中的计算机可读存储介质计算出关键点以及所述关键点的特征向量，所述关键点即为特征点，根据所述图像中的特征点以及特征点的特征向量进行特征点匹配；或者
    将权利要求17中的计算机可读存储介质存储到该计算机可读存储介质中，以实现所述根据所述图像计算特征点并根据计算出的特征点进行特征点匹配。
  19. 如权利要求18所述的计算机可读存储介质，其特征在于，所述程序数据被处理器执行时还可以实现以下步骤：
    根据所述图像上的特征点利用最小二乘法计算第一旋转矩阵，所述第一旋转矩阵包括旋转参数；根据所述图像上的特征点计算单应性矩阵，所述单应性矩阵包括旋转参数；利用计算出来的第一旋转矩阵中的旋转参数替换单应性矩阵中的旋转参数以得到变换矩阵。
  20. 如权利要求18所述的计算机可读存储介质，其特征在于，所述程序数据被处理器执行时还可以实现以下步骤：
    根据所述图像上的特征点利用最小二乘法计算第一旋转矩阵，所述第一旋转矩阵包括旋转参数；根据所述图像上的特征点，利用随机抽样一致性算法和第一旋转矩阵计算第三旋转矩阵，所述第三旋转矩阵包括旋转参数；根据所述图像上的特征点计算单应性矩阵，所述单应性矩阵包括旋转参数；利用计算出来的第三旋转矩阵中的旋转参数替换单应性矩阵中的旋转参数以得到变换矩阵。
PCT/CN2017/102871 2017-09-05 2017-09-22 特征提取、全景拼接方法及其装置、设备、可读存储介质 WO2019047284A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710790764.9 2017-09-05
CN201710790764.9A CN107665479A (zh) 2017-09-05 2017-09-05 一种特征提取方法、全景拼接方法及其装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
WO2019047284A1 true WO2019047284A1 (zh) 2019-03-14

Family

ID=61098406

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/102871 WO2019047284A1 (zh) 2017-09-05 2017-09-22 特征提取、全景拼接方法及其装置、设备、可读存储介质

Country Status (2)

Country Link
CN (1) CN107665479A (zh)
WO (1) WO2019047284A1 (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111287A (zh) * 2019-04-04 2019-08-09 上海工程技术大学 一种织物多角度图像融合***及其方法
CN110232656A (zh) * 2019-06-13 2019-09-13 上海倍肯机电科技有限公司 一种解决特征点不足的图像拼接优化方法
CN110689485A (zh) * 2019-10-14 2020-01-14 中国空气动力研究与发展中心超高速空气动力研究所 一种应用于大型压力容器红外无损检测的sift图像拼接方法
CN111080525A (zh) * 2019-12-19 2020-04-28 成都海擎科技有限公司 一种基于sift特征的分布式图像和图元拼接方法
CN111223073A (zh) * 2019-12-24 2020-06-02 乐软科技（北京）有限责任公司 一种虚拟探测***
CN111242221A (zh) * 2020-01-14 2020-06-05 西交利物浦大学 基于图匹配的图像匹配方法、***及存储介质
CN111585535A (zh) * 2020-06-22 2020-08-25 中国电子科技集团公司第二十八研究所 一种反馈式数字自动增益控制电路
CN111738920A (zh) * 2020-06-12 2020-10-02 山东大学 一种面向全景拼接加速的fpga架构及全景图像拼接方法
CN111899158A (zh) * 2020-07-29 2020-11-06 北京天睿空间科技股份有限公司 考虑几何畸变的图像拼接方法
CN112037130A (zh) * 2020-08-27 2020-12-04 江苏提米智能科技有限公司 一种自适应图像拼接融合方法、装置、电子设备及存储介质
CN112102169A (zh) * 2020-09-15 2020-12-18 合肥英睿***技术有限公司 一种红外图像拼接方法、装置和存储介质
CN112163996A (zh) * 2020-09-10 2021-01-01 沈阳风驰软件股份有限公司 一种基于图像处理的平角视频融合方法
CN112419383A (zh) * 2020-10-30 2021-02-26 中山大学 一种深度图的生成方法、装置及存储介质
CN112465702A (zh) * 2020-12-01 2021-03-09 中国电子科技集团公司第二十八研究所 一种多路超高清视频同步自适应拼接显示处理方法
CN112785505A (zh) * 2021-02-23 2021-05-11 深圳市来科计算机科技有限公司 一种昼夜图像拼接方法
CN112837223A (zh) * 2021-01-28 2021-05-25 杭州国芯科技股份有限公司 一种基于重叠子区域的超大图像配准拼接方法
CN113034362A (zh) * 2021-03-08 2021-06-25 桂林电子科技大学 一种高速公路隧道监控全景影像拼接方法
CN113066012A (zh) * 2021-04-23 2021-07-02 深圳壹账通智能科技有限公司 场景图像的确认方法、装置、设备及存储介质
CN113256492A (zh) * 2021-05-13 2021-08-13 上海海事大学 一种全景视频拼接方法、电子设备及存储介质
CN113724176A (zh) * 2021-08-23 2021-11-30 广州市城市规划勘测设计研究院 一种多摄像头动作捕捉无缝衔接方法、装置、终端及介质
CN114339157A (zh) * 2021-12-30 2022-04-12 福州大学 一种观察区域可调式多相机实时拼接***及方法
CN114627262A (zh) * 2022-05-11 2022-06-14 武汉大势智慧科技有限公司 基于倾斜网格数据的图像生成方法及***
CN115861927A (zh) * 2022-12-01 2023-03-28 中国南方电网有限责任公司超高压输电公司大理局 电力设备巡检图像的图像识别方法、装置和计算机设备
CN116452426A (zh) * 2023-06-16 2023-07-18 广汽埃安新能源汽车股份有限公司 一种全景图拼接方法及装置
CN117011147A (zh) * 2023-10-07 2023-11-07 之江实验室 一种红外遥感影像特征检测及拼接方法及装置
CN117011137A (zh) * 2023-06-28 2023-11-07 深圳市碧云祥电子有限公司 基于rgb相似度特征匹配的图像拼接方法、装置及设备
CN117168344A (zh) * 2023-11-03 2023-12-05 杭州鲁尔物联科技有限公司 单目全景环视形变监测方法、装置及计算机设备

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108305281B (zh) * 2018-02-09 2020-08-11 深圳市商汤科技有限公司 图像的校准方法、装置、存储介质、程序产品和电子设备
CN110223222B (zh) * 2018-03-02 2023-12-05 株式会社理光 图像拼接方法、图像拼接装置和计算机可读存储介质
CN109102464A (zh) * 2018-08-14 2018-12-28 四川易为智行科技有限公司 全景图像拼接方法及装置
CN109272442B (zh) * 2018-09-27 2023-03-24 百度在线网络技术（北京）有限公司 全景球面图像的处理方法、装置、设备和存储介质
CN109600584A (zh) * 2018-12-11 2019-04-09 中联重科股份有限公司 观察塔机的方法和装置、塔机及机器可读存储介质
CN111797860B (zh) * 2019-04-09 2023-09-26 Oppo广东移动通信有限公司 特征提取方法、装置、存储介质及电子设备
CN110298817A (zh) * 2019-05-20 2019-10-01 平安科技（深圳）有限公司 基于图像处理的目标物统计方法、装置、设备及存储介质
CN112712518B (zh) * 2021-01-13 2024-01-09 中国农业大学 鱼类计数方法、装置、电子设备及存储介质
CN113409372B (zh) * 2021-06-25 2023-03-24 浙江商汤科技开发有限公司 图像配准方法及相关装置、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101354254A (zh) * 2008-09-08 2009-01-28 北京航空航天大学 一种飞行器航向跟踪方法
US20120148164A1 (en) * 2010-12-08 2012-06-14 Electronics And Telecommunications Research Institute Image matching devices and image matching methods thereof
CN105608667A (zh) * 2014-11-20 2016-05-25 深圳英飞拓科技股份有限公司 一种全景拼接的方法及装置
CN106558072A (zh) * 2016-11-22 2017-04-05 重庆信科设计有限公司 一种基于改进sift特征在遥感图像上配准的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101354254A (zh) * 2008-09-08 2009-01-28 北京航空航天大学 一种飞行器航向跟踪方法
US20120148164A1 (en) * 2010-12-08 2012-06-14 Electronics And Telecommunications Research Institute Image matching devices and image matching methods thereof
CN105608667A (zh) * 2014-11-20 2016-05-25 深圳英飞拓科技股份有限公司 一种全景拼接的方法及装置
CN106558072A (zh) * 2016-11-22 2017-04-05 重庆信科设计有限公司 一种基于改进sift特征在遥感图像上配准的方法

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111287A (zh) * 2019-04-04 2019-08-09 上海工程技术大学 一种织物多角度图像融合***及其方法
CN110232656A (zh) * 2019-06-13 2019-09-13 上海倍肯机电科技有限公司 一种解决特征点不足的图像拼接优化方法
CN110232656B (zh) * 2019-06-13 2023-03-28 上海倍肯智能科技有限公司 一种解决特征点不足的图像拼接优化方法
CN110689485A (zh) * 2019-10-14 2020-01-14 中国空气动力研究与发展中心超高速空气动力研究所 一种应用于大型压力容器红外无损检测的sift图像拼接方法
CN110689485B (zh) * 2019-10-14 2022-11-04 中国空气动力研究与发展中心超高速空气动力研究所 一种应用于大型压力容器红外无损检测的sift图像拼接方法
CN111080525A (zh) * 2019-12-19 2020-04-28 成都海擎科技有限公司 一种基于sift特征的分布式图像和图元拼接方法
CN111223073A (zh) * 2019-12-24 2020-06-02 乐软科技（北京）有限责任公司 一种虚拟探测***
CN111242221A (zh) * 2020-01-14 2020-06-05 西交利物浦大学 基于图匹配的图像匹配方法、***及存储介质
CN111738920A (zh) * 2020-06-12 2020-10-02 山东大学 一种面向全景拼接加速的fpga架构及全景图像拼接方法
CN111585535A (zh) * 2020-06-22 2020-08-25 中国电子科技集团公司第二十八研究所 一种反馈式数字自动增益控制电路
CN111585535B (zh) * 2020-06-22 2022-11-08 中国电子科技集团公司第二十八研究所 一种反馈式数字自动增益控制电路
CN111899158A (zh) * 2020-07-29 2020-11-06 北京天睿空间科技股份有限公司 考虑几何畸变的图像拼接方法
CN111899158B (zh) * 2020-07-29 2023-08-25 北京天睿空间科技股份有限公司 考虑几何畸变的图像拼接方法
CN112037130B (zh) * 2020-08-27 2024-03-26 江苏提米智能科技有限公司 一种自适应图像拼接融合方法、装置、电子设备及存储介质
CN112037130A (zh) * 2020-08-27 2020-12-04 江苏提米智能科技有限公司 一种自适应图像拼接融合方法、装置、电子设备及存储介质
CN112163996B (zh) * 2020-09-10 2023-12-05 沈阳风驰软件股份有限公司 一种基于图像处理的平角视频融合方法
CN112163996A (zh) * 2020-09-10 2021-01-01 沈阳风驰软件股份有限公司 一种基于图像处理的平角视频融合方法
CN112102169A (zh) * 2020-09-15 2020-12-18 合肥英睿***技术有限公司 一种红外图像拼接方法、装置和存储介质
CN112419383B (zh) * 2020-10-30 2023-07-28 中山大学 一种深度图的生成方法、装置及存储介质
CN112419383A (zh) * 2020-10-30 2021-02-26 中山大学 一种深度图的生成方法、装置及存储介质
CN112465702A (zh) * 2020-12-01 2021-03-09 中国电子科技集团公司第二十八研究所 一种多路超高清视频同步自适应拼接显示处理方法
CN112465702B (zh) * 2020-12-01 2022-09-13 中国电子科技集团公司第二十八研究所 一种多路超高清视频同步自适应拼接显示处理方法
CN112837223A (zh) * 2021-01-28 2021-05-25 杭州国芯科技股份有限公司 一种基于重叠子区域的超大图像配准拼接方法
CN112837223B (zh) * 2021-01-28 2023-08-29 杭州国芯科技股份有限公司 一种基于重叠子区域的超大图像配准拼接方法
CN112785505A (zh) * 2021-02-23 2021-05-11 深圳市来科计算机科技有限公司 一种昼夜图像拼接方法
CN112785505B (zh) * 2021-02-23 2023-01-31 深圳市来科计算机科技有限公司 一种昼夜图像拼接方法
CN113034362A (zh) * 2021-03-08 2021-06-25 桂林电子科技大学 一种高速公路隧道监控全景影像拼接方法
CN113066012A (zh) * 2021-04-23 2021-07-02 深圳壹账通智能科技有限公司 场景图像的确认方法、装置、设备及存储介质
CN113066012B (zh) * 2021-04-23 2024-04-09 深圳壹账通智能科技有限公司 场景图像的确认方法、装置、设备及存储介质
CN113256492A (zh) * 2021-05-13 2021-08-13 上海海事大学 一种全景视频拼接方法、电子设备及存储介质
CN113256492B (zh) * 2021-05-13 2023-09-12 上海海事大学 一种全景视频拼接方法、电子设备及存储介质
CN113724176A (zh) * 2021-08-23 2021-11-30 广州市城市规划勘测设计研究院 一种多摄像头动作捕捉无缝衔接方法、装置、终端及介质
CN114339157A (zh) * 2021-12-30 2022-04-12 福州大学 一种观察区域可调式多相机实时拼接***及方法
CN114627262A (zh) * 2022-05-11 2022-06-14 武汉大势智慧科技有限公司 基于倾斜网格数据的图像生成方法及***
CN114627262B (zh) * 2022-05-11 2022-08-05 武汉大势智慧科技有限公司 基于倾斜网格数据的图像生成方法及***
CN115861927A (zh) * 2022-12-01 2023-03-28 中国南方电网有限责任公司超高压输电公司大理局 电力设备巡检图像的图像识别方法、装置和计算机设备
CN116452426A (zh) * 2023-06-16 2023-07-18 广汽埃安新能源汽车股份有限公司 一种全景图拼接方法及装置
CN116452426B (zh) * 2023-06-16 2023-09-05 广汽埃安新能源汽车股份有限公司 一种全景图拼接方法及装置
CN117011137A (zh) * 2023-06-28 2023-11-07 深圳市碧云祥电子有限公司 基于rgb相似度特征匹配的图像拼接方法、装置及设备
CN117011147B (zh) * 2023-10-07 2024-01-12 之江实验室 一种红外遥感影像特征检测及拼接方法及装置
CN117011147A (zh) * 2023-10-07 2023-11-07 之江实验室 一种红外遥感影像特征检测及拼接方法及装置
CN117168344A (zh) * 2023-11-03 2023-12-05 杭州鲁尔物联科技有限公司 单目全景环视形变监测方法、装置及计算机设备
CN117168344B (zh) * 2023-11-03 2024-01-26 杭州鲁尔物联科技有限公司 单目全景环视形变监测方法、装置及计算机设备

Also Published As

Publication number Publication date
CN107665479A (zh) 2018-02-06

Similar Documents

Publication Publication Date Title
WO2019047284A1 (zh) 特征提取、全景拼接方法及其装置、设备、可读存储介质
WO2019216593A1 (en) Method and apparatus for pose processing
WO2019031873A1 (en) CONTINUOUS IMAGE ASSEMBLY
Heide et al. High-quality computational imaging through simple lenses
EP3740936A1 (en) Method and apparatus for pose processing
US8902329B2 (en) Image processing apparatus for correcting image degradation caused by aberrations and method of controlling the same
WO2016048108A1 (en) Image processing apparatus and image processing method
WO2015188685A1 (zh) 基于深度相机的人体模型获取方法及网络虚拟试衣***
WO2019047378A1 (zh) 星体快速识别方法、装置及望远镜
EP3108653A1 (en) Apparatus and method for focal length adjustment and depth map determination
US20180330470A1 (en) Digital Media Environment for Removal of Obstructions in a Digital Image Scene
EP4320472A1 (en) Device and method for predicted autofocus on an object
WO2018223602A1 (zh) 显示终端、画面对比度提高方法及计算机可读存储介质
JP6075294B2 (ja) 画像処理システム及び画像処理方法
WO2018023925A1 (zh) 拍摄方法及***
EP4367628A1 (en) Image processing method and related device
WO2016080653A1 (en) Method and apparatus for image processing
WO2022092451A1 (ko) 딥러닝을 이용한 실내 위치 측위 방법
WO2019148818A1 (zh) 图像处理方法、装置、***及计算机可读存储介质
WO2016169219A1 (zh) 提取人脸纹理的方法及装置
WO2023063679A1 (en) Device and method for predicted autofocus on an object
WO2018076560A1 (zh) 画面显示方法和装置
WO2015135497A1 (en) User classification method, apparatus, and server
WO2023055033A1 (en) Method and apparatus for enhancing texture details of images
WO2017101259A1 (zh) 图片显示方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17924357

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 24.09.2020)

122 Ep: pct application non-entry in european phase

Ref document number: 17924357

Country of ref document: EP

Kind code of ref document: A1