WO2019061064A1 - 图像处理方法和设备 - Google Patents

图像处理方法和设备 Download PDF

Info

Publication number
WO2019061064A1
WO2019061064A1 PCT/CN2017/103630 CN2017103630W WO2019061064A1 WO 2019061064 A1 WO2019061064 A1 WO 2019061064A1 CN 2017103630 W CN2017103630 W CN 2017103630W WO 2019061064 A1 WO2019061064 A1 WO 2019061064A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
depth
images
depth map
resolution
Prior art date
Application number
PCT/CN2017/103630
Other languages
English (en)
French (fr)
Inventor
周游
杜劼熹
冯华亮
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to CN201780005363.6A priority Critical patent/CN108496201A/zh
Priority to PCT/CN2017/103630 priority patent/WO2019061064A1/zh
Publication of WO2019061064A1 publication Critical patent/WO2019061064A1/zh
Priority to US16/822,937 priority patent/US11057604B2/en
Priority to US17/367,030 priority patent/US20210337175A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present application relates to the field of image processing and, more particularly, to an image processing method and apparatus.
  • Computer vision relies on imaging systems instead of visual organs as input-sensitive means.
  • the most common is the camera, for example, a dual-camera can be used to form a basic vision system.
  • the corresponding depth map can be obtained by the binocular camera system through two photos of different angles taken by the two cameras at the same time.
  • the depth map is usually calculated within a certain search range to reduce the amount of calculation.
  • this situation can cause near objects to be unrecognizable, and if the search range is relaxed, the amount of calculation is huge.
  • limiting the search range results in lower observation accuracy, especially in the distant.
  • the embodiment of the present application provides an image processing method and device, which combines depth maps obtained from high and low resolution images to obtain more accurate depth information, and does not require a large calculation.
  • an image processing method comprising:
  • the first depth map is fused with the second depth map to obtain a fused depth map.
  • an image processing apparatus including an image acquisition unit, a depth calculation unit, and a depth fusion unit;
  • the image acquisition unit is configured to: acquire at least two first images, wherein a resolution of the first image is a first resolution; acquire at least two second images, wherein a resolution of the second image is a second Resolution, the second resolution being lower than the first resolution;
  • the depth calculation unit is configured to: determine, by using the at least two first images, a first depth map corresponding to the at least two first images under a limitation of the first parallax threshold; determining, by using the at least two second images, a second depth map corresponding to the at least two second images, where the second disparity threshold is greater than the first disparity threshold;
  • the depth fusion unit is configured to: fuse the first depth map with the second depth map to obtain a fused depth map.
  • a calculation of a depth map is performed using a small parallax threshold, and a depth map is calculated using a large parallax threshold for a low-resolution image, and the resolution is based on high resolution.
  • the depth map obtained by the image and the depth map obtained based on the low-resolution image are merged.
  • the problem of large dead zone of the depth map calculated by the high image resolution and the small parallax threshold can be Low image resolution is low and the depth information calculated by the larger parallax threshold is solved, and the low depth image accuracy calculated by low image resolution and large parallax threshold can be caused by high image Resolution and the depth information calculated by the smaller parallax threshold are solved, so that the image processing method of the embodiment of the present application can obtain more accurate depth information by fusing the depth map obtained by the high and low resolution images, and does not need a larger Calculation.
  • FIG. 1 is a schematic diagram showing a manner of depth calculation.
  • FIG. 2 is a schematic flowchart of an image processing method according to an embodiment of the present application.
  • Figure 3 is a low resolution map and corresponding depth map.
  • Figure 4 shows a high resolution map and a corresponding depth map.
  • Figure 5 shows the depth map after fusion.
  • Fig. 6 is a schematic view of the position of an area to be processed in an image.
  • Fig. 7 is a schematic diagram of the position of a region to be processed in an image.
  • Figure 8 is a schematic illustration of the location of a region to be processed in an image.
  • Figure 9 is a schematic illustration of the location of a region to be processed in an image.
  • Figure 10 is a schematic diagram of a high resolution map for image block cutting.
  • Figure 11 is a schematic diagram of a high resolution map for image block cutting.
  • FIG. 12 is a schematic block diagram of an image processing apparatus according to an embodiment of the present application.
  • FIG. 13 is a schematic block diagram of an image processing apparatus according to an embodiment of the present application.
  • FIG. 14 is a schematic block diagram of an aircraft in accordance with an embodiment of the present application.
  • Computer vision relies on imaging systems instead of visual organs as input-sensitive means.
  • the most common is the camera, for example, a dual-camera can be used to form a basic vision system.
  • the corresponding depth map can be obtained by taking photos of different angles taken by the two cameras of the binocular camera system at the same time.
  • the binocular camera system can be a forward looking binocular camera system, a rearview binocular camera system, a left looking binocular camera system or a right looking binocular camera system.
  • the depth can be calculated by Equation 1 below:
  • d is the depth
  • b is the distance between the left and right cameras
  • f is the focal length of the camera
  • d p is the disparity
  • FIG. 1 is only a simple match. In the actual process, the search can be performed pixel by pixel, and FIG. 1 only performs local matching, and further optimization and adjustment can be performed later, and finally the disparity of the pixel points in the left and right images is calculated.
  • one pixel of the nose of the mask is in the 20th row and the 100th column on the left. Then, after the left and right images are rectified, in theory, the pixel at the tip of the nose is also on the right. 20 lines, and should be ⁇ 100 columns. So you can search from the 20th row and the 100th column of the right image to the left, and finally determine the 20th row.
  • the pixel of the 80th column and the pixel at the tip of the left image match the pixel, so the parallax of the pixel (disparity) is
  • 20.
  • the search range can be limited, for example, limiting the maximum search for 64 parallaxes on the image with a resolution of 320*240, that is, each pixel of the left image needs to be searched 64 times in the right image, and therefore, the matching calculation time
  • the limited search range will reduce the computational time and reduce the amount of computing resources utilized.
  • Equation 1 For objects at a longer distance, that is, objects with a small parallax, for example, the parallax is only 2, ⁇ 0.5 parallax errors will cause the calculated depth to deviate significantly from the actual depth. For objects at closer distances, for example, with a parallax of 30, ⁇ 0.5 parallax errors do not cause the calculated depth to deviate significantly from the actual depth.
  • the depth map calculated by high-resolution images may not be used due to the large dead zone.
  • the accuracy of long-distance observation is required. High, at this time the depth map calculated using the low resolution image does not meet this requirement. In some cases, the depth map calculated using the low resolution image can be used, but this requires the aircraft to limit the flight speed.
  • the embodiment of the present application provides a solution for image processing, which combines depth maps obtained by high and low resolution images to obtain more accurate depth information, and may not require a large amount of calculation.
  • FIG. 2 is a schematic diagram of an image processing method 100 in accordance with an embodiment of the present application.
  • the method 100 includes at least a portion of the following.
  • At least two first images are acquired, wherein the resolution of the first image is the first resolution.
  • the at least two first images may be derived from a binocular camera, for example, may be images taken by the binocular camera at the same time, or may be downsampled by images taken by the binocular camera at the same time. The resulting image.
  • the at least two first images may not originate from a binocular camera, for example, may be derived from a monocular or multi-head (more than binocular) camera.
  • At least two second images are acquired, wherein the resolution of the second image is a second resolution, and the second resolution is lower than the first resolution.
  • At least two second images may be obtained by separately downsampling the at least two first images.
  • the at least two first images and the at least two second images may be respectively downsampled by a higher resolution image.
  • a first depth map corresponding to at least two first images is determined under a limit of the first parallax threshold.
  • the first parallax threshold may be used as the maximum search range, and a pixel point matching a certain pixel point of another first image may be searched for on a first image, thereby finding a parallax corresponding to the pixel point, thereby The depth of the pixel can be obtained.
  • the value of the depth or depth information mentioned in the embodiment of the present application may be the depth d in Equation 1, or may be a disparity, because the disparity has an inverse relationship with the depth d, and the disparity directly reflects the depth.
  • the depth map mentioned in the embodiment of the present application may directly include the depth d of each pixel point or include the parallax corresponding to each pixel point.
  • a second depth map corresponding to at least two second images under a limit of the second parallax threshold is determined, wherein the second disparity threshold is greater than the first disparity threshold.
  • the second parallax threshold may be used as the largest search range, and a pixel that matches a certain pixel point of another second image is searched for on a second image, thereby finding a parallax corresponding to the pixel point, thereby The depth of the pixel can be obtained.
  • the first depth map is merged with the second depth map to obtain a fused depth map.
  • the fusion of the first depth map and the second depth map may be performed in the following manner:
  • the fused depth map is obtained, wherein the first partial pixel is the first depth map and the third partial pixel A matched pixel, wherein the third partial pixel is a pixel other than the second partial pixel on the second depth map.
  • the depth information of a part of the pixels of the second depth map on the second depth map may be used, and the pixels of another part of the second depth map are matched on the first depth map.
  • the depth information of the pixel is obtained as a fused depth map.
  • the fusion of the depth map of the embodiment of the present application is not limited thereto.
  • the depth information of a certain pixel in the first depth map and the depth information of the pixel matched by the pixel in the second depth map may be combined. (That is, combining two depth information, for example, performing averaging or weighting processing, etc.), and obtaining depth information of the pixel.
  • the depth of the third portion of pixels mentioned above corresponds to a disparity that is less than or equal to a third disparity threshold.
  • the distant view may be The depth information is replaced by the depth information of the matched pixels on the first depth map, so that the problem that the depth information in the far depth is not accurate can be solved.
  • the third disparity threshold is equal to a value obtained by dividing the first disparity threshold by the first value; wherein the first value is a pixel ratio of the first resolution to the second resolution in the first direction, where The first direction is a pixel scanning direction when the first depth map and the second depth map are acquired.
  • the row is scanned, and the first direction is the direction of the row, and if it is scanned by the column, the first direction is the direction of the column.
  • the scanning direction may also be other directions, which is not specifically limited in the embodiment of the present application.
  • the resolution of the first image is 640*480
  • the resolution of the second image is 320*240
  • the depth map is scanned in rows
  • the first value may be 2.
  • the depth of the second partial pixel may be maintained on the second depth map; on the second depth map, the disparity corresponding to the depth of the first pixel portion is divided by the first value The depth of the value corresponds to the depth of the third portion of the pixel.
  • the third disparity threshold may be other values, such as a value obtained by dividing the first disparity threshold by the first value.
  • the depth of the third portion of the pixel is changed on the basis of the second depth map, but the depth information of the partial pixel may not be changed on the basis of the second depth map.
  • the depth information of the first part of the pixel and the depth information of the third part of the pixel are re-recorded on a new depth map.
  • the first image will be 640*480 resolution
  • the first parallax threshold is 8 parallax
  • the second image is 320*240 resolution
  • the second parallax threshold is 64.
  • the manner of calculating the depth map of the present application will be described.
  • Step 1 Calculate a depth map by at least two images of low resolution, that is, limit the 64 disparity to be a depth map on an image with a resolution of 320*240.
  • the original image with a resolution of 640*480 can be downsampled into an image with a resolution of 320*240, and then 64 parallaxes are limited to be the depth map.
  • Figure 3 On the left side of Figure 3 is an image with a resolution of 320*240 (one of at least two images), and the right side of Figure 3 is the depth map calculated by the applicant. From the depth map of Figure 3, it can be seen that the ground is still near. It is relatively smooth, but when it is far away, there is a clear step-like shape, that is, the accuracy of the depth information calculated at a distance is not high.
  • Step 2 Pass the high-resolution map, but do a stronger parallax threshold limit, that is, a depth map with 8 parallaxes on a resolution of 640*480 image.
  • the purpose here is to calculate the distant point.
  • Step 3 Fusing the depth map obtained by the high resolution image with the depth map obtained by the low resolution image, that is, replacing the parallax or depth of the point smaller than 4 parallaxes on the depth map obtained by the low resolution image The disparity or depth of the corresponding point on the depth map obtained from the high resolution image.
  • the point where the depth corresponding to the disparity is greater than 4 is retained, and the depth of the point where the depth corresponding to the disparity is less than or equal to 4 is replaced with the depth corresponding to the high-resolution map.
  • the figure matches the parallax of the pixel/2 to get the depth.
  • FIG. 5 which is a deep map obtained by fusing the depth maps in FIGS. 3 and 4, the result is close to the result of the depth calculation performed by the applicant directly using 128 parallaxes on the high-resolution image.
  • the image when processing the image, for some reasons (for example, processing power of the system, processing efficiency), the image may be segmented or the image to be processed is intercepted from the image, and the like.
  • the segmented image and the intercepted area are used to calculate the depth map.
  • Performing a segmentation process on each of the at least two first images to obtain a segmented image block combining the image blocks having the same position on the at least two first images to obtain a plurality of image block groups Determining a depth map of each of the plurality of image block groups under the limitation of the first parallax threshold; stitching the depth maps of the plurality of image block groups to obtain the first depth map.
  • each of the first images may be separately segmented according to a processing capability of the system (eg, a maximum computing power of the computing unit).
  • the maximum computing power of the computing unit of the system is limited, if the resolution of the image is high and the size of the image is large, the calculation of the depth map cannot be performed, and the high-resolution image can be cut. Each image block cut can match the maximum computational power of the computing unit.
  • the segmentation of the image mentioned in the embodiment of the present application may be to perform average segmentation on the image.
  • the segmentation may be unevenly divided.
  • the image may be sequentially segmented according to the maximum computing power until the last image block remaining. Less than the maximum computing power of the computing unit.
  • the plurality of computing units may perform parallel processing on the obtained plurality of image block groups to obtain depth information corresponding to each image block group, thereby improving the efficiency of image processing.
  • the embodiment of the present application is not limited thereto, and although the resolution of the second image is lower than the resolution of the first image, the second image may be used.
  • the segmentation process is performed (eg, the computational power required for the second image is still greater than the maximum computational power of the computational unit), and the depth map is calculated therefrom, the implementation being consistent with the first image.
  • the second image can be segmented.
  • the area to be processed is determined according to the processing capability of the system.
  • the maximum computing power of the computing unit of the system is limited, if the resolution of the image is high and the size of the image is large, the calculation of the depth cannot be performed, and the maximum computing power of the computing unit of the system may be used. Get the area to be processed from each image.
  • the moving position of the movable object is estimated; and the area to be processed is determined on the first image according to the moving position.
  • the movable object may be an aircraft, an unmanned car, or the like.
  • At least two first images are captured by a photographing device on the movable object; a current speed of the reference object in the photographing device coordinate system is acquired; using the current speed, the moving position is estimated.
  • the current speed of the reference object in the photographing device coordinate system is estimated.
  • the current moving speed of the movable object can be acquired by the inertial measurement unit provided on the movable object, thereby estimating the current speed of the reference object in the photographing device coordinate system.
  • the current velocity of the reference object in the photographing device coordinate system is estimated.
  • the moving position of the movable object can be obtained first, and then the point in the moving position is projected into the camera coordinate system, and then the position of the point in the front and rear frames is changed to further calculate the speed of the reference object in the camera coordinate system.
  • the reference may be a relatively geostationary reference or a reference relative to the earth.
  • the reference may be an obstacle that needs to be avoided.
  • the time B can be estimated according to the speed of the reference object in the photographing device coordinate system at time A (the time B is after the time A), the position of the reference matter G in the photographing device coordinate system is P, and the point P is The projection is recorded as an image in the image taken by the A-time shooting device, and is determined by p, and the area to be processed having a specific area size is determined.
  • the position in the image can be estimated based on the speed of the reference object in the photographing device coordinate system.
  • the center of the area to be processed can be calculated. [u 0 + ⁇ u,v 0 + ⁇ v] T , and then, based on the size of the specific region, on the first image, taking [u 0 + ⁇ u, v 0 + ⁇ v] T as the origin, and capturing an image having the size of the specific region, For details, please refer to FIG. 6 and FIG. 7.
  • the pair is moved
  • the area where the dynamic position is matched is corrected to obtain a to-be-processed area having a specific area size on the first image.
  • the area to be processed as shown in FIG. 8 in which the black filled portion is the area to be processed and the large rectangular frame is the area of the first image.
  • the area matching the movable position exceeds the first image
  • the area that does not exceed the first image in the area that matches the moving position is determined as the to-be-processed area.
  • the area to be processed as shown in FIG. 9 in which the black filled portion is the area to be processed and the large rectangular frame is the area of the first image.
  • the size of the particular area is determined based on the processing capabilities of the system.
  • the size of the particular region is equal to the maximum computing power of the computing unit.
  • the embodiment of the present application is not limited thereto, and although the resolution of the second image is lower than the resolution of the first image, The area to be processed is selected in the two images (for example, the computing power required for the second image is still greater than the maximum computing power of the computing unit), and the depth map is calculated therefrom, and the implementation may be consistent with the first image.
  • the second image can be segmented.
  • the image group may be selected from the plurality of image groups according to the moving direction of the movable object, wherein the selected image group includes at least two first images.
  • the movable object may have a plurality of photographing systems, and an image in which depth information fusion needs to be performed may be selected according to a moving direction of the movable object.
  • a set of images taken by the front view camera may be selected, and the depth map corresponding to the high and low resolutions is acquired by the set of images, and the fusion of the depth information is performed.
  • a set of images taken by the front view camera and a set of images taken by the left view camera may be selected, and the two sets of images are respectively used to obtain respective high and low resolution corresponding
  • the depth map is obtained by separately obtaining depth maps for the two sets of images.
  • the depth map of the embodiment of the present application may be used for obstacle avoidance.
  • the fused depth map of the embodiment of the present application may be combined with other non-fused depth maps to perform obstacle avoidance.
  • the three depth maps and the merged depth maps are used for obstacle avoidance.
  • the third image may not be the moving direction of the movable object, for example, the opposite direction of the moving direction.
  • a set of images captured by the front view camera may be selected, and the depth map corresponding to the high and low resolutions is acquired by the set of images, and the depth information is merged to perform the front avoidance. barrier.
  • a set of images taken by the front view camera and a set of images taken by the left view camera may be selected, and the two sets of images are respectively used to obtain respective high and low resolution corresponding
  • the depth map is obtained for each of the two sets of images, and each is fused to avoid obstacles in the moving direction.
  • the image and the larger parallax threshold limit, the depth map is obtained, and the obstacle avoidance on the right side is performed.
  • the original image acquired by the sensor during actual use is a high resolution picture, that is, the resolution is 1280*800 (WXGA, or 800p), and the depth information can be used as control feedback to ensure certain depth.
  • the calculation frequency of the depth map for example, 10 Hz (ie, 10 frames per second, frame interval 100 ms)
  • the computing unit supports a maximum of 640 * 480 (VGA) images, and 100ms Up to 6 sets of pictures can be calculated.
  • Step 1 First downsample the two sets of high-resolution images WXGA taken before and after to VGA, that is, obtain 2 sets of low-resolution images;
  • Step 2 According to the flight direction, select the image group of the front view image group (for forward flight) or the rear view (for backward flight), and divide each WXGA included in the image group into four blocks, each block being slightly smaller than VGA.
  • WXGA we divide the WXGA but not downsample.
  • WXGA is split into 4 times to calculate the depth map and then stitch back, so this step is equivalent to calculating the high resolution image. Depth map, so you need to choose a more restrictive parallax threshold.
  • the image blocks of the same position may constitute an image block group, for example, as shown in FIG. 10 and FIG.
  • WXGA1 and WXGA2 are respectively divided, image block 1-1 and image block 2-1 are grouped into image block groups, and image block 1-2 and image block 2-2 are grouped into image block groups, and image block 1 is formed.
  • image block 2-3 constitute an image block group
  • the image block 1-4 and the image block 2-4 constitute an image block group.
  • Step 3 2 image groups in step 1, 4 image block groups in step 2, exactly 6 image groups and image block groups, calculate their respective depth maps by the calculation unit, and then put the high in step 1
  • the WXGA downsampled into a VGA-calculated depth map is used as a reference map, and the depth map calculated by the four small image block groups that are segmented is combined to obtain a more accurate depth map.
  • Step 1 Downsample the four sets of high-resolution WXGAs taken before, after, and so on to VGA, that is, get 4 sets of low-resolution images.
  • Step 2 According to the flight direction, select the first image group of the front view image (for forward, left front or right front flight) or rear view (backward, left rear or right rear flight), and select the left view image (
  • the second image group of left-hand, left-front or left-back flight or right-view (rightward, right-front or right-back flight) obtains two sets of images of high-resolution WXGA, and then predicts its flight trajectory according to flight speed.
  • VGA is selected for each image of the first image group to form a first image block group; and VGA is selected for each image of the second image group to form a second image block group.
  • Step 3 For the four image groups selected in step 1, and the two image block groups in step 2, calculate their respective depth maps by the calculation unit, and downsample the two sets of high-resolution images WXGA into two depths of VGA calculation.
  • the figure (the direction of the view is the same as the direction of the view of the step 2) is used as a reference image, and the depth map is respectively obtained by combining the two image block groups in the step 2, and a fusion is performed (the fusion can be performed in each direction), thereby Can get a more accurate depth map
  • a calculation of a depth map is performed using a small parallax threshold, and a depth map is calculated using a large parallax threshold for a low-resolution image, and the resolution is based on high resolution.
  • the depth map obtained by the image and the depth map obtained based on the low-resolution image are merged.
  • the problem of large dead zone of the depth map calculated by the high image resolution and the small parallax threshold can be Low image resolution is low and the depth information calculated by the larger parallax threshold is solved, and the low depth image accuracy calculated by low image resolution and large parallax threshold can be caused by high image
  • the resolution and the depth information calculated by the smaller parallax threshold are solved, so that the image processing method of the embodiment of the present application passes
  • the depth map obtained from the high and low resolution images is fused to obtain more accurate depth information, and no large calculation amount is needed, and the aircraft can be prevented from being obstacle avoidance (using a depth map based on low resolution images) to limit the flight speed.
  • the problem is described by the image processing method of the embodiment of the present application passes.
  • FIG. 12 is a schematic block diagram of an image processing apparatus according to an embodiment of the present application. As shown in FIG. 12, the device includes an image acquisition unit 310, a depth calculation unit 320, and a depth fusion unit 330;
  • the image obtaining unit 310 is configured to: acquire at least two first images, wherein a resolution of the first image is a first resolution; and acquire at least two second images, wherein a resolution of the second image is a second resolution, the second resolution being lower than the first resolution;
  • the depth calculation unit 320 is configured to: determine, by using the at least two first images, a first depth map corresponding to the at least two first images under the limitation of the first parallax threshold; and using the at least two second images, Determining, by the second parallax threshold, a second depth map corresponding to the at least two second images, where the second disparity threshold is greater than the first disparity threshold;
  • the depth fusion unit 330 is configured to: fuse the first depth map with the second depth map to obtain a fused depth map.
  • the depth fusion unit 330 is further configured to:
  • the fused depth map is obtained, wherein the first partial pixel is on the first depth map a pixel that matches a third portion of the pixel, wherein the third portion of the pixel is a pixel other than the second portion of the second depth map.
  • the depth corresponding to the depth of the third partial pixel is less than or equal to a third parallax threshold.
  • the third disparity threshold is equal to a value obtained by dividing the first disparity threshold by the first value
  • the first value is a pixel ratio of the first resolution to the second resolution in a first direction
  • the first direction is a pixel scanning direction when the first depth map and the second depth map are acquired.
  • the depth fusion unit 330 is further configured to:
  • the depth of the third partial pixel is replaced by the depth corresponding to the value obtained by dividing the depth of the first pixel portion by the value obtained by the first value.
  • the depth calculation unit 320 is further configured to:
  • the depth maps of the plurality of image block groups are spliced to obtain the first depth map.
  • the depth calculation unit 320 is further configured to:
  • Each of the first images is separately segmented according to the processing capability of the system.
  • the depth calculation unit 320 is further configured to:
  • the first depth map under the limit of the first parallax threshold is determined using the to-be-processed region of the at least two first images.
  • the depth calculation unit 320 is further configured to:
  • the area to be processed is determined according to the processing capability of the system.
  • the depth calculation unit 320 is further configured to:
  • the area to be processed is determined on the first image.
  • the depth calculation unit 320 is further configured to:
  • the area matching the moving position exceeds the first image
  • the area matching the moving position is corrected to obtain the to-be-processed area having the size of the specific area on the first image.
  • the depth calculation unit 320 is further configured to:
  • the area matching the movable position exceeds the first image
  • the area that does not exceed the first image in the area matching the moving position is determined as the to-be-processed area.
  • the depth calculation unit 320 is further configured to:
  • the size of the particular area is determined based on the processing power of the system.
  • the at least two first images are captured by a photographing device on the movable object
  • the depth calculation unit 320 is further configured to:
  • the moving position is estimated using the current velocity of the reference object in the camera coordinate system.
  • the depth calculation unit 320 is further configured to:
  • the current speed of the reference object in the photographing device coordinate system is estimated.
  • the processing power of the system is the maximum computing power of the computing unit of the system.
  • the image obtaining unit 310 is further configured to: acquire at least two third images, where the third image has the second resolution;
  • the depth calculation unit 320 is further configured to: determine, by using the at least two third images, a third depth map corresponding to the third image under the limitation of the second parallax threshold;
  • the device further includes an obstacle avoidance unit 340, configured to: use the third depth map and the merged depth map to perform obstacle avoidance.
  • the image obtaining unit 310 is further configured to:
  • the at least two first images are downsampled to obtain the at least two second images.
  • the image obtaining unit 310 is further configured to:
  • the image group is selected from a plurality of image groups according to a moving direction of the movable object, wherein the selected image group includes the at least two first images.
  • the image processing device 300 can perform the solution in the method 200, and details are not described herein for brevity.
  • FIG. 13 is a schematic block diagram of an image processing apparatus 400 according to an embodiment of the present application.
  • the image processing device 400 may include a plurality of different components that may be integrated circuits (ICs), or portions of integrated circuits, discrete electronic devices, or other suitable for use in a circuit board (such as a motherboard). Modules, or additional boards, may also be incorporated as part of a computer system.
  • ICs integrated circuits
  • circuit board such as a motherboard
  • the image processing device can include a processor 410 and a storage medium 420 coupled to the processor 410.
  • Processor 410 may include one or more general purpose processors, such as a central processing unit (CPU), or a processing device or the like.
  • the processor 410 may be a complex instruction set computing (CISC) microprocessor, a very long instruction word (VLIW) microprocessor, and implements micro-processing of multiple instruction set combinations.
  • the processor may also be one or more dedicated processors, such as an application specific integrated circuit (ASIC), a field programmable gate array (FPGA), and a digital signal processor. , DSP).
  • ASIC application specific integrated circuit
  • FPGA field programmable gate array
  • DSP digital signal processor
  • Processor 410 can be in communication with storage medium 420.
  • the storage medium 420 may be a magnetic disk, an optical disk, a read only memory (ROM), a flash memory, or a phase change memory.
  • the storage medium 420 can store instructions stored by the processor, and/or can cache some information stored from an external storage device, such as image layered pixel information of a pyramid read from an external storage device.
  • the image processing apparatus may include a display controller and/or display device unit 430, a transceiver 440, a video input output unit 450, an audio input output unit 460, and other input and output units 470.
  • These components included in image processing device 400 may be interconnected by a bus or internal connection.
  • the transceiver 440 can be a wired transceiver or a wireless transceiver, such as a WIFI transceiver, a satellite transceiver, a Bluetooth transceiver, a wireless cellular telephone transceiver, or combinations thereof.
  • a wireless transceiver such as a WIFI transceiver, a satellite transceiver, a Bluetooth transceiver, a wireless cellular telephone transceiver, or combinations thereof.
  • the video input and output unit 450 may include an image processing subsystem such as a camera, including a photo sensor, a charge coupled device (CCD) or a complementary metal-oxide semiconductor (CMOS) light. Sensor for use in shooting functions.
  • an image processing subsystem such as a camera, including a photo sensor, a charge coupled device (CCD) or a complementary metal-oxide semiconductor (CMOS) light. Sensor for use in shooting functions.
  • CCD charge coupled device
  • CMOS complementary metal-oxide semiconductor
  • the audio input and output unit 460 may include a speaker, a microphone, an earpiece, and the like.
  • other input and output devices 470 may include a storage device, a universal serial bus (USB) port, a serial port, a parallel port, a printer, a network interface, and the like.
  • USB universal serial bus
  • the image processing device 400 can perform the operations shown in the method 100.
  • the image processing device 400 can perform the operations shown in the method 100.
  • details are not described herein again.
  • the image processing device 400 or 400 may be located in a mobile device.
  • the mobile device can be moved in any suitable environment, for example, in the air (eg, a fixed-wing aircraft, a rotorcraft, or an aircraft with neither a fixed wing nor a rotor), in water (eg, a ship or submarine), on land. (for example, a car or train), space (for example, a space plane, satellite or detector), and various Any combination of environments.
  • the mobile device can be an aircraft, such as an Unmanned Aerial Vehicle (UAV).
  • UAV Unmanned Aerial Vehicle
  • the mobile device can carry a living being, such as a person or an animal.
  • FIG. 14 is a schematic block diagram of a removable device 500 in accordance with an embodiment of the present application.
  • the mobile device 500 includes a carrier 510 and a load 520.
  • the description of the mobile device in Figure 14 as a drone is for illustrative purposes only.
  • the load 520 may not be connected to the mobile device via the carrier 510.
  • the removable device 500 can also include a power system 530, a sensing system 540 and a communication system 550 and an image processing device 562 and a photographing system 564.
  • Power system 530 can include an electronic governor (referred to as an ESC), one or more propellers, and one or more electric machines corresponding to one or more propellers.
  • the motor and the propeller are disposed on the corresponding arm; the electronic governor is configured to receive a driving signal generated by the flight controller, and provide a driving current to the motor according to the driving signal to control the rotation speed and/or steering of the motor.
  • the motor is used to drive the propeller to rotate to power the UAV's flight, which enables the UAV to achieve one or more degrees of freedom of motion.
  • the UAV can be rotated about one or more axes of rotation.
  • the above-described rotating shaft may include a roll axis, a pan axis, and a pitch axis.
  • the motor can be a DC motor or an AC motor.
  • the motor can be a brushless motor or a brush motor.
  • the sensing system 540 is used to measure the attitude information of the UAV, that is, the position information and state information of the UAV in space, for example, three-dimensional position, three-dimensional angle, three-dimensional speed, three-dimensional acceleration, and three-dimensional angular velocity.
  • the sensing system may include, for example, a gyroscope, an electronic compass, an Inertial Measurement Unit ("IMU"), a vision sensor, a Global Positioning System (GPS), and a barometer. At least one of them.
  • the flight controller is used to control the flight of the UAV, for example, the UAV flight can be controlled based on the attitude information measured by the sensing system. It should be understood that the flight controller may control the UAV in accordance with pre-programmed program instructions, or may control the UAV in response to one or more control commands from the operating device.
  • Communication system 550 is capable of communicating with wireless terminal 590 via a terminal device 580 having communication system 570.
  • Communication system 550 and communication system 570 can include a plurality of transmitters, receivers, and/or transceivers for wireless communication.
  • the wireless communication herein may be one-way communication, for example, only the mobile device 500 may transmit data to the terminal device 580.
  • the wireless communication may be two-way communication, and the data may be transmitted from the mobile device 500 to the terminal device 580 or may be transmitted by the terminal device 580 to the mobile device 500.
  • terminal device 580 can provide control data for one or more of mobile device 500, carrier 510, and load 520, and can receive information transmitted by mobile device 500, carrier 510, and load 520.
  • the control data provided by terminal device 580 can be used to control the status of one or more of mobile device 500, carrier 510, and load 520.
  • a carrier 510 and load 520 include a communication module for communicating with the terminal device 580.
  • the image processing device 660 included in the mobile device shown in FIG. 14 can perform the method 100, which is not described herein for brevity.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本申请实施例提供一种图像处理方法和设备，通过将高低分辨图像得到的深度图进行融合，从而得到更精确的深度信息，并且无需较大的计算。该方法包括：获取至少两个第一图像，其中，该第一图像的分辨率为第一分辨率；获取至少两个第二图像，其中，该第二图像的分辨率为第二分辨率，该第二分辨率低于该第一分辨率；利用该至少两个第一图像，确定在第一视差阈值的限制下，该至少两个第一图像对应的第一深度图；利用该至少两个第二图像，确定在第二视差阈值的限制下，该至少两个第二图像对应的第二深度图，其中，该第二视差阈值大于该第一视差阈值；将该第一深度图与该第二深度图进行融合，以得到融合后的深度图。

Description

图像处理方法和设备
版权申明
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
技术领域
本申请涉及图像处理领域，并且更具体地，涉及一种图像处理方法和设备。
背景技术
随着计算机技术的发展，作为智能计算的重要领域，计算机视觉得到了极大的开发应用。计算机视觉是依靠成像***代替视觉器官作为输入敏感手段，其中，最常用的是摄像头，例如，可由双摄像头组成一个基础的视觉***。
目前，可以通过双目摄像头***通过两个摄像头在同一时刻拍摄的不同角度的两张照片，来得到对应的深度图。
实际在计算深度图的过程中，通常在一定的搜索范围内来计算深度图以降低计算量。然而，对于高分辨率图像来说，这种情况会造成近处的物体无法识别，若放宽搜索范围，则计算量巨大。而对于较低分辨率图像来说，限制搜索范围则会造成观测精度较低，尤其是远处的观测精度。
发明内容
本申请实施例提供一种图像处理方法和设备，通过将高低分辨图像得到的深度图进行融合，从而得到更精确的深度信息，并且无需较大的计算。
第一方面，提供了一种图像处理方法，包括：
获取至少两个第一图像，其中，该第一图像的分辨率为第一分辨率；
获取至少两个第二图像，其中，该第二图像的分辨率为第二分辨率，该第二分辨率低于该第一分辨率；
利用该至少两个第一图像，确定在第一视差阈值的限制下，该至少两个 第一图像对应的第一深度图；
利用该至少两个第二图像，确定在第二视差阈值的限制下，该至少两个第二图像对应的第二深度图，其中，该第二视差阈值大于该第一视差阈值；
将该第一深度图与该第二深度图进行融合，以得到融合后的深度图。
第二方面，提供了一种图像处理设备，包括图像获取单元、深度计算单元和深度融合单元；其中，
该图像获取单元用于：获取至少两个第一图像，其中，该第一图像的分辨率为第一分辨率；获取至少两个第二图像，其中，该第二图像的分辨率为第二分辨率，该第二分辨率低于该第一分辨率；
该深度计算单元用于：利用该至少两个第一图像，确定在第一视差阈值的限制下，该至少两个第一图像对应的第一深度图；利用该至少两个第二图像，确定在第二视差阈值的限制下，该至少两个第二图像对应的第二深度图，其中，该第二视差阈值大于该第一视差阈值；
该深度融合单元用于：将该第一深度图与该第二深度图进行融合，以得到融合后的深度图。
在本申请实施例中，针对高分辨率图像，采用较小的视差阈值进行深度图的计算，以及针对低分辨率图像，采用较大的视差阈值进行深度图的计算，并将基于高分辨率图像得到的深度图以及基于低分辨率图像得到的深度图进行融合，因此，为了节省计算量，而通过高的图像分辨率以及较小的视差阈值计算的深度图死区大的问题，可以由低的图像分辨率低以及较大的视差阈值计算的深度信息来解决，以及，通过低的图像分辨率以及较大的视差阈值计算的远处深度信息精确度低的问题，可以由高的图像分辨率以及较小的视差阈值计算的深度信息来解决，从而本申请实施例的图像处理方法，通过将高低分辨图像得到的深度图进行融合，从而得到更精确的深度信息，并且无需较大的计算。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造 性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是示出了深度计算方式的示意性图。
图2是根据本申请实施例的图像处理方法的示意性流程图。
图3是低分辨率图以及对应的深度图。
图4示出了高分辨率图以及对应的深度图。
图5示出了融合后的深度图。
图6是待处理区域在图像中的位置的示意性图。
图7是待处理区域在图像中的位置的示意性图。
图8是待处理区域在图像中的位置的示意性图。
图9是待处理区域在图像中的位置的示意性图。
图10是高分辨率图进行图像块切割的示意性图。
图11是高分辨率图进行图像块切割的示意性图。
图12是根据本申请实施例的图像处理设备的示意性框图。
图13是根据本申请实施例的图像处理设备的示意性框图。
图14是根据本申请实施例的飞行器的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。
计算机视觉是依靠成像***代替视觉器官作为输入敏感手段，其中，最常用的是摄像头，例如，可由双摄像头组成一个基础的视觉***。
可以通过双目摄像头***的两个摄像头在同一时刻拍摄的不同角度的照片，来得到对应的深度图。该双目摄像头***可以是前视双目摄像头***，后视双目摄像头***，左视双目摄像头***或右视双目摄像头***等。
实际在计算深度图的过程中，可以根据两个摄像头同一时刻拍摄的两张 图，来进行匹配计算，计算出每一个像素的深度信息。
可选地，可以通过以下公式1计算深度：
Figure PCTCN2017103630-appb-000001
其中，d是深度，b是左右相机之间的距离，f是相机的焦距，dp是视差(disparity)。
从上式1可以看出，由于b和f是物理属性，一般保持不变，则d与dp成反比关系。对于近距离的物体而言，深度较小，那么视差较大，而对于远距离的物体而言，深度较大，对应的视差较小。
以下将结合图1举例说明如何计算深度。。
如图1所示，在右图中寻找与左图的一个像素点匹配的像素点，也即在右图中，在一条直线上搜索遍历，从而找出与左图的该像素点匹配的像素点，也即匹配分值(Match Score Values)最高的像素点，并计算左图的像素点与右图的匹配的像素点之间的视差。
应理解，图1只是一个简单的匹配，实际过程中可以逐个像素进行搜索，并且图1只做了局部的匹配，后续还可以进一步优化调整，最终计算出像素点在左右图的视差(disparity)
例如，如图1所示，面具的鼻尖的一个像素点在左图的第20行，第100列，那么左右图经过预处理(rectify)后，理论上，鼻尖这个像素点在右图也是第20行，并且应该是<100列的。所以可以从右图的第20行，第100列这个像素点向左搜索，最终确定第20行，第80列的像素点和左图的鼻尖处的像素点最匹配，那么该像素点的视差(disparity)为|80-100|＝20。
由此可以看出，对于高分辨率的图像每行的每个像素都做匹配计算，所需的时间较长。所以，在实际计算中，可以限制搜索范围，比如限制在分辨率320*240的图像上最大搜索64个视差，即，左图的每个像素需要在右图搜索64次，因此，匹配计算时所限制的最大搜索范围将会降低计算耗时，以及减少利用的计算资源。
但对于更高分辨率的图像而言，例如，在分辨率640*480的图像上，同样限制最大搜索64个视差，会造成近处的物体无法识别，即死区大。若放 宽搜索范围，则所需的计算量较大。
而对于较低分辨率的图像而言，例如，在分辨率320*240的图像上，限制最大搜索64个视差，则会造成远处物体的观测精度较低。这可以由公式1看出，对于较远距离的物体，即视差较小的物体，例如，视差仅为2，±0.5个视差误差就会使得计算得到的深度较大偏离于实际的深度，而对于较近距离的物体而言，例如，视差为30，则±0.5个视差误差不会使得计算得到的深度较大偏离于实际的深度。
从以上分析可知，对于近处的物体而言，如果针对分辨率320*240的图像，限制最大搜索64个视差，那么针对分辨率640*480的图像，则需要限制最大搜索128个视差，这将导致计算资源暴涨。而对于远处物体来说，如果针对分辨率640*480的图像，限制最大搜索2个视差，那么针对分辨率320*240的图像，则需要限制最大搜索1个视差，导致观测精度较低。
如果既要能够准确观测到近处物体，针对远处物体，又需要较高的观测精度，针对分辨率为640*480的图像，需要限制最大搜索128个视差，这需要较大的计算量，对于实时性要求较高的飞行器来说，这是比较难于实现。
飞行器在低空飞行时，需要近距离的避障，利用高分辨率图像计算的深度图，由于死区大的原因，可能没法采用；而飞行器在高速飞行时，对远距离的观测精度要求较高，这时候利用低分辨率图像计算的深度图不能满足该要求，有些情况下，可以使用低分辨图像计算的深度图，但是这要求飞行器限制飞行速度。
为此，本申请实施例提供一种图像处理的方案，通过将高低分辨图像得到的深度图进行融合，以得到更精确的深度信息，并且可以无需较大的计算量。
图2是根据本申请实施例图像处理方法100的示意性图。该方法100包括以下内容中的至少部分内容。
在110中，获取至少两个第一图像，其中，第一图像的分辨率为第一分辨率。
可选地，该至少两个第一图像可以源于双目摄像头，例如，可以是双目摄像头在同一时刻拍摄的图像，或者，也可以是由双目摄像头在同一时刻拍摄的图像进行降采样得到的图像。
应理解，该至少两个第一图像可以并不源于双目摄像头，例如，可以源于单目或多目(多于双目)摄像头。
在120中，获取至少两个第二图像，其中，第二图像的分辨率为第二分辨率，第二分辨率低于第一分辨率。
可选地，可以通过对至少两个第一图像分别进行降采样，得到至少两个第二图像。
可选地，该至少两个第一图像和至少两个第二图像可以是分别由更高的分辨率的图像降采样得到的。
在130中，利用至少两个第一图像，确定在第一视差阈值的限制下，至少两个第一图像对应的第一深度图。
具体地，可以以该第一视差阈值作为最大的搜索范围，在一个第一图像上，搜索与另一个第一图像的某一像素点匹配的像素点，从而找到该像素点对应的视差，从而可以得到该像素点的深度。
本申请实施例提到的深度或深度信息的取值可以是公式1中的深度d，也可以是视差，这是由于视差与深度d具有反比关系，视差直接反映了深度。
具体地，本申请实施例提到的深度图可以直接包括各个像素点的深度d或者包括各个像素点对应的视差。
在140中，利用至少两个第二图像，确定在第二视差阈值的限制下，至少两个第二图像对应的第二深度图，其中，第二视差阈值大于第一视差阈值。
具体地，可以以该第二视差阈值作为最大的搜索范围，在一个第二图像上，搜索与另一个第二图像的某一像素点匹配的像素点，从而找到该像素点对应的视差，从而可以得到该像素点的深度。
在150中，将第一深度图与第二深度图进行融合，以得到融合后的深度图。
可选地，第一深度图与第二深度图的融合可以采用以下方式：
利用第一深度图上的第一部分像素的深度，以及第二深度图上的第二部分像素的深度，得到融合后的深度图，其中，第一部分像素是第一深度图上与第三部分像素匹配的像素，其中，第三部分像素是第二深度图上除第二部分像素之外的像素。
具体地，在该种方案中，可以采用第二深度图的一部分像素在第二深度图上的深度信息，以及第二深度图的另一部分的像素在第一深度图上匹配的 像素的深度信息，得到融合后的深度图。
应理解，本申请实施例的深度图的融合并不限于此，例如，可以将某一像素在第一深度图的深度信息，以及该像素匹配的像素在第二深度图的深度信息进行结合处理(也即综合两个深度信息，例如进行平均或加权处理等)，得到该像素的深度信息。
可选地，上述提到的第三部分像素的深度对应的视差小于或等于第三视差阈值。
具体地，由于较低的分辨率以及较大的视差阈值计算的第二深度图对于远处(即对应的视差较小)物或人计算的深度信息的精度较低，则可以将远处的深度信息由第一深度图上匹配的像素的深度信息来替换，从而可以解决远处的深度信息精确度不高的问题。
可选地，第三视差阈值等于第一视差阈值除以第一值所得到的值；其中，第一值是在第一方向上，第一分辨率与第二分辨率的像素比，其中，第一方向是获取第一深度图和第二深度图时的像素扫描方向。
可选地，获取深度图时是按行扫描，则该第一方向是行的方向，如果是按列扫描，则该第一方向是列的方向。当然，扫描方向也可以是其它方向,本申请实施例对此不作具体限定。
例如，第一图像的分辨率是640*480，第二图像的分辨率是320*240，且获取深度图时是按行扫描的，则该第一值可以是2。
可选地，在本申请实施例中，可以在第二深度图上，保持第二部分像素的深度；在第二深度图上，利用第一像素部分的深度对应的视差除以第一值得到的值对应的深度，对第三部分像素的深度进行替换。
应理解，除了第一视差阈值除以第一值所得到的值，第三视差阈值还可以是其它的值，例如小于第一视差阈值除以第一值所得到的值。
应理解，此处是在第二深度图的基础上，对第三部分像素的深度进行更改，但是本申请实施例也可以不在第二深度图的基础上对部分像素的深度信息进行更改，而是将第一部分像素的深度信息，以及第三部分像素的深度信息重新记录在一张新的深度图上。
为了更加清楚地理解本申请，以下将以第一图像为640*480分辨率的图像，第一视差阈值为8个视差，第二图像为320*240分辨率的图像，第二视差阈值是64为例，对本申请的计算深度图的方式进行说明。
步骤1：通过低分辨率的至少两个图像算一个深度图，即在分辨率为320*240的图像上，限制64个视差做深度图。
具体地，可以把分辨率为640*480的原图降采样成分辨率320*240的图像后，然后限制64个视差做深度图。
例如，图3左侧是分辨率为320*240的图像(至少两个图像中的一个)，图3右侧是申请人计算的深度图，从图3的深度图可以看出近处地面还较为光滑，但是到了远处地面就有明显的阶梯状，也即远处计算的深度信息精确度不高。
步骤2：通过高分辨率图，但是做更强的视差阈值限制，即在分辨率为640*480图像上做8个视差的深度图，这里目的在于计算远处的点。
例如，图4左侧是分辨率为640*480的图像(至少两张图像中的一张)，图4右侧是申请人计算的深度图，在高分辨率图上只做8个视差的搜索，从图4右侧所示的深度图可以看出，虽然近处的地面都算错了，但是远处地面更加平滑。
步骤3：将高分辨率图像得到的深度图与低分辨图像得到的深度图进行融合，也即，在低分辨率图像得到的深度图上，将小于4个视差的点的视差或深度替换为高分辨率图像得到的深度图上对应的点的视差或深度。
也即，在低分辨率图像得到的深度图上，将深度对应的视差大于4的点保留原有计算，将深度对应的视差小于或等于4的点的深度替换为高分辨率图对应的深度图匹配的像素的视差/2得到的深度。
例如，如图5所示，即为图3和图4中的深度图融合后得到的深图，该结果接近于申请人直接使用128个视差对高分辨率的图像进行深度计算的结果。
应理解，图3-5中灰色的颜色越深代表深度越大，但是由于仅用灰度图图示的原因，导致有些地方的颜色深浅度可能与深度没有较好的关联。
可选地,在本申请实施例中,在对图像进行处理时,针对有些原因(例如,***的处理能力,处理效率),可以对图像进行分割或从图像中截取待处理区域等,并利用分割后的图像以及截取的区域,计算深度图。
为了便于理解，以下将结合两种实现方式进行详细说明，但应理解，本申请实施例的分割或获取待处理区域的实现方式并不限于此，以及，以下方式1和方式2的有些特征在不矛盾的情况下，可以结合使用。
方式1
对至少两个第一图像的每个第一图像分别进行分割处理，以得到分割后的图像块；将至少两个第一图像上具有相同位置的图像块进行组合，以得到多个图像块组；确定在第一视差阈值的限制下，多个图像块组中每个图像块组的深度图；将多个图像块组的深度图进行拼接，以得到第一深度图。
可选地，可以根据***的处理能力(例如，计算单元的最大计算能力)，对每个第一图像分别进行分割处理。
具体地，由于***的计算单元的最大计算能力有限，如果图像的分辨率较高且图像的尺寸较大时，则会导致无法进行深度图的计算，则可以对该高分辨的图像进行切割，切割的每个图像块可以符合计算单元的最大计算能力。
可选地，本申请实施例提到的对图像进行分割可以是对图像进行平均分割，当然，也可以不平均分割，例如，先按照最大的计算能力进行依次分割，直到剩余的最后一个图像块小于计算单元的最大计算能力。
可选地，多个计算单元可以对得到的多个图像块组进行并行处理，以得到各个图像块组对应的深度信息，从而可以提高图像处理的效率。
应理解，虽然上述实施例对第一图像进行分割为例进行说明，但是本申请实施例并不限于此，虽然第二图像的分辨率低于第一图像的分辨率，也可以对第二图像进行分割处理(例如，第二图像所需的计算能力仍然大于计算单元的最大计算能力)，并以此计算深度图，实现方式可以与第一图像一致。但是，则可以对第二图像进行分割。
方式2
在至少两个第一图像中的每个第一图像上，分别确定待处理区域；利用至少两个第一图像的待处理区域，确定在第一视差阈值的限制下的第一深度图。
可选地，根据***的处理能力，确定待处理区域。
具体地，由于***的计算单元的最大计算能力有限，如果图像的分辨率较高且图像的尺寸较大时，则会导致无法进行深度的计算，则可以根据***的计算单元的最大计算能力，从每个图像上获取待处理区域。
可选地，预估可移动物体的移动位置；根据移动位置，在第一图像上，确定待处理区域。
可选地，该可移动物体可以为飞行器，无人驾驶的汽车等。
可选地，至少两个第一图像由可移动物体上的拍摄设备拍摄得到的；获取参照物在拍摄设备坐标系下的当前速度；利用该当前速度，预估移动位置。
可选地，利用可移动物体的当前移动速度，估计得到参照物在拍摄设备坐标系下的当前速度。
例如，可以通过可移动物体上设置的惯性测量单元来获取可移动物体的当前移动速度，从而估计参照物在拍摄设备坐标系下的当前速度。
可选地，利用可移动物体的已移动轨迹，估计得到参照物在拍摄设备坐标系下的当前速度。
例如，可以先得到可移动物体的移动位置，再把移动位置中的点投影到相机坐标系中，再通过前后帧该点位置的变化，来进一步计算得出参照物在相机坐标系下的速度。
可选地，该参照物可以是相对地球静止的参照物，也可以是相对地球移动的参照物。可选地，该参照物可以是需要躲避的障碍物。
可选地，可以根据参照物在拍摄设备坐标系下A时刻的速度，估计出B时刻(B时刻在A时刻之后)，该参照物质心G在拍摄设备坐标系下的位置P，将点P投影在A时刻拍摄设备拍摄的图像中，记为p，并以p为中心，确定具有特定区域大小的待处理区域。
具体地，可以根据参照物在拍摄设备坐标系下的速度来预估接下来的在图像中的位置。我们已知
Figure PCTCN2017103630-appb-000002
并知道了相机的焦距f，这里通过相似三角形关系有：
Figure PCTCN2017103630-appb-000003
有了偏移[Δu,Δv]T，再根据标定参数给出的第一图像的光轴坐标(图像的原中心点)[u0,v0]T，就可以计算出待处理区域的中心[u0+Δu,v0+Δv]T，然后根据特定区域大小，在第一图像上，以[u0+Δu,v0+Δv]T为原点，截取具有该特定区域大小的图像，具体可以参见图6和图7所示。
在一种实现方式中，在与移动位置匹配的区域超出第一图像时，对与移 动位置匹配的区域进行修正，以在第一图像上，得到具有特定区域大小的待处理区域。例如，如图8所示的待处理区域，其中，黑色填充部分为待处理区域，大矩形框为第一图像的区域。
在另一种实现方式中，在与可移动位置匹配的区域超出第一图像时，将与移动位置匹配的区域中未超出第一图像的区域，确定为待处理区域。例如，如图9所示的待处理区域，其中，黑色填充部分为待处理区域，大矩形框为第一图像的区域。
可选地，根据***的处理能力，确定特定区域大小。例如，该特定区域大小等于计算单元的最大计算能力。
理解，虽然上述实施例以从第一图像选取待处理区域为例进行说明，但是本申请实施例并不限于此，虽然第二图像的分辨率低于第一图像的分辨率，也可从第二图像中选取待处理区域(例如，第二图像所需的计算能力仍然大于计算单元的最大计算能力)，并以此计算深度图，实现方式可以与第一图像一致。但是，则可以对第二图像进行分割。
可选地，在本申请实施例中，可以根据可移动物体的移动方向，从多个图像组中选择图像组，其中，选择的图像组包括至少两个第一图像。
具体地，可移动物体可以具有多个拍摄***，可以根据可移动物体的移动方向，选择需要执行深度信息融合的图像。
例如，假设可移动物体需要先前移动，则可以选择前视摄像头拍摄的一组图像，利用该组图像，获取高低分辨率对应的深度图，并进行深度信息的融合。
例如，假设可移动物体需要向左前方向移动，则可以选择前视摄像头拍摄的一组图像以及左视摄像头拍摄的一组图像，利用该两组图像，分别获取各自的高低分辨率对应的深度图，对该两组图像分别得到深度图，各自进行融合。
可选地，本申请实施例的深度图可以用于避障。
可选地，本申请实施例的融合后的深度图可以结合其他非融合得到的深度图进行避障。
具体地，获取至少两个第三图像，第三图像具有第二分辨率；利用至少两个第三图像，确定在第二视差阈值的限制下，第三图像对应的第三深度图；利用第三深度图和融合后的深度图进行避障。
其中，该第三图像可以不是可移动物体的移动方向，例如，移动方向的反方向。
例如，假设可移动物体需要先前移动，则可以选择前视摄像头拍摄的一组图像，利用该组图像，获取高低分辨率对应的深度图，并进行深度信息的融合，以进行前面的避障。以及选择后视摄像头拍摄的一组图像，用低分辨的图像以及较大的视差阈值限制，得到深度图，进行后面的避障。
例如，假设可移动物体需要向左前方向移动，则可以选择前视摄像头拍摄的一组图像以及左视摄像头拍摄的一组图像，利用该两组图像，分别获取各自的高低分辨率对应的深度图，对该两组图像分别得到深度图，各自进行融合，以对移动方向进行避障。以及选择后视摄像头拍摄的一组图像，用低分辨的图像以及较大的视差阈值限制，得到深度图，进行后面的避障，以及右视摄像头拍摄的一组图像，用低分辨的图像以及较大的视差阈值限制，得到深度图，进行右边的避障。
为了便于理解，以下将结合特定场景下的飞行器，以两个具体实施例进行说明书，但应理解，以下描述的两个具体实施例仅仅为了便于读者理解本申请，不应对本申请造成特别的限定。
实施例的背景：实际使用过程中传感器获取到的原图是高分辨率图片，即分辨率为1280*800(WXGA，或者称为800p)，要保证深度信息能用做控制反馈，可以具有一定的深度图的计算频率(例如，10Hz(即，每秒钟10帧，帧间隔100ms))，但受限于飞行器上的计算资源，计算单元最大支持640*480(VGA)的图像，且100ms内，最多只能计算6组图片。
实施例1(前后避障)
步骤1：先将前后拍摄的两组高分辨率图像WXGA降采样为VGA，即得到2组低分辨率的图像；
步骤2：按照飞行方向，选取前视的图像组(向前飞行时)或者后视(向后飞行)的图像组，把图像组包括的每个WXGA切分成四块，每块略小于VGA，这里得到4张图，这里把WXGA切分但并未降采样，这里实际上可以理解成是WXGA拆成4次计算出深度图再拼接回来，所以这步相当于计算的是高分辨率图片的深度图，所以需要选取更加严格的视差阈值的限制。其中，切割后的图像中，相同位置的图像块可以组成图像块组，例如，如图10和图11 所示，分别对WXGA1和WXGA2进行分割，将图像块1-1与图像块2-1组成图像块组，将图像块1-2以及图像块2-2组成图像块组，将图像块1-3与图像块2-3组成图像块组，将图像块1-4与图像块2-4组成图像块组。
步骤3：步骤1中的2个图像组，步骤2中的4个图像块组，刚好6个图像组以及图像块组，通过计算单元计算其各自的深度图，然后再把步骤1中的高分辨WXGA降采样成VGA计算的深度图作为基准图，与切分的4个小图像块组计算出来的深度图，做一个融合，从而可以得到更精准的深度图。
实施例2(前后左右全向避障)
步骤1：将前后左右拍摄的四组高分辨率WXGA降采样为VGA，即得到4组低分辨率的图。
步骤2：按照飞行方向，选取前视的图像(向前，左前或右前飞行时)或者后视(向后，向左后或右后飞行)的第一图像组，以及选取左视的图像(向左，左前或左后飞行时)或者右视(向右，向右前或右后飞行)的第二图像组，得到高分辨率WXGA的两组图像，然后根据飞行速度预测其飞行轨迹，对第一图像组的每个图像分别选取VGA，组成第一图像块组；对第二图像组的每个图像分别选取VGA，组成第二图像块组。
步骤3、针对步骤1中选取的4个图像组，以及步骤2的2个图像块组，通过计算单元计算其各自的深度图，把两组高分辨图像WXGA降采样成VGA计算的两个深度图(图视的方向与步骤2的图视的方向一致)作为基准图，分别结合步骤2中的两个图像块组分别得到深度图，做一个融合(可以每个方向分别进行融合)，从而可以得到更精准的深度图
在本申请实施例中，针对高分辨率图像，采用较小的视差阈值进行深度图的计算，以及针对低分辨率图像，采用较大的视差阈值进行深度图的计算，并将基于高分辨率图像得到的深度图以及基于低分辨率图像得到的深度图进行融合，因此，为了节省计算量，而通过高的图像分辨率以及较小的视差阈值计算的深度图死区大的问题，可以由低的图像分辨率低以及较大的视差阈值计算的深度信息来解决，以及，通过低的图像分辨率以及较大的视差阈值计算的远处深度信息精确度低的问题，可以由高的图像分辨率以及较小的视差阈值计算的深度信息来解决，从而本申请实施例的图像处理方法，通过 将高低分辨图像得到的深度图进行融合，从而得到更精确的深度信息，并且无需较大的计算量，以及可以避免飞行器为了避障(采用基于低分辨率图像得到的深度图)，限制飞行速度的问题。
图12是根据本申请实施例的图像处理设备的示意性框图。如图12所示，该设备包括图像获取单元310、深度计算单元320和深度融合单元330；其中，
该图像获取单元310用于：获取至少两个第一图像，其中，该第一图像的分辨率为第一分辨率；获取至少两个第二图像，其中，该第二图像的分辨率为第二分辨率，该第二分辨率低于该第一分辨率；
该深度计算单元320用于：利用该至少两个第一图像，确定在第一视差阈值的限制下，该至少两个第一图像对应的第一深度图；利用该至少两个第二图像，确定在第二视差阈值的限制下，该至少两个第二图像对应的第二深度图，其中，该第二视差阈值大于该第一视差阈值；
该深度融合单元330用于：将该第一深度图与该第二深度图进行融合，以得到融合后的深度图。
可选地，该深度融合单元330进一步用于：
利用该第一深度图上的第一部分像素的深度，以及该第二深度图上的第二部分像素的深度，得到该融合后的深度图，其中，该第一部分像素是该第一深度图上与第三部分像素匹配的像素，其中，该第三部分像素是该第二深度图上除该第二部分像素之外的像素。
可选地，该第三部分像素的深度对应的视差小于或等于第三视差阈值。
可选地，该第三视差阈值等于该第一视差阈值除以第一值所得到的值；
其中，该第一值是在第一方向上，该第一分辨率与该第二分辨率的像素比，
其中，该第一方向是获取该第一深度图和该第二深度图时的像素扫描方向。
可选地，该深度融合单元330进一步用于：
在该第二深度图上，保持该第二部分像素的深度；
在该第二深度图上，利用该第一像素部分的深度对应的视差除以该第一值得到的值对应的深度，对该第三部分像素的深度进行替换。
可选地，该深度计算单元320进一步用于：
对该至少两个第一图像的每个第一图像分别进行分割处理，以得到分割后的图像块；
将该至少两个第一图像上具有相同位置的图像块进行组合，以得到多个图像块组；
确定在该第一视差阈值的限制下，该多个图像块组中每个图像块组的深度图；
将该多个图像块组的深度图进行拼接，以得到该第一深度图。
可选地，该深度计算单元320进一步用于：
根据***的处理能力，对该每个第一图像分别进行分割处理。
可选地，该深度计算单元320进一步用于：
在该至少两个第一图像中的每个第一图像上，分别确定待处理区域；
利用该至少两个第一图像的该待处理区域，确定在该第一视差阈值的限制下的该第一深度图。
可选地，该深度计算单元320进一步用于：
根据***的处理能力，确定该待处理区域。
可选地，该深度计算单元320进一步用于：
预估可移动物体的移动位置；
根据该移动位置，在该第一图像上，确定该待处理区域。
可选地，该深度计算单元320进一步用于：
以该移动位置为中心，按照特定区域大小，在该第一图像上，确定与该移动位置匹配的区域；
在与该移动位置匹配的区域超出该第一图像时，对与该移动位置匹配的区域进行修正，以在该第一图像上，得到具有该特定区域大小的该待处理区域。
可选地，该深度计算单元320进一步用于：
以该移动位置为中心，按照特定区域大小，在该第一图像上，确定与该可移动位置匹配的区域；
在与该可移动位置匹配的区域超出该第一图像时，将与该移动位置匹配的区域中未超出该第一图像的区域，确定为该待处理区域。
可选地，该深度计算单元320进一步用于:
根据***的处理能力，确定该特定区域大小。
可选地，该至少两个第一图像由该可移动物体上的拍摄设备拍摄得到的；
该深度计算单元320进一步用于：
获取参照物在拍摄设备坐标系下的当前速度；
利用该参照物物在该拍摄设备坐标系下的当前速度，预估该移动位置。
可选地，该深度计算单元320进一步用于：
利用该可移动物体的当前移动速度，估计得到该参照物在拍摄设备坐标系下的当前速度；或，
利用该可移动物体的已移动位置，估计得到该参照物在拍摄设备坐标系下的当前速度。
可选地，该***的处理能力为***的计算单元的最大计算能力。
可选地，该图像获取单元310进一步用于：获取至少两个第三图像，该第三图像具有该第二分辨率；
该深度计算单元320进一步用于：利用该至少两个第三图像，确定在该第二视差阈值的限制下，该第三图像对应的第三深度图；
如图12所示，该设备还包括避障单元340，用于：利用该第三深度图和该融合后的深度图进行避障。
可选地，该图像获取单元310进一步用于：
将该至少两个第一图像进行降采样，以得到该至少两个第二图像。
可选地，该图像获取单元310进一步用于：
根据可移动物体的移动方向，从多个图像组中选择图像组，其中，选择的该图像组包括该至少两个第一图像。
应理解，该图像处理设备300可以执行方法200中的方案，为了简洁，在此不再赘述。
图13是根据本申请实施例的图像处理设备400的示意性框图
可选地，该图像处理设备400可以包括多个不同的部件，这些部件可以作为集成电路(integrated circuits，ICs)，或集成电路的部分，离散的电子设备，或其它适用于电路板(诸如主板，或附加板)的模块，也可以作为并入计算机***的部件。
可选地，该图像处理设备可以包括处理器410和与处理器410耦合的存储介质420。
处理器410可以包括一个或多个通用处理器，诸如中央处理单元(central processing unit，CPU)，或处理设备等。具体地，该处理器410可以是复杂指令集处理(complex instruction set computing，CISC)微处理器，超长指令字(very long instruction word，VLIW)微处理器，实现多个指令集组合的微处理器。该处理器也可以是一个或多个专用处理器，诸如应用专用集成电路(application specific integrated circuit，ASIC),现场可编程门阵列(field programmable gate array，FPGA),数字信号处理器(digital signal processor，DSP)。
处理器410可以与存储介质420通信。该存储介质420可以为磁盘、光盘、只读存储器(read only memory,ROM)，闪存，相变存储器。该存储介质420可以存储有处理器存储的指令，和/或，可以缓存一些从外部存储设备存储的信息，例如，从外部存储设备读取的金字塔的图像分层的像素信息。
可选地，除了处理器420和存储介质420，图像处理设备可以包括显示控制器和/或显示设备单元430，收发器440，视频输入输出单元450，音频输入输出单元460，其他输入输出单元470。图像处理设备400包括的这些部件可以通过总线或内部连接互联。
可选地，该收发器440可以是有线收发器或无线收发器，诸如，WIFI收发器，卫星收发器，蓝牙收发器，无线蜂窝电话收发器或其组合等。
可选地，视频输入输出单元450可以包括诸如摄像机的图像处理子***，其包括光传感器，电荷耦合器件(charged coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide semiconductor，CMOS)光传感器，以用于实现拍摄功能。
可选地，该音频输入输出单元460可以包括扬声器，话筒，听筒等。
可选地，其他输入输出设备470可以包括存储设备，universal serial bus(USB)端口，串行端口，并行端口，打印机，网络接口等。
可选地，该图像处理设备400可以执行方法100所示的操作，为了简洁，在此不再赘述。
可选地，图像处理设备400或400可以位于可移动设备中。可移动设备可以在任何合适的环境下移动，例如，空气中(例如，定翼飞机、旋翼飞机，或既没有定翼也没有旋翼的飞机)、水中(例如，轮船或潜水艇)、陆地上(例如，汽车或火车)、太空(例如，太空飞机、卫星或探测器)，以及以上各种 环境的任何组合。可移动设备可以是飞机，例如无人机(Unmanned Aerial Vehicle，简称为“UAV”)。在一些实施例中，可移动设备可以承载生命体，例如，人或动物。
图14是根据本申请实施例的可移动设备500的示意性框图。如图14所示，可移动设备500包括载体510和负载520。图14中将可移动设备描述为无人机仅仅是为了描述方面。负载520可以不通过载体510连接到可移动设备上。可移动设备500还可以包括动力***530、传感***540和通信***550和图像处理设备562和拍摄***564。
动力***530可以包括电子调速器(简称为电调)、一个或多个螺旋桨以及与一个或多个螺旋桨相对应的一个或多个电机。电机和螺旋桨设置在对应的机臂上；电子调速器用于接收飞行控制器产生的驱动信号，并根据驱动信号提供驱动电流给电机，以控制电机的转速和/或转向。电机用于驱动螺旋桨旋转，从而为UAV的飞行提供动力，该动力使得UAV能够实现一个或多个自由度的运动。在某些实施例中，UAV可以围绕一个或多个旋转轴旋转。例如，上述旋转轴可以包括横滚轴、平移轴和俯仰轴。应理解，电机可以是直流电机，也可以交流电机。另外，电机可以是无刷电机，也可以有刷电机。
传感***540用于测量UAV的姿态信息，即UAV在空间的位置信息和状态信息，例如，三维位置、三维角度、三维速度、三维加速度和三维角速度等。传感***例如可以包括陀螺仪、电子罗盘、惯性测量单元(Inertial Measurement Unit，简称为“IMU”)、视觉传感器、全球定位***(Global Positioning System，简称为“GPS”)和气压计等传感器中的至少一种。飞行控制器用于控制UAV的飞行，例如，可以根据传感***测量的姿态信息控制UAV的飞行。应理解，飞行控制器可以按照预先编好的程序指令对UAV进行控制，也可以通过响应来自操纵设备的一个或多个控制指令对UAV进行控制。
通信***550能够与一个具有通信***570的终端设备580通过无线信号590进行通信。通信***550和通信***570可以包括多个用于无线通信的发射机、接收机和/或收发机。这里的无线通信可以是单向通信，例如，只能是可移动设备500向终端设备580发送数据。或者无线通信可以是双向通信，数据即可以从可移动设备500发送给终端设备580，也可以由终端设备580发送给可移动设备500。
可选地，终端设备580能够提供针对于一个或多个可移动设备500、载体510和负载520的控制数据，并能接收可移动设备500、载体510和负载520发送的信息。终端设备580提供的控制数据能够用于控制一个或多个可移动设备500、载体510和负载520的状态。可选地，载体510和负载520中包括用于与终端设备580进行通信的通信模块。
可以理解的是，图14所示出的可移动设备包括的图像处理设备660能够执行方法100，为了简洁，在此不再赘述。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (38)

  1. 一种图像处理方法，其特征在于，包括：
    获取至少两个第一图像，其中，所述第一图像的分辨率为第一分辨率；
    获取至少两个第二图像，其中，所述第二图像的分辨率为第二分辨率，所述第二分辨率低于所述第一分辨率；
    利用所述至少两个第一图像，确定在第一视差阈值的限制下，所述至少两个第一图像对应的第一深度图；
    利用所述至少两个第二图像，确定在第二视差阈值的限制下，所述至少两个第二图像对应的第二深度图，其中，所述第二视差阈值大于所述第一视差阈值；
    将所述第一深度图与所述第二深度图进行融合，以得到融合后的深度图。
  2. 根据权利要求1所述的方法，其特征在于，所述将所述第一深度图与所述第二深度图进行融合，以得到融合后的深度图，包括：
    利用所述第一深度图上的第一部分像素的深度，以及所述第二深度图上的第二部分像素的深度，得到所述融合后的深度图，其中，所述第一部分像素是所述第一深度图上与第三部分像素匹配的像素，其中，所述第三部分像素是所述第二深度图上除所述第二部分像素之外的像素。
  3. 根据权利要求2所述的方法，其特征在于，所述第三部分像素的深度对应的视差小于或等于第三视差阈值。
  4. 根据权利要求3所述的方法，其特征在于，所述第三视差阈值等于所述第一视差阈值除以第一值所得到的值；
    其中，所述第一值是在第一方向上，所述第一分辨率与所述第二分辨率的像素比，
    其中，所述第一方向是获取所述第一深度图和所述第二深度图时的像素扫描方向。
  5. 根据权利要求4所述的方法，其特征在于，所述利用所述第一深度图上的第一部分像素的深度，以及所述第二深度图上的第二部分像素的深度，得到所述融合后的深度图，包括：
    在所述第二深度图上，保持所述第二部分像素的深度；
    在所述第二深度图上，利用所述第一像素部分的深度对应的视差除以所 述第一值得到的值对应的深度，对所述第三部分像素的深度进行替换。
  6. 根据权利要求1至5中任一项所述的方法，其特征在于，所述利用所述至少两个第一图像，确定在第一视差阈值的限制下，所述至少两个第一图像对应的第一深度图，包括：
    对所述至少两个第一图像的每个第一图像分别进行分割处理，以得到分割后的图像块；
    将所述至少两个第一图像上具有相同位置的图像块进行组合，以得到多个图像块组；
    确定在所述第一视差阈值的限制下，所述多个图像块组中每个图像块组的深度图；
    将所述多个图像块组的深度图进行拼接，以得到所述第一深度图。
  7. 根据权利要求6所述的方法，其特征在于，所述对所述至少两个第一图像中的每个第一图像分别进行分割处理，包括：
    根据***的处理能力，对所述每个第一图像分别进行分割处理。
  8. 根据权力要求1至5中任一项所述的方法，其特征在于，所述利用所述至少两个第一图像，确定在第一视差阈值的限制下，所述至少两个第一图像对应的第一深度图，包括：
    在所述至少两个第一图像中的每个第一图像上，分别确定待处理区域；
    利用所述至少两个第一图像的所述待处理区域，确定在所述第一视差阈值的限制下的所述第一深度图。
  9. 根据权利要求8所述的方法，其特征在于，所述在所述至少两个第一图像中的每个第一图像上，分别确定待处理区域，包括：
    根据***的处理能力，确定所述待处理区域。
  10. 根据权利要求8或9所述的方法，其特征在于，所述在所述至少两个第一图像中的每个第一图像上，分别确定待处理区域，包括：
    预估可移动物体的移动位置；
    根据所述移动位置，在所述第一图像上，确定所述待处理区域。
  11. 根据权利要求10所述的方法，其特征在于，所述根据移动位置，在所述第一图像上，确定所述待处理区域，包括：
    以所述移动位置为中心，按照特定区域大小，在所述第一图像上，确定与所述移动位置匹配的区域；
    在与所述移动位置匹配的区域超出所述第一图像时，对与所述移动位置匹配的区域进行修正，以在所述第一图像上，得到具有所述特定区域大小的所述待处理区域。
  12. 根据权利要求10所述的方法，其特征在于，所述根据所述移动位置，在所述第一图像上，确定待处理区域，包括：
    以所述移动位置为中心，按照特定区域大小，在所述第一图像上，确定与所述可移动位置匹配的区域；
    在与所述可移动位置匹配的区域超出所述第一图像时，将与所述移动位置匹配的区域中未超出所述第一图像的区域，确定为所述待处理区域。
  13. 根据权利要求11或12所述的方法，其特征在于，所述以所述移动位置为中心，按照特定区域大小，在所述第一图像上，确定与所述移动位置匹配的区域之前，所述方法还包括:
    根据***的处理能力，确定所述特定区域大小。
  14. 根据权利要求10至13中任一项所述的方法，其特征在于，所述至少两个第一图像由所述可移动物体上的拍摄设备拍摄得到的；
    所述预估可移动物体的移动位置，包括：
    获取参照物在拍摄设备坐标系下的当前速度；
    利用所述参照物物在所述拍摄设备坐标系下的当前速度，预估所述移动位置。
  15. 根据权利要求14所述的方法，其特征在于，所述获取参照物在拍摄设备坐标系下的当前速度，包括：
    利用所述可移动物体的当前移动速度，估计得到所述参照物在拍摄设备坐标系下的当前速度；或，
    利用所述可移动物体的已移动位置，估计得到所述参照物在拍摄设备坐标系下的当前速度。
  16. 根据权利要求7或9或13所述的方法，其特征在于，所述***的处理能力为***的计算单元的最大计算能力。
  17. 根据权利要求1至16中任一项所述的方法，其特征在于，所述方法还包括：
    获取至少两个第三图像，所述第三图像具有所述第二分辨率；
    利用所述至少两个第三图像，确定在所述第二视差阈值的限制下，所述 第三图像对应的第三深度图；
    利用所述第三深度图和所述融合后的深度图进行避障。
  18. 根据权利要求1至17中任一项所述的方法，其特征在于，所述获取至少两个第二图像，包括：
    将所述至少两个第一图像进行降采样，以得到所述至少两个第二图像。
  19. 根据权利要求18所述的方法，其特征在于，所述方法还包括：
    根据可移动物体的移动方向，从多个图像组中选择图像组，其中，选择的所述图像组包括所述至少两个第一图像。
  20. 一种图像处理设备，其特征在于，包括图像获取单元、深度计算单元和深度融合单元；其中，
    所述图像获取单元用于：获取至少两个第一图像，其中，所述第一图像的分辨率为第一分辨率；获取至少两个第二图像，其中，所述第二图像的分辨率为第二分辨率，所述第二分辨率低于所述第一分辨率；
    所述深度计算单元用于：利用所述至少两个第一图像，确定在第一视差阈值的限制下，所述至少两个第一图像对应的第一深度图；利用所述至少两个第二图像，确定在第二视差阈值的限制下，所述至少两个第二图像对应的第二深度图，其中，所述第二视差阈值大于所述第一视差阈值；
    所述深度融合单元用于：将所述第一深度图与所述第二深度图进行融合，以得到融合后的深度图。
  21. 根据权利要求20所述的设备，其特征在于，所述深度融合单元进一步用于：
    利用所述第一深度图上的第一部分像素的深度，以及所述第二深度图上的第二部分像素的深度，得到所述融合后的深度图，其中，所述第一部分像素是所述第一深度图上与第三部分像素匹配的像素，其中，所述第三部分像素是所述第二深度图上除所述第二部分像素之外的像素。
  22. 根据权利要求21所述的设备，其特征在于，所述第三部分像素的深度对应的视差小于或等于第三视差阈值。
  23. 根据权利要求22所述的设备，其特征在于，所述第三视差阈值等于所述第一视差阈值除以第一值所得到的值；
    其中，所述第一值是在第一方向上，所述第一分辨率与所述第二分辨率的像素比，
    其中，所述第一方向是获取所述第一深度图和所述第二深度图时的像素扫描方向。
  24. 根据权利要求23所述的设备，其特征在于，所述深度融合单元进一步用于：
    在所述第二深度图上，保持所述第二部分像素的深度；
    在所述第二深度图上，利用所述第一像素部分的深度对应的视差除以所述第一值得到的值对应的深度，对所述第三部分像素的深度进行替换。
  25. 根据权利要求20至24中任一项所述的设备，其特征在于，所述深度计算单元进一步用于：
    对所述至少两个第一图像的每个第一图像分别进行分割处理，以得到分割后的图像块；
    将所述至少两个第一图像上具有相同位置的图像块进行组合，以得到多个图像块组；
    确定在所述第一视差阈值的限制下，所述多个图像块组中每个图像块组的深度图；
    将所述多个图像块组的深度图进行拼接，以得到所述第一深度图。
  26. 根据权利要求25所述的设备，其特征在于，所述深度计算单元进一步用于：
    根据***的处理能力，对所述每个第一图像分别进行分割处理。
  27. 根据权力要求20至24中任一项所述的设备，其特征在于，所述深度计算单元进一步用于：
    在所述至少两个第一图像中的每个第一图像上，分别确定待处理区域；
    利用所述至少两个第一图像的所述待处理区域，确定在所述第一视差阈值的限制下的所述第一深度图。
  28. 根据权利要求27所述的设备，其特征在于，所述深度计算单元进一步用于：
    根据***的处理能力，确定所述待处理区域。
  29. 根据权利要求27或28所述的设备，其特征在于，所述深度计算单元进一步用于：
    预估可移动物体的移动位置；
    根据所述移动位置，在所述第一图像上，确定所述待处理区域。
  30. 根据权利要求29所述的设备，其特征在于，所述深度计算单元进一步用于：
    以所述移动位置为中心，按照特定区域大小，在所述第一图像上，确定与所述移动位置匹配的区域；
    在与所述移动位置匹配的区域超出所述第一图像时，对与所述移动位置匹配的区域进行修正，以在所述第一图像上，得到具有所述特定区域大小的所述待处理区域。
  31. 根据权利要求29所述的设备，其特征在于，所述深度计算单元进一步用于：
    以所述移动位置为中心，按照特定区域大小，在所述第一图像上，确定与所述可移动位置匹配的区域；
    在与所述可移动位置匹配的区域超出所述第一图像时，将与所述移动位置匹配的区域中未超出所述第一图像的区域，确定为所述待处理区域。
  32. 根据权利要求30或31所述的设备，其特征在于，所述深度计算单元进一步用于:
    根据***的处理能力，确定所述特定区域大小。
  33. 根据权利要求29至32中任一项所述的设备，其特征在于，所述至少两个第一图像由所述可移动物体上的拍摄设备拍摄得到的；
    所述深度计算单元进一步用于：
    获取参照物在拍摄设备坐标系下的当前速度；
    利用所述参照物物在所述拍摄设备坐标系下的当前速度，预估所述移动位置。
  34. 根据权利要求33所述的设备，其特征在于，所述深度计算单元进一步用于：
    利用所述可移动物体的当前移动速度，估计得到所述参照物在拍摄设备坐标系下的当前速度；或，
    利用所述可移动物体的已移动位置，估计得到所述参照物在拍摄设备坐标系下的当前速度。
  35. 根据权利要求26或28或32所述的设备，其特征在于，所述***的处理能力为***的计算单元的最大计算能力。
  36. 根据权利要求20至35中任一项所述的设备，其特征在于，所述图 像获取单元进一步用于：获取至少两个第三图像，所述第三图像具有所述第二分辨率；
    所述深度计算单元进一步用于：利用所述至少两个第三图像，确定在所述第二视差阈值的限制下，所述第三图像对应的第三深度图；
    所述设备还包括避障单元，用于：利用所述第三深度图和所述融合后的深度图进行避障。
  37. 根据权利要求20至36中任一项所述的设备，其特征在于，所述图像获取单元进一步用于：
    将所述至少两个第一图像进行降采样，以得到所述至少两个第二图像。
  38. 根据权利要求37所述的设备，其特征在于，所述图像获取单元进一步用于：
    根据可移动物体的移动方向，从多个图像组中选择图像组，其中，选择的所述图像组包括所述至少两个第一图像。
PCT/CN2017/103630 2017-09-27 2017-09-27 图像处理方法和设备 WO2019061064A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201780005363.6A CN108496201A (zh) 2017-09-27 2017-09-27 图像处理方法和设备
PCT/CN2017/103630 WO2019061064A1 (zh) 2017-09-27 2017-09-27 图像处理方法和设备
US16/822,937 US11057604B2 (en) 2017-09-27 2020-03-18 Image processing method and device
US17/367,030 US20210337175A1 (en) 2017-09-27 2021-07-02 Image processing method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/103630 WO2019061064A1 (zh) 2017-09-27 2017-09-27 图像处理方法和设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/822,937 Continuation US11057604B2 (en) 2017-09-27 2020-03-18 Image processing method and device

Publications (1)

Publication Number Publication Date
WO2019061064A1 true WO2019061064A1 (zh) 2019-04-04

Family

ID=63344711

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/103630 WO2019061064A1 (zh) 2017-09-27 2017-09-27 图像处理方法和设备

Country Status (3)

Country Link
US (2) US11057604B2 (zh)
CN (1) CN108496201A (zh)
WO (1) WO2019061064A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116228544A (zh) * 2023-03-15 2023-06-06 阿里巴巴（中国）有限公司 图像处理方法、装置及计算机设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018086133A1 (en) * 2016-11-14 2018-05-17 SZ DJI Technology Co., Ltd. Methods and systems for selective sensor fusion
JP7334880B2 (ja) * 2018-10-15 2023-08-29 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 画像データを処理するための方法、装置、プログラム、及び記録媒体
CN111080527B (zh) * 2019-12-20 2023-12-05 北京金山云网络技术有限公司 一种图像超分辨率的方法、装置、电子设备及存储介质
CN111640142A (zh) * 2019-12-25 2020-09-08 珠海大横琴科技发展有限公司 一种遥感图像多特征匹配方法、装置及电子设备
CN113573038A (zh) * 2020-04-29 2021-10-29 思特威(上海)电子科技股份有限公司 双目***及深度图获取方法
US11468587B2 (en) * 2020-05-12 2022-10-11 Samsung Electronics Co., Ltd. System and method for depth map recovery
CN111724421B (zh) * 2020-06-29 2024-01-09 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备及存储介质
CN112016394A (zh) * 2020-07-21 2020-12-01 影石创新科技股份有限公司 障碍物信息获取方法、避障方法、移动装置及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102203829A (zh) * 2008-11-04 2011-09-28 皇家飞利浦电子股份有限公司 用于生成深度图的方法和设备
CN103049933A (zh) * 2011-10-17 2013-04-17 联咏科技股份有限公司 图像处理装置与其方法
CN103139469A (zh) * 2011-12-01 2013-06-05 索尼公司 利用多分辨率过程生成鲁棒深度图的***和方法
US20150022632A1 (en) * 2013-07-16 2015-01-22 Texas Instruments Incorporated Hierarchical Binary Structured Light Patterns
CN104519343A (zh) * 2013-09-26 2015-04-15 西克股份公司 根据立体视图原理的3d相机和用于获取深度图的方法
US20160182893A1 (en) * 2014-12-22 2016-06-23 Canon Kabushiki Kaisha Multiscale depth estimation using depth from defocus

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6556704B1 (en) * 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
US20040105074A1 (en) * 2002-08-02 2004-06-03 Peter Soliz Digital stereo image analyzer for automated analyses of human retinopathy
US7263209B2 (en) * 2003-06-13 2007-08-28 Sarnoff Corporation Vehicular vision system
KR100918480B1 (ko) * 2007-09-03 2009-09-28 한국전자통신연구원 스테레오 비전 시스템 및 그 처리 방법
US8339470B2 (en) * 2009-11-30 2012-12-25 Indian Institute Of Technology Madras Method and system for generating a high resolution image
WO2011081646A1 (en) * 2009-12-15 2011-07-07 Thomson Licensing Stereo-image quality and disparity/depth indications
US8878950B2 (en) * 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
CN102111637A (zh) * 2011-03-29 2011-06-29 清华大学 生成立体视频深度图的方法及装置
KR101888672B1 (ko) * 2011-07-27 2018-08-16 엘지디스플레이 주식회사 입체영상 표시장치와 그 구동방법
US10027952B2 (en) * 2011-08-04 2018-07-17 Trx Systems, Inc. Mapping and tracking system with features in three-dimensional space
US20130050187A1 (en) * 2011-08-31 2013-02-28 Zoltan KORCSOK Method and Apparatus for Generating Multiple Image Views for a Multiview Autosteroscopic Display Device
US8837816B2 (en) * 2011-09-27 2014-09-16 Mediatek Inc. Method and apparatus for generating final depth information related map that is reconstructed from coarse depth information related map through guided interpolation
JP6215228B2 (ja) * 2012-01-04 2017-10-18 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ３ｄ画像シーケンスの処理
US20140198977A1 (en) * 2012-03-21 2014-07-17 Texas Instruments Incorporated Enhancement of Stereo Depth Maps
CN102750694B (zh) * 2012-06-04 2014-09-10 清华大学 基于局部最优置信传播算法的双目视频深度图求取方法
US8792710B2 (en) * 2012-07-24 2014-07-29 Intel Corporation Stereoscopic depth reconstruction with probabilistic pixel correspondence search
US10178368B2 (en) * 2012-10-23 2019-01-08 Intuitive Surgical Operations, Inc. Stereo imaging system with automatic disparity adjustment for displaying close range objects
TWI591584B (zh) * 2012-12-26 2017-07-11 財團法人工業技術研究院 三維感測方法與三維感測裝置
US9519972B2 (en) * 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9578259B2 (en) * 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
EP2973476A4 (en) * 2013-03-15 2017-01-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US10497140B2 (en) * 2013-08-15 2019-12-03 Intel Corporation Hybrid depth sensing pipeline
EP2887311B1 (en) * 2013-12-20 2016-09-14 Thomson Licensing Method and apparatus for performing depth estimation
CN103810685B (zh) * 2014-02-25 2016-05-25 清华大学深圳研究生院 一种深度图的超分辨率处理方法
US9883169B2 (en) * 2014-03-31 2018-01-30 Sony Corporation Optical system, apparatus and method for operating an apparatus using helmholtz reciprocity
US10074158B2 (en) * 2014-07-08 2018-09-11 Qualcomm Incorporated Systems and methods for stereo depth estimation using global minimization and depth interpolation
KR102172992B1 (ko) * 2014-07-31 2020-11-02 삼성전자주식회사 이미지 촬영 장치 및 이미지 촬영 방법
US9886769B1 (en) * 2014-12-09 2018-02-06 Jamie Douglas Tremaine Use of 3D depth map with low and high resolution 2D images for gesture recognition and object tracking systems
US10404969B2 (en) * 2015-01-20 2019-09-03 Qualcomm Incorporated Method and apparatus for multiple technology depth map acquisition and fusion
PL411631A1 (pl) * 2015-03-18 2016-09-26 Politechnika Poznańska System do generowania mapy głębi i sposób generowania mapy głębi
CN104935909B (zh) * 2015-05-14 2017-02-22 清华大学深圳研究生院 一种基于深度信息的多幅图超分辨方法
WO2017023210A1 (en) * 2015-08-06 2017-02-09 Heptagon Micro Optics Pte. Ltd. Generating a merged, fused three-dimensional point cloud based on captured images of a scene
WO2017030507A1 (en) * 2015-08-19 2017-02-23 Heptagon Micro Optics Pte. Ltd. Generating a disparity map having reduced over-smoothing
US10404970B2 (en) * 2015-11-16 2019-09-03 Intel Corporation Disparity search range compression
US10313657B2 (en) * 2015-12-25 2019-06-04 Boe Technology Group Co., Ltd. Depth map generation apparatus, method and non-transitory computer-readable medium therefor
TWI553591B (zh) * 2015-12-28 2016-10-11 緯創資通股份有限公司 深度影像處理方法及深度影像處理系統
CN105869167A (zh) * 2016-03-30 2016-08-17 天津大学 基于主被动融合的高分辨率深度图获取方法
US10469821B2 (en) * 2016-06-17 2019-11-05 Altek Semiconductor Corp. Stereo image generating method and electronic apparatus utilizing the method
CN106127788B (zh) * 2016-07-04 2019-10-25 触景无限科技（北京）有限公司 一种视觉避障方法和装置
TWI651513B (zh) * 2016-11-15 2019-02-21 財團法人工業技術研究院 三維量測系統及其方法
CN106767682A (zh) * 2016-12-01 2017-05-31 腾讯科技（深圳）有限公司 一种获取飞行高度信息的方法及飞行器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102203829A (zh) * 2008-11-04 2011-09-28 皇家飞利浦电子股份有限公司 用于生成深度图的方法和设备
CN103049933A (zh) * 2011-10-17 2013-04-17 联咏科技股份有限公司 图像处理装置与其方法
CN103139469A (zh) * 2011-12-01 2013-06-05 索尼公司 利用多分辨率过程生成鲁棒深度图的***和方法
US20150022632A1 (en) * 2013-07-16 2015-01-22 Texas Instruments Incorporated Hierarchical Binary Structured Light Patterns
CN104519343A (zh) * 2013-09-26 2015-04-15 西克股份公司 根据立体视图原理的3d相机和用于获取深度图的方法
US20160182893A1 (en) * 2014-12-22 2016-06-23 Canon Kabushiki Kaisha Multiscale depth estimation using depth from defocus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116228544A (zh) * 2023-03-15 2023-06-06 阿里巴巴（中国）有限公司 图像处理方法、装置及计算机设备
CN116228544B (zh) * 2023-03-15 2024-04-26 阿里巴巴（中国）有限公司 图像处理方法、装置及计算机设备

Also Published As

Publication number Publication date
CN108496201A (zh) 2018-09-04
US20210337175A1 (en) 2021-10-28
US20200221062A1 (en) 2020-07-09
US11057604B2 (en) 2021-07-06

Similar Documents

Publication Publication Date Title
WO2019061064A1 (zh) 图像处理方法和设备
US11649052B2 (en) System and method for providing autonomous photography and videography
CN111448476B (zh) 在无人飞行器与地面载具之间共享绘图数据的技术
WO2019113966A1 (zh) 一种避障方法、装置和无人机
CN106529495B (zh) 一种飞行器的障碍物检测方法和装置
WO2018210078A1 (zh) 无人机的距离测量方法以及无人机
WO2020024185A1 (en) Techniques for motion-based automatic image capture
CN106960454B (zh) 景深避障方法、设备及无人飞行器
US20220086362A1 (en) Focusing method and apparatus, aerial camera and unmanned aerial vehicle
WO2020113423A1 (zh) 目标场景三维重建方法、***及无人机
WO2019104571A1 (zh) 图像处理方法和设备
WO2019126930A1 (zh) 测距方法、装置以及无人机
US20240153122A1 (en) Binocular vision-based environment sensing method and apparatus, and unmanned aerial vehicle
WO2020135447A1 (zh) 一种目标距离估计方法、装置及无人机
WO2021081707A1 (zh) 数据处理方法、装置、可移动平台及计算机可读存储介质
WO2021104308A1 (zh) 全景深度测量方法、四目鱼眼相机及双目鱼眼相机
WO2021258251A1 (zh) 用于可移动平台的测绘方法、可移动平台和存储介质
WO2020207411A1 (zh) 一种图像数据处理方法、装置、图像处理芯片及飞行器
WO2020024182A1 (zh) 一种参数处理方法、装置及摄像设备、飞行器
WO2019183789A1 (zh) 无人机的控制方法、装置和无人机
WO2020019175A1 (zh) 图像处理方法和设备、摄像装置以及无人机
WO2022193081A1 (zh) 无人机的控制方法、装置及无人机
JP7501535B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム
WO2019127192A1 (zh) 图像处理方法和设备
US20210256732A1 (en) Image processing method and unmanned aerial vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17927310

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17927310

Country of ref document: EP

Kind code of ref document: A1