WO2019127512A1 - 拍摄设备的图像处理方法、拍摄设备及可移动平台 - Google Patents

拍摄设备的图像处理方法、拍摄设备及可移动平台 Download PDF

Info

Publication number
WO2019127512A1
WO2019127512A1 PCT/CN2017/120242 CN2017120242W WO2019127512A1 WO 2019127512 A1 WO2019127512 A1 WO 2019127512A1 CN 2017120242 W CN2017120242 W CN 2017120242W WO 2019127512 A1 WO2019127512 A1 WO 2019127512A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
jitter
shaking
captured image
dithering
Prior art date
Application number
PCT/CN2017/120242
Other languages
English (en)
French (fr)
Inventor
孙旭斌
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to CN201780029127.8A priority Critical patent/CN109314744A/zh
Priority to PCT/CN2017/120242 priority patent/WO2019127512A1/zh
Publication of WO2019127512A1 publication Critical patent/WO2019127512A1/zh
Priority to US16/900,416 priority patent/US20200314344A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Definitions

  • Embodiments of the present invention relate to the field of image processing, and in particular, to an image processing method, a photographing device, and a movable platform of a photographing device.
  • the camera's hand or the camera-equipped carrier may cause blurring of the captured picture or video jitter. Therefore, the camera needs to be anti-shake when shooting.
  • a method of anti-shake by software is provided. Specifically, the camera's shaking direction is detected by a sensor (for example, a gyroscope), and the same image of the image in the dithered video is intercepted as a valid image by a specific algorithm, and part of the image of the edge is discarded, thereby achieving the purpose of anti-shake.
  • a sensor for example, a gyroscope
  • the prior art method requires a partial image of the edge to be discarded, thereby reducing the effective pixels of the image captured by the camera, resulting in poor image capture by the camera.
  • the embodiment of the invention provides an image processing method, a photographing device and a movable platform of a photographing device, which are used for solving the problem that the effect of photographing an image caused by the anti-shake in the prior art is not good.
  • a first aspect of the embodiments of the present invention provides an image processing method of a photographing device, including:
  • the image corresponding to the shaking direction is taken as a target captured image of the photographing apparatus.
  • a second aspect of the embodiments of the present invention provides a photographing apparatus, including:
  • the processor is used to:
  • the image corresponding to the shaking direction is taken as a target captured image of the photographing apparatus.
  • a third aspect of the embodiments of the present invention provides a readable storage medium having stored thereon computer program instructions, the program instructions being executed by a processor to perform the method of the first aspect.
  • a fourth aspect of the embodiments of the present invention provides a mobile platform, where the mobile platform includes the photographing apparatus described in the second aspect.
  • the photographing device first acquires the shaking direction of the current image relative to the reference image, and then intercepts the image corresponding to the shaking direction, and the captured image does not Reduce the original effective image to ensure the rendering of the image captured by the camera.
  • FIG. 1 is a schematic flowchart of an image processing method of a photographing device according to an embodiment of the present invention
  • 2 is a schematic diagram of an image range actually taken by barrel distortion
  • 3 is a schematic diagram showing the range and position of an image and an image sensor actually taken by barrel distortion
  • FIG. 5 is a schematic diagram showing the range and position of an image and an image sensor actually captured by the pincushion distortion
  • FIG. 6 is a schematic flowchart of an image processing method of a photographing device according to an embodiment of the present invention.
  • FIG. 7 is a schematic flowchart diagram of an image processing method of a photographing device according to an embodiment of the present invention.
  • FIG. 8 is a schematic flowchart of an image processing method of a photographing device according to an embodiment of the present invention.
  • FIG. 9 is a schematic flowchart diagram of an image processing method of a photographing device according to an embodiment of the present invention.
  • FIG. 10 is a schematic flowchart diagram of an image processing method of a photographing device according to an embodiment of the present invention.
  • FIG. 11 is a schematic structural diagram of a photographing apparatus according to an embodiment of the present invention.
  • the camera shake direction is detected by the sensor, and the same image of the image in the dither video is intercepted as an effective image.
  • part of the image of the edge needs to be discarded, thereby reducing
  • the effective pixels of the image captured by the camera cause the image taken by the camera to perform poorly.
  • an embodiment of the present invention provides an image processing method for a photographing device.
  • the anti-shake processing is performed, the original effective image is not reduced, thereby ensuring the rendering effect of the image captured by the camera.
  • FIG. 1 is a schematic flowchart of an image processing method of a photographing device according to an embodiment of the present invention. As shown in FIG. 1, the method includes:
  • the shooting device may be a camera, a camera, or the like that can perform image capturing.
  • the embodiment can be applied during video shooting.
  • shooting will take multiple frames of images in succession.
  • the current image refers to a frame image captured by the photographing device at the current time
  • the reference image refers to a frame image captured before the current image.
  • the reference image may be the previous frame image of the current image, or the reference image may be a frame image before the preset number of frames of the current image, or the reference image may also be a one set by the user. Frame image.
  • the embodiment may be applied to the photographing process of the camera.
  • the image of the preset position may be preset for capturing the current reference image.
  • the shaking direction of the current image relative to the reference image may be determined by the sensor of the photographing device.
  • the image corresponding to the shaking direction is used as a target captured image of the photographing device.
  • the image corresponding to the dithering direction is intercepted, it is taken as a target image, that is, as one frame of the current time in the captured video.
  • the photographing apparatus first determines the direction of the shake when the current image is acquired with respect to the reference image, and then intercepts the image corresponding to the shake direction, and the captured image does not reduce the original effective image, thereby ensuring the camera.
  • the rendering effect of the captured image is not limited to the direction of the shake when the current image is acquired with respect to the reference image, and then intercepts the image corresponding to the shake direction, and the captured image does not reduce the original effective image, thereby ensuring the camera.
  • the rendering effect of the captured image is first determines the direction of the shake when the current image is acquired with respect to the reference image, and then intercepts the image corresponding to the shake direction, and the captured image does not reduce the original effective image, thereby ensuring the camera. The rendering effect of the captured image.
  • the photographing device before the step S102, the photographing device further performs the following steps:
  • Distortion correction is performed on the current image described above to obtain a corrected captured image.
  • the camera may have lens distortion when shooting, and the lens distortion can be divided into barrel distortion, pincushion distortion, and mixed distortion (mixture of barrel distortion and pincushion distortion).
  • 2 is a schematic diagram of an image range actually taken by barrel distortion
  • FIG. 3 is a schematic diagram showing a range and a position of a corrected image and image sensor of a barrel distortion, as shown in FIG. 2 and FIG. 3, a square image sensor range memory.
  • the barrel distortion correction is to restore the image within the square image sensor to the image range shown in Figure 2.
  • 4 is a schematic diagram of an image range actually taken by pincushion distortion
  • FIG. 5 is a schematic diagram showing a range and a position of a pinched distortion corrected image and an image sensor, as shown in FIGS.
  • the pincushion distortion correction is to restore the image within the square image sensor to the image range shown in FIG.
  • the blending distortion is to compress an image range combined with FIG. 2 and FIG. 4 into a square image sensor. At this time, the image of the object on the image sensor is deformed, and therefore, the image needs to be restored to and The same shape of the actual object, that is, distortion correction is required.
  • the process of the distortion correction may be:
  • the captured image is subjected to distortion correction, and the image is stretched to the shape shown in FIG. 2 so that the shape of the object in the stretched image coincides with the shape of the actual object to be photographed. Further, an image of the image sensor size is taken as an image after correction in the image after stretching.
  • step S102 may specifically be:
  • an image corresponding to the shake direction is intercepted from the corrected captured image according to the shake direction, and the captured image is used as the target captured image of the photographing device.
  • the size of the image corresponding to the shaking direction intercepted by the photographing device is consistent with the image sensor pixel size of the photographing device. That is, the size of the image taken from the corrected image is the maximum image size supported by the image sensor of the photographing device. It is also possible to capture from the corrected image a maximum image size that is beyond or less than that supported by the image sensor of the photographing device.
  • the photographing apparatus intercepts an image corresponding to the shake direction in the image after the distortion correction, that is, performs anti-shake processing in the process of performing distortion correction. Since the lens distortion itself produces an image of redundant area, it needs to be discarded. In this embodiment, only the position of the redundant portion that needs to be discarded is adjusted according to the direction of the shake, and the obtained image size after clipping is still maintained and the image sensor. The dimensions are the same. Therefore, the method of the embodiment does not reduce the original effective image, thereby ensuring the rendering effect of the image captured by the camera, and simultaneously performing the anti-shake processing in the process of performing the distortion correction, the two steps are the same One time, saving processing time and speeding up processing.
  • the capturing device may also intercept the amplitude of the jitter in the shaking direction.
  • the meaning of the jitter amplitude is different for different jitter directions.
  • the dithering direction is the yaw direction
  • the dithering amplitude is the dithering angle in the direction
  • the dithering amplitude is the dithering distance in the direction.
  • the photographing device first determines the jitter amplitude in the shaking direction. Further, when the image capturing device intercepts the image corresponding to the shaking direction, the image corresponding to the shaking direction may be captured in the corrected captured image based on the shaking direction and the jitter width.
  • the present embodiment relates to a specific process in which the photographing apparatus intercepts an image corresponding to the shake direction in the corrected captured image according to the shake direction and the shake width.
  • FIG. 6 is a schematic flowchart of an image processing method of a photographing apparatus according to an embodiment of the present invention. As shown in FIG. 6 , the photographing apparatus intercepts an image corresponding to the shake direction in the corrected captured image according to the shake direction and the shake amplitude.
  • the specific method is:
  • the above pixel offset refers to the pixel offset of the corrected current image with respect to the corrected reference image.
  • the reference image may be the previous frame image of the current image, or the reference image may be a frame image before the preset number of frames of the current image, or the reference image may also be User-set image
  • the image corresponding to the shaking direction is intercepted in the corrected captured image according to the pixel offset and the reference image.
  • the method of capturing the image corresponding to the shaking direction is different.
  • the following describes the specific method for the camera to determine the pixel offset of the corrected captured image for different jitter directions.
  • the amplitude of the jitter in the dithering direction is the angle of change of the yaw angle and/or the angle of change of the pitch angle.
  • the jitter in the yaw direction and the pitch direction there may be three cases for jitter in the yaw direction and the pitch direction. In the first case, it only shakes in the yaw direction. In the second case, it only shakes in the pitch direction. In the third case, it is shaken in both the yaw direction and the pitch direction.
  • the jitter in the yaw direction and the pitch direction is the superposition of the jitter in the yaw direction and the pitch direction, and therefore, the pixel offset in the superimposed direction can also pass the pixel offset in the yaw direction. Obtained by superposition of pixel offsets in the pitch direction.
  • the method of determining the pixel offset in the yaw direction and the pitch direction is the same.
  • the following embodiments are described by taking the yaw direction as an example.
  • FIG. 7 is a schematic flowchart of an image processing method of a photographing apparatus according to an embodiment of the present invention. As shown in FIG. 7 , a process of determining a pixel offset of a corrected captured image in a yaw direction or a pitch direction of the photographing apparatus is :
  • the amplitude of the jitter is the angle of change of the yaw angle.
  • the corresponding number of pixels can be calculated by the angle of change of the yaw angle.
  • the number of pixels corresponding to the jitter angle in the jitter direction can be calculated by the following formula (1).
  • Number of pixels sensor number of pixels in the direction of jitter * (jitter angle / FOV) (1)
  • the number of pixels in the sensor in the yaw direction is 1890, the number of pixels is calculated using the above formula (1):
  • the number of pixels corresponding to the offset is 21.
  • the number of pixels corresponding to the jitter angle in the direction of the jitter can be calculated, thereby determining the pixel offset in the direction of the jitter, thereby ensuring The corrected image can be accurately captured based on the pixel offset.
  • the amplitude of the jitter in the direction of the jitter is the angle of change of the roll angle.
  • FIG. 8 is a schematic flowchart of an image processing method of a photographing apparatus according to an embodiment of the present invention. As shown in FIG. 8 , a process of determining a pixel offset of a corrected captured image in a roll direction of the photographing apparatus is:
  • the position of the center of the jitter in the direction of the jitter is not fixed.
  • the shaking center can be directly acquired according to the image sensor, or the shaking center can also be obtained by the photographing device comparing the current image with the previous image of the current image.
  • the jitter in the roll direction can be either clockwise or counterclockwise.
  • clockwise jitter when the photographing device shakes in the clockwise direction, the number of pixels to be offset can be determined according to the angle of change in the clockwise direction and the center of the jitter determined above.
  • a reference pixel point may be determined according to a change angle of the clockwise direction and a center of the jitter, and then the number of pixels moved by the reference pixel point is determined according to the distance of the reference pixel point from the center of the jitter.
  • the number of pixels is used as a pixel offset amount of the corrected captured image.
  • the number of pixels corresponding to the jitter angle in the jitter direction can be determined, thereby determining the pixel offset in the jitter direction, thereby ensuring The pixel offset can accurately capture the corrected image.
  • the jitter of the photographing device may only occur in one of the above-mentioned shaking directions, or may occur in multiple directions in the above-mentioned shaking direction.
  • the photographing device may shake at the same time in the pitch direction, the yaw direction, and the roll direction, that is, the superposition of the jitter in various shake directions.
  • the photographing apparatus can separately determine the pixel shift amount in each of the shaking directions, and then superimpose the pixel shift amounts in the respective shake directions to form a final pixel shift amount.
  • the amplitude of the jitter in the dithering direction is the dithering distance in the horizontal dithering direction or the dithering distance in the vertical dithering direction.
  • the method of determining the pixel offset in the horizontal direction and the vertical direction is the same.
  • the following embodiments are described by taking the horizontal direction as an example.
  • FIG. 9 is a schematic flowchart of an image processing method of a photographing apparatus according to an embodiment of the present invention. As shown in FIG. 9 , a process of determining a pixel offset of a corrected captured image in a roll direction of the photographing apparatus is:
  • the image distance may be the distance from the mirror image plane
  • the object distance may be the distance of the mirror surface from the object plane
  • the number of pixels corresponding to the jitter distance in the above-mentioned jitter direction may be calculated using the following formula (2):
  • the amplitude of the jitter of the photographing device in the horizontal direction that is, the jitter distance is 1, the image distance is 2, the object distance is 1000, and the pixel pitch is 0.0005, the number of pixels is calculated using the above formula (2):
  • the number of pixels corresponding to the offset is 10.
  • the number of pixels corresponding to the jitter distance in the horizontal direction or the vertical direction can be calculated, thereby determining the pixel offset in the jitter direction. The amount, thereby ensuring that the corrected image can be accurately intercepted based on the pixel offset.
  • the present embodiment relates to a specific method of capturing an image from the corrected captured image based on the pixel offset and the reference image.
  • step S602 the pixel offset amount and the reference image are intercepted in the corrected captured image.
  • the specific process of the image corresponding to the above jitter direction is:
  • S1001 Acquire a pixel position of a pixel in the target captured image corresponding to the reference image in the reference image.
  • the target captured image corresponding to the reference image is a distortion correction of the reference image and an image formed according to the interception.
  • each pixel in the target captured image corresponding to the reference image has a specific position in the reference image, that is, the pixel position.
  • the photographing apparatus can directly record the position of each pixel point in the target photographed image formed after the interception in the reference image when the reference image is subjected to distortion correction and interception. Further, in this step, the recorded pixel position can be directly read.
  • the current image captured by the photographing device may have a shift in the pixel position compared to the reference image, and the offset is the pixel offset determined by the embodiment.
  • the photographing device may calculate the second pixel corresponding to the first pixel position according to the pixel offset described above. position.
  • the pixel points at the second pixel position are directly intercepted from the corrected captured image, that is, an image corresponding to the shaking direction can be obtained.
  • the jitter of the photographing device may only occur in one of the above-mentioned shaking directions, or may occur in multiple directions in the above-mentioned shaking direction.
  • the photographing device may shake at the same time in the pitch direction, the yaw direction, and the roll direction, that is, the superposition of the jitter in various shake directions.
  • the photographing apparatus can separately determine the pixel shift amount in each of the shaking directions, and then superimpose the pixel shift amounts in the respective shake directions to form a final pixel shift amount.
  • image clipping is performed based on the superimposed final pixel offset.
  • the pixel position of the pixel point that the current image needs to be intercepted may be determined by acquiring the pixel position of the pixel point in the reference image, and then the pixel position of the pixel point that needs to be intercepted according to the current image is determined. Image capture is performed to achieve the anti-shake purpose of the shooting device.
  • image adjustment may also be performed on the obtained target captured image to eliminate the influence on the image during the anti-shake operation.
  • the image adjustment may be, for example, smoothing the edge of the captured image or the like.
  • FIG. 11 is a schematic structural diagram of a photographing apparatus according to an embodiment of the present invention. As shown in FIG. 11 , the photographing apparatus includes:
  • the processor 1102 The processor 1102;
  • the processor 1102 is configured to:
  • the image corresponding to the shaking direction is taken as a target captured image of the photographing apparatus.
  • the photographing device is used to implement the foregoing method embodiments, and the implementation principle and technical effects thereof are similar, and details are not described herein again.
  • processor 1102 is further configured to:
  • Distortion correction is performed on the current image to obtain a corrected captured image.
  • An image corresponding to the shaking direction is intercepted in the corrected captured image.
  • the size of the image corresponding to the shaking direction is consistent with the image sensor pixel size of the photographing device.
  • processor 1102 is further configured to:
  • the amplitude of the jitter in the direction of the jitter is determined.
  • An image corresponding to the dithering direction is intercepted in the corrected captured image according to the dithering direction and the dithering amplitude.
  • processor 1102 is further configured to:
  • An image corresponding to the shaking direction is intercepted in the corrected captured image according to the pixel offset amount and the reference image.
  • the dithering direction is a yaw direction and/or a pitch direction
  • the dithering amplitude is a changing angle of the yaw angle and/or a changing angle of the pitch angle
  • processor 1102 is further configured to:
  • the number of pixels is used as the pixel offset amount of the corrected captured image.
  • the shaking direction is a roll direction
  • the jitter amplitude is a change angle of the roll angle
  • processor 1102 is further configured to:
  • the number of pixels is used as the pixel offset amount of the corrected captured image.
  • the dithering direction is a horizontal dithering direction or a vertical dithering direction
  • the dithering amplitude is a dithering distance in the horizontal dithering direction or a dithering distance in the vertical dithering direction.
  • processor 1102 is further configured to:
  • the number of pixels is used as the pixel offset amount of the corrected captured image.
  • processor 1102 is further configured to:
  • the pixel points at the second pixel position are intercepted to obtain an image corresponding to the shaking direction.
  • processor 1102 is further configured to:
  • Image adjustment is performed on the target captured image.
  • the embodiment of the invention further provides a computer readable storage medium having stored thereon computer program instructions, the program instructions being executed by the processor in the method described in the foregoing method embodiments.
  • the embodiment of the invention further provides a mobile platform, which comprises the photographing device described in the above embodiments.
  • the disclosed apparatus and method may be implemented in other manners.
  • the device embodiments described above are merely illustrative.
  • the division of the unit is only a logical function division.
  • there may be another division manner for example, multiple units or components may be combined or Can be integrated into another system, or some features can be ignored or not executed.
  • the mutual coupling or direct coupling or communication connection shown or discussed may be an indirect coupling or communication connection through some interface, device or unit, and may be in an electrical, mechanical or other form.
  • the units described as separate components may or may not be physically separate, and the components displayed as units may or may not be physical units, that is, may be located in one place, or may be distributed to multiple network units. Some or all of the units may be selected according to actual needs to achieve the purpose of the solution of the embodiment.
  • each functional unit in each embodiment of the present invention may be integrated into one processing unit, or each unit may exist physically separately, or two or more units may be integrated into one unit.
  • the above integrated unit can be implemented in the form of hardware or in the form of hardware plus software functional units.
  • the above-described integrated unit implemented in the form of a software functional unit can be stored in a computer readable storage medium.
  • the above software functional unit is stored in a storage medium and includes instructions for causing a computer device (which may be a personal computer, a server, or a network device, etc.) or a processor to perform the methods of the various embodiments of the present invention. Part of the steps.
  • the foregoing storage medium includes: a U disk, a mobile hard disk, a read-only memory (ROM), a random access memory (RAM), a magnetic disk, or an optical disk, and the like, which can store program codes. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例提供一种拍摄设备的图像处理方法、拍摄设备及可移动平台，该方法包括：确定所述拍摄设备在获取当前图像时相对于获取参考图像时的抖动方向；根据所述抖动方向，截取所述当前图像中与所述抖动方向对应的图像；将所述与所述抖动方向对应的图像作为所述拍摄设备的目标拍摄图像。该方法中，拍摄设备首先获取当前图像相对于参考图像的抖动方向，进而截取与抖动方向对应的图像，所截取的图像不会减小原有的有效图像，从而保证相机所拍摄的图像的呈现效果。

Description

拍摄设备的图像处理方法、拍摄设备及可移动平台 技术领域
本发明实施例涉及图像处理领域，尤其涉及一种拍摄设备的图像处理方法、拍摄设备及可移动平台。
背景技术
相机拍摄时，由于操作员的手或搭载相机的载具(如可移动平台)的抖动，会导致拍摄的照片模糊或者视频抖动。因此相机拍摄时需要进行防抖处理。
现有技术中，提供了一种通过软件防抖的方法。具体地，通过传感器(例如陀螺仪)检测相机的抖动方向，并通过特定的算法截取抖动视频中图像相同的部分作为有效图像，而舍去边缘的部分图像，从而达到防抖的目的。
但是，现有技术的方法需要舍去边缘的部分图像，因此会减小相机所拍摄图像的有效像素，导致相机所拍摄图像的效果不佳。
发明内容
本发明实施例提供一种拍摄设备的图像处理方法、拍摄设备及可移动平台，用于解决现有技术防抖所造成的拍摄图像的效果不佳的问题。
本发明实施例第一方面提供一种拍摄设备的图像处理方法，包括：
确定所述拍摄设备在获取当前图像时相对于获取参考图像时的抖动方向；
根据所述抖动方向，截取所述当前图像中与所述抖动方向对应的图像；
将所述与所述抖动方向对应的图像作为所述拍摄设备的目标拍摄图像。
本发明实施例第二方面提供一种拍摄设备，包括：
图像传感器；
处理器；
所述处理器用于：
确定所述拍摄设备在获取当前图像时相对于获取参考图像时的抖动方向；
根据所述抖动方向，截取所述当前图像中与所述抖动方向对应的图像；
将所述与所述抖动方向对应的图像作为所述拍摄设备的目标拍摄图像。
本发明实施例第三方面提供一种可读存储介质，其上存储有计算机程序指令，所述程序指令被处理器执行上述第一方面所述的方法。
本发明实施例第四方面提供一种可移动平台，所述可移动平台包括上述第二方面所述的拍摄设备。
本发明实施例所提供的拍摄设备的图像处理方法、拍摄设备及可移动平台，拍摄设备首先获取当前图像相对于参考图像的抖动方向，进而截取与抖动方向对应的图像，所截取的图像不会减小原有的有效图像，从而保证相机所拍摄的图像的呈现效果。
附图说明
图1为本发明实施例提供的拍摄设备的图像处理方法的流程示意图；
图2为桶形畸变实际拍摄的图像范围示意图；
图3为桶形畸变实际拍摄的图像和图像传感器的范围及位置示意图；
图4为枕形畸变实际拍摄的图像范围示意图；
图5为枕形畸变实际拍摄的图像和图像传感器的范围及位置示意图；
图6为本发明实施例提供的拍摄设备的图像处理方法的流程示意图；
图7为本发明实施例提供的拍摄设备的图像处理方法的流程示意图；
图8为本发明实施例提供的拍摄设备的图像处理方法的流程示意图；
图9为本发明实施例提供的拍摄设备的图像处理方法的流程示意图；
图10为本发明实施例提供的拍摄设备的图像处理方法的流程示意图；
图11为本发明实施例提供的拍摄设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联 关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，在不冲突的情况下，本文实施例中的特征可以任意组合。
现有技术中，在进行防抖处理时，通过传感器检测相机的抖动方向，并截取抖动视频中图像相同的部分作为有效图像，在此方法中，需要舍去边缘的部分图像，因此会减小相机所拍摄图像的有效像素，导致相机所拍摄图像的效果不佳。
本发明实施例基于上述问题，提出一种拍摄设备的图像处理方法，在防抖处理时，不会减小原有的有效图像，从而保证相机所拍摄的图像的呈现效果。
图1为本发明实施例提供的拍摄设备的图像处理方法的流程示意图，如图1所示，该方法包括：
S101、确定拍摄设备在获取当前图像时相对于获取参考图像时的抖动方向。
可选的，上述拍摄设备可以是照相机、摄像机等可以进行图像拍摄的设备。
具体的，本实施例可以应用在视频拍摄过程中。例如，视频拍摄过程中，拍摄会连续拍摄多帧图像。其中，上述当前图像是指拍摄设备在当前时间拍摄的一帧图像，上述参考图像是指在当前图像之前拍摄到的一帧图像。例如，上述参考图像可以是当前图像的上一帧图像，或者，上述参考图像也可以是当前图像的预设数量帧之前的一帧图像，或者，上述参考图像也可以是由用户设定的一帧图像。
可选的，本实施例可以应用在照相机的拍照过程中，作为示例，对于拍摄当前参考图相可以是预设的，在预设位置的图像。
可选的，当拍摄设备拍摄当前图像时，可以通过拍摄设备的传感器来确定当前图像相对于参考图像的抖动方向。
S102、根据所述抖动方向，截取所述当前图像中与所述抖动方向对应的图像。
其中，根据抖动方向的不同，所截取的与抖动方向对应的图像也不相同， 将在下述实施例中进行详细描述。
S103、将所述与所述抖动方向对应的图像作为所述拍摄设备的目标拍摄图像。
当截取了与抖动方向对应的图像之后，将其作为目标拍摄图像，即作为拍摄视频中当前时间的一帧图像。
本实施例中，拍摄设备首先确定在获取当前图像时相对于获取参考图像时的抖动方向，进而截取与抖动方向对应的图像，所截取的图像不会减小原有的有效图像，从而保证相机所拍摄的图像的呈现效果。
在一种可选的实施方式中，在上述步骤S102之前，拍摄设备还会执行下述步骤：
对上述当前图像进行畸变校正，得到校正后的拍摄图像。
具体的，照相机会摄像机在拍摄时可能会存在镜头畸变，镜头畸变可以分为桶形畸变、枕形畸变、及混合畸变(桶形畸变和枕形畸变的混合)。图2为桶形畸变实际拍摄的图像范围示意图，图3为桶形畸变经过校正后的图像和图像传感器所表示的范围及位置示意图，如图2及图3所示，方形的图像传感器范围内存在桶形畸变，桶形畸变校正是将方形的图像传感器范围内图像还原为图2所示的图像范围。图4为枕形畸变实际拍摄的图像范围示意图，图5为枕形畸变经过校正后的图像和图像传感器所表示的范围及位置示意图，如图4及图5所示，方形的图像传感器范围内存在枕形畸变，枕形畸变校正是将方形的图像传感器范围内图像还原为图4所示的图像范围。另外，混合畸变是将图2和图4相结合的一个图像范围压缩到了方形的图像传感器范围内，此时看到的图像传感器上的物体的图像是变形的，因此，需要将图像恢复到和实际物体相同的形状，即需要进行畸变校正。
需要说明的是，无论是何种类型的畸变，经过畸变校正后，都可以获得比图像传感器范围大的图像。
可选的，以桶形畸变的校正为例，畸变校正的过程可以为：
首先，对所拍摄的图像进行畸变校正，图像拉伸到图2所示的形状，从而使得拉伸后的图像中的物体形状和实际被拍摄物体形状一致。进而，在拉伸后的图像中截取图像传感器大小的图像作为校正后的拍摄图像。
相应的，上述步骤S102具体可以为：
在上述校正后的拍摄图像中截取与上述抖动方向对应的图像。
当获取到校正后的拍摄图像后，从该校正后的拍摄图像中根据抖动方向，来截取与抖动方向对应的图像，进而将截取到的图像作为上述拍摄设备的目标拍摄图像。
可选的，拍摄设备所截取的与上述抖动方向对应的图像的尺寸与拍摄设备的图像传感器像素尺寸一致。即，从校正后的图像中所截取的图像的尺寸为拍摄设备的图像传感器所支持的最大图像尺寸。也可以从校正后的图像中所截取超出或者小于拍摄设备的图像传感器所支持的最大图像尺寸。
本实施例中，拍摄设备在畸变校正后的图像中截取与抖动方向对应的图像，即在进行畸变校正的过程中进行防抖处理。由于镜头畸变本身就会产生冗余面积的图像需要舍去，而本实施例仅是根据抖动方向来调节需要舍去的冗余部分的位置，所得到的截取后的图像尺寸仍然保持和图像传感器尺寸一致。因此，本实施例的方法并不会减小原来的有效图像，从而保证了相机所拍摄的图像的呈现效果，并且，在进行畸变校正的过程中同时进行防抖处理，将两个步骤在同一个时间进行，节省了处理时间，加快了处理的速度。
在一种可选的实施方式中，拍摄设备在从校正后的拍摄图像中截取与抖动方向对应的图像时，还可以同时结合该抖动方向上的抖动幅度来截取。其中，对于不同的抖动方向，抖动幅度的含义并不相同。示例性的，如果抖动方向为偏航方向，则抖动幅度为在该方向上的抖动角度；如果抖动方向为水平方向，则抖动幅度为在该方向上的抖动距离。
具体的，拍摄设备在校正后的拍摄图像中截取与上述抖动方向对应的图像之前，拍摄设备首先确定上述抖动方向上的抖动幅度。进而，拍摄设备在截取与抖动方向对应的图像时，可以根据上述抖动方向以及上述抖动幅度，在上述校正后的拍摄图像中截取与上述抖动方向对应的图像。
在上述实施例的基础上，本实施例涉及拍摄设备根据上述抖动方向以及上述抖动幅度，在校正后的拍摄图像中截取与抖动方向对应的图像的具体过程。
图6为本发明实施例提供的拍摄设备的图像处理方法的流程示意图，如图6所示，拍摄设备根据上述抖动方向以及上述抖动幅度，在校正后的拍摄图像中截取与抖动方向对应的图像的具体方法为：
S601、根据所述抖动方向和上述抖动幅度，确定所述校正后的拍摄图像的像素偏移量。
其中，上述像素偏移量是指校正后的当前图像相对于校正后的参考图像的像素偏移量。
其中，如前所述，上述参考图像可以是当前图像的上一帧图像，或者，上述参考图像也可以是当前图像的预设数量帧之前的一帧图像，或者，上述参考图像也可以是由用户设定的一帧图像
S602、根据所述像素偏移量以及所述参考图像，在所述校正后的拍摄图像中截取与所述抖动方向对应的图像。
具体的，对于不同的抖动方向，拍摄设备在截取与抖动方向对应的图像时的方法并不相同。
以下分别介绍针对不同的抖动方向，拍摄设备在确定校正后的拍摄图像的像素偏移量时的具体方法。
1、偏航方向和/或俯仰方向
当抖动方向为偏航方向和/或俯仰方向时，该抖动方向上的抖动幅度为偏航角的变化角度和/或俯仰角的变化角度。
需要说明的是，对于偏航方向及俯仰方向上的抖动，可能存在三种情况。第一种情况，仅在偏航方向上抖动。第二种情况，仅在俯仰方向上抖动。第三种情况，同时在偏航方向和俯仰方向上抖动。其中，同时在偏航方向和俯仰方向上抖动是在偏航方向和俯仰方向上抖动的叠加，因此，在该叠加方向上的像素偏移量也可以通过对偏航方向上的像素偏移量和俯仰方向上的像素偏移量的叠加来获得。
其中，偏航方向和俯仰方向上的像素偏移量的确定方法相同。为便于描述，以下实施例以偏航方向为例进行说明。
图7为本发明实施例提供的拍摄设备的图像处理方法的流程示意图，如图7所示，拍摄设备在偏航方向或俯仰方向上的确定校正后的拍摄图像的像素偏移量的过程为：
S701、根据所述抖动方向、所述抖动幅度以及所述拍摄设备的视场角(Field of Vision，简称FOV)，计算所述抖动方向上的抖动角度所对应的像素数量。
S702、将所述像素数量作为所述校正后的拍摄图像的像素偏移量。
当抖动方向为偏航方向时，抖动幅度为偏航角的变化角度。通过偏航角的变化角度可以计算出对应的像素数量。
具体的，所述抖动方向上抖动角度所对应的像素数量可以通过如下公式(1)计算。
像素数量＝抖动方向的传感器一列像素个数*(抖动角度/FOV)   (1)
举例来说，假设拍摄设备在偏航方向偏移了1度，拍摄设备的FOV为90度，偏航方向上传感器一列像素个数为1890个，则使用上述公式(1)计算像素数量：
1890*(1/90)＝21
即，如果拍摄设备在偏航方向偏移了1度，则对应偏移的像素个数为21个。
本实施例中，根据偏航方向和/或俯仰方向上的抖动幅度，可以计算该抖动方向上的抖动角度所对应的像素数量，进而确定出该抖动方向上的像素偏移量，从而保证了基于该像素偏移量可以准确地截取校正后的图像。
2、横滚方向
当抖动方向为横滚方向时，该抖动方向上的抖动幅度为横滚角的变化角度。
图8为本发明实施例提供的拍摄设备的图像处理方法的流程示意图，如图8所示，拍摄设备在横滚方向上的确定校正后的拍摄图像的像素偏移量的过程为：
S801、确定所述抖动方向的抖动中心。
可选的，抖动方向的抖动中心的位置不固定。例如，该抖动中心可以根据图像传感器直接获取，或者，该抖动中心也可以由拍摄设备对当前图像与当前图像的前一图像进行比较来得出。
S802、根据所述抖动方向、所述抖动中心以及所述抖动幅度，确定所述抖动幅度对应的像素数量。
可选的，横滚方向上的抖动可以为顺时针方向抖动，也可以为逆时针方向抖动。以顺时针方向抖动为例，当拍摄设备沿顺时针方向抖动时，可以根据顺时针方向的变化角度以及上述所确定出的抖动中心，确定偏移的像素数 量。具体的，可以根据顺时针方向的变化角度和抖动中心，确定一个参照像素点，再根据该参照像素点距离抖动中心的距离，确定该参照像素点所移动的像素数量。
S803、将所述像素数量作为所述校正后的拍摄图像的像素偏移量。
本实施例中，根据横滚方向上的抖动中心以及抖动幅度，可以确定该抖动方向上的抖动角度所对应的像素数量，进而确定出该抖动方向上的像素偏移量，从而保证了基于该像素偏移量可以准确地截取校正后的图像。
需要说明的是，在具体实施过程中，拍摄设备的抖动可能仅发生在上述抖动方向中的一种抖动方向上，也有可能同时发生在上述抖动方向中的多个方向上。例如，拍摄设备可能同时在俯仰方向、偏航方向以及横滚方向上抖动，即为各种抖动方向上的抖动的叠加。在这种情况下，拍摄设备可以分别确定各抖动方向上的像素偏移量，再将各抖动方向上的像素偏移量叠加，形成最终的像素偏移量。
3、水平方向或垂直方向
当抖动方向为水平方向或垂直方向时，该抖动方向上的抖动幅度为水平抖动方向上的抖动距离或垂直抖动方向上的抖动距离。
水平方向和垂直方向上的像素偏移量的确定方法相同。为便于描述，以下实施例以水平方向为例进行说明。
图9为本发明实施例提供的拍摄设备的图像处理方法的流程示意图，如图9所示，拍摄设备在横滚方向上的确定校正后的拍摄图像的像素偏移量的过程为：
S901、确定像距以及物距。
其中，像距可以是镜面距离像平面的距离，物距可以是镜面距离物平面的距离。
S902、根据所述抖动方向、所述抖动幅度、所述像距以及物距，计算所述抖动方向上的抖动距离所对应的像素数量。
可选的，可以使用下述公式(2)计算上述抖动方向上的抖动距离所对应的像素数量：
像素数量＝(像距*抖动幅度)/(物距*像素间距)   (2)
举例来说，假设拍摄设备在水平方向上的抖动幅度，即抖动距离为1， 像距为2，物距为1000，像素间距为0.0005，则使用上述公式(2)计算像素数量：
(2*1)/(1000*0.0005)＝10
即，如果拍摄设备在水平方向偏移了1，则对应偏移的像素个数为10个。
S903、将所述像素数量作为所述校正后的拍摄图像的像素偏移量。
本实施例中，根据水平方向或垂直方向上的抖动幅度和像距以及物距，可以计算水平方向或垂直方向上的抖动距离所对应的像素数量，进而确定出该抖动方向上的像素偏移量，从而保证了基于该像素偏移量可以准确地截取校正后的图像。
在上述实施的基础上，本实施例涉及根据像素偏移量以及参考图像从校正后的拍摄图像中截取图像的具体方法。
图10为本发明实施例提供的拍摄设备的图像处理方法的流程示意图，如图10所示，上述步骤S602中根据上述像素偏移量以及上述参考图像，在上述校正后的拍摄图像中截取与上述抖动方向对应的图像的具体过程为：
S1001、获取所述参考图像对应的目标拍摄图像中的像素点在所述参考图像中的像素位置。
其中，上述参考图像对应的目标拍摄图像为对上述参考图像进行畸变校正以及根据截取之后所形成的图像。
具体的，参考图像对应的目标拍摄图像中的像素点是从参考图像中截取的，因此，参考图像对应的目标拍摄图像中的每个像素点在参考图像中都有一个特定的位置，即像素位置。拍摄设备可以在对参考图像进行畸变校正以及进行截取时，直接记录截取之后形成的目标拍摄图像中的每个像素点在参考图像中的位置。进而，在本步骤中，直接读取所记录的像素位置即可。
S1002、根据所述像素偏移量，计算第一像素位置对应的第二像素位置，其中，所述第一像素位置为所述参考图像对应的目标拍摄图像中的像素位置，所述第二像素位置为所述校正后的拍摄图像中的像素位置。
当发生抖动时，拍摄设备所拍摄到的当前图像相比于参考图像，会存在像素位置的偏移，偏移量即为通过实施例所确定出的像素偏移量。在本步骤中，当获取到参考图像对应的目标拍摄图像中每个像素点的第一像素位置后，拍摄设备根据上述的像素偏移量，就可以计算出第一像素位置对应的第二像 素位置。
具体的，遍历参考图像对应的目标拍摄图像中的每个第一像素位置，将位置值与上述像素偏移量相加，即可得到第一像素位置对应的第二像素位置，从而可以确定当前图像对应的目标拍摄图像中的每个像素点在当前图像中的位置。
S1003、截取所述第二像素位置上的像素点，得到与所述抖动方向对应的图像。
当确定出所有的第二像素位置之后，直接从校正后的拍摄图像截取该第二像素位置上的像素点，即可以得到抖动方向对应的图像。
需要说明的是，在具体实施过程中，拍摄设备的抖动可能仅发生在上述抖动方向中的一种抖动方向上，也有可能同时发生在上述抖动方向中的多个方向上。例如，拍摄设备可能同时在俯仰方向、偏航方向以及横滚方向上抖动，即为各种抖动方向上的抖动的叠加。在这种情况下，拍摄设备可以分别确定各抖动方向上的像素偏移量，再将各抖动方向上的像素偏移量叠加，形成最终的像素偏移量。进而，在本实施例中，再基于该叠加的最终的像素偏移量进行图像截取。
本实施例中，在获取到像素偏移量之后，通过获取参考图像中像素点的像素位置可以确定出当前图像需要截取的像素点的像素位置，进而根据当前图像需要截取的像素点的像素位置进行图像截取，从而实现拍摄设备的防抖目的。
在另一可选的实施方式中，当拍摄设备执行完上述实施例所示的防抖操作之后，还可以对所得到的目标拍摄图像进行图像调整，以消除防抖操作时对图像造成的影响。其中，图像调整例如可以是对所截取的图像的边缘进行平滑处理等。
图11为本发明实施例提供的拍摄设备的结构示意图，如图11所示，该拍摄设备包括：
图像传感器1101；
处理器1102；
处理器1102用于：
确定所述拍摄设备在获取当前图像时相对于获取参考图像时的抖动方向；
根据所述抖动方向，截取所述当前图像中与所述抖动方向对应的图像；
将所述与所述抖动方向对应的图像作为所述拍摄设备的目标拍摄图像。
该拍摄设备用于实现前述的方法实施例，其实现原理和技术效果类似，此处不再赘述。
另一实施例中，处理器1102还用于：
对所述当前图像进行畸变校正，得到校正后的拍摄图像。
在所述校正后的拍摄图像中截取与所述抖动方向对应的图像。
另一实施例中，所述与所述抖动方向对应的图像的尺寸与所述拍摄设备的图像传感器像素尺寸一致。
另一实施例中，处理器1102还用于：
确定所述抖动方向上的抖动幅度。
根据所述抖动方向和所述抖动幅度，在所述校正后的拍摄图像中截取与所述抖动方向对应的图像。
另一实施例中，处理器1102还用于：
根据所述抖动方向和所述抖动幅度，确定所述校正后的拍摄图像的像素偏移量；
根据所述像素偏移量以及所述参考图像，在所述校正后的拍摄图像中截取与所述抖动方向对应的图像。
另一实施例中，所述抖动方向为偏航方向和/或俯仰方向，所述抖动幅度为偏航角的变化角度和/或俯仰角的变化角度。
相应的，处理器1102还用于：
根据所述抖动方向和所述抖动幅度，计算所述抖动方向上的抖动角度所对应的像素数量；
将所述像素数量作为所述校正后的拍摄图像的像素偏移量。
另一实施例中，所述抖动方向为横滚方向，所述抖动幅度为横滚角的变化角度。
相应的，处理器1102还用于：
确定所述抖动方向的抖动中心；
根据所述抖动方向、所述抖动中心以及所述抖动幅度，确定所述抖动幅度对应的像素数量；
将所述像素数量作为所述校正后的拍摄图像的像素偏移量。
另一实施例中，所述抖动方向为水平抖动方向或垂直抖动方向，所述抖动幅度为所述水平抖动方向上的抖动距离或所述垂直抖动方向上的抖动距离。
相应的，处理器1102还用于：
确定像距以及物距；
根据所述抖动方向、所述抖动幅度、所述像距以及物距，计算所述抖动方向上的抖动距离所对应的像素数量；
将所述像素数量作为所述校正后的拍摄图像的像素偏移量。
另一实施例中，处理器1102还用于：
获取所述参考图像对应的目标拍摄图像中的像素点在所述参考图像中的像素位置，其中，所述参考图像对应的目标拍摄图像为对所述参考图像进行畸变校正以及根据截取之后所形成的图像；
根据所述像素偏移量，计算第一像素位置对应的第二像素位置，其中，所述第一像素位置为所述参考图像对应的目标拍摄图像中的像素位置，所述第二像素位置为所述校正后的拍摄图像中的像素位置；
截取所述第二像素位置上的像素点，得到与所述抖动方向对应的图像。
另一实施例中，处理器1102还用于：
对所述目标拍摄图像进行图像调整。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序指令，所述程序指令被处理器执行上述方法实施例中所述的方法。
本发明实施例还提供一种可移动平台，该可移动平台包括上述实施例中所述的拍摄设备。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作 为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (28)

  1. 一种拍摄设备的图像处理方法，其特征在于，包括：
    确定所述拍摄设备在获取当前图像时相对于获取参考图像时的抖动方向；
    根据所述抖动方向，截取所述当前图像中与所述抖动方向对应的图像；
    将所述与所述抖动方向对应的图像作为所述拍摄设备的目标拍摄图像。
  2. 根据权利要求1所述的方法，其特征在于，在所述截取所述拍摄设备所拍摄图像中与所述抖动方向对应的图像前，所述方法还包括：
    对所述当前图像进行畸变校正，得到校正后的拍摄图像；
    所述截取所述当前图像中与所述抖动方向对应的图像，包括：
    在所述校正后的拍摄图像中截取与所述抖动方向对应的图像。
  3. 根据权利要求2所述的方法，其特征在于，所述与所述抖动方向对应的图像的尺寸与所述拍摄设备的图像传感器像素尺寸一致。
  4. 根据权利要求2所述的方法，其特征在于，所述在所述校正后的拍摄图像中截取与所述抖动方向对应的图像之前，所述方法还包括：
    确定所述抖动方向上的抖动幅度；
    所述在所述校正后的拍摄图像中截取与所述抖动方向对应的图像，包括：
    根据所述抖动方向和所述抖动幅度，在所述校正后的拍摄图像中截取与所述抖动方向对应的图像。
  5. 根据权利要求4所述的方法，其特征在于，所述根据所述抖动方向和所述抖动幅度，在所述校正后的拍摄图像中截取与所述抖动方向对应的图像，包括：
    根据所述抖动方向和所述抖动幅度，确定所述校正后的拍摄图像的像素偏移量；
    根据所述像素偏移量以及所述参考图像，在所述校正后的拍摄图像中截取与所述抖动方向对应的图像。
  6. 根据权利要求5所述的方法，其特征在于，所述抖动方向为偏航方向和/或俯仰方向，所述抖动幅度为偏航角的变化角度和/或俯仰角的变化角度。
  7. 根据权利要求6所述的方法，其特征在于，所述根据所述抖动方向和所述抖动幅度，确定所述校正后的拍摄图像的像素偏移量，包括：
    根据所述抖动方向、所述抖动幅度以及所述拍摄设备的视场角FOV，计 算所述抖动方向上的抖动角度所对应的像素数量；
    将所述像素数量作为所述校正后的拍摄图像的像素偏移量。
  8. 根据权利要求5所述的方法，其特征在于，所述抖动方向为横滚方向，所述抖动幅度为横滚角的变化角度。
  9. 根据权利要求8所述的方法，其特征在于，所述根据所述抖动方向和所述抖动幅度，确定所述校正后的拍摄图像的像素偏移量，包括：
    确定所述抖动方向的抖动中心；
    根据所述抖动方向、所述抖动中心以及所述抖动幅度，确定所述抖动幅度对应的像素数量；
    将所述像素数量作为所述校正后的拍摄图像的像素偏移量。
  10. 根据权利要求5所述的方法，其特征在于，所述抖动方向为水平抖动方向或垂直抖动方向，所述抖动幅度为所述水平抖动方向上的抖动距离或所述垂直抖动方向上的抖动距离。
  11. 根据权利要求10所述的方法，其特征在于，所述根据所述抖动方向和所述抖动幅度，确定所述校正后的拍摄图像的像素偏移量，包括：
    确定像距以及物距；
    根据所述抖动方向、所述抖动幅度、所述像距以及物距，计算所述抖动方向上的抖动距离所对应的像素数量；
    将所述像素数量作为所述校正后的拍摄图像的像素偏移量。
  12. 根据权利要求5-11任一项所述的方法，其特征在于，所述根据所述像素偏移量以及所述参考图像，在所述校正后的拍摄图像中截取与所述抖动方向对应的图像，包括：
    获取所述参考图像对应的目标拍摄图像中的像素点在所述参考图像中的像素位置，其中，所述参考图像对应的目标拍摄图像为对所述参考图像进行畸变校正以及根据截取之后所形成的图像；
    根据所述像素偏移量，计算第一像素位置对应的第二像素位置，其中，所述第一像素位置为所述参考图像对应的目标拍摄图像中的像素位置，所述第二像素位置为所述校正后的拍摄图像中的像素位置；
    截取所述第二像素位置上的像素点，得到与所述抖动方向对应的图像。
  13. 根据权利要求1-12任一项所述的方法，其特征在于，还包括：
    对所述目标拍摄图像进行图像调整。
  14. 一种拍摄设备，其特征在于，包括：
    图像传感器；
    处理器；
    所述处理器用于：
    确定所述拍摄设备在获取当前图像时相对于获取参考图像时的抖动方向；
    根据所述抖动方向，截取所述当前图像中与所述抖动方向对应的图像；
    将所述与所述抖动方向对应的图像作为所述拍摄设备的目标拍摄图像。
  15. 根据权利要求14所述的拍摄设备，其特征在于，所述处理器还用于：
    对所述当前图像进行畸变校正，得到校正后的拍摄图像；
    在所述校正后的拍摄图像中截取与所述抖动方向对应的图像。
  16. 根据权利要求15所述的拍摄设备，其特征在于，所述与所述抖动方向对应的图像的尺寸与所述拍摄设备的图像传感器像素尺寸一致。
  17. 根据权利要求15所述的拍摄设备，其特征在于，所述处理器还用于：
    确定所述抖动方向上的抖动幅度；
    根据所述抖动方向和所述抖动幅度，在所述校正后的拍摄图像中截取与所述抖动方向对应的图像。
  18. 根据权利要求17所述的拍摄设备，其特征在于，所述处理器还用于：
    根据所述抖动方向和所述抖动幅度，确定所述校正后的拍摄图像的像素偏移量；
    根据所述像素偏移量以及所述参考图像，在所述校正后的拍摄图像中截取与所述抖动方向对应的图像。
  19. 根据权利要求18所述的拍摄设备，其特征在于，所述抖动方向为偏航方向和/或俯仰方向，所述抖动幅度为偏航角的变化角度和/或俯仰角的变化角度。
  20. 根据权利要求19所述的拍摄设备，其特征在于，所述处理器还用于：
    根据所述抖动方向、所述抖动幅度以及所述拍摄设备的视场角FOV，计算所述抖动方向上的抖动角度所对应的像素数量；
    将所述像素数量作为所述校正后的拍摄图像的像素偏移量。
  21. 根据权利要求18所述的拍摄设备，其特征在于，所述抖动方向为横 滚方向，所述抖动幅度为横滚角的变化角度。
  22. 根据权利要求21所述的拍摄设备，其特征在于，所述处理器还用于：
    确定所述抖动方向的抖动中心；
    根据所述抖动方向、所述抖动中心以及所述抖动幅度，确定所述抖动幅度对应的像素数量；
    将所述像素数量作为所述校正后的拍摄图像的像素偏移量。
  23. 根据权利要求18所述的拍摄设备，其特征在于，所述抖动方向为水平抖动方向或垂直抖动方向，所述抖动幅度为所述水平抖动方向上的抖动距离或所述垂直抖动方向上的抖动距离。
  24. 根据权利要求23所述的拍摄设备，其特征在于，所述处理器还用于：
    确定像距以及物距；
    根据所述抖动方向、所述抖动幅度和所述像距以及物距，计算所述抖动方向上的抖动距离所对应的像素数量；
    将所述像素数量作为所述校正后的拍摄图像的像素偏移量。
  25. 根据权利要求18-24任一项所述的拍摄设备，其特征在于，所述处理器还用于：
    获取所述参考图像对应的目标拍摄图像中的像素点在所述参考图像中的像素位置，其中，所述参考图像对应的目标拍摄图像为对所述参考图像进行畸变校正以及根据截取之后所形成的图像；
    根据所述像素偏移量，计算第一像素位置对应的第二像素位置，其中，所述第一像素位置为所述参考图像对应的目标拍摄图像中的像素位置，所述第二像素位置为所述校正后的拍摄图像中的像素位置；
    截取所述第二像素位置上的像素点，得到与所述抖动方向对应的图像。
  26. 根据权利要求14-25任一项所述的拍摄设备，其特征在于，所述处理器还用于：
    对所述目标拍摄图像进行图像调整。
  27. 一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述程序指令被处理器执行权利要求1-13中任一项所述的方法。
  28. 一种可移动平台，其特征在于，所述可移动平台包括权利要求14-26任一项所述的拍摄设备。
PCT/CN2017/120242 2017-12-29 2017-12-29 拍摄设备的图像处理方法、拍摄设备及可移动平台 WO2019127512A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780029127.8A CN109314744A (zh) 2017-12-29 2017-12-29 拍摄设备的图像处理方法、拍摄设备及可移动平台
PCT/CN2017/120242 WO2019127512A1 (zh) 2017-12-29 2017-12-29 拍摄设备的图像处理方法、拍摄设备及可移动平台
US16/900,416 US20200314344A1 (en) 2017-12-29 2020-06-12 Image processing method for photography device, photography device and movable platform

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/120242 WO2019127512A1 (zh) 2017-12-29 2017-12-29 拍摄设备的图像处理方法、拍摄设备及可移动平台

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/900,416 Continuation US20200314344A1 (en) 2017-12-29 2020-06-12 Image processing method for photography device, photography device and movable platform

Publications (1)

Publication Number Publication Date
WO2019127512A1 true WO2019127512A1 (zh) 2019-07-04

Family

ID=65205325

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/120242 WO2019127512A1 (zh) 2017-12-29 2017-12-29 拍摄设备的图像处理方法、拍摄设备及可移动平台

Country Status (3)

Country Link
US (1) US20200314344A1 (zh)
CN (1) CN109314744A (zh)
WO (1) WO2019127512A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110213490B (zh) * 2019-06-25 2020-09-29 浙江大华技术股份有限公司 一种图像防抖方法、装置、电子设备及存储介质
CN110475067B (zh) * 2019-08-26 2022-01-18 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN110991550B (zh) * 2019-12-13 2023-10-17 歌尔科技有限公司 一种视频监控方法、装置、电子设备及存储介质
CN111669499B (zh) * 2020-06-12 2021-11-19 杭州海康机器人技术有限公司 一种视频防抖方法、装置及视频采集设备
WO2022021438A1 (zh) * 2020-07-31 2022-02-03 深圳市大疆创新科技有限公司 一种图像处理方法、图像控制方法及相关设备
WO2022222113A1 (zh) * 2021-04-22 2022-10-27 深圳市大疆创新科技有限公司 视频处理方法、装置、***及存储介质
CN114500856A (zh) * 2022-03-22 2022-05-13 深圳市融智联科技有限公司 一种用于拍照防抖的方法、装置及移动终端
CN115790449B (zh) * 2023-01-06 2023-04-18 威海晶合数字矿山技术有限公司 一种狭长空间的三维形貌测量方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5696848A (en) * 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
JP2005184380A (ja) * 2003-12-18 2005-07-07 Canon Inc 電子カメラ及びその制御方法及びプログラム及び記憶媒体
CN1717923A (zh) * 2002-12-26 2006-01-04 三菱电机株式会社 图像处理装置
CN1879401A (zh) * 2003-11-11 2006-12-13 精工爱普生株式会社 图像处理装置、图像处理方法、其程序以及记录媒体
CN101452180A (zh) * 2007-09-28 2009-06-10 卡西欧计算机株式会社 摄像装置、手抖动校正装置、手抖动校正方法以及记录介质
CN102340626A (zh) * 2010-07-14 2012-02-01 株式会社尼康 摄像装置、及图像合成方法
CN105511753A (zh) * 2014-10-20 2016-04-20 中兴通讯股份有限公司 一种显示调整方法及终端
CN106686307A (zh) * 2016-12-28 2017-05-17 努比亚技术有限公司 一种拍摄的方法和移动终端

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4620607B2 (ja) * 2006-02-24 2011-01-26 株式会社モルフォ 画像処理装置
JP5487722B2 (ja) * 2009-05-25 2014-05-07 ソニー株式会社 撮像装置と振れ補正方法
US10931875B2 (en) * 2016-01-15 2021-02-23 Morpho, Inc. Image processing device, image processing method and storage medium

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5696848A (en) * 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
CN1717923A (zh) * 2002-12-26 2006-01-04 三菱电机株式会社 图像处理装置
CN1879401A (zh) * 2003-11-11 2006-12-13 精工爱普生株式会社 图像处理装置、图像处理方法、其程序以及记录媒体
JP2005184380A (ja) * 2003-12-18 2005-07-07 Canon Inc 電子カメラ及びその制御方法及びプログラム及び記憶媒体
CN101452180A (zh) * 2007-09-28 2009-06-10 卡西欧计算机株式会社 摄像装置、手抖动校正装置、手抖动校正方法以及记录介质
CN102340626A (zh) * 2010-07-14 2012-02-01 株式会社尼康 摄像装置、及图像合成方法
CN105511753A (zh) * 2014-10-20 2016-04-20 中兴通讯股份有限公司 一种显示调整方法及终端
CN106686307A (zh) * 2016-12-28 2017-05-17 努比亚技术有限公司 一种拍摄的方法和移动终端

Also Published As

Publication number Publication date
US20200314344A1 (en) 2020-10-01
CN109314744A (zh) 2019-02-05

Similar Documents

Publication Publication Date Title
WO2019127512A1 (zh) 拍摄设备的图像处理方法、拍摄设备及可移动平台
JP6522708B2 (ja) プレビュー画像表示方法及び装置、並びに端末
WO2018214365A1 (zh) 图像校正方法、装置、设备、***及摄像设备和显示设备
JP5596972B2 (ja) 撮像装置の制御装置および制御方法
US10204398B2 (en) Image distortion transformation method and apparatus
JP6022577B2 (ja) 立体画像ペアの改善された切り取りのための方法および装置
WO2018045596A1 (zh) 一种处理方法及移动设备
KR102229811B1 (ko) 단말기를 위한 촬영 방법 및 단말기
US10122918B2 (en) System for producing 360 degree media
WO2010028559A1 (zh) 图像拼接方法及装置
WO2016131217A1 (zh) 一种图像校正的方法和装置
KR102529479B1 (ko) 제어장치, 제어방법, 및 기억매체
US20190266802A1 (en) Display of Visual Data with a Virtual Reality Headset
JP2018037857A5 (ja) 画像処理装置、画像処理方法、コンピュータプログラムおよび記憶媒体
JP2002014611A (ja) プラネタリウムのまたは球面スクリーンへのビデオ投映方法と装置
WO2018196854A1 (zh) 一种拍照方法、拍照装置及移动终端
US10817992B2 (en) Systems and methods to create a dynamic blur effect in visual content
CN115174878B (zh) 投影画面校正方法、装置和存储介质
JP6290038B2 (ja) 電子機器、方法及びプログラム
JP2014160998A (ja) 画像処理システム、画像処理方法、画像処理プログラム、及び記録媒体
WO2017092261A1 (zh) 一种摄像头模组、移动终端及其拍摄图像的方法和装置
WO2015158953A1 (en) Transformations for image stabilization and refocus
TW201233162A (en) Image compensation method and system
CN108881872B (zh) 多维影像投射装置及其多维影像校正方法
JP2017079378A (ja) 画像処理装置およびその方法、並びに、撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17936058

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17936058

Country of ref document: EP

Kind code of ref document: A1