WO2020257999A1 - 图像处理方法、装置、云台和存储介质 - Google Patents
图像处理方法、装置、云台和存储介质 Download PDFInfo
- Publication number
- WO2020257999A1 WO2020257999A1 PCT/CN2019/092638 CN2019092638W WO2020257999A1 WO 2020257999 A1 WO2020257999 A1 WO 2020257999A1 CN 2019092638 W CN2019092638 W CN 2019092638W WO 2020257999 A1 WO2020257999 A1 WO 2020257999A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- frame image
- optimized
- current frame
- rotation parameter
- processed
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Definitions
- the embodiments of the present invention relate to the field of image processing technology, and in particular to an image processing method, device, pan-tilt and storage medium.
- Hyperlapse also known as high dynamic delay
- Hyperlapse is an emerging exposure technology in time-lapse photography. By changing the position of each exposure of the camera, the object can be continuously moved while time-lapse photography. Shoot. Unlike the simple “movement delay” (pushing the track lens) of moving the camera through the camera slide, a large range of movement delay requires the camera to move a long distance, which is likely to cause large jitter. Therefore, stabilization processing is required for the captured video.
- the invention provides an image processing method, device, pan-tilt and storage medium, which improves processing efficiency.
- an embodiment of the present invention provides an image processing method, including:
- the reprojection error constraint function is established; wherein, the original rotation parameter is the rotation parameter of the camera pose of the current frame image relative to the camera pose of the previous frame image; or, the original rotation parameter is all The rotation parameter of the pan-tilt posture of the current frame image relative to the pan-tilt posture of the previous frame image;
- an embodiment of the present invention provides an image processing device, including: a memory and a processor; wherein the memory is used to store instructions;
- the processor is used to run the instructions to achieve:
- the reprojection error constraint function is established; wherein, the original rotation parameter is the rotation parameter of the camera pose of the current frame image relative to the camera pose of the previous frame image; or, the original rotation parameter is all The rotation parameter of the pan-tilt posture of the current frame image relative to the pan-tilt posture of the previous frame image;
- an embodiment of the present invention provides a storage medium, including: a readable storage medium and a computer program, where the computer program is used to implement the image processing method provided by any one of the above-mentioned embodiments of the first aspect.
- an embodiment of the present invention also provides a pan-tilt, including:
- the image processing device provided by any one of the above-mentioned second aspects.
- the present invention provides an image processing method, device, pan-tilt and storage medium, which establishes a reprojection error constraint function based on original rotation parameters; wherein, the original rotation parameter is the camera pose of the current frame image relative to the The rotation parameter of the camera pose of the previous frame image; or, the original rotation parameter is the rotation parameter of the pan/tilt attitude of the current frame image relative to the pan/tilt attitude of the previous frame image; for the reprojection
- the error constraint function is optimized to obtain the optimized rotation parameters; the current frame image is corrected according to the optimized rotation parameters, combined with the prior information of the original rotation parameters, and the relative rotation parameters between the images
- the optimization realizes the smooth processing of the shooting motion trajectory, and then corrects the image according to the optimized relative rotation parameters, which can effectively suppress the jitter, thereby completing the stabilization processing with high efficiency.
- Figure 1 is a schematic diagram of an application scenario provided by the present invention.
- FIG. 2 is a flowchart of an image processing method provided by an embodiment of the present invention.
- FIG. 3 is a flowchart of an image processing method provided by another embodiment of the present invention.
- FIG. 5 is a schematic structural diagram of an image processing apparatus provided by an embodiment of the present invention.
- the image processing method provided by the embodiment of the present invention is applied to moving time-lapse photography to perform stabilization processing on images or videos obtained by moving time-lapse photography, thereby improving processing efficiency.
- the method can be executed by an image processing device.
- the image processing apparatus may be applied to a pan/tilt, specifically it may be a remote control device integrated in the pan/tilt or wirelessly connected to the pan/tilt. Not limited.
- the PTZ can be set on equipment such as drones or robots.
- the image processing apparatus may be applied to electronic devices such as mobile terminals, including, for example, smart phones, tablet computers, wearable devices, and the like.
- the method provided by the embodiment of the present invention can be implemented by an image processing device such as the processor of the image processing device executing the corresponding software code, or the image processing device can execute the corresponding software code while performing data interaction with the server. If the server performs part of the operation, it controls the image processing device to execute the image processing method.
- Fig. 2 is a flowchart of an image processing method provided by an embodiment of the present invention. As shown in Figure 2, the method provided in this embodiment includes:
- Step 201 Establish a reprojection error constraint function according to the original rotation parameter; where the original rotation parameter is the rotation parameter of the camera pose of the current frame image relative to the camera pose of the previous frame image; or, the original rotation parameter is the current frame The rotation parameter of the PTZ posture of the image relative to the PTZ posture of the previous frame.
- the user uses the mobile time-lapse photography function to capture multiple images, and can perform stabilization processing after acquiring one image each time, or perform stabilization processing after acquiring all images, or extract multiple frames of images Stabilization is performed after splicing into a video.
- the image can be converted into a 1080p image.
- the original rotation parameter can be the current frame image relative to the previous frame image.
- the original rotation parameter of the pan/tilt posture of the frame image can be obtained by the gyroscope of the pan/tilt inertial measurement unit (IMU); or, the original rotation parameter can be the camera position of the current frame image
- the original rotation parameter of the pose relative to the camera pose of the previous image can be obtained by the gyroscope of the pan/tilt inertial measurement unit (IMU); or, the original rotation parameter can be the camera position of the current frame image.
- Step 202 Perform optimization processing on the reprojection error constraint function to obtain optimized rotation parameters.
- Step 203 Correct the current frame image according to the optimized rotation parameters.
- the reprojection error constraint function is optimized to obtain the optimized rotation parameters, that is, the motion trajectory of the shooting is smoothed, and then the current frame image is corrected according to the optimized rotation parameters, which can effectively suppress jitter .
- multiple corrected images may be synthesized into a stabilized video.
- the method of this embodiment establishes a reprojection error constraint function based on the original rotation parameter; wherein the original rotation parameter is the rotation parameter of the camera pose of the current frame image relative to the camera pose of the previous frame image Or, the original rotation parameter is the rotation parameter of the pan-tilt posture of the current frame image relative to the pan-tilt posture of the previous frame image; the reprojection error constraint function is optimized to obtain the optimized Rotation parameters; according to the optimized rotation parameters, the current frame image is corrected, combined with the prior information of the original rotation parameters, and the relative rotation parameters between the images are optimized to achieve smooth shooting motion trajectory Processing, and then correcting the image according to the optimized relative rotation parameters, can effectively suppress jitter, thereby completing stabilization processing with high efficiency.
- step 201 the following operations may be performed:
- the feature points to be processed of the current frame image and the feature points to be processed of the previous frame image that match each other are obtained respectively.
- the feature points to be processed can be obtained in the following ways:
- the KLT algorithm is used to determine the matching feature points to be processed in the previous frame image.
- the corner detection algorithm includes at least one of the following: FAST algorithm, SUSAN algorithm, Harris corner detection algorithm.
- the feature points to be processed in the current frame of image can be extracted through the corner detection algorithm, and then the feature points to be processed that are matched in the previous frame of image are determined through the KLT algorithm.
- the Harris corner detection algorithm extracts the feature points to be processed in the current image frame, and defines matrix A as a structure tensor.
- w(u,v) is the window function
- u and v are the offset of the window in the horizontal and vertical directions, respectively
- I x and I y are the gradient information of a certain point on the image in the x and y directions.
- det(A) is the determinant of matrix A
- trace(A) is the trace of matrix A
- ⁇ is the parameter for adjusting the sensitivity
- the threshold Mth is set.
- the matching feature points to be processed in the previous frame image can be tracked according to the KLT algorithm.
- the KLT algorithm is used to iteratively obtain the offset h of the current frame image relative to the previous frame image, so that the previous image can be obtained according to the offset and the feature points to be processed in the current frame image. Matching feature points in a frame of image.
- x denotes coordinate of feature point in the previous frame image to be
- F (x + h k) represents the current frame image to be processed feature point
- F '(x + h k ) represents F (x + h k) of Derivative
- G(x) represents the feature points to be processed in the previous frame of image
- h 0 represents the original value of the offset
- h k represents the offset of the kth iteration
- h k+1 represents the k+1th iteration Offset
- w(x) represents the preset weight.
- the KLT algorithm Kanade-Lucas-Tomasi Tracking Method
- the feature points to be processed in the previous frame of image can also be extracted through the corner detection algorithm, and then the feature points to be processed that are matched in the current frame image are determined through the KLT algorithm.
- the method of this embodiment includes the following steps:
- Step 301 Establish a reprojection error constraint function according to the original rotation parameters, the feature points to be processed in the previous frame of the image, and the preset projection function.
- P i to be processed feature point three-dimensional coordinates in the camera coordinate system to the previous frame image p i is the pixel coordinates of the previous frame feature point to be processed
- R represents the rotation parameters to be optimized
- T represents the relative translation of the current frame image to be optimized with respect to the previous frame image
- ⁇ represents the projection function
- n is the number of feature points to be processed in the previous frame image
- w is the preset weight, which is the engineering experience value , Can be adjusted as needed.
- K is the internal parameter matrix of the image acquisition component (such as the camera)
- P i is the three-dimensional coordinates in the camera coordinate system.
- the internal parameter matrix K can be expressed as:
- ⁇ x fm x
- ⁇ y fm y
- f the focal length
- m x and m y are x
- m x and m y are x
- ⁇ the distortion parameter between the x and y axes (for CCD cameras, the pixels are not square).
- ⁇ 0 , v 0 is the position of the optical center.
- Step 302 Perform optimization processing on the reprojection error constraint function to obtain an optimized rotation parameter that minimizes the reprojection error constraint function.
- the feature points to be processed of the current frame image are corrected, and all pixels in the current frame image may also be corrected.
- Step 303 Filter the optimized rotation parameters to obtain the optimized PTZ posture or the optimized camera pose corresponding to the current frame image;
- Step 304 Correct the current frame image according to the optimized PTZ posture or the optimized camera posture to obtain the corrected current frame image.
- the optimized rotation parameter of the current frame image relative to the previous frame image can be filtered. Since the optimized rotation parameter is for multiple pixels to be processed, Therefore, filtering can be performed on multiple pixels to be processed to obtain the optimized PTZ pose or optimized camera pose corresponding to the current frame image;
- the current frame image is corrected according to the optimized pan-tilt posture or the optimized camera posture to obtain the corrected current frame image.
- the filtering process in step 303 can be specifically implemented through the following steps:
- Step 3031 convert the optimized rotation parameter into a quaternion representation
- Step 3032 Perform filtering processing on the quaternion representation, and convert the filtered quaternion representation into the optimized pan-tilt pose or the optimized camera pose corresponding to the current frame image.
- the optimized rotation parameters can be converted into a quaternion representation, Gaussian smoothing filtering is performed on the quaternion representation, and then normalized to a quaternion, and then converted into the optimized quaternion corresponding to the current previous frame image after optimization of the camera head pose or posture of bits R i '.
- the optimized rotation parameter may also be converted into the rotation parameter of the current frame image relative to the first frame image in the image to be processed. Then filter processing is performed on the rotation parameters, wherein the process of the filter processing is similar to the foregoing embodiment.
- step 304 may be specifically implemented in the following manner:
- the current frame image is corrected to obtain the corrected current frame image.
- the following formula (2) can be used to obtain the corrected current frame image according to the optimized PTZ posture or the optimized camera posture;
- p is the pixel point on the current frame image
- p' is the pixel point corresponding to the feature point to be processed on the corrected image
- R'j represents the optimized PTZ posture or position corresponding to the current frame image.
- Describe the optimized camera pose, Transpose of R j, R j represents the current frame corresponding to the original image or original posture of the camera head pose
- K is image acquisition means (e.g., a camera) internal reference matrix.
- the relative translation of the current frame image relative to the previous frame image can also be optimized according to the reprojection error constraint function, and then the optimized PTZ posture can be determined according to the optimized relative translation and rotation parameters Or the camera pose to correct the image.
- step 201 and step 202 can be processed in real time based on each frame of image, and step 203 (or step 3031 and step 3032) can be executed after acquiring all the frame images of the image to be processed.
- the method of the embodiment of the present invention optimizes the relative rotation parameters by estimating the movement trend of the shooting, that is, the relative rotation parameters between the images, that is, smoothing the motion trajectory is realized, and then the relative rotation parameters are adjusted according to the optimized relative rotation parameters.
- the image is corrected to complete the stabilization process, which is more efficient.
- FIG. 5 is a schematic structural diagram of an image processing apparatus provided by an embodiment of the present invention.
- the image processing device provided in this embodiment is used to execute the image processing method provided in any of the embodiments shown in FIG. 2 to FIG. 4.
- the image processing apparatus provided in this embodiment may include a memory 22 and a processor 21.
- the memory 22 stores instructions for storing.
- the processor 21 is used to run instructions to achieve:
- the reprojection error constraint function is established according to the original rotation parameter; wherein the original rotation parameter is the rotation parameter of the camera pose of the current frame image relative to the camera pose of the previous frame image; or, the original The rotation parameter is the rotation parameter of the pan-tilt posture of the current frame image relative to the pan-tilt posture of the previous frame image;
- the processor 21 is specifically configured to:
- the feature points to be processed of the current frame image are corrected.
- the processor 21 is specifically configured to:
- Optimizing the reprojection error constraint function is performed to obtain an optimized rotation parameter that minimizes the reprojection error constraint function.
- the processor 21 is specifically configured to:
- the optimized PTZ posture or the optimized camera posture correct the current frame image to obtain the corrected current frame image.
- the processor 21 is specifically configured to:
- the processor 21 is specifically configured to:
- Gaussian filtering processing is performed on the quaternion representation, and the processed quaternion representation is normalized to obtain a normalized quaternion representation;
- the normalized quaternion representation is converted into an optimized pan-tilt posture or an optimized camera pose corresponding to the current frame image.
- the processor 21 is specifically configured to:
- the optimized rotation parameter is converted into the rotation parameter of the current frame image relative to the first frame image in the image to be processed.
- the processor 21 is specifically configured to:
- the current frame image is corrected to obtain the corrected current frame image.
- the processor 21 is specifically configured to:
- the processor 21 is specifically configured to:
- the KLT algorithm is used to determine the matching feature points to be processed in the previous frame image.
- the corner detection algorithm includes at least one of the following: FAST algorithm, SUSAN algorithm, Harris corner detection algorithm.
- the image processing apparatus provided in this embodiment is used to execute the image processing method provided in any one of the embodiments shown in FIG. 2 to FIG. 4.
- the technical principles and technical effects are similar, and details are not described herein again.
- An embodiment of the present invention also provides a pan-tilt, including:
- pan-tilt provided in this embodiment is similar to the technical principles and technical effects of the foregoing embodiment, and will not be repeated here.
- the pan/tilt head further includes an image acquisition device for acquiring multiple frames of images.
- An embodiment of the present invention also provides a drone, including:
- the image acquisition component is arranged on the pan-tilt.
- the unmanned aerial vehicle provided in this embodiment is similar to the technical principles and technical effects of the foregoing embodiment, and will not be repeated here.
- An embodiment of the present invention further provides an electronic device, including:
- the electronic device provided in this embodiment is similar to the technical principles and technical effects of the foregoing embodiment, and will not be repeated here.
- the electronic device may include: a smart phone, a tablet computer, a wearable device, etc.
- the embodiment of the present invention also provides a computer-readable storage medium on which a computer program is stored.
- a computer program is stored on which a computer program is stored.
- the computer program is executed by a processor, the corresponding method in the foregoing method embodiment is implemented.
- the specific implementation process please refer to the foregoing method implementation.
- the implementation principles and technical effects are similar, so I won’t repeat them here.
- the embodiment of the present invention also provides a program product.
- the program product includes a computer program (that is, an execution instruction), and the computer program is stored in a readable storage medium.
- the processor may read the computer program from a readable storage medium, and the processor executes the computer program to execute the method for detecting an ice-snow covered road surface provided by any one of the foregoing method embodiments.
- a person of ordinary skill in the art can understand that all or part of the steps in the foregoing method embodiments can be implemented by a program instructing relevant hardware.
- the aforementioned program can be stored in a computer readable storage medium. When the program is executed, it executes the steps including the foregoing method embodiments; and the foregoing storage medium includes: ROM, RAM, magnetic disk, or optical disk and other media that can store program codes.
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本发明提供一种图像处理方法、装置、云台和存储介质，该方法包括：根据原始旋转参数，建立重投影误差约束函数；其中，所述原始旋转参数为所述当前帧图像的相机位姿相对于所述前一帧图像的相机位姿的旋转参数；或，所述原始旋转参数为所述当前帧图像的云台姿态相对于所述前一帧图像的云台姿态的旋转参数；对所述重投影误差约束函数进行优化处理，得到优化后的旋转参数；根据所述优化后的旋转参数，对所述当前帧图像进行校正，上述方案能够对拍摄的运动轨迹平滑处理，对拍摄的图像进行校正，效率较高。
Description
本发明实施例涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、云台和存储介质。
大范围移动延时(Hyperlapse)亦称高动态延时，是缩时摄影中的一种新兴曝光技术，借由改变相机每次曝光的位置以在缩时摄影的同时对对象以持续移动的方式拍摄。与通过相机滑轨移动相机的简单“移动延时”(推轨镜头)不同，大范围移动延时需要相机进行长距离的移动，容易导致抖动较大。因而对于拍摄的视频需要进行增稳处理。
发明内容
本发明提供一种图像处理方法、装置、云台和存储介质，提升了处理效率。
第一方面，本发明实施例提供一种图像处理方法，包括：
根据原始旋转参数，建立重投影误差约束函数；其中，所述原始旋转参数为当前帧图像的相机位姿相对于前一帧图像的相机位姿的旋转参数；或，所述原始旋转参数为所述当前帧图像的云台姿态相对于所述前一帧图像的云台姿态的旋转参数；
对所述重投影误差约束函数进行优化处理，得到优化后的旋转参数；
根据所述优化后的旋转参数，对所述当前帧图像进行校正。
第二方面，本发明实施例提供一种图像处理装置，包括：存储器、处理器；其中，所述存储器用于存储指令；
所述处理器用于运行所述指令以实现：
根据原始旋转参数，建立重投影误差约束函数；其中，所述原始旋转参数为当前帧图像的相机位姿相对于前一帧图像的相机位姿的旋转参数； 或，所述原始旋转参数为所述当前帧图像的云台姿态相对于所述前一帧图像的云台姿态的旋转参数；
对所述重投影误差约束函数进行优化处理，得到优化后的旋转参数；
根据所述优化后的旋转参数，对所述当前帧图像进行校正。
第三方面，本发明实施例提供一种存储介质，包括：可读存储介质和计算机程序，所述计算机程序用于实现上述第一方面任一实施方式提供的图像处理方法。
第四方面，本发明实施例还提供一种云台，包括：
至少一个转动轴；
角度传感器；以及
上述第二方面任一实施方式提供的图像处理装置。
本发明提供一种图像处理方法、装置、云台和存储介质，根据原始旋转参数，建立重投影误差约束函数；其中，所述原始旋转参数为所述当前帧图像的相机位姿相对于所述前一帧图像的相机位姿的旋转参数；或，所述原始旋转参数为所述当前帧图像的云台姿态相对于所述前一帧图像的云台姿态的旋转参数；对所述重投影误差约束函数进行优化处理，得到优化后的旋转参数；根据所述优化后的旋转参数，对所述当前帧图像进行校正，结合原始旋转参数的先验信息，通过对图像之间的相对旋转参数进行优化，实现了对拍摄运动轨迹的平滑处理，进而根据优化后的相对旋转参数对图像进行校正，能够有效抑制抖动，从而完成增稳处理，效率较高。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的应用场景示意图；
图2为本发明一实施例提供的图像处理方法的流程图；
图3为本发明另一实施例提供的图像处理方法的流程图；
图4为本发明又一实施例提供的图像处理方法的流程图；
图5为本发明一实施例提供的图像处理装置的结构示意图。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
首先对本发明所涉及的应用场景进行介绍：
本发明实施例提供的图像处理方法，应用于移动延时摄影中，对移动延时摄像获取的图像或视频进行增稳处理，提高处理效率。
其中，该方法可以由图像处理装置执行。
在本发明的一实施例中，如图1所示，该图像处理装置可以应用在云台中，具体可以是集成在云台中、或与云台进行无线连接的遥控设备，本发明实施例对此并不限定。
其中，云台可以设置在无人机或机器人等设备上。
在本发明的一实施例中，该图像处理装置可以应用在移动终端等电子设备中，例如包括：智能手机、平板电脑、可穿戴设备等。
本发明实施例提供的方法可由图像处理装置如该图像处理装置的处理器执行相应的软件代码实现，也可由该图像处理装置备在执行相应的软件代码的同时，通过和服务器进行数据交互来实现，如服务器执行部分操作，来控制图像处理装置执行该图像处理方法。
下面以具体的实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图2为本发明一实施例提供的图像处理方法的流程图。如图2所示，本实施例提供的方法，包括：
步骤201、根据原始旋转参数，建立重投影误差约束函数；其中，原始旋转参数为当前帧图像的相机位姿相对于前一帧图像的相机位姿的旋转参数；或，原始旋转参数为当前帧图像的云台姿态相对于前一帧图像的 云台姿态的旋转参数。
具体的，用户使用移动延时摄影功能进行拍摄获取到多个图像，可以在每次获取到一张图像后进行增稳处理，或获取到全部图像后进行增稳处理，或者，抽取多帧图像拼接成视频后进行增稳处理。
进一步的，为了提高处理效率，加快计算速度，如果图像的分辨率较大，可以进行压缩，例如将图像转换为1080p的图像。
进一步，还可以把彩色图像转化为灰度图像，具体可以将彩色图像转化为YUV格式，再直接使用Y通道的图像信息即可。
在进行增稳处理时，首先获取当前帧图像相对于前一帧图像的原始旋转参数，表示两帧之间的相对旋转关系，该原始旋转参数可以是当前帧图像的云台姿态相对于前一帧图像的云台姿态的原始旋转参数，该原始旋转参数可以通过云台惯性测量单元(Inertial Measurement Unit，简称IMU)的陀螺仪获取到；或者，该原始旋转参数可以是当前帧图像的相机位姿相对于前一帧图像的相机位姿的原始旋转参数。
进一步根据获取到的原始旋转参数，建立重投影误差约束函数。
步骤202、对重投影误差约束函数进行优化处理，得到优化后的旋转参数。
步骤203、根据优化后的旋转参数，对当前帧图像进行校正。
具体的，对重投影误差约束函数进行优化处理，得到优化后的旋转参数，即对拍摄的运动轨迹进行了平滑处理，进而根据优化后的旋转参数，对当前帧图像进行校正，能够有效抑制抖动。
进一步的，在对多帧图像进行校正后，可以将多个校正后的图像合成增稳后的视频。
本实施例的方法，根据原始旋转参数，建立重投影误差约束函数；其中，所述原始旋转参数为所述当前帧图像的相机位姿相对于所述前一帧图像的相机位姿的旋转参数；或，所述原始旋转参数为所述当前帧图像的云台姿态相对于所述前一帧图像的云台姿态的旋转参数；对所述重投影误差约束函数进行优化处理，得到优化后的旋转参数；根据所述优化后的旋转参数，对所述当前帧图像进行校正，结合原始旋转参数的先验信息，通过对图像之间的相对旋转参数进行优化，实现了对拍摄运动轨迹的平滑处理，进而 根据优化后的相对旋转参数对图像进行校正，能够有效抑制抖动，从而完成增稳处理，效率较高。
在上述实施例的基础上，进一步的，在步骤201之前，可以执行以下操作：
分别获取相互匹配的当前帧图像的待处理特征点和前一帧图像的待处理特征点。
具体的，为了减少计算量，在对原始旋转参数优化时，特别是建立重投影误差约束函数时，可以只考虑图像的部分像素点，即待处理特征点。
获取当前帧图像以及前一帧图像相互匹配的待处理特征点。
具体可以通过如下方式获取待处理特征点：
根据角点检测算法提取当前帧图像中的待处理特征点；
根据当前帧图像中待处理特征点的像素坐标，利用KLT算法在前一帧图像中确定匹配的待处理特征点。
其中，角点检测算法包括以下至少一项：FAST算法、SUSAN算法、Harris角点检测算法。
具体的，可以通过角点检测算法提取当前帧图像中的待处理特征点，然后通过KLT算法确定前一帧图像中匹配的待处理特征点。
例如Harris角点检测算法，提取当前图像帧中的待处理特征点，定义矩阵A为结构张量。
其中，w(u,v)为窗口函数，u和v分别为窗口在水平和竖直方向的偏移，I
x和I
y分别为图像上某一点，在x和y方向上的梯度信息。
定义函数Mc为：
M
c＝det(A)-κ trace
2(A)
其中det(A)为矩阵A的行列式，trace(A)为矩阵A的迹，κ为调节灵敏度的参数，设定阈值Mth，当Mc>Mth时，该点为待处理特征点。
进一步，可以根据KLT算法跟踪前一帧图像中匹配的待处理特征点。
根据当前帧图像中的待处理特征点利用KLT算法迭代得到当前帧图像相对于前一帧图像的偏移量h，从而可以根据该偏移量以及当前帧图像中的待处理特征点，得到前一帧图像中匹配的特征点。
针对每个待处理特征点，采用如下公式：
其中，x表示前一帧图像中待处理特征点的坐标，F(x+h
k)表示当前帧图像中待处理特征点，F′(x+h
k)表示F(x+h
k)的导数，G(x)表示前一帧图像中待处理特征点，h
0表示偏移量的原始值，h
k表示第k次迭代的偏移量，h
k+1表示第k+1次迭代的偏移量；w(x)表示预设权重。
在本发明一实施例中，还可以进一步验证两帧图像中的待处理特征点是否匹配，根据前一帧图像中的待处理特征点利用KLT算法(Kanade-Lucas-Tomasi Tracking Method)迭代得到前一帧图像相对于当前帧图像的偏移量h’，若h’＝-h，则两个待处理特征点匹配。
在本发明的其他实施例中，也可以通过角点检测算法提取前一帧图像中的待处理特征点，然后通过KLT算法确定当前帧图像中匹配的待处理特征点。
进一步的，如图3所示，本实施例的方法包括如下步骤：
步骤301、根据原始旋转参数、前一帧图像中待处理特征点以及预设的投影函数，建立重投影误差约束函数。
在本发明的一实施例中，可以利用如下公式(1)，建立所述重投影误差约束函数F；
其中，P
i为所述前一帧图像中待处理特征点在相机坐标系下的三维坐标，p
i是所述前一帧图像中待处理特征点的像素坐标，R表示待优化的旋转参数，t表示待优化的当前帧图像相对于上一帧图像的相对平移，π代表投影函数，n为上一帧图像中待处理特征点的个数，w是预设权重，其为工程经验值，可根据需要进行调节。
为原始旋转参数R
gyro,i的转置，I为单位矩阵。
其中，通过
得出p’＝π(RP
i+t)。
其中，
表示世界坐标系中的三维点，K为图像采集部件(例如相机)的内参矩阵，
表示当前帧图像的像素坐标，P
i为相机坐标系下的三维坐标。
对于有限投影相机来说，内参矩阵K可以表示为：
其中，α
x＝fm
x,α
y＝fm
y,f为焦距，m
x和m
y分别为x、y方向上单位距离的像素数。γ为x、y轴之间的畸变参数(对于CCD相机，像素不为正方形)。μ
0，v
0为光心位置。
步骤302、对重投影误差约束函数进行优化处理，得到使得重投影误差约束函数最小的优化后的旋转参数。
即求解使得重投影误差约束函数最小的R。
进一步的，根据优化后的旋转参数，对当前帧图像的待处理特征点进行校正，还可以对当前帧图像中全部像素点进行校正。
步骤303、将优化后的旋转参数进行滤波处理，得到当前帧图像对应的优化后的云台姿态或优化后的相机位姿；
步骤304、根据优化后的云台姿态或优化后的相机位姿，对当前帧图像进行校正，得到校正后的当前帧图像。
具体的，得到优化后的旋转参数之后，可以对该当前帧图像相对于前一帧图像的优化后的旋转参数进行滤波处理，由于该优化后的旋转参数是针对多个待处理像素点的，因此可以针对多个待处理像素点进行滤波，得到当前帧图像对应的优化后的云台姿态或优化后的相机位姿；
进而，根据优化后的云台姿态或所述优化后的相机位姿，对当前帧图像进行校正，得到校正后的当前帧图像。
在本发明的一实施例中，如图4所示，步骤303中滤波处理过程具体可以通过如下步骤实现：
步骤3031、将优化后的旋转参数，转化为四元数表示；
步骤3032、对所述四元数表示进行滤波处理，并将滤波处理后的四元数表示转化为所述当前帧图像对应的优化后的云台姿态或优化后的相机位姿。
具体的，优化后的旋转参数可以先转化为四元数表示，对该四元数表示进行高斯平滑滤波处理，之后再归一化成四元数，进而转化为当前前帧图像对应的优化后的云台姿态或优化后的相机位姿态R
i′。
在本发明的一实施例中，还可以将优化后的的旋转参数，转化为当前帧图像相对于待处理图像中第一帧图像的旋转参数。然后对旋转参数进行滤波处理，其中滤波处理的过程与上述实施例类似。
进一步的，步骤304具体可以采用如下方式实现：
根据所述优化后的云台姿态和原始的云台姿态，对当前帧图像进行校正，得到校正后的当前帧图像；或，
根据所述优化后的相机位姿和原始的相机位姿，对当前帧图像进行校正，得到校正后的当前帧图像。
示例性的，根据所述优化后的云台姿态或所述优化后的相机位姿可以利用如下公式(2)，得到校正后的当前帧图像；
其中，p为所述当前帧图像上的像素点，p’为校正后的图像上与该待处理特征点对应的像素点，R′
j表示当前帧图像对应的优化后的云台姿态或所述优化后的相机位姿，
为R
j的转置，R
j表示当前帧图像对应的原始的云台姿态或原始的相机位姿，K为图像采集部件(如相机)的内参矩阵。
在本发明的一实施例中，还可以根据重投影误差约束函数对当前帧图像相对于前一帧图像的相对平移进行优化，进而根据优化后的相对平移以及旋转参数确定优化后的云台姿态或相机位姿，进而对图像进行校正。
需要说明的是，上述方法步骤可以是一帧图像实时处理，也可以是部分步骤一帧图像处理，部分步骤全部帧图像一起处理，本发明实施例对此并不限定。例如，步骤201、步骤202可以基于每帧图像实时处理，步骤203(或步骤3031、步骤3032)可以在获取到待处理图像的全部帧图像后再执行。
本发明实施例的方法，通过预估拍摄的运动趋势，即图像之间的相对旋转参数，对相对旋转参数进行优化，即实现了对运动轨迹的平滑处理，进而根据优化后的相对旋转参数对图像进行校正，从而完成增稳处理，效率较高。
图5为本发明一实施例提供的图像处理装置的结构示意图。本实施例提供的图像处理装置，用于执行图2-图4所示任一实施例提供的图像处理方法。如图5所示，本实施例提供的图像处理装置，可以包括：存储器22、处理器21。存储器22存储用于存储指令。
处理器21用于运行指令以实现：
根据原始旋转参数，建立重投影误差约束函数；其中，所述原始旋转参数为所述当前帧图像的相机位姿相对于所述前一帧图像的相机位姿的旋转参数；或，所述原始旋转参数为所述当前帧图像的云台姿态相对于所述前一帧图像的云台姿态的旋转参数；
对所述重投影误差约束函数进行优化处理，得到优化后的旋转参数；
根据所述优化后的旋转参数，对所述当前帧图像进行校正。
在一种可能的实现方式中，所述处理器21具体用于：
分别获取相互匹配的当前帧图像的待处理特征点和前一帧图像的待处理特征点；
根据所述原始旋转参数、所述前一帧图像中待处理特征点以及预设的投影函数，建立所述重投影误差约束函数；
根据所述优化后的旋转参数，对所述当前帧图像的待处理特征点进行校正。
在一种可能的实现方式中，所述处理器21具体用于：
对所述重投影误差约束函数进行优化处理，得到使得所述重投影误差约束函数最小的优化后的旋转参数。
在一种可能的实现方式中，所述处理器21具体用于：
将所述优化后的旋转参数进行滤波处理，得到所述当前帧图像对应的优化后的云台姿态或优化后的相机位姿；
根据所述优化后的云台姿态或所述优化后的相机位姿，对当前帧图像进行校正，得到校正后的当前帧图像。
在一种可能的实现方式中，所述处理器21具体用于：
将所述优化后的旋转参数，转化为四元数表示；
对所述四元数表示进行滤波处理，并将滤波处理后的四元数表示转化为所述当前帧图像对应的优化后的云台姿态或优化后的相机位姿。
在一种可能的实现方式中，所述处理器21具体用于：
对所述四元数表示进行高斯滤波处理，并将处理后的四元数表示进行归一化处理，得到归一化后的四元数表示；
将所述归一化后的四元数表示转化为所述当前帧图像对应的优化后的云台姿态或优化后的相机位姿。
在一种可能的实现方式中，所述处理器21具体用于：
将所述优化后的的旋转参数，转化为所述当前帧图像相对于待处理图像中第一帧图像的旋转参数。
在一种可能的实现方式中，所述处理器21具体用于：
根据所述优化后的云台姿态和原始的云台姿态，对当前帧图像进行校正，得到校正后的当前帧图像；或，
根据所述优化后的相机位姿和原始的相机位姿，对当前帧图像进行校正，得到校正后的当前帧图像。
在一种可能的实现方式中，所述处理器21具体用于：
将多个校正后的图像合成增稳后的视频。
在一种可能的实现方式中，所述处理器21具体用于：
根据角点检测算法提取所述当前帧图像中的待处理特征点；
根据所述当前帧图像中待处理特征点的像素坐标，利用KLT算法在所述前一帧图像中确定匹配的待处理特征点。
在一种可能的实现方式中，所述角点检测算法包括以下至少一项：FAST算法、SUSAN算法、Harris角点检测算法。
本实施例提供的图像处理装置，用于执行图2-图4所示任一实施例提供的图像处理方法，技术原理和技术效果相似，此处不再赘述。
本发明一实施例还提供一种云台，包括：
至少一个转动轴；
角度传感器；
以及如前述任一实施例中所述的图像处理装置。
本实施例提供的云台，与前述实施例的技术原理和技术效果相似，此处不再赘述。
在一优选实施例中，所述云台还包括图像采集装置，用于采集多帧图像。
本发明一实施例还提供一种无人机，包括：
机身、图像采集部件、云台以及如前述任一实施例中所述的图像处理装置；
其中，所述图像采集部件设置在所述云台上。
本实施例提供的无人机，与前述实施例的技术原理和技术效果相似，此处不再赘述。
本发明一实施例还提供一种电子设备，包括：
图像采集部件，以及如前述任一实施例中所述的图像处理装置。
本实施例提供的电子设备，与前述实施例的技术原理和技术效果相似，此处不再赘述。
示例性的，电子设备可以包括：智能手机、平板电脑、可穿戴设备等。
本发明实施例中还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述方法实施例中对应的方法，其具体实施过程可以参见前述方法实施例，其实现原理和技术效果类似，此处不再赘述。
本发明实施例中还提供一种程序产品，该程序产品包括计算机程序(即执行指令)，该计算机程序存储在可读存储介质中。处理器可以从可读存储介质读取该计算机程序，处理器执行该计算机程序用于执行前述方法实施例中任一实施方式提供的冰雪覆盖路面的检测方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明实施例的技术方案， 而非对其限制；尽管参照前述各实施例对本发明实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。
Claims (26)
- 一种图像处理方法，其特征在于，包括：根据原始旋转参数，建立重投影误差约束函数；其中，所述原始旋转参数为当前帧图像的相机位姿相对于前一帧图像的相机位姿的旋转参数；或，所述原始旋转参数为所述当前帧图像的云台姿态相对于所述前一帧图像的云台姿态的旋转参数；对所述重投影误差约束函数进行优化处理，得到优化后的旋转参数；根据所述优化后的旋转参数，对所述当前帧图像进行校正。
- 根据权利要求1所述的方法，其特征在于，所述建立重投影误差约束函数之前，还包括：分别获取相互匹配的当前帧图像的待处理特征点和前一帧图像的待处理特征点；所述根据原始旋转参数，建立重投影误差约束函数，包括：根据所述原始旋转参数、所述前一帧图像中待处理特征点以及预设的投影函数，建立所述重投影误差约束函数；根据所述优化后的旋转参数，对所述当前帧图像进行校正包括：根据所述优化后的旋转参数，对所述当前帧图像的待处理特征点进行校正。
- 根据权利要求1或2所述的方法，其特征在于，所述对所述重投影误差约束函数进行优化处理，得到优化后的旋转参数，包括：对所述重投影误差约束函数进行优化处理，得到使得所述重投影误差约束函数最小的优化后的旋转参数。
- 根据权利要求1或2所述的方法，其特征在于，所述根据所述优化后的旋转参数，对所述当前帧图像进行校正，包括：将所述优化后的旋转参数进行滤波处理，得到所述当前帧图像对应的优化后的云台姿态或优化后的相机位姿；根据所述优化后的云台姿态或所述优化后的相机位姿，对当前帧图像进行校正，得到校正后的当前帧图像。
- 根据权利要求4所述的方法，其特征在于，所述将所述优化后的旋转参数进行滤波处理，得到所述当前帧图像对应的优化后的云台姿态或优化后 的相机位姿，包括：将所述优化后的旋转参数，转化为四元数表示；对所述四元数表示进行滤波处理，并将滤波处理后的四元数表示转化为所述当前帧图像对应的优化后的云台姿态或优化后的相机位姿。
- 根据权利要求5所述的方法，其特征在于，所述对所述四元数表示进行滤波处理，并将滤波处理后的四元数表示转化为所述当前帧图像对应的优化后的云台姿态或优化后的相机位姿，包括：对所述四元数表示进行高斯滤波处理，并将处理后的四元数表示进行归一化处理，得到归一化后的四元数表示；将所述归一化后的四元数表示转化为所述当前帧图像对应的优化后的云台姿态或优化后的相机位姿。
- 根据权利要求5所述的方法，其特征在于，所述将所述优化后的旋转参数，转化为当前帧图像对应的四元数表示之前，还包括：将所述优化后的的旋转参数，转化为所述当前帧图像相对于待处理图像中第一帧图像的旋转参数。
- 根据权利要求4所述的方法，其特征在于，所述根据所述优化后的云台姿态或所述优化后的相机位姿，得到校正后的当前帧图像，包括：根据所述优化后的云台姿态和原始的云台姿态，对当前帧图像进行校正，得到校正后的当前帧图像；或，根据所述优化后的相机位姿和原始的相机位姿，对当前帧图像进行校正，得到校正后的当前帧图像。
- 根据权利要求1或2所述的方法，其特征在于，所述对所述当前帧图像进行校正之后，还包括：将多个校正后的图像合成增稳后的视频。
- 根据权利要求2所述的方法，其特征在于，所述分别获取相互匹配的当前帧图像的待处理特征点和前一帧图像的待处理特征点，包括：根据角点检测算法提取所述当前帧图像中的待处理特征点；根据所述当前帧图像中待处理特征点的像素坐标，利用KLT算法在所述前一帧图像中确定匹配的待处理特征点。
- 根据权利要求10所述的方法，其特征在于，所述角点检测算法包括 以下至少一项：FAST算法、SUSAN算法、Harris角点检测算法。
- 一种图像处理装置，其特征在于，包括：存储器、处理器；其中，所述存储器用于存储指令；所述处理器用于运行所述指令以实现：根据原始旋转参数，建立重投影误差约束函数；其中，所述原始旋转参数为当前帧图像的相机位姿相对于前一帧图像的相机位姿的旋转参数；或，所述原始旋转参数为所述当前帧图像的云台姿态相对于所述前一帧图像的云台姿态的旋转参数；对所述重投影误差约束函数进行优化处理，得到优化后的旋转参数；根据所述优化后的旋转参数，对所述当前帧图像进行校正。
- 根据权利要求12所述的装置，其特征在于，所述处理器具体用于：分别获取相互匹配的当前帧图像的待处理特征点和前一帧图像的待处理特征点；根据所述原始旋转参数、所述前一帧图像中待处理特征点以及预设的投影函数，建立所述重投影误差约束函数；根据所述优化后的旋转参数，对所述当前帧图像的待处理特征点进行校正。
- 根据权利要求12或13所述的装置，其特征在于，所述处理器具体用于：对所述重投影误差约束函数进行优化处理，得到使得所述重投影误差约束函数最小的优化后的旋转参数。
- 根据权利要求12或13所述的装置，其特征在于，所述处理器具体用于：将所述优化后的旋转参数进行滤波处理，得到所述当前帧图像对应的优化后的云台姿态或优化后的相机位姿；根据所述优化后的云台姿态或所述优化后的相机位姿，对当前帧图像进行校正，得到校正后的当前帧图像。
- 根据权利要求15所述的装置，其特征在于，所述处理器具体用于：将所述优化后的旋转参数，转化为四元数表示；对所述四元数表示进行滤波处理，并将滤波处理后的四元数表示转化为 所述当前帧图像对应的优化后的云台姿态或优化后的相机位姿。
- 根据权利要求16所述的装置，其特征在于，所述处理器具体用于：对所述四元数表示进行高斯滤波处理，并将处理后的四元数表示进行归一化处理，得到归一化后的四元数表示；将所述归一化后的四元数表示转化为所述当前帧图像对应的优化后的云台姿态或优化后的相机位姿。
- 根据权利要求16所述的装置，其特征在于，所述处理器具体用于：将所述优化后的的旋转参数，转化为所述当前帧图像相对于待处理图像中第一帧图像的旋转参数。
- 根据权利要求15所述的装置，其特征在于，所述处理器具体用于：根据所述优化后的云台姿态和原始的云台姿态，对当前帧图像进行校正，得到校正后的当前帧图像；或，根据所述优化后的相机位姿和原始的相机位姿，对当前帧图像进行校正，得到校正后的当前帧图像。
- 根据权利要求12或13所述的装置，其特征在于，所述处理器具体用于：将多个校正后的图像合成增稳后的视频。
- 根据权利要求13所述的装置，其特征在于，所述处理器具体用于：根据角点检测算法提取所述当前帧图像中的待处理特征点；根据所述当前帧图像中待处理特征点的像素坐标，利用KLT算法在所述前一帧图像中确定匹配的待处理特征点。
- 根据权利要求21所述的装置，其特征在于，所述角点检测算法包括以下至少一项：FAST算法、SUSAN算法、Harris角点检测算法。
- 根据权利要求12所述的装置，其特征在于，所述图像处理装置为云台。
- 一种存储介质，其特征在于，包括：可读存储介质和计算机程序，所述计算机程序用于实现如权利要求1-13中任一项所述的图像处理方法。
- 一种云台，其特征在于，包括：至少一个转动轴；角度传感器；以及如权利要求12-23任一项所述的图像处理装置。
- 如权利要求25所述的云台，其特征在于，还包括图像采集装置；所述图像采集装置，用于采集多帧图像。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2019/092638 WO2020257999A1 (zh) | 2019-06-25 | 2019-06-25 | 图像处理方法、装置、云台和存储介质 |
| CN201980011946.9A CN111712857A (zh) | 2019-06-25 | 2019-06-25 | 图像处理方法、装置、云台和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2019/092638 WO2020257999A1 (zh) | 2019-06-25 | 2019-06-25 | 图像处理方法、装置、云台和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2020257999A1 true WO2020257999A1 (zh) | 2020-12-30 |
Family
ID=72536788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2019/092638 WO2020257999A1 (zh) | 2019-06-25 | 2019-06-25 | 图像处理方法、装置、云台和存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111712857A (zh) |
| WO (1) | WO2020257999A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114531580B (zh) * | 2020-11-23 | 2023-11-21 | 北京四维图新科技股份有限公司 | 图像处理方法及装置 |
| CN112734653A (zh) * | 2020-12-23 | 2021-04-30 | 影石创新科技股份有限公司 | 一种视频图像的运动平滑处理方法、装置、设备及存储介质 |
| CN113029128B (zh) * | 2021-03-25 | 2023-08-25 | 浙江商汤科技开发有限公司 | 视觉导航方法及相关装置、移动终端、存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011004075A (ja) * | 2009-06-17 | 2011-01-06 | Olympus Imaging Corp | ブレ補正装置 |
| CN103514450A (zh) * | 2012-06-29 | 2014-01-15 | 华为技术有限公司 | 一种图像特征提取方法和图像校正方法以及设备 |
| CN106791363A (zh) * | 2015-11-23 | 2017-05-31 | 鹦鹉无人机股份有限公司 | 配备发送校正了晃动效应的图像序列的摄像机的无人机 |
| CN109844632A (zh) * | 2016-10-13 | 2019-06-04 | 富士胶片株式会社 | 抖动校正装置、摄像装置及抖动校正方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4931218B2 (ja) * | 2007-02-22 | 2012-05-16 | キヤノン株式会社 | 撮像装置、物体検出方法及び姿勢パラメータの算出方法 |
| CN108335328B (zh) * | 2017-01-19 | 2021-09-24 | 富士通株式会社 | 摄像机姿态估计方法和摄像机姿态估计装置 |
| CN108475075A (zh) * | 2017-05-25 | 2018-08-31 | 深圳市大疆创新科技有限公司 | 一种控制方法、装置及云台 |
| CN109923583A (zh) * | 2017-07-07 | 2019-06-21 | 深圳市大疆创新科技有限公司 | 一种姿态的识别方法、设备及可移动平台 |
| WO2019104571A1 (zh) * | 2017-11-30 | 2019-06-06 | 深圳市大疆创新科技有限公司 | 图像处理方法和设备 |
-
2019
- 2019-06-25 CN CN201980011946.9A patent/CN111712857A/zh active Pending
- 2019-06-25 WO PCT/CN2019/092638 patent/WO2020257999A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011004075A (ja) * | 2009-06-17 | 2011-01-06 | Olympus Imaging Corp | ブレ補正装置 |
| CN103514450A (zh) * | 2012-06-29 | 2014-01-15 | 华为技术有限公司 | 一种图像特征提取方法和图像校正方法以及设备 |
| CN106791363A (zh) * | 2015-11-23 | 2017-05-31 | 鹦鹉无人机股份有限公司 | 配备发送校正了晃动效应的图像序列的摄像机的无人机 |
| CN109844632A (zh) * | 2016-10-13 | 2019-06-04 | 富士胶片株式会社 | 抖动校正装置、摄像装置及抖动校正方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111712857A (zh) | 2020-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10638035B2 (en) | Image processing devices, image processing method, and non-transitory computer-readable medium | |
| CN108363946B (zh) | 基于无人机的人脸跟踪***及方法 | |
| JP6090786B2 (ja) | 背景差分抽出装置及び背景差分抽出方法 | |
| CN110782394A (zh) | 全景视频快速拼接方法及*** | |
| WO2020253618A1 (zh) | 一种视频抖动的检测方法及装置 | |
| WO2020257999A1 (zh) | 图像处理方法、装置、云台和存储介质 | |
| JP2014176007A (ja) | 撮像装置およびその制御方法 | |
| CN109981972B (zh) | 一种机器人的目标跟踪方法、机器人及存储介质 | |
| CN106713740B (zh) | 定位跟踪摄像方法与*** | |
| US11503209B2 (en) | Image alignment using a virtual gyroscope model | |
| CN113436113A (zh) | 防抖动的图像处理方法、装置、电子设备和存储介质 | |
| WO2017128750A1 (zh) | 一种图像采集方法和图像采集装置 | |
| EP2446612A1 (en) | Real time video stabilization | |
| CN113556464A (zh) | 拍摄方法、装置及电子设备 | |
| CN111405187A (zh) | 用于监控器材的图像防抖方法、***、设备和存储介质 | |
| WO2019023914A1 (zh) | 一种图像处理方法、无人机、地面控制台及其图像处理*** | |
| CN111862169B (zh) | 目标跟拍方法、装置、云台相机及存储介质 | |
| TWI696147B (zh) | 全景圖形成方法及系統 | |
| WO2019205103A1 (zh) | 云台姿态修正方法、云台姿态修正装置、云台、云台***和无人机 | |
| TW201523516A (zh) | 移動攝影機之畫面穩定方法 | |
| JP5321417B2 (ja) | 透視変換パラメータ生成装置、画像補正装置、透視変換パラメータ生成方法、画像補正方法、及びプログラム | |
| CN115174878B (zh) | 投影画面校正方法、装置和存储介质 | |
| WO2015198478A1 (ja) | 画像歪み補正装置、情報処理装置および画像歪み補正方法 | |
| JP2017021430A (ja) | パノラマビデオデータの処理装置、処理方法及びプログラム | |
| JP7164873B2 (ja) | 画像処理装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19934945 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 19934945 Country of ref document: EP Kind code of ref document: A1 |