WO2021208569A1 - 图像处理方法、电子装置及计算机可读存储介质 - Google Patents

图像处理方法、电子装置及计算机可读存储介质 Download PDF

Info

Publication number
WO2021208569A1
WO2021208569A1 PCT/CN2021/075089 CN2021075089W WO2021208569A1 WO 2021208569 A1 WO2021208569 A1 WO 2021208569A1 CN 2021075089 W CN2021075089 W CN 2021075089W WO 2021208569 A1 WO2021208569 A1 WO 2021208569A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
corrected
information
motion area
local
Prior art date
Application number
PCT/CN2021/075089
Other languages
English (en)
French (fr)
Inventor
李逸超
Original Assignee
Oppo广东移动通信有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo广东移动通信有限公司 filed Critical Oppo广东移动通信有限公司
Publication of WO2021208569A1 publication Critical patent/WO2021208569A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals

Definitions

  • This application relates to the field of image processing technology, and in particular to an image processing method, an electronic device, and a computer-readable storage medium.
  • the exposure control of the image sensor usually includes two kinds of global shutter and rolling shutter.
  • the global exposure is realized by controlling all the photosensitive elements in the pixel array to expose at the same time, and all the photosensitive elements are exposed in the same time period;
  • the rolling shutter is realized by controlling the photosensitive elements in the pixel array to expose row by row.
  • the photosensitive elements in a row are exposed in the same time period, and the photosensitive elements in different rows are exposed in a different time period.
  • the embodiments of the present application provide an image processing method, an electronic device, and a computer-readable storage medium.
  • the image processing method of the embodiment of the present application includes: acquiring the motion information of the motion area in the image to be corrected; determining the offset information of the motion area in a unit time according to the motion information; and correcting the motion information according to the offset information.
  • the image to be corrected is described to obtain a corrected image.
  • the electronic device of the embodiment of the present application includes a processor.
  • the processor is configured to: obtain the motion information of the motion area in the image to be corrected; determine the offset information of the motion area in a unit time according to the motion information; and correct the image to be corrected according to the offset information To obtain a corrected image.
  • the computer-readable storage medium of the embodiment of the present application stores a computer program.
  • the following image processing method is realized: acquiring the motion information of the motion area in the image to be corrected; determining the offset information of the motion area per unit time according to the motion information; and according to the The offset information corrects the image to be corrected to obtain a corrected image.
  • FIG. 1 is a schematic flowchart of an image processing method according to some embodiments of the present application.
  • FIG. 2 is a schematic diagram of an electronic device according to some embodiments of the present application.
  • FIG. 3 is a schematic flowchart of an image processing method according to some embodiments of the present application.
  • FIG. 4 is a schematic flowchart of an image processing method according to some embodiments of the present application.
  • FIG. 5 is a schematic flowchart of an image processing method according to some embodiments of the present application.
  • FIG. 6 is a schematic diagram of a scene of an image processing method according to some embodiments of the present application.
  • FIG. 7 is a schematic flowchart of an image processing method according to some embodiments of the present application.
  • FIG. 8 is a schematic flowchart of an image processing method according to some embodiments of the present application.
  • FIG. 9 is a schematic diagram of a scene of an image processing method according to some embodiments of the present application.
  • FIG. 10 is a schematic flowchart of an image processing method according to some embodiments of the present application.
  • FIG. 11 is a schematic flowchart of an image processing method according to some embodiments of the present application.
  • FIG. 12 is a schematic flowchart of an image processing method according to some embodiments of the present application.
  • FIG. 13 is a schematic diagram of the interaction of a computer-readable storage medium electronic device according to an embodiment of the present application.
  • the image processing method of the embodiment of the present application includes:
  • the image to be corrected is corrected according to the offset information to obtain a corrected image.
  • the image processing method is applied to the electronic device 100, and the image processing method further includes:
  • acquiring the motion information of the motion area in the image to be corrected includes:
  • Determining the offset information of the movement area in unit time according to the movement information including:
  • Correcting the image to be corrected according to the offset information to obtain a corrected image includes:
  • the image to be corrected is corrected according to the local offset information to obtain a corrected image.
  • acquiring the motion information of the motion area in the image to be corrected includes:
  • Determining the offset information of the movement area in unit time according to the movement information including:
  • Correcting the image to be corrected according to the offset information to obtain a corrected image includes:
  • the image to be corrected is corrected according to the global offset information to obtain an initial corrected image.
  • the image processing method further includes:
  • acquiring the motion information of the motion area in the image to be corrected includes:
  • Determining the offset information of the movement area in unit time according to the movement information including:
  • Correcting the image to be corrected according to the offset information to obtain a corrected image includes:
  • the initial corrected image is corrected according to the local offset information to obtain a corrected image.
  • correcting the image to be corrected according to the offset information to obtain the corrected image includes:
  • the position of each image pixel in the image to be corrected is corrected according to the first offset and the second offset to obtain a corrected image.
  • the image processing method further includes:
  • the shape fitting corresponding to each object is performed to correct one or more objects in the motion area.
  • the electronic device 100 of the embodiment of the present application includes a processor 10, and the processor 10 is used for:
  • the image to be corrected is corrected according to the offset information to obtain a corrected image.
  • the processor 10 is also used to:
  • the image to be corrected is corrected according to the local offset information to obtain a corrected image.
  • the processor 10 is also used to:
  • the image to be corrected is corrected according to the global offset information to obtain an initial corrected image.
  • the processor is also used to:
  • the processor 10 is also used to:
  • the initial corrected image is corrected according to the local offset information to obtain a corrected image.
  • the processor 10 is also used to:
  • the position of each image pixel in the image to be corrected is corrected according to the first offset and the second offset to obtain a corrected image.
  • the processor 10 is also used to:
  • the shape fitting corresponding to each object is performed to correct one or more objects in the motion area.
  • the computer-readable storage medium 20 of the embodiment of the present application has a computer program stored thereon.
  • the processor 10 causes the processor 10 to execute an image processing method.
  • the image processing method includes:
  • the image to be corrected is corrected according to the offset information to obtain a corrected image.
  • the image processing method is applied to the electronic device 100, and the image processing method further includes:
  • acquiring the motion information of the motion area in the image to be corrected includes:
  • Determining the offset information of the movement area in unit time according to the movement information including:
  • Correcting the image to be corrected according to the offset information to obtain a corrected image includes:
  • the image to be corrected is corrected according to the local offset information to obtain a corrected image.
  • acquiring the motion information of the motion area in the image to be corrected includes:
  • Determining the offset information of the movement area in unit time according to the movement information including:
  • Correcting the image to be corrected according to the offset information to obtain a corrected image includes:
  • the image to be corrected is corrected according to the global offset information to obtain an initial corrected image.
  • the image processing method further includes:
  • acquiring the motion information of the motion area in the image to be corrected includes:
  • Determining the offset information of the movement area in unit time according to the movement information including:
  • Correcting the image to be corrected according to the offset information to obtain a corrected image includes:
  • the initial corrected image is corrected according to the local offset information to obtain a corrected image.
  • correcting the image to be corrected according to the offset information to obtain the corrected image includes:
  • the position of each image pixel in the image to be corrected is corrected according to the first offset and the second offset to obtain a corrected image.
  • the image processing method further includes:
  • the shape fitting corresponding to each object is performed to correct one or more objects in the motion area.
  • Image processing methods include:
  • an embodiment of the present application also provides an electronic device 100.
  • the image processing method of the embodiment of the present application may be implemented by the electronic device 100 of the embodiment of the present application.
  • the electronic device 100 includes a processor 10.
  • Step 01, step 02, and step 03 can all be implemented by the processor 10.
  • the processor 10 can be used to obtain the motion information of the motion area in the image to be corrected, determine the offset information of the motion area in a unit time according to the motion information, and correct the image to be corrected according to the offset information to obtain the corrected image. .
  • the electronic device 100 includes a mobile phone, a tablet computer, a notebook computer, a smart wearable device (such as smart glasses, a smart bracelet, a smart watch, a smart helmet), a camera (such as a single-lens reflex camera, a mirrorless camera), etc.
  • a smart wearable device such as smart glasses, a smart bracelet, a smart watch, a smart helmet
  • a camera such as a single-lens reflex camera, a mirrorless camera
  • the image sensor of the electronic device 100 may adopt a rolling shutter for exposure control.
  • the rolling shutter is realized by controlling the photosensitive elements in the pixel array to expose row by row.
  • the photosensitive elements in the same row are exposed in the same time period, and the photosensitive elements in different rows are exposed in different time periods.
  • problems such as image misalignment and tilt may occur, which affects the imaging effect.
  • the image processing method and the electronic device 100 of the embodiment of the present application acquire the motion information of the motion area in the image to be corrected, and determine the offset of the motion area in a unit time according to the motion information, so that the motion can be adjusted according to the offset.
  • the area is compensated to reduce the image misalignment and tilt caused by the line exposure method, reduce the deformation of the objects in the image, improve the consistency of the image and the picture viewed by the user, and enhance the user's visual experience.
  • step 03 correcting the image to be corrected according to the offset information to obtain a corrected image includes:
  • step 03 may be implemented by the processor 10. That is to say, the processor 10 may be used to determine the first offset in the first direction and the second offset in the second direction of each image pixel in the motion area according to the offset information. The second direction is different. The processor 10 may also be configured to correct the position of each image pixel in the image to be corrected according to the first offset and the second offset to obtain a corrected image.
  • the processor 10 may calculate the first offset in the first direction and the second offset in the second direction of each image pixel in the motion area according to the local offset information ⁇ S1 and ⁇ S2, where the first The direction is, for example, a row direction (left and right direction), and the second direction is, for example, a column direction (up and down direction).
  • the row direction may intersect and be perpendicular to the column direction, but is not limited to this. For example, suppose that the image to be corrected includes 0,1,2,...N rows of image pixels, and includes 0,1,2...,N columns of image pixels, and multiple pixels in the motion area bit are located in the Mth row to the M+th row.
  • the processor 10 needs to move the image pixels in the Mth row and P column to the left by M* ⁇ S1 image pixels, and move up P* ⁇ S2 image pixels, so that the position of the image pixel in the Mth row and P column is obtained Correction.
  • the first offset is (M+2)* ⁇ S1
  • the second offset is (P+1)* ⁇ S2
  • the processor 10 It is necessary to move the image pixels in row (M+2) and column (P+1) to the left (M+2)* ⁇ S1 image pixels, and move up (P+1)* ⁇ S2 image pixels, so that the The position of the image pixel in the (M+2) row and the (P+1) column is corrected.
  • the correction methods of other image pixels in the motion area can be deduced by analogy, and will not be repeated here. In this way, by correcting the pixel position of each image pixel in the motion area, the influence of the pixel position shift caused by the line exposure is eliminated, and the imaging quality of the image is greatly improved.
  • the calculation of the offset of the image pixel in the Mth row and Pth column in the motion area is calculated based on the premise that the motion area is moving at a constant speed during the ⁇ T period. .
  • the movement area may not move at a constant speed during the ⁇ T period. Therefore, in other embodiments, the processor 10 may first obtain multiple frames (more than 2 frames) of images, and respectively detect the location of the moving area in each frame of the image. Subsequently, the processor 10 fits the motion curve of the motion area according to the position of the motion area in the multi-frame image.
  • the processor 10 determines the motion information of the motion area in the ⁇ T time period according to the fitted motion curve, and determines the offset information of the motion area in a unit time according to the motion information. Subsequently, the processor 10 determines the offset of each image pixel in the first direction and the offset in the second direction according to the offset information. Taking the image pixel in the Mth row and P column in the motion area as an example, the first offset is a*M* ⁇ S1, and the second offset is b*P* ⁇ S2, where a and b are based on motion The coefficient determined by the curve.
  • a and b are both 1, and when the moving area is not moving at a constant speed during the ⁇ T time period, a and b are not 1.
  • the pixel offset correction can be performed on each image pixel more accurately, and the quality of the corrected image can be improved.
  • the image processing method further includes:
  • step 01 obtains the motion information of the motion area in the image to be corrected, including:
  • Step 02 Determine the offset information of the motion area in unit time according to the motion information, including:
  • Step 03 correcting the image to be corrected according to the offset information to obtain a corrected image includes:
  • Step 033 correcting the image to be corrected according to the local offset information to obtain a corrected image includes:
  • step 04, step 05, step 011, step 021, step 033, step 0331, and step 0332 can all be implemented by the processor 10.
  • the processor 10 may be used to detect the relative displacement between the electronic device 100 and the shooting scene, and when the relative displacement is less than the first displacement, detect whether there is a local motion area in the image to be corrected.
  • the processor 10 is used to obtain the local motion information of the local motion area in the image to be corrected, determine the local offset information of the local motion area in unit time according to the local motion information, and The local offset information corrects the image to be corrected to obtain a corrected image.
  • the processor 10 When the processor 10 is used to correct the image to be corrected with the local offset information to obtain a corrected image, it is specifically used to determine the first offset of each image pixel in the local motion area in the first direction and the second offset in the second direction according to the local offset information.
  • the second offset in the direction, and the position of each image pixel in the image to be corrected is corrected according to the first offset and the second offset to obtain a corrected image.
  • the first direction is different from the second direction.
  • the local movement means that there is no relative displacement between the electronic device 100 and the shooting scene. At this time, the whole shooting scene is still, and only a part of the shooting scene is moving.
  • the overall movement refers to the relative movement between the electronic device 100 and the shooting scene. At this time, for the electronic device 100, the overall shooting scene has moved. Since different motion modes of the shooting scene will lead to differences in compensation methods, it is necessary to detect the relative displacement between the electronic device 100 and the shooting scene to determine whether the image is in overall motion or partial motion.
  • the relative displacement when it is detected that the relative displacement is less than or equal to the predetermined displacement, it means that there is no relative displacement between the electronic device 100 and the shooting scene, that is, the whole shooting scene is still; if the relative displacement is detected to be greater than the predetermined displacement, it means that the electronic device 100 and the shooting scene are Relative displacement, that is, the overall movement of the shooting scene.
  • the gyroscope in the electronic device 100 can be used to detect the jitter condition of the electronic device 100.
  • the gyroscope can detect and sense the movement of the electronic device 100 in a three-dimensional space, and can provide the angular velocity of the electronic device 100 in the three directions of pitch, yaw, and roll.
  • the processor 10 can determine the relative displacement between the electronic device 100 and the shooting scene according to the angular velocity data detected by the gyroscope.
  • the relative displacement between the electronic device 100 and the shooting scene can be detected by the inter-frame difference method.
  • the inter-frame difference method is a method of obtaining the contour of a moving target by performing difference operations on two adjacent frames of images in an image sequence.
  • the processor 10 can subtract the two frames of images acquired by the electronic device 100.
  • the processor 10 calculates two image pixels corresponding to positions in the two frames of images (the two image pixels corresponding to the positions are referred to as the first The absolute value of the difference value of the pixel value of an image pixel pair) to obtain a plurality of difference values, and the processor determines that the number of first image pixel pairs having a difference value greater than a predetermined difference value accounts for the total number of first image pixel pairs If the ratio is greater than the predetermined ratio, the processor 10 determines that there is a relative displacement between the electronic device 100 and the shooting scene; if the ratio is less than or equal to the predetermined ratio, the processor 10 determines that there is no difference between the electronic device 100 and the shooting scene. Relative displacement occurs.
  • the relative displacement between the electronic device 100 and the shooting scene can be detected by the optical flow method.
  • the processor 10 may process consecutive multiple frames of images to establish the optical flow field of the entire screen. If most of the optical flow field in the entire screen moves in one direction, the processor 10 may determine that there is a relative displacement between the electronic device 100 and the shooting scene.
  • the relative displacement between the electronic device 100 and the shooting scene can also be detected through deep learning, which is not limited here.
  • the processor 10 determines that the shooting scene is still as a whole, the processor 10 needs to further detect whether there is local motion in the shooting scene.
  • the processor 10 can also use the inter-frame difference method, optical flow method or deep learning to detect the local motion area.
  • the image captured by the electronic device 100 will not have a pixel shift, and there is no need to compensate for the pixel shift. In this case, the image to be corrected is directly provided to the user.
  • Fig. 6 is a schematic diagram of a scene of local motion area correction in an image to be corrected according to an embodiment.
  • the electronic device 100 captures the images I1 and I1 as shown in FIG. 6 at time T1 and time T2, respectively.
  • the image I2, the image I1, and the image I2 all have a local motion area with pixel shift, and the location of the local motion area in the image I1 is different from the location of the local motion area in the image I2.
  • the processor 10 can directly calculate the amount of movement between any pair of second image pixel pairs in the two local motion regions, for example, calculate the image pixel P(0,2) and the image I2 in the image I1.
  • the processor 10 may directly use the movement amount (0, 2) as the local motion information (0, 2, ⁇ T) of the local motion area.
  • the processor 10 may calculate the local offset information of the local motion area in a unit time according to the local motion information (0, 2, ⁇ T), so as to calculate the sum of each image pixel in the local motion area in the first direction according to the local offset information.
  • the offset in the second direction and correct each image pixel according to the offset.
  • the specific correction process is the same as the correction process in the aforementioned embodiment shown in FIG. 3, and will not be detailed here.
  • the processor 10 When the moving object is a non-rigid object, the processor 10 needs to calculate the movement amount between all the second image pixel pairs in the two local movement regions to obtain multiple movement amount data. The processor 10 then calculates the average value of the plurality of movement amounts to use the average value as the local motion information of the local motion area. Subsequently, the processor 10 calculates the offset of each image pixel in the local motion area in the first direction and the second direction according to the local offset information, and corrects each image pixel according to the offset. Likewise, the specific correction process is the same as the correction process in the aforementioned embodiment shown in FIG. 3, and will not be detailed here.
  • the processor 10 may use the image I1 obtained at time T1 as the image to be corrected for correction (as shown in FIG. 6), and may also use the image I2 obtained at time T2 as the image to be corrected for correction (not shown in the figure). Show), there is no restriction here.
  • there may be one or more local motion regions in the image to be corrected and the processor 10 needs to correct one or more local motion regions. In this way, by correcting the pixel offset of the local motion area in the image to be corrected, the deformation of the object in the local motion area is reduced, and the imaging quality of the image is improved.
  • step 01 obtains the motion information of the motion area in the image to be corrected, including:
  • Step 02 Determine the offset information of the motion area in unit time according to the motion information, including:
  • Step 03 correcting the image to be corrected according to the offset information to obtain a corrected image includes:
  • Step 034 correcting the image to be corrected according to the global offset information to obtain the initial corrected image includes:
  • step 012, step 022, step 034, step 0341, and step 0342 can all be implemented by the processor 10. That is to say, the processor 10 can be used to obtain the global motion information of the global motion area in the image to be corrected when the relative displacement is greater than the first displacement, and determine the global offset of the global motion area per unit time according to the global motion information. Information, and correct the image to be corrected according to the global offset information to obtain an initial corrected image.
  • the processor 10 is configured to correct the image to be corrected with the global offset information to obtain the initial corrected image, it is specifically configured to determine the first offset of each image pixel in the global motion area in the first direction and the first offset in the first direction according to the global offset information.
  • the second offset in the two directions, and the position of each image pixel in the image to be corrected is corrected according to the first offset and the second offset to obtain an initial corrected image.
  • the first direction is different from the second direction.
  • the relative displacement when it is detected that the relative displacement is greater than the predetermined displacement, it indicates that the electronic device 100 and the shooting scene have undergone a relative displacement, that is, the entire shooting scene has moved.
  • the global motion information of the entire image needs to be acquired, and the global offset information per unit time is calculated according to the global motion information to correct the image to be corrected to obtain the initial corrected image.
  • FIG. 9 is a schematic diagram of a scene in which overall movement occurs in a shooting scene according to an embodiment. Assuming that the relative displacement between the electronic device 100 and the shooting scene is greater than the predetermined displacement, at this time the electronic device 100 and the scene to be shot have a global displacement moving to the right, then the electronic device 100 photographs as shown in the figure at time T1 and time T2, respectively. In the image H1 and the image H2 shown in 9, a global pixel shift has occurred in the image H1 and the image H2. The processor 10 needs to perform global pixel offset correction on at least one frame of the image H1 and the image H2.
  • the processor 10 since it is necessary to determine whether there is a local motion area in the initial corrected image, in the embodiment of the present application, the processor 10 needs to perform a global pixel shift correction on the image H1 to obtain the initial corrected image. H1', meanwhile, it is necessary to perform global pixel offset correction on the image H2 to obtain the initial corrected image H2' (as shown in FIG. 9). In this way, by correcting the pixel offset of the global motion area in the multi-frame image to be corrected, the initial corrected image of the multi-frame is obtained, in preparation for further determining whether to perform the correction of the local motion area.
  • the image processing method further includes:
  • both step 06 and step 07 can be implemented by the processor 10.
  • the processor 10 can be used to detect whether there is a local motion area in the initial corrected image; when there is no local motion area in the initial corrected image, confirm that the initial corrected image is a corrected image.
  • the initial corrected image (which may be the initial corrected image H1' or the initial corrected image H2') obtained by the processor 10 is an image without pixel shift, and the processor 10 can use the initial The corrected image is directly provided to the user as a corrected image; if there is local motion, the compensation of the local motion area needs to be continued to solve the problems of pixel offset and misalignment in the image.
  • the processor 10 can also use methods such as inter-frame difference method, optical flow method or deep learning to process the initial corrected image H1' and the initial corrected image H2' to detect the local motion area.
  • step 01 obtains the motion information of the motion area in the image to be corrected, including:
  • Step 02 Determine the offset information of the motion area in unit time according to the motion information, including:
  • Step 03 correcting the image to be corrected according to the offset information to obtain a corrected image includes:
  • Step 035 correcting the initial image to be corrected according to the local offset information to obtain a corrected image includes:
  • step 013, step 023, step 035, step 0351, and step 0352 can all be implemented by the processor 10.
  • the processor 10 may be used to obtain the local motion information of the local motion area in the initial corrected image when there is a local motion area in the initial corrected image.
  • the processor 10 may also be used to determine the local offset information of the local motion area in a unit time according to the local motion information, and correct the initial corrected image according to the local offset information to obtain a corrected image.
  • the processor 10 may also be used to determine the first offset in the first direction and the second offset in the second direction of each image pixel in the local motion area of the initial corrected image according to the local offset information, and according to The first offset and the second offset correct the position of each image pixel in the image to be corrected to obtain a corrected image.
  • the first direction is different from the second direction.
  • both the initial corrected image H1' and the initial corrected image H2' have local motion areas with pixel shifts, and the location of the local motion areas in the initial corrected image H1' is the same as that of the initial corrected image. The location of the local motion area in H2' is different. There are multiple pairs of second image pixel pairs corresponding to feature points in the two local motion regions.
  • the processor 10 can calculate the local motion information of the local motion area in the initial correction image according to the second image pixel pair in the initial correction image.
  • the specific calculation process is the same as that of the processor 10 according to the multiple pairs of second image pixels in the image to be corrected.
  • the process of calculating the local motion information of the local motion area in the image to be corrected is the same, and will not be expanded in detail here.
  • the processor 10 determines the local offset information of the local motion information per unit time according to the local motion information in the initial corrected image.
  • the specific calculation process is the same as that of the processor 10 according to the local motion information in the image to be corrected.
  • the process of determining the local offset information of the local motion information per unit time is the same, and it will not be expanded in detail here.
  • the processor 10 can correct the initial corrected image according to the local offset information to obtain a corrected image.
  • the specific correction process is the same as the correction process in the embodiment shown in FIG. 3, and will not be detailed here. Unfold.
  • the processor 10 may further modify the corrected image. It can be understood that after the pixel shift correction is performed on the area where the pixel shift exists, the problem of inconsistent lines in the corrected image may occur. Therefore, the processor 10 can correct the inconsistent areas in the image.
  • the processor 10 may recognize one or more objects in the local motion area in the corrected image, and based on the recognized One or more objects, fit the shape corresponding to each object, to correct one or more objects in the local motion area, and solve the problem of inconsistent lines of objects in the local motion area;
  • the processor 10 may recognize one or more objects in the global motion area in the initial corrected image (ie, corrected image), and based on the identified one or more objects.
  • each object is fitted to the shape corresponding to each object to correct one or more objects in the global motion area to solve the problem of incoherent object lines in the global motion area; correct the image before correcting
  • the processor 10 corrects one or more objects in the local motion area in the corrected image. Perform recognition, and based on the identified one or more objects, fit the shape corresponding to each object to correct one or more objects in the local motion area to solve the problem in the local motion area in the corrected image. The problem of inconsistent lines of objects.
  • the embodiment of the present application also provides a computer-readable storage medium 20.
  • the computer-readable storage medium 20 may be connected to the electronic device 100 of the embodiment of the present application.
  • the computer-readable storage medium 20 stores a computer program. When the computer program is executed by the processor 10, the image processing method described in any one of the above embodiments is implemented.
  • FIG. 1 and FIG. 13 when the computer program is executed by the processor 10, the following steps are implemented:
  • FIG. 3 and FIG. 13 when the computer program is executed by the processor 10, the following steps are implemented:

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

一种图像处理方法、电子装置(100)及计算机可读存储介质(20)。图像处理方法包括：(01)获取待校正图像中的运动区域的运动信息；(02)根据运动信息确定所述运动区域在单位时间内的偏移信息；及(03)根据偏移信息校正待校正图像以获得校正图像。

Description

图像处理方法、电子装置及计算机可读存储介质
优先权信息
本申请请求2020年04月13日向中国国家知识产权局提交的、专利申请号为202010285767.9的专利申请的优先权和权益，并且通过参照将其全文并入此处。
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像处理方法、电子装置及计算机可读存储介质。
背景技术
图像传感器的曝光控制通常包括全局快门和卷帘快门两种。其中，全局曝光是通过控制像素阵列中的所有感光元件同时曝光实现的，所有感光元件均在同一时间段内进行曝光；卷帘快门是通过控制像素阵列中的感光元件逐行曝光实现的，同一行的感光元件在同一时间段内进行曝光，不同行的感光元件在不同的时间段内进行曝光。
发明内容
本申请实施方式提供了一种图像处理方法、电子装置及计算机可读存储介质。
本申请实施方式的图像处理方法包括：获取待校正图像中的运动区域的运动信息；根据所述运动信息确定所述运动区域在单位时间内的偏移信息；及根据所述偏移信息校正所述待校正图像以获得校正图像。
本申请实施方式的电子装置包括处理器。所述处理器用于：获取待校正图像中的运动区域的运动信息；根据所述运动信息确定所述运动区域在单位时间内的偏移信息；及根据所述偏移信息校正所述待校正图像以获得校正图像。
本申请实施方式的计算机可读存储介质存储有计算机程序。所述计算机程序被处理器执行时实现以下图像处理方法：获取待校正图像中的运动区域的运动信息；根据所述运动信息确定所述运动区域在单位时间内的偏移信息；及根据所述偏移信息校正所述待校正图像以获得校正图像。
本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变 得明显和容易理解，其中：
图1是本申请某些实施方式的图像处理方法的流程示意图；
图2是本申请某些实施方式的电子装置的示意图；
图3是本申请某些实施方式的图像处理方法的流程示意图；
图4是本申请某些实施方式的图像处理方法的流程示意图；
图5是本申请某些实施方式的图像处理方法的流程示意图；
图6是本申请某些实施方式的图像处理方法的场景示意图；
图7是本申请某些实施方式的图像处理方法的流程示意图；
图8是本申请某些实施方式的图像处理方法的流程示意图；
图9是本申请某些实施方式的图像处理方法的场景示意图；
图10是本申请某些实施方式的图像处理方法的流程示意图；
图11是本申请某些实施方式的图像处理方法的流程示意图；
图12是本申请某些实施方式的图像处理方法的流程示意图；
图13是本申请实施方式的计算机可读存储介质电子装置交互的示意图。
具体实施方式
下面详细描述本申请的实施方式，实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
请参阅图1，本申请实施方式的图像处理方法包括：
获取待校正图像中的运动区域的运动信息；
根据运动信息确定运动区域在单位时间内的偏移信息；及
根据偏移信息校正待校正图像以获得校正图像。
请参阅图4，在某些实施方式中，图像处理方法应用于电子装置100，图像处理方法还包括：
检测电子装置100与拍摄场景之间的相对位移；
在相对位移小于预定位移时，检测待校正图像中是否存在局部运动区域；
在待校正图像中存在局部运动区域时，获取待校正图像中的运动区域的运动信息，包括：
获取待校正图像中的局部运动区域的局部运动信息；
根据运动信息确定运动区域在单位时间内的偏移信息，包括：
根据局部运动信息确定局部运动区域在单位时间内的局部偏移信息；
根据偏移信息校正待校正图像以获得校正图像，包括：
根据局部偏移信息校正待校正图像以获得校正图像。
请参阅图10，在某些实施方式中，在相对位移大于预定位移时，获取待校正图像中的运动区域的运动信息，包括：
获取待校正图像中的全局运动区域的全局运动信息；
根据运动信息确定运动区域在单位时间内的偏移信息，包括：
根据全局运动信息确定全局运动区域在单位时间内的全局偏移信息；
根据偏移信息校正待校正图像以获得校正图像，包括：
根据全局偏移信息校正待校正图像以获得初始校正图像。
请参阅图10，在某些实施方式中，图像处理方法还包括：
检测初始校正图像是否存在局部运动区域；及
在初始校正图像中不存在局部运动区域时，确认初始校正图像为校正图像。
请参阅图11，在某些实施方式中，在初始校正图像中存在局部运动区域时，获取待校正图像中的运动区域的运动信息，包括：
获取初始校正图像中的局部运动区域的局部运动信息；
根据运动信息确定运动区域在单位时间内的偏移信息，包括：
根据局部运动信息确定局部运动区域在单位时间内的局部偏移信息；
根据偏移信息校正待校正图像以获得校正图像，包括：
根据局部偏移信息校正初始校正图像以获得校正图像。
在某些实施方式中，根据偏移信息校正待校正图像以获得校正图像，包括：
根据偏移信息确定运动区域内每个图像像素在第一方向的第一偏移量及在第二方向上的第二偏移量，第一方向与第二方向不同；及
根据第一偏移量和第二偏移量对每个图像像素在待校正图像中的位置进行校正以获得校正图像。
在某些实施方式中，在根据偏移信息校正待校正图像以获得校正图像后，图像处理方法还包括：
识别校正图像中运动区域内的一个或多个物体；及
根据识别到的一个或多个物体，进行与各个物体对应的形状的拟合，以对运动区域内的一个或多个物体进行修正。
请参阅图2，本申请实施方式的电子装置100包括处理器10，处理器10用于：
获取待校正图像中的运动区域的运动信息；
根据运动信息确定运动区域在单位时间内的偏移信息；及
根据偏移信息校正待校正图像以获得校正图像。
在某些实施方式中，处理器10还用于：
检测电子装置与拍摄场景之间的相对位移；
在相对位移小于预定位移时，检测待校正图像中是否存在局部运动区域；
在待校正图像中存在局部运动区域时，获取待校正图像中的局部运动区域的局部运动信息；
根据局部运动信息确定局部运动区域在单位时间内的局部偏移信息；及
根据局部偏移信息校正待校正图像以获得校正图像。
在某些实施方式中，处理器10还用于：
在相对位移大于预定位移时，获取待校正图像中的全局运动区域的全局运动信息；
根据全局运动信息确定全局运动区域在单位时间内的全局偏移信息；
根据全局偏移信息校正待校正图像以获得初始校正图像。
在某些实施方式中，处理器还用于：
检测初始校正图像是否存在局部运动区域；及
在初始校正图像中不存在局部运动区域时，确认初始校正图像为校正图像。
在某些实施方式中，处理器10还用于：
在初始校正图像中存在局部运动区域时，获取初始校正图像中的局部运动区域的局部运动信息；
根据局部运动信息确定局部运动区域在单位时间内的局部偏移信息；及
根据局部偏移信息校正初始校正图像以获得校正图像。
在某些实施方式中，处理器10还用于：
根据偏移信息确定运动区域内每个图像像素在第一方向的第一偏移量及在第二方向上的第二偏移量，第一方向与第二方向不同；
根据第一偏移量和第二偏移量对每个图像像素在待校正图像中的位置进行校正以获得校正图像。
在某些实施方式中，处理器10还用于：
识别校正图像中运动区域内的一个或多个物体；
根据识别到的一个或多个物体，进行与各个物体对应的形状的拟合，以对运动区域内的一个或多个物体进行修正。
本申请实施方式的计算机可读存储介质20，其上存储有计算机程序，计算机程序被处理器10执行时，使得处理器10执行图像处理方法，图像处理方法包括：
获取待校正图像中的运动区域的运动信息；
根据运动信息确定运动区域在单位时间内的偏移信息；及
根据偏移信息校正待校正图像以获得校正图像。
在某些实施方式中，图像处理方法应用于电子装置100，图像处理方法还包括：
检测电子装置100与拍摄场景之间的相对位移；
在相对位移小于预定位移时，检测待校正图像中是否存在局部运动区域；
在待校正图像中存在局部运动区域时，获取待校正图像中的运动区域的运动信息，包括：
获取待校正图像中的局部运动区域的局部运动信息；
根据运动信息确定运动区域在单位时间内的偏移信息，包括：
根据局部运动信息确定局部运动区域在单位时间内的局部偏移信息；
根据偏移信息校正待校正图像以获得校正图像，包括：
根据局部偏移信息校正待校正图像以获得校正图像。
在某些实施方式中，在相对位移大于预定位移时，获取待校正图像中的运动区域的运动信息，包括：
获取待校正图像中的全局运动区域的全局运动信息；
根据运动信息确定运动区域在单位时间内的偏移信息，包括：
根据全局运动信息确定全局运动区域在单位时间内的全局偏移信息；
根据偏移信息校正待校正图像以获得校正图像，包括：
根据全局偏移信息校正待校正图像以获得初始校正图像。
在某些实施方式中，图像处理方法还包括：
检测初始校正图像是否存在局部运动区域；及
在初始校正图像中不存在局部运动区域时，确认初始校正图像为校正图像。
在某些实施方式中，在初始校正图像中存在局部运动区域时，获取待校正图像中的运动区域的运动信息，包括：
获取初始校正图像中的局部运动区域的局部运动信息；
根据运动信息确定运动区域在单位时间内的偏移信息，包括：
根据局部运动信息确定局部运动区域在单位时间内的局部偏移信息；
根据偏移信息校正待校正图像以获得校正图像，包括：
根据局部偏移信息校正初始校正图像以获得校正图像。
在某些实施方式中，根据偏移信息校正待校正图像以获得校正图像，包括：
根据偏移信息确定运动区域内每个图像像素在第一方向的第一偏移量及在第二方向上的第二偏移量，第一方向与第二方向不同；及
根据第一偏移量和第二偏移量对每个图像像素在待校正图像中的位置进行校正以获得校正图像。
在某些实施方式中，在根据偏移信息校正待校正图像以获得校正图像后，图像处理方法还包括：
识别校正图像中运动区域内的一个或多个物体；及
根据识别到的一个或多个物体，进行与各个物体对应的形状的拟合，以对运动区域内的一个或多个物体进行修正。
请参阅图1，本申请实施方式提供一种图像处理方法。图像处理方法包括：
01：获取待校正图像中的运动区域的运动信息；
02：根据运动信息确定运动区域在单位时间内的偏移信息；及
03：根据偏移信息校正待校正图像以获得校正图像。
请参阅图2，本申请实施方式还提供一种电子装置100。本申请实施方式的图像处理方法可以由本申请实施方式的电子装置100实现。电子装置100包括处理器10。步骤01、步骤02及步骤03均可由处理器10实现。也即是说，处理器10可以用于获取待校正图像中的运动区域的运动信息、根据运动信息确定运动区域在单位时间内的偏移信息、根据偏移信息校正待校正图像以获得校正图像。
在某些实施方式中，电子装置100包括手机、平板电脑、笔记本电脑、智能穿戴设备(如智能眼镜、智能手环、智能手表、智能头盔)、相机(如单反相机、无反相机)等，在此不作任何限制。在本申请的具体实施例中，电子装置100为手机。
可以理解，电子装置100的图像传感器可以采用卷帘快门进行曝光控制。卷帘快门是通过控制像素阵列中的感光元件逐行曝光实现的，同一行的感光元件在同一时间段内进行曝光，不同行的感光元件在不同的时间段内进行曝光。在使用卷帘快门进行曝光控制时，若拍摄场景中存在运动物体，则可能会出现图像错位、倾斜等问题，影响成像效果。
本申请实施方式的图像处理方法及电子装置100，通过获取待校正图像中的运动区域的运动信息，并根据运动信息确定运动区域在单位时间内的偏移量，从而可以根据偏移量对运动区域进行补偿，以减少行曝光方式带来的图像错位、倾斜等问题，减小图像中的物体的变形，提升图像与用户所观看到的画面的一致性，提升用户的视觉感受。
请参阅图3，在某些实施方式中，步骤03根据偏移信息校正待校正图像以获得校正图像，包括：
031：根据偏移信息确定运动区域内每个图像像素在第一方向的第一偏移量及在第二方向上的第二偏移量，第一方向与第二方向不同；
032：根据第一偏移量和第二偏移量对每个图像像素在待校正图像中的位置进行校正以 获得校正图像。
请再参阅图2，在某些实施方式中，步骤03可以由处理器10实现。也即是说，处理器10可以用于根据偏移信息确定运动区域内每个图像像素在第一方向的第一偏移量及在第二方向上的第二偏移量，第一方向与第二方向不同。处理器10还可以用于根据第一偏移量和第二偏移量对每个图像像素在待校正图像中的位置进行校正以获得校正图像。
具体地，假设运动区域在ΔT时间段内的向右移动了S1个图像像素，向下移动了S2个图像像素，即运动区域的运动信息为(S1,S2,ΔT)，则处理器10可以根据运动信息(S1,S2,ΔT)计算出运动区域在单位时间内的偏移信息ΔS1和ΔS2，其中，ΔS1＝S1/ΔT，ΔS2＝S2/ΔT。随后，处理器10可以根据局部偏移信息ΔS1和ΔS2计算运动区域内每个图像像素在第一方向上的第一偏移量及在第二方向上的第二偏移量，其中，第一方向例如为行方向(左右方向)，第二方向例如为列方向(上下方向)，行方向可以与列方向相交并垂直，但并不限于此。示例地，假设待校正图像包括0,1,2，…N行图像像素，且包括0,1,2…,N列图像像素，运动区域位内的多个像素位于第M行至第M+5行之间，且位于第P列至第P+3列之间，则对于第M行第P列的图像像素，其第一偏移量为M*ΔS1，第二偏移量为P*ΔS2，处理器10需要将第M行第P列的图像像素向左移动M*ΔS1个图像像素，并向上移动P*ΔS2个图像像素，从而使得第M行第P列的图像像素的位置得到校正。同样地，对于第M+2行第P+1列的图像像素，其第一偏移量为(M+2)*ΔS1，第二偏移量为(P+1)*ΔS2，处理器10需要将第(M+2)行第(P+1)列的图像像素向左移动(M+2)*ΔS1个图像像素，并向上移动(P+1)*ΔS2个图像像素，从而使得第(M+2)行第(P+1)列的图像像素的位置得到校正。运动区域内的其他图像像素的校正方式依此类推，在此不再赘述。如此，通过对运动区域内的每个图像像素的像素位置进行校正，消除了行曝光导致的像素位置偏移的影响，极大地改善了图像的成像质量。
需要说明的是，在上述实施例中，对于运动区域内的处于第M行第P列图像像素的偏移量的计算，均是基于运动区域在ΔT时间段内是匀速运动为前提计算得到的。然而，在某些情况下，运动区域在ΔT时间段内可能不是匀速运动的。因此，在其他实施例中，处理器10可以首先获得多帧(大于2帧)图像，并分别检测出每帧图像中的运动区域所在位置。随后，处理器10根据多帧图像中的运动区域的位置拟合出运动区域的运动曲线。随后，处理器10根据拟合出来的运动曲线确定运动区域在ΔT时间段内的运动信息，并根据运动信息确定运动区域在单位时间内的偏移信息。随后，处理器10根据偏移信息确定每个图像像素在第一方向上的偏移量及在第二方向上的偏移量。以运动区域内的处于第M行第P列图像像素为例，其第一偏移量为a*M*ΔS1，第二偏移量为b*P*ΔS2，其中a和b均为根据运动曲线确定出来的系数。当运动区域在ΔT时间段内为匀速运动时，a和b均为1，当 运动区域在ΔT时间段内不为匀速运动时，a和b不为1。如此，对于运动区域的运动是曲线运动的情况，可以更加精准地对每个图像像素进行像素偏移的校正，改善校正图像的质量。
请参阅图4和图5，在某些实施方式中，图像处理方法还包括：
04：检测电子装置100与拍摄场景之间的相对位移；
05：在相对位移小于预定位移时，检测待校正图像中是否存在局部运动区域；
在待校正图像中存在局部运动区域时，步骤01获取待校正图像中的运动区域的运动信息，包括：
011：获取待校正图像中的局部运动区域的局部运动信息；
步骤02根据运动信息确定运动区域在单位时间内的偏移信息，包括：
021：根据局部运动信息确定局部运动区域在单位时间内的局部偏移信息；
步骤03根据偏移信息校正待校正图像以获得校正图像，包括：
033：根据局部偏移信息校正待校正图像以获得校正图像。
步骤033根据局部偏移信息校正待校正图像以获得校正图像，包括：
0331：根据局部偏移信息确定局部运动区域内每个图像像素在第一方向的第一偏移量及在第二方向上的第二偏移量，第一方向与第二方向不同；
0332：根据第一偏移量和第二偏移量对每个图像像素在待校正图像中的位置进行校正以获得校正图像。
请再参阅图2，在某些实施方式中，步骤04、步骤05、步骤011、步骤021、步骤033、步骤0331及步骤0332均可以由处理器10实现。也即是说，处理器10可以用于检测电子装置100与拍摄场景之间的相对位移，并在相对位移小于第一位移时，检测待校正图像中是否存在局部运动区域。在待校正图像中存在局部运动区域时，处理器10用于获取待校正图像中的局部运动区域的局部运动信息、根据局部运动信息确定局部运动区域在单位时间内的局部偏移信息、及根据局部偏移信息校正待校正图像以获得校正图像。处理器10用于局部偏移信息校正待校正图像以获得校正图像时，具体用于根据局部偏移信息确定局部运动区域内每个图像像素在第一方向的第一偏移量及在第二方向上的第二偏移量，以及根据第一偏移量和第二偏移量对每个图像像素在待校正图像中的位置进行校正以获得校正图像。其中，第一方向与第二方向不同。
可以理解，使用电子装置100进行拍摄场景的拍摄时可能存在局部运动和整体运动两种情况。其中局部运动是指电子装置100与拍摄场景间不存在相对位移，此时，拍摄场景整体静止，仅拍摄场景中的部分区域运动。整体运动是指电子装置100和拍摄场景之间存在相对移动，此时，对于电子装置100而言，拍摄场景整体发生了运动。由于拍摄场景的 运动方式不同会导致补偿方式上的差异，因此，需要检测电子装置100与拍摄场景之间的相对位移，来判断画面是整体运动还是局部运动。具体地，当检测到相对位移小于或等于预定位移，说明电子装置100与拍摄场景未发生相对位移，即拍摄场景整体静止；若检测到相对位移大于预定位移，说明电子装置100与拍摄场景发生了相对位移，即拍摄场景整体发生了运动。
在一个例子中，可以使用电子装置100中的陀螺仪来检测电子装置100的抖动情况。陀螺仪能检测和感应电子装置100在三维空间中的运动，可以提供电子装置100在俯仰方向(pitch)、偏航方向(yaw)、横滚方向(roll)这三个方向上的角速度。处理器10可以根据陀螺仪检测到的角速度数据判断电子装置100与拍摄场景之间的相对位移情况。
在另一个例子中，可以通过帧间差分法来检测电子装置100与拍摄场景之间的相对位移情况。帧间差分法是一种通过对图像序列中相邻两帧图像作差分运算来获得运动目标轮廓的方法。当电子装置100与拍摄场景之间出现相对位移时，帧与帧之间会出现较为明显的差别。因此，处理器10可以对电子装置100获取的两帧图像进行相减，具体地，处理器10计算两帧图像中位置相对应的两个图像像素(位置相对应的两个图像像素简称为第一图像像素对)的像素值的差值的绝对值，以得到多个差分值，处理器判断差分值大于预定差分值的第一图像像素对的数量占总的第一图像像素对的数量的比值，若该比值大于预定比值，则处理器10判定电子装置100与拍摄场景之间出现了相对位移；若该比值小于或等于预定比值，则处理器10判定电子装置100与拍摄场景之间未出现相对位移。
在再一个例子中，可以通过光流法来检测电子装置100与拍摄场景之间的相对位移情况。示例地，处理器10可以处理连续的多帧图像来建立整个画面的光流场。如果整个画面中大部分的光流场都出现一个方向的移动，则处理器10可以判定电子装置100与拍摄场景之间出现相对位移。
当然，在其他例子中，还可以通过深度学习来检测电子装置100与拍摄场景之间的相对位移情况等，在此不作限制。
在处理器10判定拍摄场景整体静止时，处理器10需要进一步检测拍摄场景中是否存在局部运动。其中，处理器10同样可以使用帧间差分法、光流法或深度学习等进行局部运动区域的检测。
如若不存在局部运动，则电子装置100拍摄的图像不会发生像素偏移，不需要进行像素偏移的补偿，此时直接将待校正图像提供给用户。
如若检测到图像中存在局部运动，说明图像中存在局部运动区域，则电子装置100拍摄的图像中可能发生了像素偏移，需要进行像素偏移的补偿。
图6为一个实施例的待校正图像中局部运动区域校正的场景示意图。假设电子装置100 与拍摄场景之间的相对位移小于预定位移，但拍摄场景中存在向右移动的运动物体，则电子装置100在T1时刻和T2时刻分别拍摄到如图6所示的图像I1和图像I2，图像I1和图像I2中均存在发生了像素偏移的局部运动区域，且图像I1中的局部运动区域所处位置与图像I2中的局部运动区域所处位置不同。两局部运动区域存在特征点相对应的多对第二图像像素对。
当运动物体为刚性物体时，处理器10可以直接计算两局部运动区域中任意一对第二图像像素对之间的移动量，例如计算图像I1中的图像像素P(0,2)与图像I2中的图像像素P(0,4)之间的移动量，该移动量为(0,2,ΔT)，其中ΔT＝T2-T1。处理器10可以直接将该移动量(0,2)作为局部运动区域的局部运动信息(0,2,ΔT)。随后，处理器10可以根据局部运动信息(0,2,ΔT)计算局部运动区域在单位时间内的局部偏移信息，以根据局部偏移信息计算局部运动区域内各图像像素在第一方向和第二方向上的偏移量，并根据该偏移量对各图像像素进行校正。该具体校正过程与前述的图3所示实施例中的校正过程相同，在此不再详细展开。
当运动物体为非刚性物体时，处理器10需要计算两局部运动区域中所有的第二图像像素对之间的移动量以得到多个移动量的数据。处理器10再计算多个移动量的均值以将该均值作为局部运动区域的局部运动信息。随后，处理器10根据局部偏移信息计算局部运动区域内各图像像素在第一方向和第二方向上的偏移量，并根据该偏移量对各图像像素进行校正。同样地，该具体校正过程与前述的图3所示实施例中的校正过程相同，在此不再详细展开。
需要说明的是，处理器10可以将T1时刻下获得的图像I1作为待校正图像进行校正(如图6所示)，也可将T2时刻下获得的图像I2作为待校正图像进行校正(图未示)，在此不作限制。此外，待校正图像中的局部运动区域可能为一个或多个，处理器10需要对一个或多个的局部运动区域均进行校正。如此，通过对待校正图像中局部运动区域的像素偏移的校正，减小局部运动区域中的物体的变形，提高图像的成像质量。
请参阅图7和图8，在某些实施方式中，在相对位移大于预定位移时，步骤01获取待校正图像中的运动区域的运动信息，包括：
012：获取待校正图像中的全局运动区域的全局运动信息；
步骤02根据运动信息确定运动区域在单位时间内的偏移信息，包括：
022：根据全局运动信息确定全局运动区域在单位时间内的全局偏移信息；
步骤03根据偏移信息校正待校正图像以获得校正图像，包括：
034：根据全局偏移信息校正待校正图像以获得初始校正图像。
步骤034根据全局偏移信息校正待校正图像以获得初始校正图像，包括：
0341：根据全局偏移信息确定全局运动区域内每个图像像素在第一方向的第一偏移量 及在第二方向上的第二偏移量，第一方向与第二方向不同；
0342：根据第一偏移量和第二偏移量对每个图像像素在待校正图像中的位置进行校正以获得初始校正图像。
请再参阅图2，在某些实施方式中，步骤012、步骤022、步骤034、步骤0341和步骤0342均可以由处理器10实现。也即是说，处理器10可以用于在相对位移大于第一位移时，获取待校正图像中的全局运动区域的全局运动信息、根据全局运动信息确定全局运动区域在单位时间内的全局偏移信息、及根据全局偏移信息校正待校正图像以获得初始校正图像。处理器10用于全局偏移信息校正待校正图像以获得初始校正图像时，具体用于根据全局偏移信息确定全局运动区域内每个图像像素在第一方向的第一偏移量及在第二方向上的第二偏移量，以及根据第一偏移量和第二偏移量对每个图像像素在待校正图像中的位置进行校正以获得初始校正图像。其中，第一方向与第二方向不同。
可以理解，当检测到相对位移大于预定位移，说明电子装置100与拍摄场景发生了相对位移，即拍摄场景整体发生了运动。此时需要获取整个图像的全局运动信息，根据全局运动信息计算单位时间内全局偏移信息来校正待校正图像以获得初始校正图像。
图9为一个实施例的拍摄场景发生了整体运动的场景示意图。假设电子装置100与拍摄场景之间的相对位移大于预定位移，此时电子装置100与被拍摄场景产生了一个向右移动的全局位移，则电子装置100在T1时刻和T2时刻分别拍摄到如图9所示的图像H1和图像H2，图像H1和图像H2中均发生了全局的像素偏移。处理器10需要对图像H1和图像H2中的至少一帧做全局的像素偏移的校正。
具体地，处理器10可以直接将检测到的电子装置100与拍摄场景之间的相对位移作为全局运动区域的全局运动信息，例如，假设电子装置100与拍摄场景之间的相对位移为(0,1)，则处理器10可以直接将该相对位移(0,1)作为全局运动区域的全局运动信息(0,1,ΔT)，其中ΔT＝T2-T1。随后，处理器10可以根据全局运动信息(0,1,ΔT)计算全局运动区域在单位时间内的全局偏移信息，以根据全局偏移信息计算全局运动区域内各图像像素在第一方向和第二方向上的偏移量，并根据该偏移量对各图像像素进行校正。该具体校正过程与前述的图3所示实施例中的校正过程相同，在此不再详细展开。
需要说明的是，由于需要对初始校正图像进行是否存在局部运动区域的判定，因此，在本申请的实施例中，处理器10需要对图像H1进行全局的像素偏移的校正以获得初始校正图像H1’，同时需要对图像H2进行全局的像素偏移的校正以获得初始校正图像H2’(如图9所示)。如此，通过对多帧待校正图像中全局运动区域的像素偏移的校正，以获得多帧的初始校正图像，为进一步判断是否进行局部运动区域的校正做准备。
请参阅图10，在某些实施方式中，图像处理方法还包括：
06：检测初始校正图像是否存在局部运动区域；
07：在初始校正图像中不存在局部运动区域时，确认初始校正图像为校正图像。
请再参阅图2，在某些实施方式中，步骤06及步骤07均可以由处理器10实现。也即是说，处理器10可以用于检测初始校正图像是否存在局部运动区域；在初始校正图像中不存在局部运动区域时，确认初始校正图像为校正图像。
可以理解，当电子装置100与拍摄场景发生了相对位移，处理器10通过全局运动区域的补偿(即全局的像素偏移的校正)获得了初始校正图像后，处理器10还需进一步判断，在整体运动中是否还存在局部运动。如若不存在局部运动，那么补偿就此结束，处理器10获得的初始校正图像(可以是初始校正图像H1’或初始校正图像H2’)就是不存在像素偏移的图像，处理器10可以将该初始校正图像作为校正图像直接提供给用户；如若存在局部运动，则还需要继续进行局部运动区域的补偿，以解决图像中的像素偏移、错位等问题。其中，处理器10同样可以使用帧间差分法、光流法或深度学习等方法处理初始校正图像H1’和初始校正图像H2’以进行局部运动区域的检测。
请参阅图11和图12，在某些实施方式中，在初始校正图像中存在局部运动区域时，步骤01获取待校正图像中的运动区域的运动信息，包括：
013：获取初始校正图像中的局部运动区域的局部运动信息；
步骤02根据运动信息确定运动区域在单位时间内的偏移信息，包括：
023：根据局部运动信息确定局部运动区域在单位时间内的局部偏移信息；
步骤03根据偏移信息校正待校正图像以获得校正图像，包括：
035：根据局部偏移信息校正初始校正图像以获得校正图像。
步骤035根据局部偏移信息校正初始待校正图像以获得校正图像，包括：
0351：根据局部偏移信息确定初始校正图像的局部运动区域内每个图像像素在第一方向的第一偏移量及在第二方向上的第二偏移量，第一方向与第二方向不同；
0352：根据第一偏移量和第二偏移量对每个图像像素在初始校正图像中的位置进行校正以获得校正图像。
请再参阅图2，在某些实施方式中，步骤013、步骤023、步骤035、步骤0351和步骤0352均可以由处理器10实现。也即是说，处理器10可以用于在初始校正图像中存在局部运动区域时，获取初始校正图像中的局部运动区域的局部运动信息。处理器10还可以用于根据局部运动信息确定局部运动区域在单位时间内的局部偏移信息、及根据局部偏移信息校正初始校正图像以获得校正图像。处理器10还可以用于根据局部偏移信息确定初始校正图像的局部运动区域内每个图像像素在第一方向的第一偏移量及在第二方向上的第二偏移量，并根据第一偏移量和第二偏移量对每个图像像素在待校正图像中的位置进行校正以获 得校正图像。其中，第一方向与第二方向不同。
请再参阅图9，在图9所示的实施例中，除了电子装置100与拍摄场景之间的相对位移大于预定位移外，拍摄场景中还存在向右移动的运动物体，也即初始校正图像中还存在局部运动区域。具体地，如图9所示，初始校正图像H1’和初始校正图像H2’均存在发生了像素偏移的局部运动区域，且初始校正图像H1’中的局部运动区域所处位置与初始校正图像H2’中的局部运动区域所处位置不同。两局部运动区域存在特征点相对应的多对第二图像像素对。处理器10可以根据初始校正图像中的第二图像像素对计算出初始校正图像中的局部运动区域的局部运动信息，其具体计算过程与处理器10根据待校正图像中的多对第二图像像素对计算出待校正图像中的局部运动区域的局部运动信息的过程一致，在此不再详细展开。在获得局部运动信息后，处理器10根据初始校正图像中的局部运动信息确定该局部运动信息在单位时间内的局部偏移信息，其具体计算过程与处理器10根据待校正图像中的局部运动信息确定该局部运动信息在单位时间内的局部偏移信息的过程一致，在此也不再详细展开。在获得局部偏移信息后，处理器10即可根据局部偏移信息校正初始校正图像以获得校正图像，其具体校正过程与图3所示实施例中的校正过程相同，在此也不再详细展开。
在某些实施方式中，在获得校正图像后，处理器10还可以对校正图像做进一步的修正。可以理解，在对存在像素偏移的区域进行像素偏移的校正后，可能会出现校正后的图像中部分线条不连贯的问题。因此，处理器10可以对图像中线条不连贯的区域进行修正。作为一个示例，在校正图像为对待校正图像进行局部运动区域的像素偏移校正后得到时，处理器10可以对校正图像中局部运动区域内的一个或多个物体进行识别，并基于识别出来的一个或多个物体，进行与各物体对应的形状的拟合，以对局部运动区域内的一个或多个物体进行修正，解决局部运动区域内的物体线条不连贯的问题；在校正图像为对待校正图像进行全局运动区域的像素偏移校正后得到时，处理器10可以对初始校正图像(即校正图像)中全局运动区域内的一个或多个物体进行识别，并基于识别出来的一个或多个物体形状，进行与各物体对应的形状的拟合，以对全局运动区域内的一个或多个物体进行修正，解决全局运动区域内的物体线条不连贯的问题；在校正图像为先对待校正图像进行全局运动区域的像素偏移校正得到初始校正图像，并对初始校正图像进行局部运动区域的像素偏移校正后得到时，处理器10对校正图像中局部运动区域内的一个或多个物体进行识别，并基于识别出来的一个或多个物体，进行与各物体对应的形状的拟合，以对局部运动区域内的一个或多个的物体进行修正，解决校正图像中局部运动区域内的物体线条不连贯的问题。
请参阅图13，本申请实施方式还提供一种计算机可读存储介质20。计算机可读存储介质20可与本申请实施方式的电子装置100相连接。计算机可读存储介质20存储有计算机 程序。计算机程序被处理器10执行时实现上述任意一项实施方式所述的图像处理方法。
例如，请结合图1和图13，计算机程序被处理器10执行时实现以下步骤：
01：获取待校正图像中的运动区域的运动信息；
02：根据运动信息确定运动区域在单位时间内的偏移信息；及
03：根据偏移信息校正待校正图像以获得校正图像。
再例如，请结合图3和图13，计算机程序被处理器10执行时实现以下步骤：
031：根据偏移信息确定运动区域内每个图像像素在第一方向的第一偏移量及在第二方向上的第二偏移量，第一方向与第二方向不同；
032：根据第一偏移量和第二偏移量对每个图像像素在待校正图像中的位置进行校正以获得校正图像。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (21)

  1. 一种图像处理方法，其特征在于，所述图像处理方法包括：
    获取待校正图像中的运动区域的运动信息；
    根据所述运动信息确定所述运动区域在单位时间内的偏移信息；及
    根据所述偏移信息校正所述待校正图像以获得校正图像。
  2. 根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法应用于电子装置，所述图像处理方法还包括：
    检测所述电子装置与拍摄场景之间的相对位移；
    在所述相对位移小于预定位移时，检测所述待校正图像中是否存在局部运动区域；
    在所述待校正图像中存在所述局部运动区域时，所述获取待校正图像中的运动区域的运动信息，包括：
    获取所述待校正图像中的所述局部运动区域的局部运动信息；
    所述根据所述运动信息确定所述运动区域在单位时间内的偏移信息，包括：
    根据所述局部运动信息确定所述局部运动区域在单位时间内的局部偏移信息；
    所述根据所述偏移信息校正所述待校正图像以获得校正图像，包括：
    根据所述局部偏移信息校正所述待校正图像以获得所述校正图像。
  3. 根据权利要求2所述的图像处理方法，其特征在于，在所述相对位移大于所述预定位移时，所述获取待校正图像中的运动区域的运动信息，包括：
    获取所述待校正图像中的全局运动区域的全局运动信息；
    所述根据所述运动信息确定所述运动区域在单位时间内的偏移信息，包括：
    根据所述全局运动信息确定所述全局运动区域在单位时间内的全局偏移信息；
    所述根据所述偏移信息校正所述待校正图像以获得校正图像，包括：
    根据所述全局偏移信息校正所述待校正图像以获得初始校正图像。
  4. 根据权利要求3所述的图像处理方法，其特征在于，所述图像处理方法还包括：
    检测所述初始校正图像是否存在局部运动区域；及
    在所述初始校正图像中不存在所述局部运动区域时，确认所述初始校正图像为所述校正图像。
  5. 根据权利要求4所述的图像处理方法，其特征在于，在所述初始校正图像中存在所 述局部运动区域时，所述获取待校正图像中的运动区域的运动信息，包括：
    获取所述初始校正图像中的所述局部运动区域的局部运动信息；
    所述根据所述运动信息确定所述运动区域在单位时间内的偏移信息，包括：
    根据所述局部运动信息确定所述局部运动区域在单位时间内的局部偏移信息；
    所述根据所述偏移信息校正所述待校正图像以获得校正图像，包括：
    根据所述局部偏移信息校正所述初始校正图像以获得所述校正图像。
  6. 根据权利要求1所述的图像处理方法，其特征在于，所述根据所述偏移信息校正所述待校正图像以获得校正图像，包括：
    根据所述偏移信息确定所述运动区域内每个图像像素在第一方向的第一偏移量及在第二方向上的第二偏移量，所述第一方向与所述第二方向不同；及
    根据所述第一偏移量和所述第二偏移量对每个所述图像像素在所述待校正图像中的位置进行校正以获得所述校正图像。
  7. 根据权利要求1所述的图像处理方法，其特征在于，在所述根据所述偏移信息校正所述待校正图像以获得校正图像后，所述图像处理方法还包括：
    识别所述校正图像中所述运动区域内的一个或多个物体；及
    根据识别到的一个或多个所述物体，进行与各个所述物体对应的形状的拟合，以对所述运动区域内的一个或多个所述物体进行修正。
  8. 一种电子装置，其特征在于，所述电子装置包括处理器，所述处理器用于：
    获取待校正图像中的运动区域的运动信息；
    根据所述运动信息确定所述运动区域在单位时间内的偏移信息；及
    根据所述偏移信息校正所述待校正图像以获得校正图像。
  9. 根据权利要求8所述的电子装置，其特征在于，所述处理器还用于：
    检测所述电子装置与拍摄场景之间的相对位移；
    在所述相对位移小于预定位移时，检测所述待校正图像中是否存在局部运动区域；
    在所述待校正图像中存在所述局部运动区域时，获取所述待校正图像中的所述局部运动区域的局部运动信息；
    根据所述局部运动信息确定所述局部运动区域在单位时间内的局部偏移信息；及
    根据所述局部偏移信息校正所述待校正图像以获得所述校正图像。
  10. 根据权利要求9所述的电子装置，其特征在于，所述处理器还用于：
    在所述相对位移大于所述预定位移时，获取所述待校正图像中的全局运动区域的全局运动信息；
    根据所述全局运动信息确定所述全局运动区域在单位时间内的全局偏移信息；
    根据所述全局偏移信息校正所述待校正图像以获得初始校正图像。
  11. 根据权利要求10所述的电子装置，其特征在于，所述处理器还用于：
    检测所述初始校正图像是否存在局部运动区域；及
    在所述初始校正图像中不存在所述局部运动区域时，确认所述初始校正图像为所述校正图像。
  12. 根据权利要求11所述的电子装置，其特征在于，所述处理器还用于：
    在所述初始校正图像中存在所述局部运动区域时，获取所述初始校正图像中的所述局部运动区域的局部运动信息；
    根据所述局部运动信息确定所述局部运动区域在单位时间内的局部偏移信息；及
    根据所述局部偏移信息校正所述初始校正图像以获得所述校正图像。
  13. 根据权利要求8所述的电子装置，其特征在于，所述处理器还用于：
    根据所述偏移信息确定所述运动区域内每个图像像素在第一方向的第一偏移量及在第二方向上的第二偏移量，所述第一方向与所述第二方向不同；
    根据所述第一偏移量和所述第二偏移量对每个所述图像像素在所述待校正图像中的位置进行校正以获得所述校正图像。
  14. 根据权利要求8所述的电子装置，其特征在于，所述处理器还用于：
    识别所述校正图像中所述运动区域内的一个或多个物体；
    根据识别到的一个或多个所述物体，进行与各个所述物体对应的形状的拟合，以对所述运动区域内的一个或多个所述物体进行修正。
  15. 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行图像处理方法，所述图像处理方法包括：
    获取待校正图像中的运动区域的运动信息；
    根据所述运动信息确定所述运动区域在单位时间内的偏移信息；及
    根据所述偏移信息校正所述待校正图像以获得校正图像。
  16. 根据权利要求15所述的计算机可读存储介质，其特征在于，所述图像处理方法应用于电子装置，所述图像处理方法还包括：
    检测所述电子装置与拍摄场景之间的相对位移；
    在所述相对位移小于预定位移时，检测所述待校正图像中是否存在局部运动区域；
    在所述待校正图像中存在所述局部运动区域时，所述获取待校正图像中的运动区域的运动信息，包括：
    获取所述待校正图像中的所述局部运动区域的局部运动信息；
    所述根据所述运动信息确定所述运动区域在单位时间内的偏移信息，包括：
    根据所述局部运动信息确定所述局部运动区域在单位时间内的局部偏移信息；
    所述根据所述偏移信息校正所述待校正图像以获得校正图像，包括：
    根据所述局部偏移信息校正所述待校正图像以获得所述校正图像。
  17. 根据权利要求16所述的计算机可读存储介质，其特征在于，在所述相对位移大于所述预定位移时，所述获取待校正图像中的运动区域的运动信息，包括：
    获取所述待校正图像中的全局运动区域的全局运动信息；
    所述根据所述运动信息确定所述运动区域在单位时间内的偏移信息，包括：
    根据所述全局运动信息确定所述全局运动区域在单位时间内的全局偏移信息；
    所述根据所述偏移信息校正所述待校正图像以获得校正图像，包括：
    根据所述全局偏移信息校正所述待校正图像以获得初始校正图像。
  18. 根据权利要求16所述的计算机可读存储介质，其特征在于，所述图像处理方法还包括：
    检测所述初始校正图像是否存在局部运动区域；及
    在所述初始校正图像中不存在所述局部运动区域时，确认所述初始校正图像为所述校正图像。
  19. 根据权利要求18所述的计算机可读存储介质，其特征在于，在所述初始校正图像中存在所述局部运动区域时，所述获取待校正图像中的运动区域的运动信息，包括：
    获取所述初始校正图像中的所述局部运动区域的局部运动信息；
    所述根据所述运动信息确定所述运动区域在单位时间内的偏移信息，包括：
    根据所述局部运动信息确定所述局部运动区域在单位时间内的局部偏移信息；
    所述根据所述偏移信息校正所述待校正图像以获得校正图像，包括：
    根据所述局部偏移信息校正所述初始校正图像以获得所述校正图像。
  20. 根据权利要求15所述的计算机可读存储介质，其特征在于，所述根据所述偏移信息校正所述待校正图像以获得校正图像，包括：
    根据所述偏移信息确定所述运动区域内每个图像像素在第一方向的第一偏移量及在第二方向上的第二偏移量，所述第一方向与所述第二方向不同；及
    根据所述第一偏移量和所述第二偏移量对每个所述图像像素在所述待校正图像中的位置进行校正以获得所述校正图像。
  21. 根据权利要求15所述的计算机可读存储介质，其特征在于，在所述根据所述偏移信息校正所述待校正图像以获得校正图像后，所述图像处理方法还包括：
    识别所述校正图像中所述运动区域内的一个或多个物体；及
    根据识别到的一个或多个所述物体，进行与各个所述物体对应的形状的拟合，以对所述运动区域内的一个或多个所述物体进行修正。
PCT/CN2021/075089 2020-04-13 2021-02-03 图像处理方法、电子装置及计算机可读存储介质 WO2021208569A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010285767.9A CN111479035B (zh) 2020-04-13 2020-04-13 图像处理方法、电子装置及计算机可读存储介质
CN202010285767.9 2020-04-13

Publications (1)

Publication Number Publication Date
WO2021208569A1 true WO2021208569A1 (zh) 2021-10-21

Family

ID=71752225

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/075089 WO2021208569A1 (zh) 2020-04-13 2021-02-03 图像处理方法、电子装置及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN111479035B (zh)
WO (1) WO2021208569A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111479035B (zh) * 2020-04-13 2022-10-18 Oppo广东移动通信有限公司 图像处理方法、电子装置及计算机可读存储介质
CN112734659A (zh) * 2020-12-29 2021-04-30 维沃移动通信（杭州）有限公司 图像校正方法、装置及电子设备
CN113658053A (zh) * 2021-07-04 2021-11-16 浙江大华技术股份有限公司 图像校正方法、装置、电子设备、计算机可读存储介质
CN114205525B (zh) * 2021-12-02 2024-05-31 信利光电股份有限公司 一种卷帘曝光的图像修正方法、装置及可读存储介质
CN115086517A (zh) * 2022-05-26 2022-09-20 联宝(合肥)电子科技有限公司 一种图像采集方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070120997A1 (en) * 2005-11-21 2007-05-31 Megachips Lsi Solutions Inc. Image processor and camera system
US20070147706A1 (en) * 2005-12-27 2007-06-28 Megachips Lsi Solutions Inc. Image processor and camera system, image processing method, and motion picture displaying method
CN103856711A (zh) * 2012-12-05 2014-06-11 联咏科技股份有限公司 滚动快门的校正方法与图像处理装置
CN105407271A (zh) * 2014-09-09 2016-03-16 佳能株式会社 图像处理设备和方法、摄像设备以及图像生成设备
JP6008317B2 (ja) * 2012-10-04 2016-10-19 パナソニックＩｐマネジメント株式会社 画像処理装置及び画像処理方法
CN111479035A (zh) * 2020-04-13 2020-07-31 Oppo广东移动通信有限公司 图像处理方法、电子装置及计算机可读存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060241371A1 (en) * 2005-02-08 2006-10-26 Canesta, Inc. Method and system to correct motion blur in time-of-flight sensor systems
US7622715B2 (en) * 2005-04-11 2009-11-24 Fluke Corporation Method and apparatus for capturing and analyzing thermo-graphic images of a moving object
WO2007007225A2 (en) * 2005-07-12 2007-01-18 Nxp B.V. Method and device for removing motion blur effects
US7626612B2 (en) * 2006-06-30 2009-12-01 Motorola, Inc. Methods and devices for video correction of still camera motion
JP4274233B2 (ja) * 2006-11-30 2009-06-03 ソニー株式会社 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム
JP4666012B2 (ja) * 2008-06-20 2011-04-06 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP5734082B2 (ja) * 2011-05-11 2015-06-10 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
JP5794705B2 (ja) * 2013-02-01 2015-10-14 キヤノン株式会社 撮像装置、その制御方法及びプログラム
WO2017197651A1 (en) * 2016-05-20 2017-11-23 SZ DJI Technology Co., Ltd. Systems and methods for rolling shutter correction
JP2018010165A (ja) * 2016-07-13 2018-01-18 キヤノン株式会社 像振れ補正装置およびその制御方法、ならびに撮像装置
JP6823469B2 (ja) * 2017-01-20 2021-02-03 キヤノン株式会社 像ブレ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体
CN107403413B (zh) * 2017-04-14 2021-07-13 杭州当虹科技股份有限公司 一种视频多帧去噪及增强方法
WO2018212272A1 (ja) * 2017-05-17 2018-11-22 株式会社クリプトン 画像処理装置、画像処理プログラム及び画像処理方法
CN109462717A (zh) * 2018-12-12 2019-03-12 深圳市至高通信技术发展有限公司 电子稳像方法及终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070120997A1 (en) * 2005-11-21 2007-05-31 Megachips Lsi Solutions Inc. Image processor and camera system
US20070147706A1 (en) * 2005-12-27 2007-06-28 Megachips Lsi Solutions Inc. Image processor and camera system, image processing method, and motion picture displaying method
JP6008317B2 (ja) * 2012-10-04 2016-10-19 パナソニックＩｐマネジメント株式会社 画像処理装置及び画像処理方法
CN103856711A (zh) * 2012-12-05 2014-06-11 联咏科技股份有限公司 滚动快门的校正方法与图像处理装置
CN105407271A (zh) * 2014-09-09 2016-03-16 佳能株式会社 图像处理设备和方法、摄像设备以及图像生成设备
CN111479035A (zh) * 2020-04-13 2020-07-31 Oppo广东移动通信有限公司 图像处理方法、电子装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN111479035B (zh) 2022-10-18
CN111479035A (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
WO2021208569A1 (zh) 图像处理方法、电子装置及计算机可读存储介质
US9743001B1 (en) Method of stabilizing a sequence of images
US10848676B2 (en) Semiconductor device and electronic device
US8767036B2 (en) Panoramic imaging apparatus, imaging method, and program with warning detection
JP6327245B2 (ja) 撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法
JP6663040B2 (ja) 奥行き情報取得方法および装置、ならびに画像取得デバイス
CN108702450B (zh) 用于图像捕获设备的相机模块
US20100085422A1 (en) Imaging apparatus, imaging method, and program
US9525821B2 (en) Video stabilization
US20190289207A1 (en) Fast scan-type panoramic image synthesis method and device
CN113556464B (zh) 拍摄方法、装置及电子设备
US20190191088A1 (en) Semiconductor device and electronic device
JPWO2006137253A1 (ja) 画像生成装置および画像生成方法
US11283999B2 (en) Translation compensation in optical image stabilization (OIS)
TW202044819A (zh) 嚴格同步光學影像穩定化中之滾動補償及模糊減少
JP5393877B2 (ja) 撮像装置および集積回路
JP2015154334A (ja) 撮像装置、その制御方法、および制御プログラム
US10726528B2 (en) Image processing apparatus and image processing method for image picked up by two cameras
WO2018006669A1 (zh) 视差融合方法和装置
US20230319407A1 (en) Image processing device, image display system, method, and program
US20220286611A1 (en) Electrical image stabilization (eis)-assisted digital image stabilization (dis)
JP2017034616A (ja) 画像処理装置及びその制御方法
JP6433154B2 (ja) 画像処理装置および撮像装置
US11750928B2 (en) Method and electronic device for rectifying an image
WO2024048069A1 (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21787978

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21787978

Country of ref document: EP

Kind code of ref document: A1