WO2021093499A1 - 图像处理方法及装置、存储介质和电子设备 - Google Patents

图像处理方法及装置、存储介质和电子设备 Download PDF

Info

Publication number
WO2021093499A1
WO2021093499A1 PCT/CN2020/120664 CN2020120664W WO2021093499A1 WO 2021093499 A1 WO2021093499 A1 WO 2021093499A1 CN 2020120664 W CN2020120664 W CN 2020120664W WO 2021093499 A1 WO2021093499 A1 WO 2021093499A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
processed
image block
blocks
block
Prior art date
Application number
PCT/CN2020/120664
Other languages
English (en)
French (fr)
Inventor
陈曦
Original Assignee
RealMe重庆移动通信有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by RealMe重庆移动通信有限公司 filed Critical RealMe重庆移动通信有限公司
Publication of WO2021093499A1 publication Critical patent/WO2021093499A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • the present disclosure relates to the field of image processing technology, and in particular, to an image processing method, image processing device, storage medium, and electronic equipment.
  • the actual photosensitive area growth rate is much lower than the pixel growth in the iterative process of the camera module from low pixels to high pixels.
  • the pixel density has increased greatly, and the photosensitive area of the unit pixel is getting smaller and smaller, and the signal-to-noise ratio is getting lower and lower, which severely limits the application scenarios of high-pixel sensors.
  • an image processing method including: acquiring a to-be-processed image, extracting a plurality of image blocks from the to-be-processed image; and dividing each image block into Multiple image block groups; for each image block group, extract pixel information at the same position in each included image block, and construct multiple pixel information vectors; filter multiple pixel information vectors to obtain processing And use the processed pixel information to reconstruct the image to obtain a processed image corresponding to the image to be processed.
  • an image processing device including: an image block extraction module for acquiring a to-be-processed image and extracting a plurality of image blocks from the to-be-processed image; an image block group determining module for The similarity relationship between each image block divides each image block into multiple image block groups; the vector building module is used to extract the pixel point information at the same position in each image block included for each image block group, and Construct multiple pixel information vectors; the image processing module is used to filter multiple pixel information vectors to obtain the processed pixel information, and use the processed pixel information to reconstruct the image to obtain the information to be processed The processed image corresponding to the image.
  • a storage medium on which a computer program is stored, characterized in that the computer program is executed by a processor to implement the above-mentioned image processing method.
  • an electronic device which is characterized by comprising: a processor; and a memory for storing executable instructions of the processor; wherein the processor is configured to execute by executing the executable instructions The above-mentioned image processing method.
  • Fig. 1 schematically shows a flowchart of an image processing method according to an exemplary embodiment of the present disclosure
  • Fig. 2 schematically shows a schematic diagram of overlapping scanning of an image to be processed according to an exemplary embodiment of the present disclosure
  • Fig. 3 schematically shows a schematic diagram of converting an image to be processed into a matrix according to an exemplary embodiment of the present disclosure
  • Fig. 4 schematically shows a schematic diagram of similar image blocks according to an exemplary embodiment of the present disclosure
  • Fig. 5 schematically shows another schematic diagram of similar image blocks according to an exemplary embodiment of the present disclosure
  • Fig. 6 schematically shows a comparison diagram after filtering according to an exemplary embodiment of the present disclosure
  • Fig. 7 schematically shows a flowchart of an image processing process according to an embodiment of the present disclosure
  • FIG. 8 schematically shows a block diagram of an image processing apparatus according to an exemplary embodiment of the present disclosure
  • FIG. 9 schematically shows a block diagram of an electronic device according to an exemplary embodiment of the present disclosure.
  • the camera module is prone to noise when shooting images, especially when the high-pixel camera module is shooting in a low-light environment, the problem of noise is prominent.
  • a multi-frame noise reduction method is usually used to remove noise.
  • the multi-frame noise reduction method is based on the assumption that the noise in the image is Gaussian noise with a mean value of zero, that is, it obeys the Gaussian distribution.
  • the noise is often not Gaussian noise, which causes the problem of poor processing effect.
  • noise is suppressed by spectrum separation.
  • the high-frequency part of the edge of the image is also suppressed, resulting in a decrease in the sharpness of the image edge and affecting the subjective visual perception.
  • the inventor found that from the popular point of view in the field of information theory and sparse representation, the characteristics of noise and the image itself are completely different.
  • the noise is generated randomly, the noise between each pixel is independent and unrelated, and the amount of information contained is unlimited, that is, it is complex and not sparse, and it is impossible to express with a few general information .
  • the image is the opposite. There is a strong correlation between the pixels. It is this correlation that makes the image reflect the semantic information and become meaningful.
  • Fourier transform The core idea of Fourier transform is to express all signals through a series of trigonometric functions of different frequencies. These trigonometric functions are the initial image elements. The range and number of different frequencies in a signal constitute the frequency spectrum of this signal. These elements are called basis functions. At the same time, if the set of these basis functions is mathematically complete, that is, the elements cannot replace and represent each other. In the actual application process, it is found that it is effective to use a complete set to represent data and separate some high-frequency parts to eliminate noise, but it is indeed impossible to effectively retain the same high-frequency components.
  • Another idea is to use a complete set to represent the signal.
  • the difference between the over-complete set and the complete set is that the basis functions in the set can represent each other and are not unique.
  • the classic DCT (Discrete Cosine Transform) in the field of JPEG compression is an application that represents an image with an over-complete set. The method adopted in this article is based on this idea.
  • the image is composed of several image blocks. Most of these image blocks can be superimposed by a few simple texture image blocks containing edge information. However, because noise is independent and irregular among pixels, theoretically, it needs to be represented by all image elements in a complete set or more image elements in an over-complete set. Then a natural inference is: similar image blocks are superimposed and combined by similar image elements in the over-complete set, and noise does not have this characteristic.
  • the image processing method of the exemplary embodiment of the present disclosure may be implemented by a mobile terminal, that is, the mobile terminal may perform each step of the following method.
  • the image processing method of the exemplary embodiment of the present disclosure The processing device can be deployed in the mobile terminal.
  • the mobile terminal mentioned in the present disclosure may include a mobile phone, a tablet computer, a smart wearable device, and the like.
  • the server can obtain the image taken by the mobile terminal and execute the following image processing process.
  • the server can execute each step of the following method.
  • the image processing device can be deployed in the server.
  • Fig. 1 schematically shows a flowchart of an image processing method of an exemplary embodiment of the present disclosure.
  • the image processing method may include the following steps:
  • the image to be processed in the present disclosure may be an image captured by the camera module of the mobile terminal.
  • the mobile terminal may directly obtain the image captured by the camera module.
  • the image processing procedure of the exemplary embodiment of the present disclosure is performed.
  • the image to be processed may be a pre-photographed image, and the image processing process of the exemplary embodiment of the present disclosure may be executed in response to a user's operation.
  • the image taken by the camera module can be stored in an album, and when the user browses the image, he can execute the following image processing process by clicking the high-definition image conversion button on the interface.
  • the first camera module and the second camera module may be used to shoot the same scene respectively to obtain the first image and the second image.
  • the pixels of the first camera module are larger than the pixels of the second camera module.
  • the first camera module is a shooting module corresponding to 6,400 pixels
  • the second camera module is a shooting module corresponding to 16 million pixels.
  • the mobile terminal interface may present the second image.
  • the interface is configured with a button such as "Ultra Definition Quality", the user can click the button to perform an image display switching operation to retrieve the first image, and use the first image as the image to be processed to execute the exemplary embodiment of the present disclosure The image processing process.
  • the mobile terminal After acquiring the image to be processed, the mobile terminal can extract multiple image blocks from the image to be processed.
  • multiple image blocks can be extracted by traversing the image to be processed, that is, the extracted image blocks can reflect all the image information of the image to be processed.
  • multiple image blocks can also be extracted for a part of the image to be processed. In this case, denoising processing is performed on part of the image, which should also belong to the concept of the present disclosure. .
  • Image blocks can be extracted by means of a sliding window.
  • the sliding window can scan the image in a left-to-right or top-to-bottom manner on the image, and extract multiple image blocks in the scanning process.
  • a sliding window of a preset size can be used to scan the image to be processed with a preset sliding step. It can be understood that the smaller the size of the sliding window and the smaller the sliding step (or step distance), the more image blocks are extracted, and the corresponding processing results are more accurate. However, this requires the processing performance of the mobile terminal Higher. Therefore, the preset size and preset sliding step length can be determined in combination with the processing capability of the mobile terminal.
  • the preset size may be 8 ⁇ 8 with a sliding step of 1, that is, an 8 ⁇ 8 sliding window is used to perform a scanning operation with a sliding step of 1 on the image to be processed to extract multiple image blocks.
  • each image block can be regarded as a column vector, and after scanning is completed, a matrix as shown in FIG. 3 can be obtained to characterize the image to be processed.
  • n is the number of pixels in the image block
  • m is the number of image blocks extracted from the image to be processed.
  • the matrix is a 64 ⁇ m matrix. It can be seen that each column vector in the matrix is an image block.
  • the center position coordinate point of the image block can be used to characterize the position information of the image block.
  • a starting image block is randomly selected from a plurality of image blocks determined in step S12 as the current image block. It should be understood that the number of selected starting image blocks may be one or more.
  • the current image block For the current image block, multiple image blocks around the current image block can be determined, and the similarity between the current image block and the surrounding image blocks can be calculated respectively.
  • the current image block is compared with the surrounding image blocks. This way, on the one hand, it can prevent accidental matching of image blocks with a small degree of association, and on the other hand, it effectively reduces the amount of matching operations. .
  • the selection range of surrounding image blocks can be defined by oneself.
  • the area with a side length of 4 around the current image block can be determined as the surrounding image blocks.
  • the side length can also be set to other values. This is not limited in the embodiment.
  • the distance between them can be calculated to determine the similarity.
  • the calculation of the vector distance can be implemented using Euclidean distance, Manhattan distance, cosine distance, etc., which is not limited in the present disclosure.
  • the mobile terminal may filter out the image block with the greatest similarity to the current image block from the multiple image blocks around the current image block, as the next image block, and repeat the above process. That is to say, use the next image block as the current image block, and continue to determine the image block with the greatest surrounding similarity. This is repeated until all image blocks of the image to be processed are sorted.
  • the sorting described in the present disclosure refers to the process of determining similar image blocks one by one starting from the initial image block.
  • the above operations are continuously performed to determine image blocks that are similar to the current image block 41.
  • the similarity determination process can be started from the image block 51, the image block 52, the image block 53, the image block 54, and the image block 55. Image blocks are sorted.
  • each image block can be divided into multiple image block groups according to the sorting result.
  • multiple image blocks with similarity greater than a similarity threshold may be divided into an image block group.
  • the similarity threshold can be set by the developer himself, which is not limited in the present disclosure.
  • the similarity between the first 10 image blocks is greater than the similarity threshold
  • the first 10 image blocks can be divided into an image block group, the 11th to the 16th If the similarity between image blocks is greater than the similarity threshold, the 6 image blocks can be divided into an image block group.
  • the image block group includes a image blocks, and the pixel point information of the pixel located in the upper left corner of the a image block is extracted to form a 1 ⁇ a vector.
  • the number of pixel information vectors is the same as the number of pixels contained in the image block. If the number of pixels on the image is n, an n ⁇ a matrix can be constructed.
  • filtering can be performed. Specifically, a one-dimensional low-pass filter can be used to filter the information vector of each pixel to obtain a relatively smooth curve, which basically maintains the original information of the image.
  • a smooth curve can be obtained, that is, image information after noise is removed.
  • this one-dimensional filtering operation does not need to be performed n times one by one to obtain the processing result of an image block group.
  • the matrix operation method can be used to perform overall filtering processing on multiple pixel information vectors, that is, the overall filtering can convert several simple matrix operation operations, which can be realized by software, which can greatly improve the efficiency of the operation.
  • the image can be reconstructed by using the processed pixel information.
  • the same pixel may exist in multiple image blocks.
  • the pixel information is re-determined, there will be multiple repeated calculations.
  • the image reconstruction process will be described below by taking one pixel as an example.
  • the target pixel For a target pixel on the image to be processed, determine the number of times the target pixel has been filtered and the pixel information after each filter processing, and calculate the average value of the pixel information of the target pixel as the target in the rebuild image
  • the pixel information of the pixel can be any pixel on the image to be processed.
  • the pixel information after the 5 filtering processes is added and divided by 5, which is the pixel information of the pixel A on the processed image.
  • the mobile terminal may perform overlap scanning of the image to be processed, that is, the scanning of the sliding window described above, to obtain m image blocks; in step S704, for m image blocks, a vector similarity calculation method may be used. The method finds similar image blocks to obtain the similarity ranking of the image blocks, and determines K image block groups.
  • step S706 for the same position of each image block in the image block group, the overall one-dimensional low-pass filter is performed to obtain the processed m image blocks; in step S708, the pixel information of the repeated processing is performed Average and backfill to the original position of the image to realize the image reconstruction process and obtain the processed image.
  • the process of dividing image block groups can be performed cyclically to improve the stability of image processing.
  • the real environment information can be effectively distinguished from the noise to achieve accuracy.
  • the effect of removing the noise in the image on the other hand, because the image noise can be effectively removed, the high-pixel camera module can be used in a low-light environment, which greatly expands the application scenarios of the high-pixel camera module; on the other hand, the present disclosure
  • the solution does not require auxiliary tools or hardware changes and is easy to implement.
  • an image processing device is also provided in this exemplary embodiment.
  • FIG. 8 schematically shows a block diagram of an image processing apparatus according to an exemplary embodiment of the present disclosure.
  • the image processing device 8 may include an image block extraction module 81, an image block group determination module 83, a vector construction module 85 and an image processing module 87.
  • the image block extraction module 81 can be used to obtain the image to be processed, and extract multiple image blocks from the image to be processed; the image block group determination module 83 can be used to compare the image blocks according to the similar relationship between the image blocks. Divided into multiple image block groups; the vector construction module 85 can be used to extract the pixel information at the same position in each included image block for each image block group, and construct multiple pixel information vectors; image processing module 87 It can be used to filter multiple pixel information vectors to obtain processed pixel information, and use the processed pixel information to reconstruct an image to obtain a processed image corresponding to the image to be processed.
  • the present disclosure is based on the concept that the pixel information of the corresponding position in the similar image block is also similar, effectively distinguishing the real environment information from the noise, and achieves accurate removal of the image
  • the effect of noise on the other hand, the use of the present disclosure can effectively remove image noise, so that high-pixel camera modules can be used in low-light environments, greatly expanding the application scenarios of high-pixel camera modules; on the other hand, the present disclosure
  • the solution does not require auxiliary tools or hardware changes and is easy to implement.
  • the image block extraction module 81 may be configured to perform: using a sliding window of a preset size, scanning the image to be processed with a preset sliding step length to extract a plurality of image blocks.
  • the image block group determination module 83 may be configured to execute: randomly select a starting image block from a plurality of image blocks as the current image block; determine a plurality of image blocks around the current image block, Calculate the similarity between the current image block and multiple image blocks around the current image block respectively; from the multiple image blocks around the current image block, filter out the next image block with the greatest similarity to the current image block; The next image block is used as the current image block until all image blocks of the image to be processed are sorted; the sorting result of all image blocks is used to divide each image block into multiple image block groups.
  • the process of the image block group determination module 83 respectively calculating the similarity between the current image block and multiple image blocks surrounding the current image block may be configured to perform:
  • the point information is transformed into an n ⁇ 1 column vector, where n is the number of pixels in the image block; the distance between the column vector corresponding to the current image block and the column vector corresponding to the surrounding image blocks is calculated separately to obtain the current image block Similarity with multiple image blocks around the current image block.
  • the process of dividing each image block into a plurality of image block groups by the image block group determination module 83 may be configured to perform: according to the sorting result, a plurality of images whose similarity is greater than a similarity threshold The block is divided into a picture group.
  • the process of filtering multiple pixel information vectors by the image processing module 87 may be configured to perform: filtering each pixel information vector separately; or using a matrix operation to perform filtering processing on multiple pixel information vectors. Each pixel information vector is subjected to overall filtering processing.
  • the process in which the image processing module 87 uses the processed pixel point information to reconstruct an image may be configured to perform: for a target pixel point on the image to be processed, determine the number of times the target pixel point has been filtered. And the pixel information after each filter processing; using the number of times the target pixel is filtered and the pixel information after each filter processing, calculate the average value of the pixel information of the target pixel, and use the average value as the reconstructed image Pixel information of the target pixel in the middle; where the target pixel is any pixel on the image to be processed.
  • the composition of the image block extraction module 81 acquiring the image to be processed may be configured to execute: use the first camera module and the second camera module to shoot the same scene respectively to obtain the first image and The second image; wherein the pixels of the first camera module are larger than the pixels of the second camera module; the second image is displayed in response to the user's image viewing operation; the first image is acquired as the image to be processed in response to the user's image display switching operation .
  • a computer-readable storage medium is also provided, on which a program product capable of implementing the above method of this specification is stored.
  • various aspects of the present invention may also be implemented in the form of a program product, which includes program code.
  • the program product runs on a terminal device, the program code is used to enable the The terminal device executes the steps according to various exemplary embodiments of the present invention described in the above-mentioned "Exemplary Method" section of this specification.
  • the program product for implementing the above method according to the embodiment of the present invention may adopt a portable compact disk read-only memory (CD-ROM) and include program code, and may run on a terminal device, such as a personal computer.
  • CD-ROM portable compact disk read-only memory
  • the program product of the present invention is not limited thereto.
  • the readable storage medium can be any tangible medium that contains or stores a program, and the program can be used by or in combination with an instruction execution system, device, or device.
  • the program product can use any combination of one or more readable media.
  • the readable medium may be a readable signal medium or a readable storage medium.
  • the readable storage medium may be, for example, but not limited to, an electrical, magnetic, optical, electromagnetic, infrared, or semiconductor system, device, or device, or a combination of any of the above. More specific examples (non-exhaustive list) of readable storage media include: electrical connections with one or more wires, portable disks, hard disks, random access memory (RAM), read-only memory (ROM), erasable Type programmable read only memory (EPROM or flash memory), optical disk, portable compact disk read only memory (CD-ROM), optical storage device, magnetic storage device, or any suitable combination of the above.
  • the computer-readable signal medium may include a data signal propagated in baseband or as a part of a carrier wave, and readable program code is carried therein. This propagated data signal can take many forms, including but not limited to electromagnetic signals, optical signals, or any suitable combination of the foregoing.
  • the readable signal medium may also be any readable medium other than a readable storage medium, and the readable medium may send, propagate, or transmit a program for use by or in combination with the instruction execution system, apparatus, or device.
  • the program code contained on the readable medium can be transmitted by any suitable medium, including but not limited to wireless, wired, optical cable, RF, etc., or any suitable combination of the above.
  • the program code used to perform the operations of the present invention can be written in any combination of one or more programming languages.
  • the programming languages include object-oriented programming languages—such as Java, C++, etc., as well as conventional procedural styles. Programming language-such as "C" language or similar programming language.
  • the program code can be executed entirely on the user's computing device, partly on the user's device, executed as an independent software package, partly on the user's computing device and partly executed on the remote computing device, or entirely on the remote computing device or server Executed on.
  • the remote computing device can be connected to a user computing device through any kind of network, including a local area network (LAN) or a wide area network (WAN), or it can be connected to an external computing device (for example, using Internet service providers). Business to connect via the Internet).
  • LAN local area network
  • WAN wide area network
  • Internet service providers for example, using Internet service providers.
  • an electronic device is also provided.
  • the electronic device may correspond to a mobile terminal or a server capable of implementing the above-mentioned image processing method.
  • the electronic device 900 according to this embodiment of the present invention will be described below with reference to FIG. 9.
  • the electronic device 900 shown in FIG. 9 is only an example, and should not bring any limitation to the function and application scope of the embodiment of the present invention.
  • the electronic device 900 is represented in the form of a general-purpose computing device.
  • the components of the electronic device 900 may include, but are not limited to: the above-mentioned at least one processing unit 910, the above-mentioned at least one storage unit 920, a bus 930 connecting different system components (including the storage unit 920 and the processing unit 910), and a display unit 940.
  • the unit 940 may include, for example, a touch screen of a mobile phone.
  • the electronic device may also include one or more camera modules.
  • the storage unit stores program code, and the program code can be executed by the processing unit 910, so that the processing unit 910 executes the various exemplary methods described in the "Exemplary Method" section of this specification. Steps of implementation.
  • the processing unit 910 may obtain the image to be processed, extract multiple image blocks from the image to be processed, and divide each image block into multiple image block groups according to the similar relationship between the image blocks, and for each image block Group, extract the pixel information at the same position in each image block included, construct multiple pixel information vectors, filter the multiple pixel information vectors, obtain the processed pixel information, and use the processed pixel information The pixel information reconstructs the image to obtain a processed image corresponding to the image to be processed.
  • the storage unit 920 may include a readable medium in the form of a volatile storage unit, such as a random access storage unit (RAM) 9201 and/or a cache storage unit 9202, and may further include a read-only storage unit (ROM) 9203.
  • RAM random access storage unit
  • ROM read-only storage unit
  • the storage unit 920 may also include a program/utility tool 9204 having a set of (at least one) program module 9205.
  • program module 9205 includes but is not limited to: an operating system, one or more application programs, other program modules, and program data, Each of these examples or some combination may include the implementation of a network environment.
  • the bus 930 may represent one or more of several types of bus structures, including a storage unit bus or a storage unit controller, a peripheral bus, a graphics acceleration port, a processing unit, or a local area using any bus structure among multiple bus structures. bus.
  • the electronic device 900 may also communicate with one or more external devices 1000 (such as keyboards, pointing devices, Bluetooth devices, etc.), and may also communicate with one or more devices that enable a user to interact with the electronic device 900, and/or communicate with Any device (eg, router, modem, etc.) that enables the electronic device 900 to communicate with one or more other computing devices. This communication can be performed through an input/output (I/O) interface 950.
  • the electronic device 900 may also communicate with one or more networks (for example, a local area network (LAN), a wide area network (WAN), and/or a public network, such as the Internet) through the network adapter 960.
  • networks for example, a local area network (LAN), a wide area network (WAN), and/or a public network, such as the Internet
  • the network adapter 960 communicates with other modules of the electronic device 900 through the bus 930. It should be understood that although not shown in the figure, other hardware and/or software modules can be used in conjunction with the electronic device 900, including but not limited to: microcode, device drivers, redundant processing units, external disk drive arrays, RAID systems, tape drives And data backup storage system, etc.
  • the example embodiments described here can be implemented by software, or can be implemented by combining software with necessary hardware. Therefore, the technical solution according to the embodiments of the present disclosure can be embodied in the form of a software product, which can be stored in a non-volatile storage medium (which can be a CD-ROM, U disk, mobile hard disk, etc.) or on the network , Including several instructions to make a computing device (which may be a personal computer, a server, a terminal device, or a network device, etc.) execute the method according to the embodiment of the present disclosure.
  • a computing device which may be a personal computer, a server, a terminal device, or a network device, etc.
  • modules or units of the device for action execution are mentioned in the above detailed description, this division is not mandatory.
  • the features and functions of two or more modules or units described above may be embodied in one module or unit.
  • the features and functions of a module or unit described above can be further divided into multiple modules or units to be embodied.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

一种图像处理方法、图像处理装置、存储介质和电子设备，涉及图像处理技术领域。该图像处理方法包括：获取待处理图像，从待处理图像中提取多个图像块（S12）；根据各图像块之间的相似关系，将各图像块划分为多个图像块组（S14）；针对每一图像块组，提取所包括的各图像块中相同位置的像素点信息，并构建多个像素点信息向量（S16）；对多个像素点信息向量进行滤波处理，得到处理后的像素点信息，并利用处理后的像素点信息重新构建图像，以得到与待处理图像对应的处理后的图像（S18）。所述方法可以有效去除图像中的噪声。

Description

图像处理方法及装置、存储介质和电子设备
相关申请的交叉引用
本申请要求于2019年11月15日提交的申请号为201911117950.1、名称为“图像处理方法及装置、存储介质和电子设备”的中国专利申请的优先权，该中国专利申请的全部内容通过引用全部并入本文。
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种图像处理方法、图像处理装置、存储介质和电子设备。
背景技术
随着移动终端的发展，人们对移动终端的拍照性能要求越来越高，双摄、多摄的出现，不断丰富了拍摄模式及拍摄效果的同时，也存在一些需要优化的问题。
受限于摄像头模组传感器的尺寸规格以及搭载环境(如，手机便携性)的约束，在摄像头模组由低像素向高像素的产品迭代过程中，实际感光面积的增长速度远低于像素增长的速度，像素密度大大增加，而单位像素的感光面积越来越小，信噪比越来越低，严重限制了高像素传感器的应用场景。
发明内容
根据本公开的第一方面，提供了一种图像处理方法，包括：获取待处理图像，从待处理图像中提取多个图像块；根据各图像块之间的相似关系，将各图像块划分为多个图像块组；针对每一图像块组，提取所包括的各图像块中相同位置的像素点信息，并构建多个像素点信息向量；对多个像素点信息向量进行滤波处理，得到处理后的像素点信息，并利用处理后的像素点信息重新构建图像，以得到与待处理图像对应的处理后的图像。
根据本公开的第二方面，提供了一种图像处理装置，包括：图像块提取模块，用于获取待处理图像，从待处理图像中提取多个图像块；图像块组确定模块，用于根据各图像块之间的相似关系，将各图像块划分为多个图像块组；向量构建模块，用于针对每一图像块组，提取所包括的各图像块中相同位置的像素点信息，并构建多个像素点信息向量；图像处理模块，用于对多个像素点信息向量进行滤波处理，得到处理后的像素点信息，并利用处理后的像素点信息重新构建图像，以得到与待处理图像对应的处理后的图像。
根据本公开的第三方面，提供了一种存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现上述图像处理方法。
根据本公开的第四方面，提供了一种电子设备，其特征在于，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述图像处理方法。
附图说明
图1示意性示出了根据本公开的示例性实施方式的图像处理方法的流程图；
图2示意性示出了根据本公开的示例性实施方式的对待处理图像进行重叠扫描的示意图；
图3示意性示出了根据本公开的示例性实施方式的将待处理图像转换为矩阵的示意图；
图4示意性示出了根据本公开的示例性实施方式的相似图像块的示意图；
图5示意性示出了根据本公开的示例性实施方式的相似图像块的另一示意图；
图6示意性示出了根据本公开的示例性实施方式的进行滤波后的对比图；
图7示意性示出了根据本公开一个实施例的图像处理过程的流程图；
图8示意性示出了根据本公开的示例性实施方式的图像处理装置的方框图；
图9示意性示出了根据本公开的示例性实施方式的电子设备的方框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，本公开所用的“第一”、“第二”仅是为了区分的目的，不应作为本公开内容的限制。
目前，摄像头模组在拍摄图像时，容易出现噪点，尤其针对高像素摄像头模组在弱光环境下进行拍摄的情况，噪点问题突出。
在一些技术中，通常采用多帧降噪的方式去除噪声，多帧降噪方法是建立在假设图像中的噪声是均值为零的高斯噪声的基础上，即服从高斯分布。然而，实际处理过程中，噪声往往并非高斯噪声，造成处理效果差的问题。在另一些技术中，通过频谱分离来抑制噪声，然而，在抑制噪声的过程中，同时也抑制了图像边缘高频部分，导致图像边缘锐度下降，影响主观视觉感受。
基于上述问题，发明人发现，从信息论与稀疏表示领域的通俗观点来看，噪声与图像本身特性是截然不同的。噪声是随机产生的，每一个像素点之间的噪声是独立无关联的，蕴含的信息量是无限的，也就是说，它是复杂的不稀疏的，不可能用少数的几个通用信息表示。图像却截然相反，其像素点之间存在有强烈的关联性，正是这种关联性使得图像体现出语义信息，变得有意义。
那么一个简单而直接的问题：如何找出这些能够表示图像信息的元素，一个最简单的例子是傅里叶变换。傅里叶变换最核心的思想是通过一系列不同频率的三角函数来表示一切信号，这些三角函数就是最初的图像元素，一个信号包含不同频率的范围与多少就构成了这个信号的频谱。这些元素被称为基底函数。同时如果这些基底函数的集合数学上是严格完备的，即元素之间是无法相互替代和相互表示的。实际的应用过程中发现，使用完备集来表示数据并分离一些高频部分已达到消除噪声的目的虽然是有效的，但是确无法有效保留同样是高频成分的。
另一种思路是，使用过完备集来表示信号。过完备集与完备集不同之处在于集合内的基底函数可以相互表示，不唯一。经典的JPEG压缩领域的DCT变换(离散余弦变换)就是一个过完备集表示图像的应用。本文中采用的方法正是基于这个思路。
图像是由若干图像块组成的。这些图像块绝大多数可以用少数几个纹理简单的含有边缘信息的图像块叠加而成。但是噪声因为在各个像素点之间相互独立无规律，理论上需要用完备集中所有图像元素或过完备集中较多的图像元素来表示。那么一个自然而然的推断就是：相似的图像块由过完备集中相似的图像元素叠加组合而成，而噪声不具备此特性。
基于相似图像块中对应位置的像素信息相似这一构思，提出了一种新的图像处理方法。下面将对本公开示例性实施方式的图像处理方法进行说明。
应当理解的是，本公开示例性实施方式的图像处理方法可以由移动终端实现，也就是说，移动终端可以执行下述方法的各个步骤，在这种情况下，本公开示例性实施方式的图像处理装置可以部署在该移动终端中。另外，本公开所说的移动终端可以包括手机、平板电脑、智能可穿戴设备等。
另外，服务器可以获取由移动终端拍摄的图像，并执行下述图像处理过程，在这种情况下，服务器可以执行下述方法的各个步骤，对应的，图像处理装置可以部署在该服务器中。
图1示意性示出了本公开的示例性实施方式的图像处理方法的流程图。参考图1，所述图像处理方法可以包括以下步骤：
S12.获取待处理图像，从待处理图像中提取多个图像块。
根据本公开的一些实施例，本公开所述待处理图像可以是由移动终端的摄像头模组拍摄的图像，在这种情况下，移动终端在获取到由摄像头模组拍摄的图像后，可以直接执行本公开示例性实施方式的图像处理过程。
根据本公开的另一些实施例，待处理图像可以是预先拍摄好的图像，可以响应用户的操作，再执行本公开示例性实施方式的图像处理过程。例如，摄像头模组拍摄的图像可以存储在相册中，当用户浏览该图像时，通过点击界面上的高清图像转换按钮，来执行下述图像处理过程。
根据本公开的又一些实施例，针对移动终端配置有双摄的情况，首先，可以分别采用第一摄像头模组和第二摄像头模组对同一场景进行拍摄，得到第一图像和第二图像。其中，第一摄像头模组的像素大于第二摄像头模组的像素，例如，第一摄像头模组为6400像素对应的拍摄模组，第二摄像头模组为1600万像素对应的拍摄模组。
需要说明的是，在双摄拍摄的过程中，同时保存第一图像和第二图像。
接下来，在用户打开相册进行图像查看操作时，移动终端界面可以呈现出第二图像。在界面上配置有例如“超清画质”的按钮，用户可以点击该按钮，进行图像显示切换操作，以调取第一图像，并将第一图像作为待处理图像执行本公开示例性实施方式的图像处理过程。
在获取到待处理图像后，移动终端可以从待处理图像中提取多个图像块。
需要注意的是，可以遍历待处理图像提取多个图像块，也就是说，提取的图像块能够反映待处理图像的所有图像信息。然而，在本公开的另一些实例中，还可以针对待处理图像中的一部分提取多个图像块，在这种情况下，是对部分图像进行去噪处理，这也应当属于本公开内容的构思。
可以借助于滑动窗口的方式提取图像块，参考图2，滑动窗口可以在图像上以自左向右或自上到下的方式对图像进行扫描，并在扫描的过程中提取多个图像块。
具体的，可以利用一预设尺寸的滑动窗口，以预设滑动步长对待处理图像进行扫描。可以理解的是，滑动窗口的尺寸越小且滑动步长(或称为步距)越小，提取的图像块越多，相应的，处理结果越准确，然而，这对移动终端的处理性能要求较高。因此，可以结合移动终端的处理能力确定预设尺寸及预设滑动步长。例如，预设尺寸可以为8×8，滑动步长为1，也就是说，利用8×8的滑动窗口对待处理图像进行滑动步长为1的扫描操作，以提取多个图像块。
此外，可以将每一图像块看做一个列向量，扫描完成后，可以得到如图3所示的矩阵，来表征该待处理图像。在图3中，n为图像块中像素点的数量，m为待处理图像中提取的图像块的数量，仍以8×8的图像块为例，那么矩阵为64×m的矩阵。可以看出，矩阵中的每一列向量就是一个图像块。
另外，针对每一图像块，可以用图像块的中心位置坐标点表征该图像块的位置信息。
S14.根据各图像块之间的相似关系，将各图像块划分为多个图像块组。
在本公开的示例性实施方式中，首先，从上述步骤S12确定的多个图像块中随机选取起始图像块，作为当前图像块。应当理解的是，选取的起始图像块的数量可以为一个或多个。
接下来，针对当前图像块，可以确定当前图像块周围的多个图像块，分别计算该当前图像块与周围图像块之间的相似度。在确定相似度的过程中，是将当前图像块与其周围图像块进行比对，这样，一方面，可以防止意外匹配到关联度较小的图像块，另一方面，有效减小了匹配运算量。
针对周围图像块的选取范围，可以自行定义，例如，可以将当前图像块周围边长为4的区域确定为周围的图像块，然而，还可以将该边长设定为其他数值，本示例性实施方式中对此不做限定。
在将图像块表征为列向量的情况下，可以计算它们之间的距离来确定出相似度。向量距离的计算可以采用欧氏距离、曼哈顿距离、余弦距离等来实现，本公开对此不做限制。
随后，移动终端可以从当前图像块周围的多个图像块中，筛选出与当前图像块的相似度最大的图像块，作为下一图像块，重复执行上述过程。也就是说，将该下一图像块作为当前图像块，继续确定周围相似度最大的图像块。如此反复，直至对待处理图像的所有图像块进行排序。本公开所述的排序指的是自起始图像块开始逐一确定相似图像块的过程。
如图4所示，连续执行上述操作，确定当前图像块41相似的图像块。如图5所示，在起始图像块为多个的情况下，可以分别从图像块51、图像块52、图像块53、图像块54、图像块55开始进行相似度确定过程，实现对所有图像块进行排序。
在确定出所有图像块的排序结果后，可以根据该排序结果，将各图像块划分为多个图像块组。
具体的，可以按排序结果，将相似度大于一相似度阈值的多个图像块划分为一个图像块组。其中，相似度阈值可以由开发人为自行设定，本公开对此不做限制。
例如，在100个已排序的图像块中，前10个图像块之间的相似度均大于相似度阈值，则可以将前10个图像块划分为一个图像块组，第11个至第16个图像块之间的相似度大于该相似度阈值，则可以将这6个图像块划分为一个图像块组。
S16.针对每一图像块组，提取所包括的各图像块中相同位置的像素点信息，并构建多个像素点信息向量。
在本公开的示例性实施方式中，针对步骤S14中确定出的每一个图像块组，均可以执行下述操作。
确定图像块组中的多个图像块，提取图像块中相同位置的像素点信息，构成一个像素点信息向量。例如，该图像块组包含a个图像块，提取这a个图像块中位于左上角的像素的像素点信息，构成一个1×a的向量。由此，遍历图像块上所有像素点，即可构建出多个像素点信息向量，像素点信息向量的数量与图像块中包含的像素点的数量相同。若图像上像素点数量为n，则可以构建出n×a的矩阵。
S18.对多个像素点信息向量进行滤波处理，得到处理后的像素点信息，并利用处理后的像素点信息重新构建图像，以得到与待处理图像对应的处理后的图像。
在确定出多个像素点信息向量后，可以进行滤波处理。具体的，可以通过一维低通滤波器对各像素点信息向量进行滤波处理，得到一个较为平滑的曲线，该曲线基本保持了图 像的原有信息。
参考图6，针对每一个像素点信息向量(1×a向量)，执行一维滤波处理后，可以得到平滑的曲线，即去除噪声后的图像信息。
另外，这种一维滤波的操作不需要逐一进行n次才能得到一个图像块组的处理结果。可以利用矩阵运算的方式对多个像素点信息向量进行整体滤波处理，也就是说，整体滤波可以转换若干个简单的矩阵运算操作，这通过软件即可实现，可以极大提高运算的效率。
在对所有图像块组均执行上述相同位置像素点的一维滤波处理过程后，可以利用处理后的像素点信息重新构建图像。
应当注意的是，在以滑动窗口进行扫描的过程中，同一像素点可能存在于多个图像块内，在重新确定像素点信息时，会出现多次重复运算的情况。下面将以一个像素点为例对图像重构的过程进行说明。
针对待处理图像上一目标像素点，确定该目标像素点被滤波处理的次数以及各滤波处理后的像素点信息，并计算目标像素点的像素点信息的平均值，作为重新侯建图像中目标像素点的像素点信息。其中，目标像素点可以是待处理图像上的任意一个像素点。
例如，一个像素点A，经历了5次滤波处理，则将这5次滤波处理后的像素点信息相加后除以5，即为处理后图像上像素点A的像素点信息。
针对图像上每一个像素点均执行上述操作，即可得到与待处理图像对应的处理后的图像，并可进行输出、展示、存储等操作。
下面将参考图7对本公开的图像处理过程进行说明。
在步骤S702中，移动终端可以对待处理图像进行重叠(Overlap)扫描，也就是上述滑动窗口的扫描，得到m个图像块；在步骤S704中，针对m个图像块，可以采用计算向量相似度的方法寻找相似图像块，以得到图像块的相似度排序，并确定出K个图像块组。
在步骤S706中，针对图像块组中各图像块的相同位置，进行整体一维低通滤波，则到经处理后的m个图像块；在步骤S708中，对重复处理的像素点的信息进行平均，并回填到图像原有的位置，以实现图像重构的过程，得到处理后的图像。
另外，因为在划分图像块组的过程中，是随机确定起始图像块，因此，可能出现选取的起始图像块不理想的问题，导致周围相似图像块不高或异常情况的发生。因此，可以循环执行划分图像块组的过程，以提高图像处理的稳定性。
综上所述，采用本公开示例性实施方式的图像处理方法，一方面，基于相似图像块中对应位置的像素信息也是相似的这一构思，有效地将真实环境信息与噪声进行区分，达到准确去除图像中噪声的效果；另一方面，因为能够有效去除图像噪声，使得高像素摄像模组可以应用于弱光环境下，大大扩展了高像素摄像模组的应用场景；再一方面，本公开方案无需辅助工具或硬件上改动，易于实施。
应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
进一步的，本示例实施方式中还提供了一种图像处理装置。
图8示意性示出了本公开的示例性实施方式的图像处理装置的方框图。参考图8，根据本公开的示例性实施方式的图像处理装置8可以包括图像块提取模块81、图像块组确定模块83、向量构建模块85和图像处理模块87。
具体的，图像块提取模块81可以用于获取待处理图像，从待处理图像中提取多个图像块；图像块组确定模块83可以用于根据各图像块之间的相似关系，将各图像块划分为多个图像块组；向量构建模块85可以用于针对每一图像块组，提取所包括的各图像块中 相同位置的像素点信息，并构建多个像素点信息向量；图像处理模块87可以用于对多个像素点信息向量进行滤波处理，得到处理后的像素点信息，并利用处理后的像素点信息重新构建图像，以得到与待处理图像对应的处理后的图像。
采用本公开示例性实施方式的图像处理装置，一方面，本公开基于相似图像块中对应位置的像素信息也是相似的这一构思，有效地将真实环境信息与噪声进行区分，达到准确去除图像中噪声的效果；另一方面，采用本公开方案能够有效去除图像噪声，使得高像素摄像模组可以应用于弱光环境下，大大扩展了高像素摄像模组的应用场景；再一方面，本公开方案无需辅助工具或硬件上改动，易于实施。
根据本公开的示例性实施例，图像块提取模块81可以被配置为执行：利用一预设尺寸的滑动窗口，以预设滑动步长对待处理图像进行扫描，以提取多个图像块。
根据本公开的示例性实施例，图像块组确定模块83可以被配置为执行：从多个图像块中随机选取起始图像块，作为当前图像块；确定当前图像块周围的多个图像块，分别计算当前图像块与当前图像块周围的多个图像块之间的相似度；从当前图像块周围的多个图像块中，筛选出与当前图像块的相似度最大的下一图像块；将下一图像块作为当前图像块，直至对待处理图像的所有图像块进行排序；利用对所有图像块的排序结果，将各图像块划分为多个图像块组。
根据本公开的示例性实施例，图像块组确定模块83分别计算当前图像块与当前图像块周围的多个图像块之间的相似度的过程可以被配置为执行：分别将各图像块的像素点信息转化为n×1的列向量，其中，n为图像块中像素点的数量；分别计算当前图像块对应的列向量与周围图像块对应的列向量之间的距离，以得到当前图像块与当前图像块周围的多个图像块之间的相似度。
根据本公开的示例性实施例，图像块组确定模块83将各图像块划分为多个图像块组的过程可以被配置为执行：按排序结果，将相似度大于一相似度阈值的多个图像块划分为一个图像组。
根据本公开的示例性实施例，图像处理模块87对多个像素点信息向量进行滤波处理的过程可以被配置为执行：对各像素点信息向量分别进行滤波处理；或者采用矩阵运算的方式对多个像素点信息向量进行整体滤波处理。
根据本公开的示例性实施例，图像处理模块87利用处理后的像素点信息重新构建图像的过程可以被配置为执行：针对待处理图像上一目标像素点，确定目标像素点被滤波处理的次数以及各滤波处理后的像素点信息；利用目标像素点被滤波处理的次数以及各滤波处理后的像素点信息，计算目标像素点的像素点信息的平均值，并将平均值作为重新构建的图像中目标像素点的像素点信息；其中，目标像素点为待处理图像上任意一个像素点。
根据本公开的示例性实施例，图像块提取模块81获取待处理图像的构成可以被配置为执行：分别采用第一摄像头模组和第二摄像头模组对同一场景进行拍摄，得到第一图像和第二图像；其中，第一摄像头模组的像素大于第二摄像头模组的像素；响应用户的图像查看操作，显示第二图像；响应用户的图像显示切换操作，获取第一图像作为待处理图像。
由于本发明实施方式的图像处理装置的各个功能模块与上述方法发明实施方式中相同，因此在此不再赘述。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
根据本发明的实施方式的用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本 发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光盘、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本公开的示例性实施例中，还提供了一种电子设备。该电子设备可以对应于能够实现上述图像处理方法的移动终端或服务器。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为***、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。
下面参照图9来描述根据本发明的这种实施方式的电子设备900。图9显示的电子设备900仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，电子设备900以通用计算设备的形式表现。电子设备900的组件可以包括但不限于：上述至少一个处理单元910、上述至少一个存储单元920、连接不同***组件(包括存储单元920和处理单元910)的总线930、显示单元940，其中，显示单元940可以例如包括手机的触控屏。另外，在电子设备为手机的示例中，电子设备还可以包括一个或多个摄像头模组。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元910执行，使得所述处理单元910执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元910可以获取待处理图像，从待处理图像中提取多个图像块，根据各图像块之间的相似关系将各图像块划分为多个图像块组，针对每一图像块组，提取包括的各图像块中相同位置的的像素点信息，构建出多个像素点信息向量，对多个像素点信息向量进行滤波处理，得到处理后的像素点信息，并利用处理后的像素点信息重构图像，以得到与待处理图像对应的处理后的图像。
存储单元920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)9201和/或高速缓存存储单元9202，还可以进一步包括只读存储单元(ROM) 9203。
存储单元920还可以包括具有一组(至少一个)程序模块9205的程序/实用工具9204，这样的程序模块9205包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备900也可以与一个或多个外部设备1000(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备900交互的设备通信，和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口950进行。并且，电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器960通过总线930与电子设备900的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备900使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (20)

  1. 一种图像处理方法，包括：
    获取待处理图像，从所述待处理图像中提取多个图像块；
    根据各所述图像块之间的相似关系，将各所述图像块划分为多个图像块组；
    针对每一图像块组，提取所包括的各图像块中相同位置的像素点信息，并构建多个像素点信息向量；
    对所述多个像素点信息向量进行滤波处理，得到处理后的像素点信息，并利用所述处理后的像素点信息重新构建图像，以得到与所述待处理图像对应的处理后的图像。
  2. 根据权利要求1所述的图像处理方法，其中，从所述待处理图像中提取多个图像块包括：
    利用一预设尺寸的滑动窗口，以预设滑动步长对所述待处理图像进行扫描，以提取所述多个图像块。
  3. 根据权利要求1所述的图像处理方法，其中，根据各所述图像块之间的相似关系，将各所述图像块划分为多个图像块组，包括：
    从所述多个图像块中随机选取起始图像块，作为当前图像块；
    确定所述当前图像块周围的多个图像块，分别计算所述当前图像块与所述当前图像块周围的多个图像块之间的相似度；
    从所述当前图像块周围的多个图像块中，筛选出与所述当前图像块的相似度最大的下一图像块；
    将所述下一图像块作为所述当前图像块，直至对所述待处理图像的所有图像块进行排序，根据排序的结果，将各所述图像块划分为多个图像块组。
  4. 根据权利要求3所述的图像处理方法，其中，分别计算所述当前图像块与所述当前图像块周围的多个图像块之间的相似度包括：
    分别将各所述图像块的像素点信息转化为n×1的列向量，其中，n为所述图像块中像素点的数量；
    分别计算所述当前图像块对应的列向量与周围图像块对应的列向量之间的距离，以得到所述当前图像块与所述当前图像块周围的多个图像块之间的相似度。
  5. 根据权利要求3所述的图像处理方法，其中，根据排序的结果，将各所述图像块划分为多个图像块组，包括：
    按排序的结果，将相似度大于一相似度阈值的多个图像块划分为一个图像块组。
  6. 根据权利要求1所述的图像处理方法，其中，对所述多个像素点信息向量进行滤波处理包括：
    对各所述像素点信息向量分别进行滤波处理；或者
    采用矩阵运算的方式对所述多个像素点信息向量进行整体滤波处理。
  7. 根据权利要求2所述的图像处理方法，其中，利用所述处理后的像素点信息重新构建图像包括：
    针对待处理图像上一目标像素点，确定所述目标像素点被滤波处理的次数以及各滤波处理后的像素点信息；
    利用所述目标像素点被滤波处理的次数以及各滤波处理后的像素点信息，计算所述目标像素点的像素点信息的平均值，并将所述平均值作为重新构建的图像中所述目标像素点的像素点信息；
    其中，所述目标像素点为所述待处理图像上任意一个像素点。
  8. 根据权利要求1至7中任一项所述的图像处理方法，其中，获取待处理图像包括：
    分别采用第一摄像头模组和第二摄像头模组对同一场景进行拍摄，得到第一图像和第二图像；其中，所述第一摄像头模组的像素大于所述第二摄像头模组的像素；
    响应用户的图像查看操作，显示所述第二图像；
    响应用户的图像显示切换操作，获取所述第一图像作为所述待处理图像。
  9. 根据权利要求1所述的图像处理方法，其中，从所述待处理图像中提取多个图像块包括：
    针对所述待处理图像中的一部分，提取多个图像块。
  10. 一种图像处理装置，包括：
    图像块提取模块，用于获取待处理图像，从所述待处理图像中提取多个图像块；
    图像块组确定模块，用于根据各所述图像块之间的相似关系，将各所述图像块划分为多个图像块组；
    向量构建模块，用于针对每一图像块组，提取所包括的各图像块中相同位置的像素点信息，并构建多个像素点信息向量；
    图像处理模块，用于对所述多个像素点信息向量进行滤波处理，得到处理后的像素点信息，并利用所述处理后的像素点信息重新构建图像，以得到与所述待处理图像对应的处理后的图像。
  11. 根据权利要求10所述的图像处理装置，其中，所述图像块提取模块从所述待处理图像中提取多个图像块的过程被配置为执行：利用一预设尺寸的滑动窗口，以预设滑动步长对所述待处理图像进行扫描，以提取所述多个图像块。
  12. 根据权利要求10所述的图像处理装置，其中，所述图像块组确定模块被配置为执行：从所述多个图像块中随机选取起始图像块，作为当前图像块；确定所述当前图像块周围的多个图像块，分别计算所述当前图像块与所述当前图像块周围的多个图像块之间的相似度；从所述当前图像块周围的多个图像块中，筛选出与所述当前图像块的相似度最大的下一图像块；将所述下一图像块作为所述当前图像块，直至对所述待处理图像的所有图像块进行排序，根据排序的结果，将各所述图像块划分为多个图像块组。
  13. 根据权利要求12所述的图像处理装置，其中，所述图像块组确定模块分别计算所述当前图像块与所述当前图像块周围的多个图像块之间的相似度的过程被配置为执行：分别将各所述图像块的像素点信息转化为n×1的列向量，其中，n为所述图像块中像素点的数量；分别计算所述当前图像块对应的列向量与周围图像块对应的列向量之间的距离，以得到所述当前图像块与所述当前图像块周围的多个图像块之间的相似度。
  14. 根据权利要求12所述的图像处理装置，其中，所述图像块组确定模块根据排序的结果将各所述图像块划分为多个图像块组的过程被配置为执行：按排序的结果，将相似度大于一相似度阈值的多个图像块划分为一个图像块组。
  15. 根据权利要求10所述的图像处理装置，其中，所述图像处理模块对所述多个像素点信息向量进行滤波处理的过程被配置为执行：对各所述像素点信息向量分别进行滤波处理；或者采用矩阵运算的方式对所述多个像素点信息向量进行整体滤波处理。
  16. 根据权利要求11所述的图像处理装置，其中，所述图像处理模块利用所述处理后的像素点信息重新构建图像的过程被配置为执行：针对待处理图像上一目标像素点，确定所述目标像素点被滤波处理的次数以及各滤波处理后的像素点信息；利用所述目标像素点被滤波处理的次数以及各滤波处理后的像素点信息，计算所述目标像素点的像素点信息的平均值，并将所述平均值作为重新构建的图像中所述目标像素点的像素点信息；其中，所述目标像素点为所述待处理图像上任意一个像素点。
  17. 根据权利要求10至16中任一项所述的图像处理装置，其中，所述图像块提取模块获取待处理图像的过程被配置为执行：分别采用第一摄像头模组和第二摄像头模组对同一场景进行拍摄，得到第一图像和第二图像；其中，所述第一摄像头模组的像素大于所述 第二摄像头模组的像素；响应用户的图像查看操作，显示所述第二图像；响应用户的图像显示切换操作，获取所述第一图像作为所述待处理图像。
  18. 根据权利要求10所述的图像处理装置，其中，所述图像块提取模块从所述待处理图像中提取多个图像块的过程被配置为执行：针对所述待处理图像中的一部分，提取多个图像块。
  19. 一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的图像处理方法。
  20. 一种电子设备，包括：
    处理器；以及
    存储器，用于存储所述处理器的可执行指令；
    其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至9中任一项所述的图像处理方法。
PCT/CN2020/120664 2019-11-15 2020-10-13 图像处理方法及装置、存储介质和电子设备 WO2021093499A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911117950.1 2019-11-15
CN201911117950.1A CN110866881B (zh) 2019-11-15 2019-11-15 图像处理方法及装置、存储介质和电子设备

Publications (1)

Publication Number Publication Date
WO2021093499A1 true WO2021093499A1 (zh) 2021-05-20

Family

ID=69654480

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/120664 WO2021093499A1 (zh) 2019-11-15 2020-10-13 图像处理方法及装置、存储介质和电子设备

Country Status (2)

Country Link
CN (1) CN110866881B (zh)
WO (1) WO2021093499A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114115640A (zh) * 2021-11-30 2022-03-01 上海小度技术有限公司 图标的确定方法、装置、设备以及存储介质
CN115690246A (zh) * 2022-10-20 2023-02-03 北京国电通网络技术有限公司 图像纹理信息生成方法、装置、设备、介质和程序产品
CN116260973A (zh) * 2023-03-31 2023-06-13 北京百度网讯科技有限公司 一种时域滤波方法、装置、电子设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866881B (zh) * 2019-11-15 2023-08-04 RealMe重庆移动通信有限公司 图像处理方法及装置、存储介质和电子设备
CN112183484B (zh) * 2020-10-30 2023-08-29 北京百度网讯科技有限公司 一种图像处理方法、装置、设备以及存储介质
CN113724157A (zh) * 2021-08-11 2021-11-30 浙江大华技术股份有限公司 图像分块方法、图像处理方法、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101582984A (zh) * 2009-04-14 2009-11-18 公安部物证鉴定中心 一种消除图像噪声的方法及装置
US20180276455A1 (en) * 2017-03-27 2018-09-27 Samsung Electronics Co., Ltd. Apparatus and method for image processing
CN108629264A (zh) * 2017-03-18 2018-10-09 上海荆虹电子科技有限公司 用于图像处理的方法和装置
CN109767408A (zh) * 2018-12-29 2019-05-17 广州华多网络科技有限公司 图像处理方法、装置、存储介质及计算机设备
CN110866881A (zh) * 2019-11-15 2020-03-06 RealMe重庆移动通信有限公司 图像处理方法及装置、存储介质和电子设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7694887B2 (en) * 2001-12-24 2010-04-13 L-1 Secure Credentialing, Inc. Optically variable personalized indicia for identification documents
JP6071419B2 (ja) * 2012-10-25 2017-02-01 キヤノン株式会社 画像処理装置及び画像処理方法
CN102982520B (zh) * 2012-12-05 2015-07-15 武汉大学 一种基于轮廓先验的鲁棒性人脸超分辨率处理方法
CN103606132B (zh) * 2013-10-31 2016-04-13 西安电子科技大学 基于空域和时域联合滤波的多帧数字图像去噪方法
CN103745442B (zh) * 2014-01-08 2016-08-17 西安电子科技大学 基于非局部小波系数收缩的图像去噪方法
CN103903228A (zh) * 2014-03-07 2014-07-02 西安电子科技大学 一种基于hwd变换的非局部图像去噪方法
CN104408694B (zh) * 2014-11-27 2017-04-19 北京理工大学 基于软阈值的非局域平均图像去噪方法
CN104751423B (zh) * 2015-03-16 2017-09-29 西安理工大学 一种基于共振子空间分析的医学图像去噪方法
CN105279742B (zh) * 2015-11-19 2018-03-30 中国人民解放军国防科学技术大学 一种快速的基于分块噪声能量估计的图像去噪方法
JP6583527B2 (ja) * 2016-02-22 2019-10-02 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
WO2019066642A2 (en) * 2017-09-29 2019-04-04 Mimos Berhad SYSTEM AND METHOD FOR DETECTION OF LICENSE PLATE
CN109981991A (zh) * 2019-04-17 2019-07-05 北京旷视科技有限公司 模型训练方法、图像处理方法、装置、介质和电子设备
CN110378846B (zh) * 2019-06-28 2022-03-15 北京字节跳动网络技术有限公司 一种处理图像磨皮的方法、装置、介质和电子设备
CN110363121B (zh) * 2019-07-01 2023-04-28 Oppo广东移动通信有限公司 指纹图像处理方法及装置、存储介质和电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101582984A (zh) * 2009-04-14 2009-11-18 公安部物证鉴定中心 一种消除图像噪声的方法及装置
CN108629264A (zh) * 2017-03-18 2018-10-09 上海荆虹电子科技有限公司 用于图像处理的方法和装置
US20180276455A1 (en) * 2017-03-27 2018-09-27 Samsung Electronics Co., Ltd. Apparatus and method for image processing
CN109767408A (zh) * 2018-12-29 2019-05-17 广州华多网络科技有限公司 图像处理方法、装置、存储介质及计算机设备
CN110866881A (zh) * 2019-11-15 2020-03-06 RealMe重庆移动通信有限公司 图像处理方法及装置、存储介质和电子设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114115640A (zh) * 2021-11-30 2022-03-01 上海小度技术有限公司 图标的确定方法、装置、设备以及存储介质
CN114115640B (zh) * 2021-11-30 2024-05-14 上海小度技术有限公司 图标的确定方法、装置、设备以及存储介质
CN115690246A (zh) * 2022-10-20 2023-02-03 北京国电通网络技术有限公司 图像纹理信息生成方法、装置、设备、介质和程序产品
CN116260973A (zh) * 2023-03-31 2023-06-13 北京百度网讯科技有限公司 一种时域滤波方法、装置、电子设备及存储介质
CN116260973B (zh) * 2023-03-31 2024-03-19 北京百度网讯科技有限公司 一种时域滤波方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110866881A (zh) 2020-03-06
CN110866881B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
WO2021093499A1 (zh) 图像处理方法及装置、存储介质和电子设备
US20220261960A1 (en) Super-resolution reconstruction method and related apparatus
JP6472872B2 (ja) リアル・タイム・ビデオ要約
CN113424547A (zh) 点云属性编解码的加权中值预测的技术和装置
CN113454691A (zh) 自适应点云属性编解码的方法和装置
CN109766925B (zh) 特征融合方法、装置、电子设备及存储介质
KR101620933B1 (ko) 제스쳐 인식 메커니즘을 제공하는 방법 및 장치
WO2017128632A1 (zh) 一种图像压缩方法、图像重构方法、装置及***
US11875540B2 (en) Progressive fast recompression method and system for wavelet-based large-deformed mesh data
WO2016108847A1 (en) Methods and apparatus for processing motion information images
WO2022193916A1 (zh) 用于样点自适应补偿的方法及装置、设备和介质
WO2017112087A1 (en) Reconstruction of signals using a gramian matrix
CN112801882B (zh) 图像处理方法及装置、存储介质和电子设备
US20230260211A1 (en) Three-Dimensional Point Cloud Generation Method, Apparatus and Electronic Device
US10296605B2 (en) Dictionary generation for example based image processing
CN113706639B (zh) 一种基于矩形nam的图像压缩方法、装置、存储介质及计算设备
CN112487943B (zh) 关键帧去重的方法、装置和电子设备
US9799130B1 (en) Lossless spatial feature descriptor compression
CN113538268A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
JP5809574B2 (ja) 符号化方法、復号方法、符号化装置、復号装置、符号化プログラム及び復号プログラム
CN112188199A (zh) 自适应点云属性编码的方法、装置、电子设备和存储介质
Luo et al. A novel surveillance video processing using stochastic low-rank and generalized low-rank approximation techniques
CN112911186B (zh) 图像存储方法及装置、电子设备、存储介质
JP2018117346A (ja) 効率的なパッチベースのビデオノイズ除去方法
WO2024022060A1 (zh) 一种图像配准方法、装置及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20886822

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20886822

Country of ref document: EP

Kind code of ref document: A1