WO2021237732A1 - 图像对齐方法及装置、电子设备、存储介质 - Google Patents

图像对齐方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
WO2021237732A1
WO2021237732A1 PCT/CN2020/093508 CN2020093508W WO2021237732A1 WO 2021237732 A1 WO2021237732 A1 WO 2021237732A1 CN 2020093508 W CN2020093508 W CN 2020093508W WO 2021237732 A1 WO2021237732 A1 WO 2021237732A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
aligned
feature point
target feature
brightness
Prior art date
Application number
PCT/CN2020/093508
Other languages
English (en)
French (fr)
Inventor
柴鹏帅
Original Assignee
北京小米移动软件有限公司南京分公司
北京小米移动软件有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京小米移动软件有限公司南京分公司, 北京小米移动软件有限公司 filed Critical 北京小米移动软件有限公司南京分公司
Priority to CN202080001856.4A priority Critical patent/CN114096994A/zh
Priority to EP20824070.5A priority patent/EP3940633B1/en
Priority to PCT/CN2020/093508 priority patent/WO2021237732A1/zh
Priority to US17/199,032 priority patent/US11763470B2/en
Publication of WO2021237732A1 publication Critical patent/WO2021237732A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present disclosure relates to the field of image processing technology, and in particular to an image alignment method and device, electronic equipment, and storage medium.
  • Multi-frame fusion algorithm refers to the use of multiple frames of low-quality images to enhance details and reduce noise, and obtain higher-quality images. Before fusion, it is necessary to ensure the corresponding relationship between the contents of the multiple frames of images, and only when the contents of the multiple frames of images are the same can the image quality be improved by fusion.
  • the time interval for the mobile terminal to obtain the above-mentioned multi-frame images is relatively short, but there may be movement in the external scene and the shaking of the mobile terminal (caused by the user's hand shaking), so that the multi-frame images are not completely overlapped, that is, frame and frame. There is a certain translation and rotation relationship between them. Therefore, the premise of image fusion is to align multiple frames of images.
  • the alignment process includes: 1. Using fast feature point extraction and description algorithms (Oriented FAST and Rotated Brief, ORB) in images of different sizes to extract and filter ORB feature points, the screening method is based on the corner response value The quadtree is divided and the final branch nodes are retained to obtain feature points with a wider distribution range and higher quality; 2. Calculate the descriptors of the feature points, and use the Hamming distance of the descriptors to achieve the matching of feature points; 3. Use the random sampling consensus algorithm with noise (RANdom SAmple Consensus, RANSAC) to calculate the conversion matrix; 4. Use the conversion matrix to achieve image alignment.
  • RANSAC Random SAmple Consensus
  • the present disclosure provides an image alignment method and device, electronic equipment, and storage medium.
  • an image alignment method including:
  • the images to be aligned are aligned with the reference images.
  • the average value corresponding to each Bayer unit is taken as the gray value of one pixel to obtain the brightness image of each image.
  • acquiring a mapping model between the reference image and the images to be aligned includes:
  • a mapping model between the reference image and the images to be aligned is acquired.
  • extracting multiple feature points from the brightness image of the reference image includes:
  • the candidate feature point with the largest response value in each of the first image blocks is used as the target feature point to obtain a first preset number of target feature points.
  • acquiring a mapping model between the reference image and the images to be aligned includes:
  • a target feature point pair corresponding to each target feature point is obtained; the feature point pair is used to characterize the reference One-to-one correspondence between target feature points in the image and feature points in each image to be aligned;
  • mapping the reference image and the images to be aligned is acquired, and the difference between the reference image and the images to be aligned is calculated.
  • the method further includes:
  • the corresponding mapping model is used as the obtained final mapping model.
  • the brightness of the brightness images of the images to be aligned is adjusted according to the brightness ratio or histogram equalization.
  • the method for selecting the second preset number of target feature point pairs includes random selection or sequential selection; the sequential selection refers to the first preset number of feature point pairs with a larger response value after sorting according to the response value .
  • an image alignment device including:
  • An original image acquisition module for acquiring multiple frames of original images, the multiple frames of original images including one frame of reference image and multiple frames of images to be aligned;
  • the brightness image acquisition module is configured to respectively acquire the brightness images of the reference image and each image to be aligned
  • a mapping model acquisition module configured to acquire a mapping model between the reference image and each image to be aligned based on the brightness image of the reference image and the brightness image of each image to be aligned;
  • the image alignment module is configured to align the images to be aligned with the reference images based on the mapping model.
  • the image alignment module includes:
  • a channel module conversion unit configured to convert each channel image of each image to be aligned based on the mapping model
  • the channel module merging unit is used to merge the converted channel images to obtain the aligned target image.
  • the brightness image acquisition module includes:
  • An average value obtaining unit configured to obtain an average value of pixel gray values in each Bayer unit of each image for the reference image and each image to be aligned
  • the brightness image acquisition unit is configured to use the average value corresponding to each Bayer unit as the gray value of one pixel to obtain the brightness image of each image.
  • mapping model acquisition module includes:
  • the target point screening unit is configured to filter out a first preset number of target feature points from a plurality of feature points corresponding to the reference image;
  • the feature point extraction unit includes:
  • the feature point extraction subunit is configured to extract multiple feature points on the brightness image according to the gradient data based on a preset filter core.
  • the target point screening unit includes:
  • a first division subunit configured to divide the brightness image of the reference image into a first preset number of first image blocks
  • the second division subunit is used to divide each first image block into a plurality of second image blocks
  • the candidate point selection subunit is used to use the feature point with the largest response value in each second image block as the candidate feature point;
  • the target point selection subunit is configured to use the candidate feature point with the largest response value in each of the first image blocks as the target feature point to obtain a first preset number of target feature points.
  • mapping model acquiring unit includes:
  • the feature point pair acquisition subunit is configured to obtain the target feature point pair corresponding to each target feature point according to the position of each target feature point in the reference image and the actual position corresponding to each image to be aligned;
  • the feature point pair is used to characterize the one-to-one correspondence between the target feature point in the reference image and the feature point in each image to be aligned;
  • the mapping model calculation subunit is configured to select a second preset number of target feature point pairs from the target feature point pairs, and calculate a mapping model between the reference image and the images to be aligned.
  • mapping model acquisition unit further includes:
  • the predicted position obtaining subunit is configured to obtain the third preset number of target feature points based on the third preset number of target feature points in the second preset number of target feature point pairs and the mapping model The predicted positions on the images to be aligned;
  • the point pair quantity statistics subunit is used to count the number of target feature point pairs whose offset between the predicted position and the actual position is less than or equal to the offset threshold;
  • the mapping model acquisition subunit is used to use the corresponding mapping model when the number is less than the number threshold as the final acquired mapping model.
  • the method for selecting the second preset number of target feature point pairs includes random selection or sequential selection; the sequential selection refers to the first preset number of feature point pairs with a larger response value after sorting according to the response value .
  • an electronic device including:
  • a memory for storing a computer program executable by the processor
  • the processor is configured to execute the computer program in the memory to implement the steps of any one of the foregoing methods.
  • a readable storage medium on which an executable computer program is stored, and the computer program implements the steps of any one of the above-mentioned methods when the computer program is executed.
  • multiple frames of original images are obtained, and the multiple frames of original images include one frame of reference image and multiple frames of images to be aligned; then, the reference image and the brightness of each image to be aligned are obtained respectively.
  • Image Afterwards, according to the brightness image of the reference image and the brightness image of each image to be aligned, a mapping model between the reference image and each image to be aligned is obtained; finally, each image to be aligned is aligned with the reference image based on the mapping model.
  • This embodiment is based on the brightness image acquisition mapping model, which is robust to brightness and can meet the image alignment requirements of different brightness scenes, especially extremely dark scenes.
  • Fig. 1 is a flowchart showing an image alignment method according to an exemplary embodiment.
  • the electronic device may divide the brightness image of the reference image into a plurality of first image blocks.
  • the electronic device may continue to divide each first image block into a plurality of second image blocks.
  • the electronic device may use the feature point with the largest response value in the second image block as the candidate feature point.
  • the maximum response value refers to the maximum sum or product of the gradient values of the feature points in two directions.
  • the electronic device may use the feature point with the largest response value in the first image block as the target feature point, and obtain a first preset number of target feature points that are the same as the number of the first image block.
  • the uniform image segmentation method is adopted to make the distribution of the feature points more uniform, so that the first preset number of target feature points are evenly distributed in the reference image, which can avoid the inaccurate alignment caused by the concentration of feature points.
  • the target feature points can more accurately reflect the characteristics of the reference image, thereby improving the quality of the extracted target feature points, which is conducive to improving the subsequent acquired mapping The accuracy of the model.
  • the preset tracking algorithm can use the KLT tracking algorithm (Kanade-Lucas-Tomasi Tracking Method), or the block matching method based on block match, or the simple feature point matching method based on FAST corner matching. limited.
  • the electronic device may obtain a corresponding target feature point pair corresponding to each target feature point according to the position of each target feature point in the reference image and the actual position corresponding to each image to be aligned.
  • the feature point pair refers to the position of the feature point on the reference image and the actual position on the image to be aligned, plus the label of the feature point to form a feature point combination, which is used to characterize the target in the parametric image One-to-one correspondence between feature points and feature points in each image to be aligned.
  • the preset tracking algorithm may not be able to track each target feature point of the first preset number of target feature points, so the number of feature point pairs Will be less than the first preset amount.
  • the offset in order to provide tracking speed, can be obtained according to the size of the original image, such as the size*(-1.5% -1.5%) range.
  • the offset is less than 50 pixels, and the pyramid layer is set at this time
  • the number of floors is 2 floors.
  • the number of pyramid layers refers to the number of brightness images that need to be used in the tracking process. Taking 2 layers as an example, continue compressing the above brightness images to obtain a 1.5M brightness image. At this time, the tracking range will be reduced by half.
  • the tracking is continued based on the determined target feature points on the brightness image returned to 3M, until the accurate position of each target feature point on the 3M image is found.
  • the same brightening operation can be performed on the brightness image at this time.
  • the brightness image of the original image under different exposure levels it can be adjusted to the same brightness according to the brightness ratio of the reference image and the image to be aligned, or the low-brightness image can be adjusted through the histogram equalization operation, which can be adapted to the image under different light levels Align the scene.
  • the first preset number is 100
  • the second preset number is 4.
  • the electronic device can use the KLT tracking algorithm to find the actual position B of each target feature point from the image to be aligned, assuming that 5 target feature points are not found but 95 targets are found Feature points, in this way 95 target feature point pairs (A1 ⁇ 95, B1 ⁇ 95) can be obtained.
  • 4 out of 95 target feature point pairs are selected, and a 3*3 conversion matrix can be calculated according to the target feature point pairs (A1 ⁇ 4, B1 ⁇ 4), that is, a mapping model between the reference image and the image to be aligned is obtained.
  • this example may also include the step of selecting a mapping model. See FIG. 8.
  • the electronic device may set the third preset number of target feature points in the reference image according to the second preset number of target feature point pairs. The position and mapping model in, obtain the predicted position of the third preset number of target feature points on each image to be aligned.
  • the electronic device may count the number of target feature point pairs whose offset between the predicted position and the actual position is less than or equal to the offset threshold.
  • the electronic device can obtain the final mapping model when the number is less than the number threshold.
  • the electronic device can input the remaining 91 feature point pairs (all or part) into the 3*3 mapping model in turn, and obtain the mapping model to calculate the target feature point at The predicted position B2 on the image to be aligned.
  • the predicted position B2 and the actual position B should be coincident.
  • there is an offset between the predicted position B2 and the actual position B then set an offset threshold (such as 50 pixels), if the predicted position B2 and the actual position B If the offset is less than or equal to the offset threshold, it means that the target feature point has passed the verification.
  • the number threshold for example, 90
  • the 3*3 mapping model can characterize the mapping relationship between the reference image and the frame to be aligned.
  • the electronic device can execute the scheme shown in Figure 8 after acquiring a mapping model, or select it after acquiring a certain number (such as 5, adjustable) mapping models, and the corresponding scheme falls into The scope of protection of this disclosure.
  • step 73 and the embodiment shown in FIG. 8 may use a random sampling consensus (RANdom SAmple Consensus, RANSAC) algorithm in related technologies to estimate the mapping model.
  • RANSAC Random SAmple Consensus
  • the RANSAN algorithm can be improved, for example, the random selection of target feature points is modified to select the target feature points sequentially, such as according to the feature points
  • the target feature points are sorted from large to small in response value. Since the larger the response value, the higher the quality of the target feature points, so you can choose to sort the top few or top dozens of high-quality target feature points, which is helpful to reduce the amount of calculation .
  • the technician can make a selection according to the specific scenario, which is not limited here.
  • the electronic device may obtain each channel image of each image to be aligned, such as R, G, G, and B channel images, and then convert each channel image separately based on the above mapping model .
  • the electronic device may merge the channel images converted in step 91 to obtain an aligned target image. In this way, in this embodiment, the effect of aligning each channel image with each channel image in the reference image can be achieved.
  • the electronic device may directly align the images to be aligned based on the mapping model. Due to the robustness of the above-mentioned mapping model, the alignment effect can be stabilized.
  • multiple frames of original images are obtained, and the multiple frames of original images include one frame of reference image and multiple frames of images to be aligned; then, the reference image and the brightness image of each image to be aligned are obtained respectively; According to the brightness image of the reference image and the brightness image of each image to be aligned, a mapping model between the reference image and each image to be aligned is obtained; finally, each image to be aligned is aligned with the reference image based on the mapping model.
  • the mapping model is acquired based on the brightness image, which is robust to brightness, and can meet the image alignment requirements of different brightness scenes, especially extremely dark scenes.
  • the original image acquisition module 101 is configured to acquire multiple frames of original images, where the multiple frames of original images include one frame of reference image and multiple frames of images to be aligned;
  • the channel module merging unit 112 is used for merging the converted channel images to obtain the aligned target image.
  • the mapping model acquisition module 103 includes:
  • the feature point extraction unit 131 is configured to extract multiple feature points from the brightness image of the reference image
  • the feature point extraction unit 131 includes:
  • the target point screening unit 132 includes:
  • the first dividing subunit 151 is configured to divide the brightness image of the reference image into a first preset number of first image blocks
  • the second dividing subunit 152 is configured to divide each first image block into a plurality of second image blocks
  • the candidate point selection subunit 153 is configured to use the feature point with the largest response value in each second image block as the candidate feature point;
  • the target point selection subunit 154 is configured to use the candidate feature point with the largest response value in each of the first image blocks as the target feature point to obtain a first preset number of target feature points.
  • the mapping model acquiring unit 133 includes:
  • the actual position finding subunit 161 is configured to use a preset tracking algorithm to find the actual position corresponding to each target feature point in the image to be aligned in the first preset number of target feature points;
  • the feature point pair acquisition subunit 162 is configured to obtain the target feature point pair corresponding to each target feature point according to the position of each target feature point in the reference image and the actual position corresponding to each of the images to be aligned;
  • the feature point pair is used to characterize the one-to-one correspondence between the target feature point in the reference image and the feature point in each image to be aligned;
  • the mapping model calculation subunit 163 is configured to select a second preset number of target feature point pairs from the target feature point pairs, and calculate a mapping model between the reference image and the images to be aligned.
  • mapping model acquiring unit 133 further includes:
  • the mapping model acquiring subunit 173 is configured to use the corresponding mapping model when the number is less than the number threshold as the final acquired mapping model.
  • mapping model acquisition unit further includes:
  • the brightness adjustment subunit is configured to adjust the brightness of the brightness images of the images to be aligned according to the brightness ratio or histogram equalization.
  • the method for selecting the second predetermined number of target feature point pairs includes random selection or sequential selection; the sequential selection refers to the first predetermined number of features with a larger response value after sorting according to the response value Point right.
  • the device provided in the embodiment of the present disclosure corresponds to the above method embodiment, and the specific content can refer to the content of each method embodiment, which will not be repeated here.
  • Fig. 18 is a block diagram showing an electronic device according to an exemplary embodiment.
  • the electronic device 1800 may be a smart phone, a computer, a digital broadcasting terminal, a tablet device, a medical device, a fitness device, a personal digital assistant, etc.
  • the electronic device 1800 may include one or more of the following components: a processing component 1802, a memory 1804, a power supply component 1806, a multimedia component 1808, an audio component 1810, an input/output (I/O) interface 1812, a sensor component 1814, Communication component 1816, and image acquisition component 1818.
  • a processing component 1802 a memory 1804, a power supply component 1806, a multimedia component 1808, an audio component 1810, an input/output (I/O) interface 1812, a sensor component 1814, Communication component 1816, and image acquisition component 1818.
  • the power supply component 1806 provides power for various components of the electronic device 1800.
  • the power supply component 1806 may include a power management system, one or more power supplies, and other components associated with the generation, management, and distribution of power for the electronic device 1800.
  • the power supply component 1806 may include a power supply chip, and the controller may communicate with the power supply chip, thereby controlling the power supply chip to turn on or off the switching device, so that the battery supplies power to the main board circuit or does not supply power.
  • the audio component 1810 is configured to output and/or input audio signals.
  • the audio component 1810 includes a microphone (MIC).
  • the microphone is configured to receive external audio signals.
  • the received audio signal may be further stored in the memory 1804 or transmitted via the communication component 1816.
  • the audio component 1810 further includes a speaker for outputting audio signals.
  • the communication component 1816 is configured to facilitate wired or wireless communication between the electronic device 1800 and other devices.
  • the electronic device 1800 can access a wireless network based on a communication standard, such as WiFi, 2G, or 3G, or a combination thereof.
  • the communication component 1816 receives a broadcast signal or broadcast related information from an external broadcast management system via a broadcast channel.
  • the communication component 1816 also includes a near field communication (NFC) module to facilitate short-range communication.
  • the NFC module can be implemented based on radio frequency identification (RFID) technology, infrared data association (IrDA) technology, ultra-wideband (UWB) technology, Bluetooth (BT) technology and other technologies.
  • RFID radio frequency identification
  • IrDA infrared data association
  • UWB ultra-wideband
  • Bluetooth Bluetooth
  • the electronic device 1800 may be implemented by one or more application specific integrated circuits (ASIC), digital signal processors (DSP), digital signal processing devices (DSPD), programmable logic devices (PLD), field-available Program gate array (FPGA), controller, microcontroller, microprocessor or other electronic components to achieve.
  • ASIC application specific integrated circuits
  • DSP digital signal processors
  • DSPD digital signal processing devices
  • PLD programmable logic devices
  • FPGA field-available Program gate array
  • controller microcontroller, microprocessor or other electronic components to achieve.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

一种图像对齐方法及装置、电子设备、存储介质。该方法包括：获取多帧原始图像，所述多帧原始图像包括一帧参考图像和多帧待对齐图像（11）；分别获取所述参考图像和各待对齐图像的亮度图像（12）；基于所述参考图像的亮度图像和所述各待对齐图像的亮度图像，获取所述参考图像和所述各待对齐图像之间的映射模型（13）；基于所述映射模型，将所述各待对齐图像与所述参考图像对齐（14）。该方法基于亮度图像获取的映射矩阵模型，使得矩阵模型对亮度具有鲁棒性，可以满足不同亮度场景尤其是极暗场景下的图像对齐要求。

Description

图像对齐方法及装置、电子设备、存储介质 技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像对齐方法及装置、电子设备、存储介质。
背景技术
随着移动终端设备的广泛应用，拍摄成像技术愈发成为比较重要的功能，为获取高清晰度的图像，多帧融合算法应运而生。多帧融合算法是指，利用多帧低质量图像的叠加融合来增强细节和降噪，获得较高质量的图像。在融合之前，需要保证多帧图像内容对应关系，当多帧图像的内容一致时再融合才能提高成像质量。
实际应用中，移动终端获取上述多帧图像的时间间隔较短，但是外部场景可能存在运动以及(用户手部抖动引起)移动终端的晃动，使得多帧图像间并不是完全重合，即帧与帧之间存在一定的平移、旋转关系，因此，图像融合的前提是对多帧图像进行对齐。
相关技术中，对齐过程包括：1，在不同尺寸下的图像中采用快速特征点提取和描述的算法(Oriented FAST and Rotated BRIEF，ORB)提取ORB特征点并筛选，筛选方式是基于角点响应值的四叉树分割并保留最终树枝节点，以获得分布范围较广、质量较高的特征点；2，计算特征点的描述子，利用描述子的汉明距离来实现特征点的匹配；3，利用带有噪声的随机抽样一致算法(RANdom SAmple Consensus,RANSAC)来计算转换矩阵；4，利用转换矩阵实现图像的对齐。然而，ORB算法的精度和适用性不够高。
发明内容
有鉴于此，本公开提供一种图像对齐方法及装置、电子设备、存储介质。
根据本公开实施例的第一方面，提供一种图像对齐方法，包括：
获取多帧原始图像，所述多帧原始图像包括一帧参考图像和多帧待对齐图像；
分别获取所述参考图像和各待对齐图像的亮度图像；
基于所述参考图像的亮度图像和所述各待对齐图像的亮度图像，获取所述参考图像和所述各待对齐图像之间的映射模型；
基于所述映射模型，将所述各待对齐图像与所述参考图像对齐。
可选地，基于所述映射模型，将所述各待对齐图像与所述参考图像对齐，包括：
基于所述映射模型对所述各待对齐图像的各通道图像进行转换；
合并转换后的各通道图像，得到对齐后的目标图像。
可选地，分别获取所述参考图像和各待对齐图像的亮度图像，包括：
针对所述参考图像和所述各待对齐图像，获取各图像的每个拜耳单元中像素灰度值的平均值；
将所述各拜耳单元对应的平均值作为一个像素的灰度值，得到所述各图像的亮度图像。
可选地，基于所述参考图像的亮度图像和所述各待对齐图像的亮度图像，获取所述参考图像和所述各待对齐图像之间的映射模型，包括：
从所述参考图像的亮度图像上提取多个特征点；
从所述参考图像对应的多个特征点筛选出第一预设数量个目标特征点；
基于所述第一预设数量个目标特征点，获取所述参考图像和所述各待对齐图像之间的映射模型。
可选地，从所述参考图像的亮度图像上提取多个特征点，包括：
获取所述参考图像的亮度图像的梯度数据；
基于预设的滤波核，根据所述梯度数据在所述亮度图像上提取出多个特征点。
可选地，从所述参考图像对应的多个特征点筛选出第一预设数量个目 标特征点，包括：
将所述参考图像的亮度图像划分为第一预设数量个第一图像块；
将各第一图像块划分为多个第二图像块；
将各第二图像块中响应值最大的特征点作为候选特征点；
将各个所述第一图像块中响应值最大的候选特征点作为目标特征点，得到第一预设数量个目标特征点。
可选地，基于所述第一预设数量个目标特征点，获取所述参考图像和所述各待对齐图像之间的映射模型，包括：
采用预设跟踪算法，寻找所述第一预设数量个目标特征点中各目标特征点在各待对齐图像中对应的实际位置；
针对各目标特征点在所述参考图像中的位置与对应于所述各待对齐图像中的实际位置，得到各个目标特征点对应的目标特征点对；所述特征点对用于表征所述参考图像中目标特征点与各待对齐图像中特征点的一一对应关系；
从所述目标特征点对中选取第二预设数量个目标特征点对，计算所述参考图像和所述各待对齐图像之间的映射模型。
可选地，基于所述第一预设数量个目标特征点，获取所述参考图像和所述各待对齐图像之间的映射模型，计算所述参考图像和所述各待对齐图像之间的映射模型之后，所述方法还包括：
根据所述第二预设数量个目标特征点对中第三预设数量个目标特征点和所述映射模型，获取所述第三预设数量个目标特征点在所述各待对齐图像上的预测位置；
统计所述预测位置和所述实际位置之间的偏移量小于或等于偏移量阈值的目标特征点对的数量；
将所述数量小于数量阈值时对应的映射模型作为获取到的最终的映射模型。
可选地，采用预设跟踪算法，寻找所述第一预设数量个目标特征点中 各目标特征点在各待对齐图像中对应的实际位置之前，所述方法还包括：
根据亮度比例或者直方图均衡化来调整所述各待对齐图像的亮度图像的亮度。
可选地，所述第二预设数量个目标特征点对的选取方式包括随机选取或顺序选取；所述顺序选取是指按照响应值排序后，响应值较大的前预设数量特征点对。
根据本公开实施例的第二方面，提供一种图像对齐装置，包括：
原始图像获取模块，用于获取多帧原始图像，所述多帧原始图像包括一帧参考图像和多帧待对齐图像；
亮度图像获取模块，用于分别获取所述参考图像和各待对齐图像的亮度图像；
映射模型获取模块，用于基于所述参考图像的亮度图像和所述各待对齐图像的亮度图像，获取所述参考图像和所述各待对齐图像之间的映射模型；
图像对齐模块，用于基于所述映射模型，将所述各待对齐图像与所述参考图像对齐。
可选地，所述图像对齐模块包括：
通道模块转换单元，用于基于所述映射模型对所述各待对齐图像的各通道图像进行转换；
通道模块合并单元，用于合并转换后的各通道图像，得到对齐后的目标图像。
可选地，所述亮度图像获取模块包括：
平均值获取单元，用于针对所述参考图像和所述各待对齐图像，获取各图像的每个拜耳单元中像素灰度值的平均值；
亮度图像获取单元，用于将所述各拜耳单元对应的平均值作为一个像素的灰度值，得到所述各图像的亮度图像。
可选地，所述映射模型获取模块包括：
特征点提取单元，用于从所述参考图像的亮度图像上提取多个特征点；
目标点筛选单元，用于从所述参考图像对应的多个特征点筛选出第一预设数量个目标特征点；
映射模型获取单元，用于基于所述第一预设数量个目标特征点，获取所述参考图像和所述各待对齐图像之间的映射模型。
可选地，所述特征点提取单元包括：
梯度数据获取子单元，用于获取所述参考图像的亮度图像的梯度数据；
特征点提取子单元，用于基于预设的滤波核，根据所述梯度数据在所述亮度图像上提取出多个特征点。
可选地，所述目标点筛选单元包括：
第一划分子单元，用于将所述参考图像的亮度图像划分为第一预设数量个第一图像块；
第二划分子单元，用于将各第一图像块划分为多个第二图像块；
候选点选取子单元，用于将各第二图像块中响应值最大的特征点作为候选特征点；
目标点选取子单元，用于将各个所述第一图像块中响应值最大的候选特征点作为目标特征点，得到第一预设数量个目标特征点。
可选地，所述映射模型获取单元包括：
实际位置寻找子单元，用于采用预设跟踪算法，寻找所述第一预设数量个目标特征点中各目标特征点在各待对齐图像中对应的实际位置；
特征点对获取子单元，用于针对各目标特征点在所述参考图像中的位置与对应于所述各待对齐图像中的实际位置，得到各个目标特征点对应的目标特征点对；所述特征点对用于表征所述参考图像中目标特征点与各待对齐图像中特征点的一一对应关系；
映射模型计算子单元，用于从所述目标特征点对中选取第二预设数量个目标特征点对，计算所述参考图像和所述各待对齐图像之间的映射模型。
可选地，所述映射模型获取单元还包括：
预测位置获取子单元，用于根据所述第二预设数量个目标特征点对中第三预设数量个目标特征点和所述映射模型，获取所述第三预设数量个目标特征点在所述各待对齐图像上的预测位置；
点对数量统计子单元，用于统计所述预测位置和所述实际位置之间的偏移量小于或等于偏移量阈值的目标特征点对的数量；
映射模型获取子单元，用于将所述数量小于数量阈值时对应的映射模型作为获取到的最终的映射模型。
可选地，所述映射模型获取单元还包括：
亮度调整子单元，用于根据亮度比例或者直方图均衡化来调整所述各待对齐图像的亮度图像的亮度。
可选地，所述第二预设数量个目标特征点对的选取方式包括随机选取或顺序选取；所述顺序选取是指按照响应值排序后，响应值较大的前预设数量特征点对。
根据本公开实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行的计算机程序的存储器；
所述处理器被配置为执行所述存储器中的计算机程序以实现上述任一项所述方法的步骤。
根据本公开实施例的第四方面，提供一种可读存储介质，其上存储有可执行的计算机程序，该计算机程序被执行时实现上述任一项所述方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：
由上述实施例可知，本公开实施例中通过获取多帧原始图像，且所述多帧原始图像包括一帧参考图像和多帧待对齐图像；然后，分别获取参考图像和各待对齐图像的亮度图像；之后，根据参考图像的亮度图像和各待对齐图像的亮度图像来获取参考图像和各待对齐图像之间的映射模型；最后，基于映射模型将各待对齐图像与参考图像对齐。本实施例中基于亮度 图像获取映射模型，对亮度具有鲁棒性，可以满足不同亮度场景尤其是极暗场景下的图像对齐要求。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种图像对齐方法的流程图。
图2是根据一示例性实施例示出的一种获取亮度图像的流程图。
图3是根据一示例性实施例示出的一种获取转换模型的流程图。
图4是根据一示例性实施例示出的提取特征点的流程图。
图5是根据一示例性实施例示出的获取第一特征点集的流程图。
图6(a)、图6(b)和图6(c)是一种获取第一特征点集的效果，图6(a)示出了等分亮度图像的效果，图6(b)示出了等分第一图像块的效果，图6(c)示出了第一特征点集中各特征点分布的效果。
图7是根据一示例性实施例示出的一种获取映射模型的流程图。
图8是根据一示例性实施例示出的一种筛选映射模型的流程图。
图9是根据一示例性实施例示出的另一种图像对齐方法的流程图。
图10～图17是根据一示例性实施例示出的一种图像对齐装置的框图。
图18是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性所描述的实施例并不代表与本公开相一致的所有实 施例。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置例子。
为解决上述技术问题，本公开实施例提供了一种图像对齐方法及装置、电子设备、存储介质，图1是根据一示例性实施例示出的一种图像对齐方法，可以适用于智能手机、平板电脑、个人计算机等电子设备。参见图1，一种图像对齐方法，包括步骤11～步骤14，其中：
在步骤11中，获取多帧原始图像，所述多帧原始图像包括一帧参考图像和多帧待对齐图像。
本实施例中，电子设备上可以设置有摄像头模组，通过摄像头模组可以获取到原始图像，如拜耳(bayer)格式(如RGGB)的raw图像，或者JPEG(Joint Photographic Experts Group，联合图像专家组)，在此不作限定，后续实施例以拜耳格式的原始图像为例进行说明。当然，电子设备还可以与其他存储设备通信，获取保存在该存储设备上的多帧原始图像。
考虑到后续的对齐操作，电子设备可以从多帧原始图像中选取一帧原始图像作为参考图像，选取方式包括但不限于：多帧原始图像的第一帧、多帧原始图像中清晰度最好的一帧、随机选取的一帧。或者，电子设备可以根据用户的配置，选择配置参数对应的一帧原始图像作为参考图像。在参考图像确定后，可以将剩余的其他各帧作为待对齐图像。
在步骤12中，分别获取所述参考图像和各待对齐图像的亮度图像。
本实施例中，电子设备可以分别获取参考图像和各待对齐图像的亮度图像，参见图2，在步骤21中，针对参考图像和各待对齐图像，电子设备可以获取各图像的每个拜耳单元中像素的灰度值的平均值。当然，电子设备还可以获取每个bayer单元中各像素灰度值的加权平均值，技术人员可以根据具体场景选择合适的方案。在步骤22中，电子设备可以将各拜耳单元对应的平均值作为一个像素(即bayer单元)的灰度值，得到各图像的亮度图像。也就是说，本实施例中亮度图像中的一个像素对应原始图像的一个bayer单元，可以降低原始图像的尺寸，减少计算量；并且，通过获 取平均值，使亮度图像只包含亮度信息，可以提高亮度图像的信噪比，有利于提高后续过程中图像对齐的精度和稳定性。
在步骤13中，基于所述参考图像的亮度图像和所述各待对齐图像的亮度图像，获取所述参考图像和所述各待对齐图像之间的映射模型。
本实施例中，参见图3，电子设备可以根据参考图像的亮度图像和各帧待对齐图像的亮度图像获取到参考图像和各待对齐图像的映射模型，包括步骤31～步骤33，其中：
在步骤31中，电子设备内可以从参考图像的亮度图像上提取多个特征点。例如，参见图4，在步骤41中，电子设备可以获取参考图像的亮度图像的梯度数据。其中梯度数据可以包括但不限于基本梯度、内部梯度、外部梯度和方向梯度。然后，在步骤42中，基于预设的滤波核，电子设备可以根据梯度数据在亮度图像上提取出多个特征点。本步骤中，预设的滤波核的大小可以包括7*7或11*11，通过采用较大的滤波核，可以使特征点的抗噪能力更强，当然，技术人员人员可以根据具体场景，计算量和硬件的算力进行选择合适的滤波核，在此不作限定。
本步骤中，上述特征点可以为可以包括但不限于Harris角点和CSS角点。当然，技术人员人员可以根据具体场景选择合适的特征点，相应方案落入本公开的保护范围。
需要说明的是，本步骤中获取梯度数据只需要在参考图像中计算一次即可，无需获取待对齐图像的梯度数据，可以同时保证计算速度和精度，适应于手机、平板电脑等移动终端设备的使用场景。
在步骤32中，电子设备可以从参考图像对应的多个特征点筛选出第一预设数量个目标特征点。筛选方式可以包括以下一种：四叉树方式，图像均匀分割方式，图像分割且特征点最近距离限制方式。
以图像分割方式为例，参见图5，在步骤51中，电子设备可以将参考图像的亮度图像划分为多个第一图像块。在步骤52中，电子设备可以将各第一图像块继续划分为多个第二图像块。在步骤53中，电子设备可以将第 二图像块中响应值最大的特征点作为候选特征点。其中响应值最大是指特征点在2个方向上的梯度值之和或者之积最大。在步骤54中，电子设备可以将第一图像块中响应值最大的特征点作为目标特征点，得到与第一图像块数量相同的第一预设数量个目标特征点。
为方便理解和附图清楚，在一示例中，图像分割可以采用图像均匀分割方式实现，例如，电子设备可以采用均匀等分的方式将参考图像的亮度图像划分为多个第一图像块，效果可参考如图6(a)所示的示例效果；又如，电子设备可以采用均匀等分的方式将各第一图像块划分为多个第二图像块，效果可参考如图6(b)所示的示例效果。在第一图像块和第二图像块均采用均匀等分方式获取的情况下，可以得到如图6(c)所示与第一图像块数量相同的第一预设数量个目标特征点。
这样，本示例中通过采用图像均匀分割方式，使特征点的分布更均匀，进而使第一预设数量个目标特征点均匀分布在参考图像之中，可以避免特征点集中而引起的对齐不准的情况。或者说，本示例中，通过分散第一预设数量个目标特征点，使目标特征点能够更准确的反应参考图像的特点，从而提高提取目标特征点的质量，有利于提升后续所获取的映射模型的准确度。
需要说明的是，在步骤54中，每个第一图像块中选取一个特征点作为目标特征点。实际应用中，相邻第一图像块中的目标特征点可能会距离非常近，例如4个相邻的第一图像块中的目标特征点，此时可以设置一距离阈值(如30像素)，在选取每个第一图像块中的目标特征点时，除了比较响应值外，还需要计算与周围的第一图像块的目标特征点距离，只有相邻两个第一图像块中的目标特征点超过上述距离阈值时才能作为有效的目标特征点，达到特征点最近距离限制的效果。这样，本示例中可以使第一预设数量个目标特征点尽可能多的反映出参考图像的特点，避免反映同一特点的特征点过多的情况，有利于提升目标特征点的质量。
需要说明的是，实际应用中，在亮度图像的尺寸较大(也即亮度图像 的尺寸大于一尺寸阈值(例如2000*1000像素)，该尺寸阈值可以由电子设备预先设置得到)时，此时每个第一图像块或者第二图像块中的特征点比较多，此时可以根据响应值对候选特征点进行排序，可以理解的是，排序在前的候选特征点的响应值，大于排序在后的候选特征点的响应值，并选取响应值大小排序靠前(即响应值较大)的2个或者多个特征点作为目标特征点，即顺序选取。步骤53中选取候选特征点的原理类似，后续选取第二预设数量个目标特征点的原理类型。当然，在步骤53和步骤54中，在保持每个图像块选择一个候选特征点或目标特征点的情况下，还可以调整对亮度图像的划分块数，即第一图像块的数量，技术人员可以根据具体场景，确定划分图像块的数量和每个图像块选择的特征点的数量，在目标特征点的数量足够且不影响到后续计算的情况下，相应方案落入本公开的保护范围。
在步骤33中，电子设备可以基于第一预设数量个特征点获取参考图像和各待对齐图像之间的映射模型。参见图7：
在步骤71中，电子设备可以采用预设跟踪算法，寻找所述第一预设数量个目标特征点中各目标特征点在各待对齐图像中对应的实际位置。
本步骤中，预设跟踪算法可以采用KLT跟踪算法(Kanade-Lucas-Tomasi Tracking Method)，或者采用基于block match的块匹配方式，或者基于FAST角点匹配等简单的特征点匹配方式，在此不作限定。
在步骤72中，电子设备可以针对各目标特征点在所述参考图像中的位置与对应于所述各待对齐图像中的实际位置，得到各个目标特征点对应表征对应的目标特征点对。
本步骤中，特征点对是指，特征点分别在参考图像上的位置和在待对齐图像上的实际位置，加上特征点的标号，而形成一个特征点组合，用于表征参数图像中目标特征点与各待对齐图像中特征点的一一对应关系。例如【5(F1，300，500)，(F2，310，490)】，其中5(F1，300，500)表示 第5个特征点在参考图像F1上的位置是(300，500)，(F2，310，490)表示第5个特征点在待对齐图像F2上的位置是(310，490)，可根据具体场景设置特征点对的表现方式，在此不作限定。
考虑到电子设备抖动或者拍摄待对齐图像时场景内物体移动的情况，预设跟踪算法可能无法将第一预设数量个目标特征点中的各个目标特征点均跟踪到，因此特征点对的数量会小于第一预设数量。
本步骤中，为提供跟踪速度，可以根据原始图像的尺寸获取到偏移量，如size*(-1.5％-1.5％)范围，在一步骤中偏移量小于50像素，此时设置金字塔层数如下：静止拍照模式下size＝12M(即4000*3000)尺寸的图像，偏移量维持在size*(-1.5％-1.5％)范围内，转换后的亮度图像尺寸为3M，需要的金字塔层数为2层。其中，金字塔层数是指在跟踪过程中需要用到的亮度图像的张数，以2层为例，对上述亮度图像继续压缩，得到1.5M的亮度图像，此时的跟踪范围会缩小一半，在确定出目标特征点后，在返回3M的亮度图像上基于确定的目标特征点继续跟踪，直至找到各目标特征点在3M图像上的准确位置。
在一示例中，考虑到bayer格式的原始图像的亮度偏低，此时可以对亮度图像作相同的拉亮操作。对于不同曝光程度下原始图像的亮度图像，可以根据参考图像和待对齐图像的亮度比例调整到相同亮度下，或者通过直方图均衡化操作来调整低亮度图像，可以适应于不同光照水平下的图像对齐场景。
在步骤73中，电子设备可以从目标特征点对中选取第二预设数量个目标特征点对，计算参考图像和各待对齐图像之间的映射模型。
例如，第一预设数量取值为100，第二预设数量取值为4。其中，目标特征点在参考图像上的位置A，电子设备可以利用KLT跟踪算法从待对齐图像中寻找到各目标特征点的实际位置B，假设未寻找到5个目标特征点而找到95个目标特征点，这样可以得到95个目标特征点对(A1～95，B1～95)。然后，从95个目标特征点对中选择4个，根据目标特征点对(A1～4，B1～4) 可以计算出一个3*3转换矩阵，即得到参考图像与待对齐图像的映射模型。
实际应用中，考虑到从目标特征点对中选取第二预设数量个目标特征点对的组合可以包括很多种，此情况下对于每一帧待对齐图像与参考图像可能对应多个映射模型。因此，本示例中还可以包括选择映射模型的步骤，参见图8，在步骤81中，电子设备可以根据第二预设数量个目标特征点对中第三预设数量个目标特征点在参考图像中的位置和映射模型，获取第三预设数量个目标特征点在各待对齐图像上的预测位置。在步骤82中，电子设备可以统计预测位置和实际位置之间的偏移量小于或等于偏移量阈值的目标特征点对的数量。在步骤83中，电子设备可以在数量小于数量阈值时，获取到最终的映射模型。
例如，继续以第二预设数量取值为4为例，电子设备可以将剩余91个特征点对(全部或者部分)依次输入该3*3映射模型，获取到映射模型计算出目标特征点在待对齐图像上的预测位置B2。理论上，预测位置B2和实际位置B应该是重合的，实际中预测位置B2和实际位置B存在偏移量，那么设置一个偏移量阈值(如50像素)，如果预测位置B2和实际位置B的偏移量小于或等于偏移量阈值，则说明此目标特征点验证通过。当统计出通过验证的特征点的数量超过数量阈值(如90)，说明该3*3映射模型能够表征参考图像和该帧待对齐图像的映射关系。
需要说明的是，电子设备可以在每获取到一个映射模型后，执行图8所示的方案，或者在获取到一定数量(如5个，可调整)的映射模型后再选取，相应方案落入本公开的保护范围。
实际应用中，步骤73和图8所示实施例可以采用相关技术中的随机抽样一致(RANdom SAmple Consensus，RANSAC)算法来对映射模型进行估计。在一些特征点匹配质量较低的情况下，RANSAC算法的时间复杂度会明显增加，此时可以对RANSAN算法作改进，例如将随机选取目标特征点修改为顺序选择目标特征点，如按照特征点的响应值从大到小排序目标特征点，由于响应值越大目标特征点的质量越高，因此可以选择排序前 几名或者前几十名的高质量的目标特征点，有利于减少计算量。技术人员可以根据具体场景进行选择，在此不作限定。
需要说明的是，本实施例中，由于步骤13中提取特征点的质量比较高，加上KLT跟踪算法跟踪性能比较稳定，因此获取的目标特征点集质量也比较高和稳定，进而可以通过少量的计算即可得到该映射模型，有利于减少计算量，满足电子设备快速计算的需求。在一些示例中，技术人员还可以选择一些提取特征点速度更快的算法来替换KLT跟踪算法，能够进一步提高计算的速度，相应方案落入本公开的保护范围。
在步骤14中，基于所述映射模型，将所述各待对齐图像与所述参考图像对齐。
本实施例中，参见图9，在步骤91中，电子设备可以获取各待对齐图像的各通道图像，例如R、G、G、B通道图像，然后基于上述映射模型对各通道图像分别进行转换。其中，图像转换过程中，保持线性插值方法如近邻插值，但不推荐使用双线性插值、双三次插值，这样可以保护raw原始数据线性关系不被破坏。在步骤92中，电子设备可以合并步骤91中转换后的各通道图像，得到对齐后的目标图像。这样，本实施例中可以达到各通道图像与参考图像中各通道图像进行对齐的效果。
在一实施例中，电子设备可以基于映射模型直接对各待对齐图像进行对齐。由于上述映射模型的鲁棒性较好，可以稳定的对齐效果。
至此，本公开实施例中通过获取多帧原始图像，且所述多帧原始图像包括一帧参考图像和多帧待对齐图像；然后，分别获取参考图像和各待对齐图像的亮度图像；之后，根据参考图像的亮度图像和各待对齐图像的亮度图像来获取参考图像和各待对齐图像之间的映射模型；最后，基于映射模型将各待对齐图像与参考图像对齐。本实施例中基于亮度图像获取映射模型，对亮度具有鲁棒性，可以满足不同亮度场景尤其是极暗场景下的图像对齐要求。
图10是根据一示例性实施例示出的一种图像对齐装置的框图。参见图 8，一种图像对齐装置，包括：
原始图像获取模块101，用于获取多帧原始图像，所述多帧原始图像包括一帧参考图像和多帧待对齐图像；
亮度图像获取模块102，用于分别获取所述参考图像和各待对齐图像的亮度图像；
映射模型获取模块103，用于基于所述参考图像的亮度图像和所述各待对齐图像的亮度图像，获取所述参考图像和所述各待对齐图像之间的映射模型；
图像对齐模块104，用于基于所述映射模型，将所述各待对齐图像与所述参考图像对齐。
在一实施例中，参见图11，所述图像对齐模块104包括：
通道模块转换单元111，用于基于所述映射模型对所述各待对齐图像的各通道图像进行转换；
通道模块合并单元112，用于合并转换后的各通道图像，得到对齐后的目标图像。
在一实施例中，参见图12，所述亮度图像获取模块102包括：
平均值获取单元121，用于针对所述参考图像和所述各待对齐图像，获取各图像的每个拜耳单元中像素灰度值的平均值；
亮度图像获取单元122，用于将所述各拜耳单元对应的平均值作为一个像素的灰度值，得到所述各图像的亮度图像。
在一实施例中，参见图13，所述映射模型获取模块103包括：
特征点提取单元131，用于从所述参考图像的亮度图像上提取多个特征点；
目标点筛选单元132，用于从所述参考图像对应的多个特征点筛选出第一预设数量个目标特征点；
映射模型获取单元133，用于基于所述第一预设数量个目标特征点，获取所述参考图像和所述各待对齐图像之间的映射模型。
在一实施例中，参见图14，所述特征点提取单元131包括：
梯度数据获取子单元141，用于获取所述参考图像的亮度图像的梯度数据；
特征点提取子单元142，用于基于预设的滤波核，根据所述梯度数据在所述亮度图像上提取出多个特征点。
在一实施例中，参见图15，所述目标点筛选单元132包括：
第一划分子单元151，用于将所述参考图像的亮度图像划分为第一预设数量个第一图像块；
第二划分子单元152，用于将各第一图像块划分为多个第二图像块；
候选点选取子单元153，用于将各第二图像块中响应值最大的特征点作为候选特征点；
目标点选取子单元154，用于将各个所述第一图像块中响应值最大的候选特征点作为目标特征点，得到第一预设数量个目标特征点。
在一实施例中，参见图16，所述映射模型获取单元133包括：
实际位置寻找子单元161，用于采用预设跟踪算法，寻找所述第一预设数量个目标特征点中各目标特征点在各待对齐图像中对应的实际位置；
特征点对获取子单元162，用于针对各目标特征点在所述参考图像中的位置与对应于所述各待对齐图像中的实际位置，得到各个目标特征点对应的目标特征点对；所述特征点对用于表征所述参考图像中目标特征点与各待对齐图像中特征点的一一对应关系；
映射模型计算子单元163，用于从所述目标特征点对中选取第二预设数量个目标特征点对，计算所述参考图像和所述各待对齐图像之间的映射模型。
在一实施例中，参见图17，所述映射模型获取单元133还包括：
预测位置获取子单元171，用于根据所述第二预设数量个目标特征点对中第三预设数量个目标特征点和所述映射模型，获取所述第三预设数量个目标特征点在所述各待对齐图像上的预测位置；
点对数量统计子单元172，用于统计所述预测位置和所述实际位置之间的偏移量小于或等于偏移量阈值的目标特征点对的数量；
映射模型获取子单元173，用于将所述数量小于数量阈值时对应的映射模型作为获取到的最终的映射模型。
在一实施例中，所述映射模型获取单元还包括：
亮度调整子单元，用于根据亮度比例或者直方图均衡化来调整所述各待对齐图像的亮度图像的亮度。
在一实施例中，所述第二预设数量个目标特征点对的选取方式包括随机选取或顺序选取；所述顺序选取是指按照响应值排序后，响应值较大的前预设数量特征点对。
可理解的是，本公开实施例提供的装置与上述方法实施例相对应，具体内容可以参考方法各实施例的内容，在此不再赘述。
图18是根据一示例性实施例示出的一种电子设备的框图。例如，电子设备1800可以是智能手机，计算机，数字广播终端，平板设备，医疗设备，健身设备，个人数字助理等。
参照图18，电子设备1800可以包括以下一个或多个组件：处理组件1802，存储器1804，电源组件1806，多媒体组件1808，音频组件1810，输入/输出(I/O)接口1812，传感器组件1814，通信组件1816，以及图像采集组件1818。
处理组件1802通常处理电子设备1800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1802可以包括一个或多个处理器1820来执行计算机程序。此外，处理组件1802可以包括一个或多个模块，便于处理组件1802和其他组件之间的交互。例如，处理组件1802可以包括多媒体模块，以方便多媒体组件1808和处理组件1802之间的交互。
存储器1804被配置为存储各种类型的数据以支持在电子设备1800的操作。这些数据的示例包括用于在电子设备1800上操作的任何应用程序或 方法的计算机程序，联系人数据，电话簿数据，消息，图片，视频等。存储器1804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件1806为电子设备1800的各种组件提供电力。电源组件1806可以包括电源管理***，一个或多个电源，及其他与为电子设备1800生成、管理和分配电力相关联的组件。电源组件1806可以包括电源芯片，控制器可以电源芯片通信，从而控制电源芯片导通或者断开开关器件，使电池向主板电路供电或者不供电。
多媒体组件1808包括在电子设备1800和目标对象之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示屏(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自目标对象的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。
音频组件1810被配置为输出和/或输入音频信号。例如，音频组件1810包括一个麦克风(MIC)，当电子设备1800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1804或经由通信组件1816发送。在一些实施例中，音频组件1810还包括一个扬声器，用于输出音频信号。
I/O接口1812为处理组件1802和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。
传感器组件1814包括一个或多个传感器，用于为电子设备1800提供各个方面的状态评估。例如，传感器组件1814可以检测到电子设备1800的打开/关闭状态，组件的相对定位，例如组件为电子设备1800的显示屏和小键盘，传感器组件1814还可以检测电子设备1800或一个组件的位置 改变，目标对象与电子设备1800接触的存在或不存在，电子设备1800方位或加速/减速和电子设备1800的温度变化。
通信组件1816被配置为便于电子设备1800和其他设备之间有线或无线方式的通信。电子设备1800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件1816经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，通信组件1816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备1800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现。
在示例性实施例中，还提供了一种包括可执行的计算机程序的非临时性可读存储介质，例如包括指令的存储器1804，上述可执行的计算机程序可由处理器执行。其中，可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (22)

  1. 一种图像对齐方法，其特征在于，包括：
    获取多帧原始图像，所述多帧原始图像包括一帧参考图像和多帧待对齐图像；
    分别获取所述参考图像和各待对齐图像的亮度图像；
    基于所述参考图像的亮度图像和所述各待对齐图像的亮度图像，获取所述参考图像和所述各待对齐图像之间的映射模型；
    基于所述映射模型，将所述各待对齐图像与所述参考图像对齐。
  2. 根据权利要求1所述的图像对齐方法，其特征在于，基于所述映射模型，将所述各待对齐图像与所述参考图像对齐，包括：
    基于所述映射模型对所述各待对齐图像的各通道图像进行转换；
    合并转换后的各通道图像，得到对齐后的目标图像。
  3. 根据权利要求1所述的图像对齐方法，其特征在于，分别获取所述参考图像和各待对齐图像的亮度图像，包括：
    针对所述参考图像和所述各待对齐图像，获取各图像的每个拜耳单元中像素灰度值的平均值；
    将所述各拜耳单元对应的平均值作为一个像素的灰度值，得到所述各图像的亮度图像。
  4. 根据权利要求1所述的图像对齐方法，其特征在于，基于所述参考图像的亮度图像和所述各待对齐图像的亮度图像，获取所述参考图像和所述各待对齐图像之间的映射模型，包括：
    从所述参考图像的亮度图像上提取多个特征点；
    从所述参考图像对应的多个特征点筛选出第一预设数量个目标特征点；
    基于所述第一预设数量个目标特征点，获取所述参考图像和所述各待对齐图像之间的映射模型。
  5. 根据权利要求4所述的图像对齐方法，其特征在于，从所述参考图像的亮度图像上提取多个特征点，包括：
    获取所述参考图像的亮度图像的梯度数据；
    基于预设的滤波核，根据所述梯度数据在所述亮度图像上提取出多个特征点。
  6. 根据权利要求4所述的图像对齐方法，其特征在于，从所述参考图像对应的多个特征点筛选出第一预设数量个目标特征点，包括：
    将所述参考图像的亮度图像划分为第一预设数量个第一图像块；
    将各第一图像块划分为多个第二图像块；
    将各第二图像块中响应值最大的特征点作为候选特征点；
    将各个所述第一图像块中响应值最大的候选特征点作为目标特征点，得到第一预设数量个目标特征点。
  7. 根据权利要求4所述的图像对齐方法，其特征在于，基于所述第一预设数量个目标特征点，获取所述参考图像和所述各待对齐图像之间的映射模型，包括：
    采用预设跟踪算法，寻找所述第一预设数量个目标特征点中各目标特征点在各待对齐图像中对应的实际位置；
    针对各目标特征点在所述参考图像中的位置与对应于所述各待对齐图像中的实际位置，得到各个目标特征点对应的目标特征点对；所述特征点对用于表征所述参考图像中目标特征点与各待对齐图像中特征点的一一对应关系；
    从所述目标特征点对中选取第二预设数量个目标特征点对，计算所述参考图像和所述各待对齐图像之间的映射模型。
  8. 根据权利要求7所述的图像对齐方法，其特征在于，基于所述第一预设数量个目标特征点，获取所述参考图像和所述各待对齐图像之间的映射模型，还包括：
    根据所述第二预设数量个目标特征点对中第三预设数量个目标特征点和所述映射模型，获取所述第三预设数量个目标特征点在所述各待对齐图像上的预测位置；
    统计所述预测位置和所述实际位置之间的偏移量小于或等于偏移量阈值的目标特征点对的数量；
    将所述数量小于数量阈值时对应的映射模型作为获取到的最终的映射模型。
  9. 根据权利要求7所述的图像对齐方法，其特征在于，采用预设跟踪算法，寻找所述第一预设数量个目标特征点中各目标特征点在各待对齐图像中对应的实际位置之前，所述方法还包括：
    根据亮度比例或者直方图均衡化来调整所述各待对齐图像的亮度图像的亮度。
  10. 根据权利要求7或8所述的图像对齐方法，其特征在于，所述第二预设数量个目标特征点对的选取方式包括随机选取或顺序选取；所述顺序选取是指按照响应值排序后，响应值较大的前预设数量特征点对。
  11. 一种图像对齐装置，其特征在于，包括：
    原始图像获取模块，用于获取多帧原始图像，所述多帧原始图像包括一帧参考图像和多帧待对齐图像；
    亮度图像获取模块，用于分别获取所述参考图像和各待对齐图像的亮度图像；
    映射模型获取模块，用于基于所述参考图像的亮度图像和所述各待对齐图像的亮度图像，获取所述参考图像和所述各待对齐图像之间的映射模型；
    图像对齐模块，用于基于所述映射模型，将所述各待对齐图像与所述参考图像对齐。
  12. 根据权利要求11所述的图像对齐装置，其特征在于，所述图像对齐模块包括：
    通道模块转换单元，用于基于所述映射模型对所述各待对齐图像的各通道图像进行转换；
    通道模块合并单元，用于合并转换后的各通道图像，得到对齐后的目 标图像。
  13. 根据权利要求11所述的图像对齐装置，其特征在于，所述亮度图像获取模块包括：
    平均值获取单元，用于针对所述参考图像和所述各待对齐图像，获取各图像的每个拜耳单元中像素灰度值的平均值；
    亮度图像获取单元，用于将所述各拜耳单元对应的平均值作为一个像素的灰度值，得到所述各图像的亮度图像。
  14. 根据权利要求11所述的图像对齐装置，其特征在于，所述映射模型获取模块包括：
    特征点提取单元，用于从所述参考图像的亮度图像上提取多个特征点；
    目标点筛选单元，用于从所述参考图像对应的多个特征点筛选出第一预设数量个目标特征点；
    映射模型获取单元，用于基于所述第一预设数量个目标特征点，获取所述参考图像和所述各待对齐图像之间的映射模型。
  15. 根据权利要求14所述的图像对齐装置，其特征在于，所述特征点提取单元包括：
    梯度数据获取子单元，用于获取所述参考图像的亮度图像的梯度数据；
    特征点提取子单元，用于基于预设的滤波核，根据所述梯度数据在所述亮度图像上提取出多个特征点。
  16. 根据权利要求14所述的图像对齐装置，其特征在于，所述目标点筛选单元包括：
    第一划分子单元，用于将所述参考图像的亮度图像划分为第一预设数量个第一图像块；
    第二划分子单元，用于将各第一图像块划分为多个第二图像块；
    候选点选取子单元，用于将各第二图像块中响应值最大的特征点作为候选特征点；
    目标点选取子单元，用于将各个所述第一图像块中响应值最大的候选 特征点作为目标特征点，得到第一预设数量个目标特征点。
  17. 根据权利要求14所述的图像对齐装置，其特征在于，所述映射模型获取单元包括：
    实际位置寻找子单元，用于采用预设跟踪算法，寻找所述第一预设数量个目标特征点中各目标特征点在各待对齐图像中对应的实际位置；
    特征点对获取子单元，用于针对各目标特征点在所述参考图像中的位置与对应于所述各待对齐图像中的实际位置，得到各个目标特征点对应的目标特征点对；所述特征点对用于表征所述参考图像中目标特征点与各待对齐图像中特征点的一一对应关系；
    映射模型计算子单元，用于从所述目标特征点对中选取第二预设数量个目标特征点对，计算所述参考图像和所述各待对齐图像之间的映射模型。
  18. 根据权利要求17所述的图像对齐装置，其特征在于，所述映射模型获取单元还包括：
    预测位置获取子单元，用于根据所述第二预设数量个目标特征点对中第三预设数量个目标特征点和所述映射模型，获取所述第三预设数量个目标特征点在所述各待对齐图像上的预测位置；
    点对数量统计子单元，用于统计所述预测位置和所述实际位置之间的偏移量小于或等于偏移量阈值的目标特征点对的数量；
    映射模型获取子单元，用于将所述数量小于数量阈值时对应的映射模型作为获取到的最终的映射模型。
  19. 根据权利要求17所述的图像对齐装置，其特征在于，所述映射模型获取单元还包括：
    亮度调整子单元，用于根据亮度比例或者直方图均衡化来调整所述各待对齐图像的亮度图像的亮度。
  20. 根据权利要求17或18所述的图像对齐装置，其特征在于，所述第二预设数量个目标特征点对的选取方式包括随机选取或顺序选取；所述顺序选取是指按照响应值排序后，响应值较大的前预设数量特征点对。
  21. 一种电子设备，其特征在于，包括：
    处理器；
    用于存储所述处理器可执行的计算机程序的存储器；
    所述处理器被配置为执行所述存储器中的计算机程序以实现权利要求1～10任一项所述方法的步骤。
  22. 一种可读存储介质，其上存储有可执行的计算机程序，其特征在于，该计算机程序被执行时实现权利要求1～10任一项所述方法的步骤。
PCT/CN2020/093508 2020-05-29 2020-05-29 图像对齐方法及装置、电子设备、存储介质 WO2021237732A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202080001856.4A CN114096994A (zh) 2020-05-29 2020-05-29 图像对齐方法及装置、电子设备、存储介质
EP20824070.5A EP3940633B1 (en) 2020-05-29 2020-05-29 Image alignment method and apparatus, electronic device, and storage medium
PCT/CN2020/093508 WO2021237732A1 (zh) 2020-05-29 2020-05-29 图像对齐方法及装置、电子设备、存储介质
US17/199,032 US11763470B2 (en) 2020-05-29 2021-03-11 Method and apparatus for aligning image frames, electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/093508 WO2021237732A1 (zh) 2020-05-29 2020-05-29 图像对齐方法及装置、电子设备、存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/199,032 Continuation US11763470B2 (en) 2020-05-29 2021-03-11 Method and apparatus for aligning image frames, electronic device and storage medium

Publications (1)

Publication Number Publication Date
WO2021237732A1 true WO2021237732A1 (zh) 2021-12-02

Family

ID=78705237

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/093508 WO2021237732A1 (zh) 2020-05-29 2020-05-29 图像对齐方法及装置、电子设备、存储介质

Country Status (4)

Country Link
US (1) US11763470B2 (zh)
EP (1) EP3940633B1 (zh)
CN (1) CN114096994A (zh)
WO (1) WO2021237732A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953332A (zh) * 2023-03-15 2023-04-11 四川新视创伟超高清科技有限公司 动态图像融合的亮度调整方法、***、电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11910092B2 (en) * 2020-10-01 2024-02-20 Black Sesame Technologies Inc. Panoramic look-around view generation method, in-vehicle device and in-vehicle system
CN113706592A (zh) * 2021-08-24 2021-11-26 北京百度网讯科技有限公司 一种定位信息的修正方法、装置、电子设备和存储介质
CN116664431B (zh) * 2023-05-30 2024-04-12 新疆美特智能安全工程股份有限公司 一种基于人工智能的图像处理***及方法
CN117671011B (zh) * 2024-01-31 2024-05-28 山东大学 基于改进orb算法的agv定位精度提升方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559722A (zh) * 2013-11-25 2014-02-05 哈尔滨工业大学 基于灰度线性建模的序列图像抖动量计算方法
CN107016695A (zh) * 2017-04-13 2017-08-04 首都师范大学 一种亚像素级影像配准方法及***
US20190281215A1 (en) * 2018-03-06 2019-09-12 Hong Kong Applied Science and Technology Research Institute Company, Limited Method for High-Quality Panorama Generation with Color, Luminance, and Sharpness Balancing

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9398205B2 (en) * 2010-09-01 2016-07-19 Apple Inc. Auto-focus control using image statistics data with coarse and fine auto-focus scores
US9686537B2 (en) * 2013-02-05 2017-06-20 Google Inc. Noise models for image processing
JP5946421B2 (ja) * 2013-03-19 2016-07-06 キヤノン株式会社 撮像装置及びその制御方法
US10708525B2 (en) * 2018-08-27 2020-07-07 Qualcomm Incorporated Systems and methods for processing low light images
US11276244B2 (en) * 2018-09-18 2022-03-15 AB Strategies SEZC Ltd. Fixing holes in a computer generated model of a real-world environment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559722A (zh) * 2013-11-25 2014-02-05 哈尔滨工业大学 基于灰度线性建模的序列图像抖动量计算方法
CN107016695A (zh) * 2017-04-13 2017-08-04 首都师范大学 一种亚像素级影像配准方法及***
US20190281215A1 (en) * 2018-03-06 2019-09-12 Hong Kong Applied Science and Technology Research Institute Company, Limited Method for High-Quality Panorama Generation with Color, Luminance, and Sharpness Balancing

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YI MENG: "Image Registration Based on Feature Point and Its Application to Electronic Image Stabilization", CHINESE DOCTORAL DISSERTATIONS FULL-TEXT DATABASE, UNIVERSITY OF CHINESE ACADEMY OF SCIENCES, CN, 1 September 2013 (2013-09-01), CN , XP055803239, ISSN: 1674-022X *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953332A (zh) * 2023-03-15 2023-04-11 四川新视创伟超高清科技有限公司 动态图像融合的亮度调整方法、***、电子设备
CN115953332B (zh) * 2023-03-15 2023-08-18 四川新视创伟超高清科技有限公司 动态图像融合的亮度调整方法、***、电子设备

Also Published As

Publication number Publication date
CN114096994A (zh) 2022-02-25
EP3940633A4 (en) 2022-03-16
US11763470B2 (en) 2023-09-19
EP3940633A1 (en) 2022-01-19
EP3940633B1 (en) 2023-08-16
US20210374979A1 (en) 2021-12-02

Similar Documents

Publication Publication Date Title
WO2021237732A1 (zh) 图像对齐方法及装置、电子设备、存储介质
CN109671106B (zh) 一种图像处理方法、装置与设备
WO2019183813A1 (zh) 一种拍摄方法及设备
WO2019148978A1 (zh) 图像处理方法、装置、存储介质及电子设备
CN109688351B (zh) 一种图像信号处理方法、装置及设备
CN111179282B (zh) 图像处理方法、图像处理装置、存储介质与电子设备
RU2628494C1 (ru) Способ и устройство для генерирования фильтра изображения
CN110784660B (zh) 一种摄像亮度控制方法、***、设备和介质
TW201234843A (en) Flash synchronization using image sensor interface timing signal
CN108513069B (zh) 图像处理方法、装置、存储介质及电子设备
CN109784327B (zh) 边界框确定方法、装置、电子设备及存储介质
US8995784B2 (en) Structure descriptors for image processing
WO2023160285A9 (zh) 视频处理方法和装置
CN112449085A (zh) 图像处理方法及装置、电子设备、可读存储介质
CN106210446B (zh) 饱和度增强方法及装置
US20230014272A1 (en) Image processing method and apparatus
CN109685802B (zh) 一种低延迟的视频分割实时预览方法
CN117132515A (zh) 一种图像处理方法及电子设备
WO2022115996A1 (zh) 图像处理方法及设备
KR20220151713A (ko) 콘텐츠 기반 이미지 프로세싱
CN108431867B (zh) 一种数据处理方法及终端
CN116453131B (zh) 文档图像矫正方法、电子设备及存储介质
CN115082357B (zh) 视频去噪数据集生成方法、装置、计算机设备和存储介质
CN116205822B (zh) 一种图像处理的方法、电子设备和计算机可读存储介质
JP7212128B2 (ja) 画像処理方法、装置及び記憶媒体

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020824070

Country of ref document: EP

Effective date: 20201222

NENP Non-entry into the national phase

Ref country code: DE