CN110503618A - 图像处理方法及电子设备 - Google Patents
图像处理方法及电子设备 Download PDFInfo
- Publication number
- CN110503618A CN110503618A CN201910817902.7A CN201910817902A CN110503618A CN 110503618 A CN110503618 A CN 110503618A CN 201910817902 A CN201910817902 A CN 201910817902A CN 110503618 A CN110503618 A CN 110503618A
- Authority
- CN
- China
- Prior art keywords
- image
- raw
- deviation
- files
- obtains
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000005070 sampling Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000013136 deep learning model Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims description 44
- 230000008569 process Effects 0.000 claims description 19
- 238000012937 correction Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 abstract description 13
- 230000001737 promoting effect Effects 0.000 abstract description 5
- 238000003860 storage Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 6
- 238000013178 mathematical model Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000006854 communication Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000002318 cardia Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 235000021384 green leafy vegetables Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000010981 turquoise Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种图像处理方法及电子设备,所述方法包括:获取原始图像文件;按照预设倍数,对原始图像文件进行上采样操作,得到第一图像,第一图像的尺寸为原始图像文件的尺寸的预设倍数;将第一图像输入深度学习模型,输出第一图像的图像偏差值;根据图像偏差值,对第一图像进行修正,得到修正图像。本发明中,修正图像的生成基于原始图像文件,且由于原始图像文件中包含的完整且丰富的原始图像数据,使得本发明可以更充分的利用原始图像数据进行图像偏差值的估计,得到更加精确的图像偏差值,从而在提升图像的图像质量的过程中,增加了处理精度和处理效果。
Description
技术领域
本发明实施例涉及图像处理技术领域,尤其涉及一种图像处理方法及电子设备。
背景技术
随着摄像技术的不断发展,用户对于高清图像的需求越来越高,图像超分技术能够通过低质量、低分辨率的图像生成高质量、高分辨率的图像,可以满足人们对于高清图像的需求。
目前,对于低质量、低分辨率的图像进行图像质量和分辨率的提示,可以通过图像超分算法来实现,具体为基于RGB(红色通道、绿色通道、蓝色通道)格式的图像,或YUV(明亮度通道、色度通道、饱和度通道)格式的图像,通过图像超分算法,实现对原始图像的尺寸放大以及图像质量增强。
但发明人在研究上述现有技术的过程中发现,上述现有技术方案存在如下缺点:由于RGB格式的图像和YUV格式的图像已经过图像信号处理,使得其存在丢失真实图像细节的情况,导致在进行图像超分算法处理的过程中,降低了处理精度和处理效果。
发明内容
本发明提供一种图像处理方法及电子设备,以解决现有的图像超分技术中处理精度和处理效果较低的问题。
第一方面,本发明实施例提供了一种图像处理方法,应用于包括摄像头的电子设备,所述方法包括:
获取原始图像文件;
按照预设倍数,对所述原始图像文件进行上采样操作,得到第一图像,所述第一图像的尺寸为所述原始图像文件的尺寸的所述预设倍数;
将所述第一图像输入深度学习模型,输出所述第一图像的图像偏差值;
根据所述图像偏差值,对所述第一图像进行修正,得到修正图像。
可选的,所述按照预设倍数,对所述原始图像文件进行上采样操作,得到第一图像,包括:
对所述原始图像文件进行等比例切分,得到多个所述预设区域;
按照所述预设倍数,对每个所述预设区域进行插值操作,得到每个所述预设区域对应的拼接块区域,所述拼接块区域的尺寸为所述预设区域的尺寸的所述预设倍数;
将所有的所述拼接块区域进行拼接,得到所述第一图像。
可选的,在所述根据所述图像偏差值,对所述第一图像进行修正,得到修正图像之后,所述方法还包括:
对所述修正图像进行图像信号处理,得到展示图像。
可选的,所述根据所述图像偏差值,对所述第一图像进行修正,得到修正图像,包括:
根据所述图像偏差值,对所述第一图像中像素点的像素值进行修正,得到所述修正图像。
可选的,所述原始图像文件的格式为拜耳阵列格式。
第二方面,本发明实施例还提供了一种电子设备,所述电子设备,包括:
获取模块,用于获取原始图像文件;
采样模块,用于按照预设倍数,对所述原始图像文件进行上采样操作,得到第一图像,所述第一图像的尺寸为所述原始图像文件的尺寸的所述预设倍数;
偏差计算模块,用于将所述第一图像输入深度学习模型,输出所述第一图像的图像偏差值;
修正模块,用于根据所述图像偏差值,对所述第一图像进行修正,得到修正图像。
可选的,所述采样模块具体包括:
切分子模块,用于对所述原始图像文件进行等比例切分,得到多个所述预设区域;
采样子模块,用于按照所述预设倍数,对每个所述预设区域进行插值操作,得到每个所述预设区域对应的拼接块区域,所述拼接块区域的尺寸为所述预设区域的尺寸的所述预设倍数;
拼接子模块,用于将所有的所述拼接块区域进行拼接,得到所述第一图像。
可选的,所述装置还包括:
处理模块,用于对所述修正图像进行图像信号处理,得到展示图像。
可选的,所述修正模块具体包括:
修正子模块,用于根据所述图像偏差值,对所述第一图像中像素点的像素值进行修正,得到所述修正图像。
可选的,所述原始图像文件的格式为拜耳阵列格式。
第三方面,本发明实施例还提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现本发明所述的图像处理方法的步骤。
第四方面,本发明实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现本发明所述的图像处理方法的步骤。
在本发明实施例中,获取原始图像文件;按照预设倍数,对原始图像文件进行上采样操作,得到第一图像,第一图像的尺寸为原始图像文件的尺寸的预设倍数;将第一图像输入深度学习模型,输出第一图像的图像偏差值;根据图像偏差值,对第一图像进行修正,得到修正图像。本发明中,修正图像的生成基于原始图像文件,且由于原始图像文件中包含的完整且丰富的原始图像数据,使得本发明可以更充分的利用原始图像数据进行图像偏差值的估计,得到更加精确的图像偏差值,从而在提升图像的图像质量的过程中,增加了处理精度和处理效果。
附图说明
图1示出了本发明实施例提供的一种图像处理方法的流程图;
图2示出了本发明实施例提供的一种原始图像文件的格式示意图;
图3示出了本发明实施例提供的一种图像处理方法的具体流程图;
图4示出了本发明实施例提供的另一种图像处理方法的具体流程图;
图5示出了本发明实施例提供的另一种图像处理方法的具体流程图;
图6示出了根据本发明实施例提供的一种电子设备的结构框图;
图7示出了本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
参照图1,图1示出了本发明实施例提供的一种图像处理方法的流程图,该图像处理方法应用于包括摄像头的电子设备中,该电子设备可以包括:手机、笔记本、平板电脑等。在本发明实施例中,对此不作具体限定。
该方法具体可以包括如下步骤:
步骤101,获取原始图像文件。
在本发明实施例中,原始图像文件可以为raw(未处理)域的图像,原始图像文件包含从电子设备摄像机的图像传感器所生成的原始数据。原始图像文件包括最原始的图像数据,该图像数据尚未被处理,未被打印或用于编辑。通常情况下,原始图像文件有宽色域的内部色彩,可以进行精确的调整,可以在转换之前作出一些简单修改。原始图像文件可以尽可能的捕捉现场的拍摄特性,并包含有关场景的光照强度和颜色的物理信息,同时记录了由电子设备摄像机拍摄所产生的一些元数据(如感光度的设置、快门速度、光圈值、白平衡等)。相较于RGB格式和YUV格式的图像,raw域的图像保留了大部分拍摄的图像信息,具有更多的图像细节。
在该步骤中,电子设备可以在电子设备摄像机的图像传感器产生最原始的图像数据时,将这些原始的图像数据提取并生成为raw域的图像,从而得到原始图像文件。
另外,原始图像文件可以在电子设备的显示屏中通过三原色通道的像素点的列阵排布进行显示,参照图2,其示出了本发明实施例提供的一种原始图像文件的格式示意图,其中,图2展示了6×6的预设区域大小的原始图像文件。原始图像文件可以以列阵排布的形式进行展示,每个像素点可以为三原色通道中的一种,四个像素点可以构成一个预设区域A,每个预设区域A中,依次按照左上、右上、左下、右下四个像素点,可以为得到像素点按照gbrg(绿蓝红绿)通道依次排列的预设区域A。另外,在实际应用中,预设区域A中还可以具有grbg(绿红蓝绿)通道、rggb(红绿绿蓝)通道、bggr(蓝绿绿红)通道的列阵排布形式,本发明实施例对此不作限定。
可选的,所述原始图像文件的格式为拜耳阵列格式。其中,拜耳阵列是实现图像传感器拍摄彩色图像的主要技术之一,它是一个4×4阵列,由8个绿色、4个蓝色和4个红色像素组成,在将灰度图形转换为彩色图片时会以2×2矩阵进行9次运算,最后生成一幅彩色图形。整体上,绿色像素的数量是其他两种颜色像素数量的两倍,这是因为研究显示人眼对绿色最敏感,所以滤光层的绿色像素最多,使得拜耳阵列可以很好的模拟人眼对色彩的敏感程度,因此被广泛运用于现代数码相机、摄像机和手机摄像头中。
步骤102,按照预设倍数,对所述原始图像文件进行上采样操作,得到第一图像,所述第一图像的尺寸为所述原始图像文件的尺寸的所述预设倍数。
在该步骤中,在得到原始图像文件后,可以首先通过上采样操作,提高原始图像文件的分辨率。
具体的,提高原始图像文件的分辨率包括:按照预设倍数,对原始图像文件中的预设区域进行自适应上采样操作,得到尺寸相较于原始图像文件的尺寸放大了预设倍数的第一图像。之所以称之为自适应上采样操作,是指上采样操作所基于的预设倍数可以根据实际需求进行调整和优化,达到提高原始图像文件的分辨率的过程的可控性。
上采样(upsampling)操作用于对图像的分辨率进行放大,从而可以使得图像能够显示在更高分辨率的显示设备上。在该步骤中,对原始图像文件的尺寸放大可以采用内插值、近邻插值、双线性插值、均值插值、中值插值等插值方法,即在原始图像文件的基础上在像素点之间采用合适的插值算法***新的元素。
步骤103,将所述第一图像输入深度学习模型,输出所述第一图像的图像偏差值。
在本发明实施例中,经过了步骤102的采样操作,可以得到尺寸相较于原始图像文件的尺寸放大了预设倍数的第一图像,由于采用了上采样的方式,虽然第一图像的尺寸大小变大了,但是第一图像的图像质量并没有提升,甚至有些细节会出现偏差。
因此在该步骤中,为了得到更好的图像质量,可以通过深度学习的方法对第一图像进行图像偏差值估计,利用图像偏差值,可以对第一图像中像素点的像素值进行补偿,从而达到增强第一图像的图像质量的目的。
具体的,可以将第一图像输入深度学习模型,并输出第一图像的图像偏差值。其中,深度学习模型可以包括一个或多个数学模型,数学模型是运用数理逻辑方法和数学语言建构的科学或工程模型,数学模型是针对参照某种事物***的特征或数量依存关系,采用数学语言,概括地或近似地表述出的一种数学结构,这种数学结构是借助于数学符号刻画出来的某种***的纯关系结构。数学模型可以是一个或一组代数方程、微分方程、差分方程、积分方程或统计学方程及其组合,通过这些方程定量地或定性地描述***各变量之间的相互关系或因果关系。除了用方程描述的数学模型外,还有用其他数学工具,如代数、几何、拓扑、数理逻辑等描述的模型,数学模型描述的是***的行为和特征而不是***的实际结构。
在本发明实施例中,深度学习模型可以包括卷积神经网络(ConvolutionalNeuralNetworks,CNN)模型。卷积神经网络模型可以包括多层卷积层,卷积层用于对第一图像进行卷积(Convolution)操作,从而提取第一图像中像素点的特征值,并通过将第一图像中像素点的特征值与标准图像中像素点的特征值进行对比,计算出第一图像相较于标准图像的图像偏差值。
步骤104,根据所述图像偏差值,对所述第一图像进行修正,得到修正图像。
在该步骤中,由于得到了第一图像与标准图像之间的图像偏差值,则可以根据第一图像的图像偏差值,对第一图像进行修正,具体的,修正方式可以包括将图像偏差值与第一图像进行叠加处理,从而得到修正后的修正图像,叠加处理的方式可以消除第一图像中存在的偏色问题,同时保证图像质量。
在本发明实施例中,在对根据图像偏差值,对第一图像进行修正之后,得到了分辨率和图像质量都大幅度提高了的修正图像,由于修正图像的生成是基于raw域格式的图像,且由于raw域格式的原始图像文件中包含的完整且丰富的原始图像数据,使得本发明实施例可以更充分的利用原始图像数据进行图像偏差值的估计,得到更加精确的图像偏差值,从而在提升图像的图像质量的过程中,增加了处理精度和处理效果。
综上所述,在本发明实施例中,所述图像处理方法包括:获取原始图像文件;按照预设倍数,对原始图像文件进行上采样操作,得到第一图像,第一图像的尺寸为原始图像文件的尺寸的预设倍数;将第一图像输入深度学习模型,输出第一图像的图像偏差值;根据图像偏差值,对第一图像进行修正,得到修正图像。本发明中,修正图像的生成基于raw域格式的图像,且由于raw域格式的图像中包含的完整且丰富的原始图像数据,使得本发明可以更充分的利用原始图像数据进行图像偏差值的估计,得到更加精确的图像偏差值,从而在提升图像的图像质量的过程中,增加了处理精度和处理效果。
实施例二
参照图3,图3示出了本发明实施例提供的一种图像处理方法的具体步骤流程图,该方法可以包括:
步骤201,获取原始图像文件。
在本发明实施例中,该步骤201可以参照上述步骤101的相关记载,为了避免重复,此处不再赘述。
步骤202,对所述原始图像文件进行等比例切分,得到多个预设区域。
在该步骤中,参照图2,原始图像文件可以以列阵排布的形式进行展示,每个像素点可以为三原色通道中的一种,四个像素点可以构成一个包括2×2的像素点的预设区域A,因此,将原始图像文件按照预设区域A的大小比例进行等比例切分,可以得到36个预设区域A。
例如,假设原始图像文件的尺寸为高:h,宽:w。将该原始图像文件按照2×2的像素点的预设区域进行切割,可以得到个预设区域。
步骤203,按照所述预设倍数,对每个所述预设区域进行插值操作,得到每个所述预设区域对应的拼接块区域,所述拼接块区域的尺寸为所述预设区域的尺寸的所述预设倍数。
本发明实施例中,插值操作是上采样处理的一种具体实现,在该步骤中,插值操作包括但不限于内插值、近邻插值、双线性插值、均值插值、中值插值等插值方法。
在该步骤中,为了进一步降低插值处理的计算量,可以针对每一个预设区域,按照预设倍数进行独立的插值操作,从而得到尺寸相较于预设区域的尺寸增大了预设倍数的拼接块区域。由于直接对整个原始图像文件进行插值操作,会产生计算量和误差率较大的问题,因此,本发明实施例对每个预设区域插值得到对应的拼接块区域,通过增加插值操作的执行次数,降低了每次插值操作的计算量和误差率。
例如,假设原始图像文件的尺寸为高:h,宽:w。将该原始图像文件按照2×2的像素点的预设区域进行切割,可以得到个预设区域。再将2×2的像素点的预设区域,按照预设倍数N进行插值操作,可以得到尺寸为2N×2N的放大的拼接块区域。
步骤204,将所有的所述拼接块区域进行拼接,得到所述第一图像。
在该步骤中,根据步骤203得到的个尺寸为2N×2N的拼接块区域,将所有拼接块区域按照原有位置进行拼接,可以得到高和宽都放大N倍的第一图像,即得到了分辨率提高的第一图像,同时第一图像中的每个拼接块区域维持原有的通道列阵格式(比如gbrg)。
步骤205,将所述第一图像输入深度学习模型,输出所述第一图像的图像偏差值。
在本发明实施例中,该步骤205可以参照上述步骤103的相关记载,为了避免重复,此处不再赘述。
步骤206,根据所述图像偏差值,对所述第一图像进行修正,得到修正图像。
在本发明实施例中,该步骤206可以参照上述步骤104的相关记载,为了避免重复,此处不再赘述。
在本发明实施例中,所述图像处理方法包括:获取原始图像文件;按照预设倍数,对原始图像文件进行上采样操作,得到第一图像,第一图像的尺寸为原始图像文件的尺寸的预设倍数;将第一图像输入深度学习模型,输出第一图像的图像偏差值;根据图像偏差值,对第一图像进行修正,得到修正图像。本发明中,修正图像的生成基于raw域格式的图像,且由于raw域格式的原始图像文件中包含的完整且丰富的原始图像数据,使得本发明可以更充分的利用原始图像数据进行图像偏差值的估计,得到更加精确的图像偏差值,从而在提升图像的图像质量的过程中,增加了处理精度和处理效果。并且,在进行上采样操作的过程中,为了进一步降低上采样操作的计算量,可以针对每一个预设区域,按照预设倍数进行独立的插值操作,从而得到尺寸相较于预设区域的尺寸增大了预设倍数的拼接块区域。由于直接对整个原始图像文件进行插值操作,会产生计算量和误差率较大的问题,因此,本发明实施例对每个预设区域插值得到对应的拼接块区域,通过增加插值操作的执行次数,降低了每次插值操作的计算量和误差率。
实施例三
参照图4,示出了本发明实施例提供的另一种图像处理方法的具体流程图,该方法具体可以包括如下步骤:
步骤301,获取原始图像文件。
在本发明实施例中,该步骤301可以参照上述步骤101的相关记载,为了避免重复,此处不再赘述。
步骤302,按照预设倍数,对所述原始图像文件进行上采样操作,得到第一图像,所述第一图像的尺寸为所述原始图像文件的尺寸的所述预设倍数。
在本发明实施例中,该步骤302可以参照上述步骤102的相关记载,为了避免重复,此处不再赘述。
步骤303,将所述第一图像输入深度学习模型,输出所述第一图像的图像偏差值。
在本发明实施例中,该步骤303可以参照上述步骤103的相关记载,为了避免重复,此处不再赘述。
步骤304,根据所述图像偏差值,对所述第一图像中像素点的像素值进行修正,得到所述修正图像。
在该步骤中,由于得到了第一图像与标准图像之间的图像偏差值,则可以根据第一图像的图像偏差值,对第一图像中像素点的像素值进行修正,具体的,修正方式可以包括将图像偏差值与第一图像中像素点的像素值进行叠加处理,从而得到修正后的修正图像,叠加处理的方式可以消除第一图像中存在的偏色问题,同时保证图像质量。
如,图像偏差值可以由正值和负值,通过将正值的图像偏差值与第一图像中对应像素点的像素值进行加和,可以达到对该像素点的正向调整;通过将负值的图像偏差值与第一图像中对应像素点的像素值进行加和,可以达到对该像素点的负向调整。
在本发明实施例中,所述图像处理方法包括:获取原始图像文件;按照预设倍数,对原始图像文件进行上采样操作,得到第一图像,第一图像的尺寸为原始图像文件的尺寸的预设倍数;将第一图像输入深度学习模型,输出第一图像的图像偏差值;根据图像偏差值,对第一图像进行修正,得到修正图像。本发明中,修正图像的生成基于raw域格式的图像,且由于raw域格式的图像中包含的完整且丰富的原始图像数据,使得本发明可以更充分的利用原始图像数据进行图像偏差值的估计,得到更加精确的图像偏差值,从而在提升图像的图像质量的过程中,增加了处理精度和处理效果。
实施例四
参照图5,示出了本发明实施例提供的另一种图像处理方法的具体流程图,该方法具体可以包括如下步骤:
步骤401,获取原始图像文件。
在本发明实施例中,该步骤401可以参照上述步骤101的相关记载,为了避免重复,此处不再赘述。
步骤402,按照预设倍数,对所述原始图像文件进行上采样操作,得到第一图像,所述第一图像的尺寸为所述原始图像文件的尺寸的所述预设倍数;
在本发明实施例中,该步骤402可以参照上述步骤102的相关记载,为了避免重复,此处不再赘述。
步骤403,将所述第一图像输入深度学习模型,输出所述第一图像的图像偏差值;
在本发明实施例中,该步骤403可以参照上述步骤103的相关记载,为了避免重复,此处不再赘述。
步骤404,根据所述图像偏差值,对所述第一图像进行修正,得到修正图像。
在本发明实施例中,该步骤404可以参照上述步骤104的相关记载,为了避免重复,此处不再赘述。
可选的,在步骤404之后,所述方法还可以包括:
步骤405,对所述修正图像进行图像信号处理,得到展示图像。
在该步骤中,经过步骤404得到的修正图像,其根本还是raw域的原始图像,若要将该修正图像进行可视化展示,则还需要对修正图像进行图像信号处理(ISP,Image SignalProcessing),从而得到可视化的展示图像。
具体的,图像信号处理主要用于对图像传感器输出的raw域的原始图像进行处理,主要处理过程包括但不限于对raw域的原始图像进行有线性纠正、背光补偿、伽马变换、噪声去除、坏点去除、内插、白平衡、自动曝光控制等操作,图像信号处理能够使得图像在不同的光学条件下都能较好的还原现场细节。
在本发明实施例中,所述图像处理方法包括:获取原始图像文件;按照预设倍数,对原始图像文件进行上采样操作,得到第一图像,第一图像的尺寸为原始图像文件的尺寸的预设倍数;将第一图像输入深度学习模型,输出第一图像的图像偏差值;根据图像偏差值,对第一图像进行修正,得到修正图像。本发明中,修正图像的生成基于raw域格式的图像,且由于raw域格式的图像中包含的完整且丰富的原始图像数据,使得本发明可以更充分的利用原始图像数据进行图像偏差值的估计,得到更加精确的图像偏差值,从而在提升图像的图像质量的过程中,增加了处理精度和处理效果,并且,在对修正图像进行图像信号处理之后,从而可以得到可视化的展示图像以供用户观赏。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请实施例并不受所描述的动作顺序的限制,因为依据本申请实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定都是本申请实施例所必须的。
实施例五
参照图6所示,其示出了根据本发明实施例提供的一种电子设备的结构框图,所述电子设备50可以包括:
获取模块501,用于获取原始图像文件;
可选的,所述原始图像文件的格式为拜耳阵列格式。
采样模块502,用于按照预设倍数,对所述原始图像文件进行上采样操作,得到第一图像,所述第一图像的尺寸为所述原始图像文件的尺寸的所述预设倍数;
可选的,采样模块502具体包括:
切分子模块,用于对所述原始图像文件进行等比例切分,得到多个所述预设区域;
采样子模块,用于按照所述预设倍数,对每个所述预设区域进行插值操作,得到每个所述预设区域对应的拼接块区域,所述拼接块区域的尺寸为所述预设区域的尺寸的所述预设倍数;
拼接子模块,用于将所有的所述拼接块区域进行拼接,得到所述第一图像。
偏差计算模块503,用于将所述第一图像输入深度学习模型,输出所述第一图像的图像偏差值;
修正模块504,用于根据所述图像偏差值,对所述第一图像进行修正,得到修正图像。
可选的,修正模块504具体包括:
修正子模块,用于根据所述图像偏差值,对所述第一图像中像素点的像素值进行修正,得到所述修正图像。
可选的,所述装置还包括:
处理模块,用于对所述修正图像进行图像信号处理,得到展示图像。
在本发明实施例中,所述电子设备包括:获取模块,用于获取原始图像文件;采样模块,用于按照预设倍数,对原始图像文件进行上采样操作,得到第一图像,第一图像的尺寸为原始图像文件的尺寸的预设倍数;偏差计算模块,用于将第一图像输入深度学习模型,输出第一图像的图像偏差值;修正模块,用于根据图像偏差值,对第一图像进行修正,得到修正图像。本发明中,修正图像的生成基于raw域格式的图像,且由于raw域格式的原始图像文件中包含的完整且丰富的原始图像数据,使得本发明可以更充分的利用原始图像数据进行图像偏差值的估计,得到更加精确的图像偏差值,从而在提升图像的图像质量的过程中,增加了处理精度和处理效果。
图7为实现本发明各个实施例的一种电子设备的硬件结构示意图,该电子设备900包括但不限于:射频单元901、网络模块902、音频输出单元903、输入单元904、传感器905、显示单元906、用户输入单元907、接口单元908、存储器909、处理器910、以及电源911等部件。本领域技术人员可以理解,图7中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。在本发明实施例中,电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、以及计步器等。
其中,处理器910,用于获取原始图像文件;按照预设倍数,对所述原始图像文件进行上采样操作,得到第一图像,所述第一图像的尺寸为所述原始图像文件的尺寸的所述预设倍数;将所述第一图像输入深度学习模型,输出所述第一图像的图像偏差值;根据所述图像偏差值,对所述第一图像进行修正,得到修正图像。
在本发明实施例中,修正图像的生成基于raw域格式的图像,且由于raw域格式的原始图像文件中包含的完整且丰富的原始图像数据,使得本发明可以更充分的利用原始图像数据进行图像偏差值的估计,得到更加精确的图像偏差值,从而在提升图像的图像质量的过程中,增加了处理精度和处理效果。
应理解的是,本发明实施例中,射频单元901可用于收发信息或通话过程中,信号的接收和发送,具体的,将来自基站的下行数据接收后,给处理器910处理;另外,将上行的数据发送给基站。通常,射频单元901包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元901还可以通过无线通信***与网络和其他设备通信。
电子设备通过网络模块902为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元903可以将射频单元901或网络模块902接收的或者在存储器909中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元903还可以提供与电子设备900执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元903包括扬声器、蜂鸣器以及受话器等。
输入单元904用于接收音频或视频信号。输入单元904可以包括图形处理器(Graphics Processing Unit,GPU)9041和麦克风9042,图形处理器9041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元906上。经图形处理器9041处理后的图像帧可以存储在存储器909(或其它存储介质)中或者经由射频单元901或网络模块902进行发送。麦克风9042可以接收声音,并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元901发送到移动通信基站的格式输出。
电子设备900还包括至少一种传感器905,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板9061的亮度,接近传感器可在电子设备900移动到耳边时,关闭显示面板9061或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;传感器905还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等,在此不再赘述。
显示单元906用于显示由用户输入的信息或提供给用户的信息。显示单元906可包括显示面板9061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板9061。
用户输入单元907可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元907包括触控面板9071以及其他输入设备9072。触控面板9071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板9071上或在触控面板9071附近的操作)。触控面板9071可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器910,接收处理器910发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板9071。除了触控面板9071,用户输入单元907还可以包括其他输入设备9072。具体地,其他输入设备9072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
进一步的,触控面板9071可覆盖在显示面板9061上,当触控面板9071检测到在其上或附近的触摸操作后,传送给处理器910以确定触摸事件的类型,随后处理器910根据触摸事件的类型在显示面板9061上提供相应的视觉输出。虽然触控面板9071与显示面板9061是作为两个独立的部件来实现电子设备的输入和输出功能,但是在某些实施例中,可以将触控面板9071与显示面板9061集成而实现电子设备的输入和输出功能,具体此处不做限定。
接口单元908为外部装置与电子设备900连接的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元908可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到电子设备900内的一个或多个元件或者可以用于在电子设备900和外部装置之间传输数据。
存储器909可用于存储软件程序以及各种数据。存储器909可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器909可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器910是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器909内的软件程序或模块,以及调用存储在存储器909内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。处理器910可包括一个或多个处理单元;优选的,处理器910可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器910中。
电子设备900还可以包括给各个部件供电的电源911(比如电池),优选的,电源911可以通过电源管理***与处理器910逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
另外,电子设备900包括一些未示出的功能模块,在此不再赘述。
优选的,本发明实施例还提供一种电子设备,包括处理器910,存储器909,存储在存储器909上并可在上述处理器910上运行的计算机程序,该计算机程序被处理器910执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
基于上述电子设备的硬件结构,以下对本发明各实施例进行详细详述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,上述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台电子设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。
Claims (10)
1.一种图像处理方法,应用于电子设备,其特征在于,所述方法包括:
获取原始图像文件;
按照预设倍数,对所述原始图像文件进行上采样操作,得到第一图像,所述第一图像的尺寸为所述原始图像文件的尺寸的所述预设倍数;
将所述第一图像输入深度学习模型,输出所述第一图像的图像偏差值;
根据所述图像偏差值,对所述第一图像进行修正,得到修正图像。
2.根据权利要求1所述的方法,其特征在于,所述按照预设倍数,对所述原始图像文件进行上采样操作,得到第一图像,包括:
对所述原始图像文件进行等比例切分,得到多个预设区域;
按照所述预设倍数,对每个所述预设区域进行插值操作,得到每个所述预设区域对应的拼接块区域,所述拼接块区域的尺寸为所述预设区域的尺寸的所述预设倍数;
将所有的所述拼接块区域进行拼接,得到所述第一图像。
3.根据权利要求1所述的方法,其特征在于,在所述根据所述图像偏差值,对所述第一图像进行修正,得到修正图像之后,所述方法还包括:
对所述修正图像进行图像信号处理,得到展示图像。
4.根据权利要求1所述的方法,其特征在于,所述根据所述图像偏差值,对所述第一图像进行修正,得到修正图像,包括:
根据所述图像偏差值,对所述第一图像中像素点的像素值进行修正,得到所述修正图像。
5.根据权利要求1所述的方法,其特征在于,所述原始图像文件的格式为拜耳阵列格式。
6.一种电子设备,其特征在于,所述电子设备,包括:
获取模块,用于获取原始图像文件;
采样模块,用于按照预设倍数,对所述原始图像文件进行上采样操作,得到第一图像,所述第一图像的尺寸为所述原始图像文件的尺寸的所述预设倍数;
偏差计算模块,用于将所述第一图像输入深度学习模型,输出所述第一图像的图像偏差值;
修正模块,用于根据所述图像偏差值,对所述第一图像进行修正,得到修正图像。
7.根据权利要求6所述的电子设备,其特征在于,所述采样模块具体包括:
切分子模块,用于对所述原始图像文件进行等比例切分,得到多个所述预设区域;
采样子模块,用于按照所述预设倍数,对每个所述预设区域进行插值操作,得到每个所述预设区域对应的拼接块区域,所述拼接块区域的尺寸为所述预设区域的尺寸的所述预设倍数;
拼接子模块,用于将所有的所述拼接块区域进行拼接,得到所述第一图像。
8.根据权利要求6所述的电子设备,其特征在于,所述装置还包括:
处理模块,用于对所述修正图像进行图像信号处理,得到展示图像。
9.根据权利要求6所述的电子设备,其特征在于,所述修正模块具体包括:
修正子模块,用于根据所述图像偏差值,对所述第一图像中像素点的像素值进行修正,得到所述修正图像。
10.根据权利要求6所述的电子设备,其特征在于,所述原始图像文件的格式为拜耳阵列格式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910817902.7A CN110503618A (zh) | 2019-08-30 | 2019-08-30 | 图像处理方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910817902.7A CN110503618A (zh) | 2019-08-30 | 2019-08-30 | 图像处理方法及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110503618A true CN110503618A (zh) | 2019-11-26 |
Family
ID=68590901
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910817902.7A Pending CN110503618A (zh) | 2019-08-30 | 2019-08-30 | 图像处理方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110503618A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111242087A (zh) * | 2020-01-21 | 2020-06-05 | 华为技术有限公司 | 物体识别方法及装置 |
US11393068B2 (en) * | 2019-06-20 | 2022-07-19 | Samsung Electronics Co., Ltd. | Methods and apparatus for efficient interpolation |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1416103A (zh) * | 2002-12-13 | 2003-05-07 | 清华大学 | 基于子空间分解的高效数字图像大尺度放大方法 |
KR20140081481A (ko) * | 2012-12-21 | 2014-07-01 | 서울시립대학교 산학협력단 | 블록단위 영상 정합을 이용한 초해상도 영상 복원 방법 및 장치 |
CN107977930A (zh) * | 2017-12-09 | 2018-05-01 | 北京花开影视制作有限公司 | 一种图像超分辨方法及其*** |
CN108921801A (zh) * | 2018-06-26 | 2018-11-30 | 北京字节跳动网络技术有限公司 | 用于生成图像的方法和装置 |
-
2019
- 2019-08-30 CN CN201910817902.7A patent/CN110503618A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1416103A (zh) * | 2002-12-13 | 2003-05-07 | 清华大学 | 基于子空间分解的高效数字图像大尺度放大方法 |
KR20140081481A (ko) * | 2012-12-21 | 2014-07-01 | 서울시립대학교 산학협력단 | 블록단위 영상 정합을 이용한 초해상도 영상 복원 방법 및 장치 |
CN107977930A (zh) * | 2017-12-09 | 2018-05-01 | 北京花开影视制作有限公司 | 一种图像超分辨方法及其*** |
CN108921801A (zh) * | 2018-06-26 | 2018-11-30 | 北京字节跳动网络技术有限公司 | 用于生成图像的方法和装置 |
Non-Patent Citations (4)
Title |
---|
XUANER ZHANG ET AL: "Zoom to Learn,Learn to Zoom", 《ARXIV.ORG/PDF/1905.05169V1.PDF》 * |
刘世豪 等: "基于改进的深度卷积神经网络的单图像超分辨率重建", 《青岛大学学报(自然科学版)》 * |
吴援明: "《电视墙显示及控制技术》", 30 June 2000, 成都:电子科技大学出版社 * |
程光权: "《基于几何特征的图像处理与质量评价》", 31 August 2013, 北京:国防工业出版社 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11393068B2 (en) * | 2019-06-20 | 2022-07-19 | Samsung Electronics Co., Ltd. | Methods and apparatus for efficient interpolation |
CN111242087A (zh) * | 2020-01-21 | 2020-06-05 | 华为技术有限公司 | 物体识别方法及装置 |
CN111242087B (zh) * | 2020-01-21 | 2024-06-07 | 华为技术有限公司 | 物体识别方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107580184B (zh) | 一种拍摄方法及移动终端 | |
CN107093418A (zh) | 一种屏幕显示方法、计算机设备及存储介质 | |
US12003860B2 (en) | Image processing method and electronic device | |
CN107707827A (zh) | 一种高动态图像拍摄方法及移动终端 | |
CN107592471A (zh) | 一种高动态范围图像拍摄方法及移动终端 | |
CN107770438A (zh) | 一种拍照方法及移动终端 | |
CN108322644A (zh) | 一种图像处理方法、移动终端以及计算机可读存储介质 | |
CN107302663A (zh) | 一种图像亮度调整方法、终端及计算机可读存储介质 | |
CN107438163A (zh) | 一种拍照方法、终端及计算机可读存储介质 | |
CN107958470A (zh) | 一种色彩校正方法、移动终端 | |
CN107566730A (zh) | 一种全景图像拍摄方法及移动终端 | |
CN107317963A (zh) | 一种双摄像头移动终端控制方法、移动终端及存储介质 | |
CN107566739A (zh) | 一种拍照方法及移动终端 | |
CN107682616A (zh) | 控制方法、摄像头盖板和移动终端 | |
CN107846537A (zh) | 一种摄像头组件、图像获取方法及移动终端 | |
CN107846583A (zh) | 一种图像阴影补偿方法及移动终端 | |
CN107895352A (zh) | 一种图像处理方法及移动终端 | |
CN107948498A (zh) | 一种消除相机摩尔条纹方法及移动终端 | |
CN108320263A (zh) | 一种图像处理的方法、装置及移动终端 | |
CN107483836A (zh) | 一种拍摄方法及移动终端 | |
CN107886321A (zh) | 一种支付方法及移动终端 | |
CN110213485A (zh) | 一种图像处理方法及终端 | |
CN107040723A (zh) | 一种基于双摄像头的成像方法、移动终端及存储介质 | |
CN108200352A (zh) | 一种调解图片亮度的方法、终端及存储介质 | |
CN107240072A (zh) | 一种屏幕亮度调节方法、终端和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191126 |