CN115499629B - 横向色差校正方法、装置、设备以及存储介质 - Google Patents
横向色差校正方法、装置、设备以及存储介质 Download PDFInfo
- Publication number
- CN115499629B CN115499629B CN202211066007.4A CN202211066007A CN115499629B CN 115499629 B CN115499629 B CN 115499629B CN 202211066007 A CN202211066007 A CN 202211066007A CN 115499629 B CN115499629 B CN 115499629B
- Authority
- CN
- China
- Prior art keywords
- image
- image point
- correction
- channel
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004075 alteration Effects 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000004590 computer program Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 10
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 230000001502 supplementing effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开了一种横向色差校正方法、装置、设备以及存储介质,该方法包括:基于待校正图像中每个第一像点的位置信息,确定该第一像点的色差偏移位置,基于每个第一像点的色差偏移位置对该第一像点的通道值进行校正得到初始校正图像;基于初始校正图像中各像点的通道值,确定至少一个校正方向对应的校正边界;确定每个校正边界对应的至少一个目标像点组合,基于初始校正图像中各像点的通道值,对各目标像点组合中的像点的通道值进行校正得到目标校正图像。采用本申请实施例,可提升横向色差校正效果,适用性高。
Description
技术领域
本申请涉及图像处理领域,尤其涉及一种横向色差校正方法、装置、设备以及存储介质。
背景技术
由于光线通过图像拍摄设备的镜头时会产生折射现象,因此图像拍摄设备在成像时每个像素点的不同颜色通道会沿垂直于光轴方向产生不同的距离偏差,从而使得拍摄的图像存在横向色差。
现有技术对横向色差的校正效果较为有限,准确性不高,因此如何进一步提升横向色差的校正效果成为亟需解决的问题。
发明内容
本申请实施例提供一种横向色差校正方法、装置、设备以及存储介质,可提升横向色差校正效果,适用性高。
一方面,本申请实施例提供一种横向色差校正方法,该方法包括:
基于待校正图像中每个第一像点的位置信息,确定该第一像点的色差偏移位置,基于每个所述第一像点的色差偏移位置对该第一像点的通道值进行校正得到初始校正图像,所述待校正图像为RAW图像,每个所述第一像点为所述待校正图像中除G通道像点外的一个像点;
基于所述初始校正图像中各像点的通道值,确定至少一个校正方向对应的校正边界;
确定每个所述校正边界对应的至少一个目标像点组合,基于所述初始校正图像中各像点的通道值,对各所述目标像点组合中的像点的通道值进行校正得到目标校正图像;
其中,每个所述校正边界对应的一个目标像点组合包括所述初始校正图像中与该校正边界相邻的一个像点、以及与该像点在该校正边界对应的校正方向上相邻的一个像点,每个所述目标像点组合中的各像点位于对应校正边界的同一侧。
另一方面,本申请实施例提供了一种横向色差校正装置,该装置包括:
校正模块,用于基于待校正图像中每个第一像点的位置信息,确定该第一像点的色差偏移位置,基于每个所述第一像点的色差偏移位置对该第一像点的通道值进行校正得到初始校正图像,所述待校正图像为RAW图像,每个所述第一像点为所述待校正图像中除G通道像点外的一个像点;
确定模块,用于基于所述初始校正图像中各像点的通道值,确定至少一个校正方向对应的校正边界;
所述校正模块,用于确定每个所述校正边界对应的至少一个目标像点组合,基于所述初始校正图像中各像点的通道值,对各所述目标像点组合中的像点的通道值进行校正得到目标校正图像;
其中,每个所述校正边界对应的一个目标像点组合包括所述初始校正图像中与该校正边界相邻的一个像点、以及与该像点在该校正边界对应的校正方向上相邻的一个像点,每个所述目标像点组合中的各像点位于对应校正边界的同一侧。
另一方面,本申请实施例提供了一种电子设备,包括处理器和存储器,该处理器和存储器相互连接;
所述存储器用于存储计算机程序;
所述处理器被配置用于在调用所述计算机程序时,执行本申请实施例提供的横向色差校正方法。
另一方面,本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行以实现本申请实施例提供的横向色差校正方法。
在本申请实施例中,根据待校正图像中每个B通道像点和R通道像点的色差偏移位置,可对每个B通道像点和R通道像点的色差进行初步校正得到初始校正图像。进一步可根据初始校正图像中各像点的通道值确定每个校正方向对应的校正边界,如确定初始校正图像中横向的校正边界和纵向的校正边界,进而可对每个校正边界在每个校正方向对应的目标像点组合中的像点的通道值进行校正得到目标校正图像,从而在初始校正图像基础上进一步提升横向色差校正效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的横向色差校正方法的流程示意图;
图2是本申请实施例提供的RAW图像的示意图;
图3a是本申请实施例提供的确定校正像点的一场景示意图;
图3b是本申请实施例提供的确定校正像点的另一场景示意图;
图3c是本申请实施例提供的确定校正像点的又一场景示意图;
图4是本申请实施例提供的补齐像点的场景示意图;
图5a是本申请实施例提供的确定校正边界的一场景示意图;
图5b是本申请实施例提供的确定校正边界的另一场景示意图;
图5c是本申请实施例提供的确定目标像点组合的一场景示意图;
图5d是本申请实施例提供的确定目标像点组合的另一场景示意图;
图6是本申请实施例提供的横向色差校正装置的结构示意图;
图7是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参见图1,图1是本申请实施例提供的横向色差校正方法的流程示意图。如图1所示,本申请实施例提供的横向色差校正方法具体可包括如下步骤:
步骤S11、基于待校正图像中每个第一像点的位置信息,确定该第一像点的色差偏移位置,基于每个所述第一像点的色差偏移位置对该第一像点的通道值进行校正得到初始校正图像。
其中,待校正图像为RAW图像,RAW图像包含有关场景的光照强度和颜色的物理信息。
其中,RAW图像中的每个像点对应于一个颜色通道,且每个像点对应的颜色通道为绿色时可将该像点称为G通道像点,每个像点对应的颜色通道为红色时可将该像点称为R通道像点,每个像点对应的颜色通道为蓝色时可将该像点称为R通道像点。
其中,待校正图像可以为GRBG格式、RGGB格式、BGGR格式以及GBRG格式中的任意一种格式。如图2所示,图2是本申请实施例提供的RAW图像的示意图。图2所示了不同格式的RAW图像中G通道像点、B通道像点以及R通道像点的排布方式。
其中,待校正图像中的每个第一像点为待校正图像中除G通道像点之外的一个像点,即待校正图像中的每个R通道像点和B通道像点均可视为一个第一像点。
在一些可行的实施方式中,对于待校正图像中的每个第一像点,在基于待校正图像中每个第一像点的位置信息,确定该第一像点的色差偏移位置时,可先确定R通道对应的色差偏移参数和B通道对应的色差偏移参数。
进一步地,对于待校正图像中每个第一像点,可基于该第一像点在待校正图像中的位置信息,确定该第一像点相较于待校正图像的图像中心的第一横向距离、第一纵向距离以及第一直线距离。
其中,第一像点i相较于待校正图像的图像中心的第一横向距离可表示为:
其中,第一像点i相较于待校正图像的图像中心的第一纵向距离可表示为:
其中,第一像点i相较于待校正图像的图像中心的第一直线距离可表示为:
其中,width和height分别为待校正图像的高和宽。
其中,待校正图像的图像中心与光轴中心重合。
进一步地,对于每个第一像点,可基于该第一像点相较于待校正图像的图像中心的第一横向距离、第一直线距离以及对应的色差偏移参数,确定该第一像点的第一横向色差偏移量,基于该第一像点相较于待校正图像的图像中心的第一纵向距离、第一直线距离以及对应的色差偏移参数,确定该第一像点的第一纵向色差偏移量。
其中,第一像点i对应的第一横向色差偏移量可以表示为:
其中,第一像点i对应的第一纵向色差偏移量可以表示为:
其中,a、b以及c表示色差偏移参数,当第一像点i为R通道像点时,a、b、c为R通道对应的色差偏移参数,当第一像点i为B通道像点时,a、b、c为B通道对应的色差偏移参数。
进一步地,确定出每个第一像点的横向色差偏移量和纵向色差偏移量之后,可基于该第一像点在待校正图像中的位置信息以及上述横向色差偏移量和纵向色差偏移量,确定出第一像点的色差偏移位置。
在一些可行的实施方式中,在基于每个第一像点的色差偏移位置对该第一像点的通道值进行校正以得到初始校正图像时,可先基于待校正图像中每个第一像点的色差偏移位置相较于该第一像点所在第一方向的第一投影位置,从待校正图像中确定出该第一像点对应的第一方向校正像点。
其中,第一方向为横向和纵向中的任意一项。
若待校正图像中每个第一像点的色差偏移位置相较于该第一像点所在第一方向的第一投影位置与任一第二像点重合,则将该第二像点确定为该第一像点对应的第一方向校正像点。
其中,每个第二像点为待校正图像中与该第一像点对应于相同通道的一个其他像点。例如,若该第一像点为R通道像点,当该第一像点对应的第一投影位置与一个R通道像点重合,则将该R通道像点确定为该第一像点对应的第一方向校正像点。
如图3a所示,图3a是本申请实施例提供的确定校正像点的一场景示意图。在图3a中,对于第2行第2列的第一像点,其色差偏移位置如图3a所示,此时可确定色差偏移位置相较于该第一像点所在第一方向(横向)的第一投影位置。在该第一投影位置与第2行第4列的R通道像点合时,将第2行第4列的R通道像点确定为该第一像点的第一方向校正像点(横向校正像点)。
或者,若每个第一像点的色差偏移位置相较于该第一像点所在第一方向的第一投影位置位于任一第二像点范围内,则将该第二像点确定为该第一像点对应的第一方向校正像点。
若该第一像点的色差偏移位置对应的第一投影位置与各第二像点均不重合,则将该第一像点所在第一方向上的、与第一投影位置最近的两个第二像点确定为该第一像点对应的第一方向校正像点。
如图3b所示,图3b是本申请实施例提供的确定校正像点的另一场景示意图。在图3b中,对于第2行第2列的第一像点,其色差偏移位置如图3b所示,此时可确定色差偏移位置相较于该第一像点所在第一方向(横向)的第一投影位置。在该第一投影位置不与任何R通道像点重合时,将该第一像点所在第一方向上的与第一投影位置距离最近的两个第二像点(第2行第4列的R通道像点和第2行第6列的R通道像点)确定为该第一像点对应的第一方向校正像点(横向校正像点)。
从待校正图像中确定出该第一像点对应的第一方向校正像点之后,可基于第一方向校正像点的通道值对该第一像点的通道值进行校正。
其中,在该第一像点对应的第一方向校正像点的数量为1时,可直接将该第一像点的通道值更改为第一方向校正像点的通道值。在该第一像点对应的第一方向校正像点的数量为2时,可将各第一方向校正像点的通道值进行线性插值,并将该第一像点的通道值更改为线性插值结果。
需要特别说明的是,在基于每个第一像点对应的第一方向校正像点的通道值对每个第一像点的通道值进行校正时,每个第一方向校正像点的通道值为在待校正图像中的原始通道值。例如,对应第一像点A而言,第一像点A在待校正图像中的原始通道值为f1,根据其对应的第一方向校正像点的通道值将第一像点A的通道值f1校正为f2。若在对第一像点B的通道值进行校正过程中将第一像点A确定为第一像点B对应的第一方向校正像点,则仍然基于第一像点A的原始通道值f1对第一像点B的通道值进行校正。
基于上述方式,可对待校正图像中所有第一像点的通道值在第一方向上进行校正,从而得到中间校正图像。
在得到中间校正图像之后,可基于中间校正图像中每个第一像点的色差偏移位置相较于该第一像点所在第二方向的第二投影位置,从中间校正图像中确定出该第一像点对应的第二方向校正像点,并基于每个第一像点对应的第二方向校正像点在待校正图像中的通道值对该第一像点在中间校正图像中的通道值进行校正,最终得到初始校正图像。
其中,每个第一像点的色差偏移位置相较于该第一像点所在第二方向的投影位置的确定方式,与相较于该第一像点所在第一方向的投影位置的确定方式类似,在此不再赘述。
其中,每个第一像点对应的第二方向校正像点的确定方式与每个第一像点对应的第一方向的校正像点的确定方式类似,在此不再赘述。
其中,第一方向和第二方向分别为横向和纵向中的不同方向。也就是说,可先对待校正图像中每个第一像点的通道值在横向或者纵向上进行校正得到中间校正图像,进而对每个第一像点的通道值在另一方向上进行校正最终得到初始校正图像。
在一些可行的实施方式中,在基于每个第一像点的色差偏移位置对该第一像点的通道值进行校正以得到初始校正图像时,还可先基于每个第一像点的色差偏移位置,从待校正图像中确定出每个第一像点对应的目标校正像点。
具体地,可从待校正图像中确定出与每个第一像点的色差偏移位置最近的第三像点,每个第一像点和对应的第三像点分别对应于R通道和B通道中的不同通道。例如,若某一第一像点为B通道像点,则需从待校正图像中的所有R通道像点中确定与该第一像点距离最近的B通道像点。
对于每个第一像点,可将距离该第一像点对应的第三像点最近的四个第四像点确定为该第一像点对应的目标校正像点,每个第四像点与该第一像点对应于相同通道。
如图3c所示,图3c是本申请实施例提供的确定校正像点的又一场景示意图。在图3c中,若某一第一像点为B通道像点,且其色差偏移位置如图3c所示,此时可确定距离该第一像点最近的第三像点为第4行第4列的R通道像点,则进一步可将距离第4行第4列的R通道像点最近的B通道像点(第3行第3列的B通道像点、第3行第5列的B通道像点、第5行第3列的R通道像点以及第5行第5列的B通道像点)确定为该第一像点对应的目标校正像点。
也即对于每个第一像点而言,可确定该第一像点对应的目标校正区域。其中,可确定该第一像点对应的所有校正区域,每个校正区域为与该第一像点属于相同的通道的4个像点所组成的最小矩形区域,该第一像点的色差偏移位置所在的校正区域即为该第一像点对应的目标校正区域,基于此,可将每个第一像点对应的目标校正区域所对应的、与该第一像点对应于相同通道的4个像点确定为该第一像点对应的目标校正像点。
可选地,对于每个第一像点,可从待校正图像中确定出与该第一像点的色差偏移位置的第一横向距离最近的2个第四像点。以及与该色差偏移位置的第一纵向距离最近的2个第四像点,将确定出的4个第四像点确定为该第一像点对应的目标校正像点。其中,每个第四像点和该第一像点对应于相同通道。
可选地,对于每个第一像点,若该第一像点的色差偏移位置位于与该第一像点对应于相同通道的第四像点,则可将该第四像点确定为该第一像点对应的目标校正像点。
进一步地,对于每个第一像点,在该第一像点对应的目标校正像点的数量为4时,可基于双线性插值方法确定出该第一像点的色差偏移位置的通道值,进而将该第一像点的通道值校正为色差偏移位置的通道值。在该第一像点对应的目标校正像点的数量为1时,可将第一像点的通道值校正为目标校正像点的通道值。
需要特别说明的是,在每个第一像点的色差偏移位置位于待校正图像范围外时,可对每个第一像点的色差偏移位置所在区域的像点进行补齐以确定出用于对每个第一像点进行校正的第一方向校正像点或者目标校正像点。
如图4所示,图4是本申请实施例提供的补齐像点的场景示意图。图4中的中间白色区域为待校正图像,在确定待校正图像右方的像点时,可将待校正图像最右侧一列作为对称轴以基于除最右侧一列以外的其他像点对待校正图像右方的像点进行镜像补齐。
同理,在确定待校正图像左方的像点时,可将待校正图像最左侧一列作为对称轴以基于除最左侧一列以外的其他像点对待校正图像左方的像点进行镜像补齐。在确定待校正图像上方的像点时,可将待校正图像顶侧一列作为对称轴以基于除顶侧一列以外的其他像点对待校正图像上方的像点进行镜像补齐。在确定待校正图像下方的像点时,可将待校正图像底侧一列作为对称轴以基于除底侧一列以外的其他像点对待校正图像下方的像点进行镜像补齐。
对于待校正图像右上方、左上方、左下方以及右下方的区域(图4中的虚线框标记的区域),可同样基于上述补齐方式进行补齐。如在待校正图像右上方的像点时,可将待校正图像右方顶侧一列作为对称轴,基于对称轴下方的像点进行镜像补齐,或者将待校正图像上方最右侧一列作为对称轴,基于对称轴左侧的像点进行镜像补齐。其他区域的像点补齐方式类似,在此不再赘述。
其中,在从中间校正图像中确定每个第一像点对应的第二方向校正像点时,可同样基于上述方式对中间校正图像进行补齐,在此不再赘述。
其中,在对待校正图像各个方向的像点进行补齐时,采用偶数列或偶数行的像点进行补齐,从而使得补齐的图像与待校正图像的格式相同。
在一些可行的实施方式中,本申请实施例中R通道对应的色差偏移参数以及B通道对应的色差偏移参数可基于标定图像确定。
其中,标定图像可以是具有明显颜色区分度的场景对应的RAW图像,如棋盘格、直线、竖线等RAW图像,具体可基于实际应用场景需求确定,在此不做限制。
具体地,可确定标定图像中每个预设G通道像点对应的B通道像点和R通道像点相较于该预设G通道像点的第二横向色差偏移量以及第二纵向色差偏移量。
其中,标定图像中每个预设G通道像点为对应场景(场景为棋盘格)中颜色交界位置所对应的G通道像点,如棋盘格中黑色和白色交界位置所对应的G通道像点,如直线(场景为直线)上的任意位置对应的G通道像点等,具体可基于实际应用场景需求确定,在此不做限制。
其中,可通过对标定图像中各预设G通道像点及其对应的B通道像点和G通道像点进行横向和纵向的边缘检测,即可确定镜头成像时各预设G通道像点对应的B通道像点和R通道像点的偏移位置。从而可基于每个预设G通道像点对应的B通道像点的偏移位置和该预设G通道像点的像点位置确定该预设G通道像点对应的B通道像点相较于该预设G通道像点的第二横向色差偏移量和第二纵向色差偏移量。
同理,可基于每个预设G通道像点对应的R通道像点的偏移位置和该预设G通道像点的像点位置确定该预设G通道像点对应的R通道像点相较于该预设G通道像点的第二横向色差偏移量和第二纵向色差偏移量。
进一步地,可确定每个预设G通道像点相较于标定图像的图像中心的第二横向距离、第二纵向距离以及第二直线距离。对于R通道和B通道中的每个通道而言,各预设G通道像点对应的第二横向距离、第二直线距离以及对应于该通道的第二横向色差偏移量之间具有以下关系:
对于R通道和B通道中的每个通道而言,各预设G通道像点对应的第二横向距离、第二直线距离以及对应于该通道的第二纵向色差偏移量之间具有以下关系:
其中,ae、be以及ce为初始色差偏移参数。
对于每个通道而言,每个预设G通道像点可建立上述两个关系式组,进而采用最小二乘法对各预设G通道像点对应的各关系式组进行拟合处理得到该通道对应的色差偏移参数。如基于各预设G通道像点对应的第二横向距离、第二直线距离以及对应于B通道的第二纵向色差偏移量和第二横向色差偏移量,确定B通道对应的色差偏移参数为ab、bb以及cb,基于各预设G通道像点对应的第二横向距离、第二直线距离以及对应于R通道的第二纵向色差偏移量和第二横向色差偏移量,确定R通道对应的色差偏移参数为ar、br以及cr。
其中,上述R通道对应的色差偏移参数和B通道对应的偏移参数为当前图像拍摄设备的镜头所对应的色差偏移参数,不同镜头对应的色差偏移参数不同。也即本申请实施例中待校正图像和用于确定R通道和B通道对应的色差偏移参数的标定图像为同一拍摄设备的同一镜头所生成的图像。
步骤S12、基于初始校正图像中各像点的通道值,确定至少一个校正方向对应的校正边界。
其中,至少一个校正方向包括横向或者纵向中的至少一项。
在一些可行的实施方式中,对于每个校正方向,可基于初始校正图像中各像点的通道值,确定初始校正图像中各像点在对应校正方向上的G通道变化梯度。
其中,初始校正图像中每个像点在对应校正方向上的G通道变化梯度,用于表示该像点在对应校正方向上的绿色变化程度。
具体地,在确定初始校正图像中每个R通道像点和B通道像点在横向上的G通道变化梯度时,对于每个R通道像点或B通道像点,可基于初始校正图像中与该像点左右相邻的G通道像点的通道值,确定该像点在横向上的G通道变化梯度。
如像点Q为B通道像点,则像点Q在横向上的G通道变化梯度可根据与像点Q左右相邻的G通道像点的通道值确定。
如像点T为B通道像点,则像点T在纵向上的G通道变化梯度可根据与像点T上下相邻的G通道像点的通道值确定。
其中,对于初始校正图像中的每个G通道像点,该像点在横向上的G通道变化梯度可基于与每个第五像点四面相邻的G通道像点的通道值确定。其中,该像点对应的第五像点为与该像点左右相邻的像点。
如像点P1为G通道像点,P2和P3分别为与像点P1左右相邻的像点,则像点P1在横向上的G通道变化梯度可根据与像点P2四面相邻的G通道像点的通道值以及与像点P3四面相邻的G通道像点的通道值确定。
作为一示例,初始校正图像中像点i(像点i为G通道像点)在横向上的G通道变化梯度可以表示为:
其中,k1表示与像点i左侧相邻的像点,以及/>分别为像点k1左侧相邻的像点的通道值、上侧相邻的像点的通道值、下侧相邻的像点的通道值以及右侧相邻的像点(即像点i)的通道值,k2表示与像点i右侧相邻的像点,/>以及分别为像点k2左侧相邻的像点(即像点i)的通道值、上侧相邻的像点的通道值、下侧相邻的像点的通道值以及右侧相邻的像点的通道值。
对于初始校正图像中的每个G通道像点,该像点在纵向上的G通道变化梯度可基于与每个第六像点四面相邻的G通道像点的通道值确定。其中,该像点对应的第六像点为与该像点上下相邻的像点。
如像点P1为G通道像点,P4和P5分别为与像点P1上下相邻的像点,则像点P1在纵向上的G通道变化梯度可根据与像点P4四面相邻的G通道像点的通道值以及与像点P5四面相邻的G通道像点的通道值确定。
作为一示例,初始校正图像中像点i(像点i为G通道像点)在纵向上的G通道变化梯度可以表示为:
其中,w1表示与像点i上侧相邻的像点,以及/>分别为像点w1左侧相邻的像点的通道值、上侧相邻的像点的通道值、下侧相邻的像点(即像点i)的通道值以及右侧相邻的像点的通道值,w2表示与像点i右侧相邻的像点,/>以及分别为像点w2左侧相邻的像点的通道值、上侧相邻的像点(即像点i)的通道值、下侧相邻的像点的通道值以及右侧相邻的像点的通道值。
其中,在确定初始校正图像中各像点在任意校正方向的G通道变化梯度时,可采用对待校正图像或中间校正图像的补齐方式对初始校正图像进行补齐,以便于确定位于初始校正图像边缘位置的像点在任意校正方向的G通道变化梯度。
在一些可行的实施方式中,对于每个校正方向,在基于初始校正图像中各像点的通道值确定出各第一像点在该校正方向上的G通道变化梯度之后,可基于初始校正图像中各第一像点在该校正方向上的G通道变化梯度,确定该校正方向对应的校正边界。
具体地,对于每个校正方向,可从初始校正图像中的预设区域内确定出在该校正方向上的G通道变化梯度超过对应第一梯度阈值的R通道像点和B通道像点,并将确定出的像点称为第七像点。
其中,不同校正方向对应的第一梯度阈值可以相同,也可以不同,具体可基于实际应用场景需求确定,在此不做限制。
其中,对于每个校正方向,初始校正图像内的预设区域的所有像点在该校正方向上的G通道变化梯度均小于第二梯度阈值。也即对于每个校正方向,初始校正图像内的预设区域为初始校正图像中对应于该校正方向的G通道变化梯度相对平滑的区域。
进一步地,对于每个第七像点,可确定该第七像点对应的各第一像点组合。即对于每个第七像点而言,可将该第七像点、以及在该校正方向上与该第七像点相邻的一个像点确定为一个第一像点组合。每个第七像点在该校正方向上对应两个第一像点组合。
进一步地,对于每个第七像点,可确定该第七像点对应的每个第一像点组合中的两个像点在该校正方向上的G通道变化梯度的梯度差,进而将梯度差最大的第一像点组合中的两个像点的边界确定为该校正方向对应的一个校正边界。
也就是说,对于每一校正方向,可在确定出任意数量的第七像点之后,可基于每个第七像点确定出该校正方向对应的一个校正边界。
例如,若校正方向为横向,则可从每个第七像点所在行中确定两个第一像点组合,一个第一像点组合包括该第七像点以及与该第七像点左侧相邻的像点,另一第一像点组合包括该第七像点以及与该第七像点右侧相邻的像点。对于每个第七像点,可确定该第七像点对应的每个第一像点组合中两个像点在横向上的G通道变化梯度的梯度差,进而将梯度差最大的第一像点组合中的两个像点的边界确定为该第七像点所在行在横向上的一个校正边界。
如图5a所示,图5a是本申请实施例提供的确定校正边界的一场景示意图。若校正方向为横向,当像点B2为确定出的一个第七像点时,可确定像点G3在横向上的G通道变化梯度(255)和像点B2在横向上的G通道变化梯度(119)的第一梯度差(136)、以及像点B2在横向上的G通道变化梯度(119)和像点G2在横向上的G通道变化梯度(0)的第二梯度差(119)。由于第一梯度差大于第二梯度差,因此可将像点G3和像点B2的边界确定该行像点在横向上的一个校正边界。
例如,若校正方向为纵向,则可从每个第七像点所在行中确定两个第一像点组合,一个第一像点组合包括该第七像点以及与该第七像点上侧相邻的像点,另一第一像点组合包括该第七像点以及与该第七像点下侧相邻的像点。对于每个第七像点,可确定该第七像点对应的每个第一像点组合中两个像点在纵向上的G通道变化梯度的梯度差,进而将梯度差最大的第一像点组合中的两个像点的边界确定为该第七像点所在列在纵向上的一个校正边界。
如图5b所示,图5b是本申请实施例提供的确定校正边界的另一场景示意图。若校正方向为纵向,当像点R3为确定出的一个第七像点时,可确定像点G3在纵向上的G通道变化梯度(255)和像点R3在纵向上的G通道变化梯度(138)的第三梯度差(117)、以及像点R3在纵向上的G通道变化梯度(138)和像点G2在纵向上的G通道变化梯度(0)的第四梯度差(138)。由于第四梯度差大于第三梯度差,因此可将像点G3和像点G2的边界确定该列像点在纵向上的一个校正边界。
步骤S13、确定每个校正边界对应的至少一个目标像点组合,基于初始校正图像中各像点的通道值,对各目标像点组合中的像点的通道值进行校正得到目标校正图像。
其中,每个校正边界对应对应的一个目标像点组合包括初始校正图像中与该校正边界相邻的一个像点、以及与该像点在该校正边界对应的校正方向上相邻的一个像点,且每个目标像点组合中的各像点位于对应校正边界的同一侧。
如图5c所示,图5c是本申请实施例提供的确定目标像点组合的一场景示意图。图5c所示了初始校正图像中某一行像点中的校正边界,且该校正边界对应的校正方向为横向。基于此,可将与校正边界相邻的像点G3、以及与像点G3位于校正边界同一侧且与像点G3相邻的像点B3确定为一个目标像点组合。同理,可将与校正边界相邻的像点B2、以及与像点B2位于校正边界同一侧且与像点B2相邻的像点G2确定为一个目标像点组合。
如图5d所示,图5d是本申请实施例提供的确定目标像点组合的另一场景示意图。图5d所示了初始校正图像中某一列像点中的校正边界,且该校正边界对应的校正方向为纵向。基于此,可将与校正边界相邻的像点G2、以及与像点G2位于校正边界同一侧且与像点G2相邻的像点R2确定为一个目标像点组合。同理,可将与校正边界相邻的像点R3、以及与像点R3位于校正边界同一侧且与像点R3相邻的像点G3确定为一个目标像点组合。
进一步地,由于在RGB图片的小平滑区域内相邻的像素点存在色差恒定关系,即假设像素点P(i,j)和邻近像素点P(m,n),则有:
Rij-Gij=Rmn-Gmn
Bij-Gij=Bmn-Gmn
经过变形可得:
Rij-Rmn=Gij-Gmn
Bij-Bmn=Gik-Gmn
其中,Rij、Bij和Gij分别为像素点P(i,j)的R、B以及G通道的通道值,Rmn、Bmn以及Gmn分别为像素点P(m,n)的R、B以及G通道的通道值。
因此对于每个目标像点组合而言,若该目标像点组合包括R通道像点和G通道像点,则该目标像点组合和对应的第二像点组合中的G通道像点的通道值差值ΔG与该目标像点组合和对应的第二像点组合中的R通道像点的通道值差值ΔR一致。若该目标像点组合包括B通道像点和G通道像点,则该目标像点组合和对应的第二像点组合中的G通道像点的通道值差值ΔG与该目标像点组合和对应的第二像点组合中的B通道像点的通道值差值ΔB一致。
其中,每个目标像点组合对应的第二像点组合和该目标像点组合位于该目标像点组合对应的校正边界的同一侧,每个目标像点组合对应的第二像点组合在该目标像点组合对应的校正方向上与目标像点组合相邻,且包括与该目标像点组合具有相同通道排列方式的两个像点。
在基于初始图像中各像点的通道值对各目标像点组合中的像点的通道值进行校正以得到目标校正图像时,可从初始校正图像中确定出每个目标像点组合对应第二像点组合,并将每个目标像点组合对应的第二像点组合作为用于对目标像点组合进行内各像点的通道值进行校正的校正像点组合。
例如,对于图5c中的目标像点组合G2B2,可将G1B1确定为该目标像点组合对应的校正像点组合。对于图5c中的目标像点组合G3B3,可将G4B4确定为该目标像点组合对应的校正像点组合。
再例如,对于图5d中的目标像点组合R2G2,可将R1G1确定为该目标像点组合对应的校正像点组合。对于图5d中的目标像点组合R3G3,可将R4G4确定为该目标像点组合对应的校正像点组合。
进一步地,在对每个目标像点组合中的各像点的通道值进行校正时,可基于色差恒定关系,通过每个目标像点组合对应的校正像点组合中各像点的通道值,对该目标像点组合中各像点的通道值进行校正从而得到目标校正图像。
其中,由RAW图像中各像点的排列特性可知,每个目标像点组合和对应的校正像点组合中包括G通道像点。
在此情况下,可确定目标像点组合中G通道像点的通道值与对应校正像点组合中G通道像点的通道值的第一差值,进而对目标像点组合中另一像点的通道值进行调整,以使得目标像点组合中另一像点的通道值与对应校正像点组合中另一像点的通道值的第二差值相等,从而完成对目标像点组合的通道值校正,得到目标校正图像。
例如,对于图5c中的目标像点组合G2B2,可对像点B2的通道值进行调整以使得像点B2的通道值与像点B1的通道值的第一差值等于像点G2与像点G1的通道值的第二差值。
再例如,对于图5d中的目标像点组合R2G2,可对像点R2的通道值进行调整以使得像点R2的通道值与像点R1通道值的第一差值等于像点G2的通道值与像点G1的通道值的第二差值。
需要特别说明的是,对于每个目标像点组合,若该像点组合位于初始校正图像的边缘,则可不对该目标像点组合中的像点的通道值进行调整。或者可采用对待校正图像的补齐方式对初始校正图像进行补齐,以从补齐后的图像中确定出该目标像点组合对应的校正像点组合,进而基于校正像点组合对目标像点组合中的像点的通道值进行调整。
需要特别说明的是,在只需要对初始校正图像进行一个校正方向的校正时,可先确定出该校正方向的所有校正边界对应的所有目标像点组合,进而同时基于每个目标像点组合对应的校正像点组合对对应目标像点组合中的像点的通道值进行校正,最终得到目标校正图像。
在需要对初始校正图像进行横向和纵向校正时,可先确定出第三方向的所有校正边界对应的所有目标像点组合,进而同时基于每个目标像点组合对应的校正像点组合对对应目标像点组合中的像点的通道值进行校正得到候选校正图像。进一步基于候选校正图像对第四方向上的所有校正边界所对应的所有目标像点组合及其对应的校正图像组合中各像点的通道值进行更新,从而同时基于每个更新后的目标像点组合对应的更新后的校正像点组合对应更新后的目标像点组合中的像点的通道值进行校正,最终得到目标校正图像。
其中,第三方向和第四方向分别为纵向和横向中的不同方向。
在本申请实施例中,根据待校正图像中每个B通道像点和R通道像点的色差偏移位置,可对每个B通道像点和R通道像点的色差进行初步校正得到初始校正图像。进一步可根据初始校正图像中各像点的通道值确定每个校正方向对应的校正边界,如确定初始校正图像中横向的校正边界和纵向的校正边界,进而可对每个校正边界附近的目标像点组合中的像点的通道值进行校正得到目标校正图像,从而在初始校正图像基础上进一步提升横向色差校正效果。
同时,本申请实施例提供的横向色差校正方法中的待校正图像为RAW图像,可降低色差校正过程中涉及到梯度、位置以及距离等信息的复杂程度,有利于提升横向色差的校正效果。
本申请实施例提供的横向色差校正方法还可对RGB格式的图像的横向色差进行校正。
在一些可行的实施方式中,对于待校正的RGB格式的第一图像中的每个像素点,可确定该像素点中B通道和R通道的色差偏移位置,进而基于该像素点的B通道的色差偏移位置对该像素点的B通道的通道值进行校正,基于该像素点的R通道的色差偏移位置对该像素点的R通道的通道值进行校正,最终得到第一图像对应的初始校正图像。
其中,对于第一图像中的每个像素点,在确定该像素点的B通道的色差偏移位置时,可先确定B通道对应的色差偏移参数,进而基于B通道对应的色差偏移系数、该像素点在第一图像中的位置信息以及第一图像的的图像中心的位置信息,确定该像素点的B通道对应的第三横向色差偏移量和第三纵向色差偏移量,从而基于第三横向色差偏移量和第三纵向色差偏移量确定出该像素点的B通道的色差偏移位置。同理,在确定该像素点的R通道的色差偏移位置时,可基于B通道对应的色差偏移参数基于上述方式进行确定,在此不再赘述。
其中,B通道和R通道对应的色差偏移参数的确定方式与对RAW格式的图像进行横向色差校正时所采用的色差偏移参数的确定方式类似,在此不再赘述。
进一步地,对于第一图像中的每个像素点的B通道和R通道中的通道,以B通道为例,在确定出该像素点的B通道对应的色差偏移位置之后,可先基于该像素点的B通道对应的色差偏移位置相较于该像素点所在第一方向的第三投影位置,将在第一方向上与第三投影位置距离最近的两个像素点确定为该像素点对应的第一方向校正像素点,并基于各第一方向校正像素点的B通道的通道值确定该像素点的B通道的通道值,从而可对第一图像中每个像素点的B通道在第一方向上进行校正得到第二图像。进一步可基于该像素点的B通道对应的色差偏移位置相较于该像素点所在第二方向的第四投影位置,将在第二方向上与第四投影位置距离最近的两个像素点确定为该像素点对应的第二方向校正像素点,并基于各第一方向校正像素点在第一图像中的B通道的通道值对该像素点在第二图像中的B通道的通道值进行校正,得到第三图像。其中,第一方向和第二方向分别为横向和纵向中的不同方向。
或者,可将该像素点的B通道对应的色差偏移位置所在的像素点的B通道的通道值确定为该像素点的B通道的通道值,或者基于色差偏移位置周围的像素点的B通道的通道值确定该像素点的B通道的通道值,最终得到第三图像。
基于上述实现方式可完成对第一图像中每个像素点的B通道的通道值的校正,同理可基于相同原理对第三图像中每个像素点的R通道的通道值进行校正,得到第一图像对应的初始校正图像。
其中,若第一图像中的每个像素点的任一通道的色差偏移位置位于第一图像范围之外时,可采用镜像补齐方式对第一图像周围的像素点进行补齐,具体补齐方式在此不再赘述。
在一些可行的实施方式中,在确定出第一图像对应的初始校正图像之后,可对初始校正图像进行处理得到单通道的第四图像和第五图像,第四图像中的每个像素点对应于第一图像对应的初始校正图像中的一个B通道像素点,第五图像中的每个像素点对应于第一图像对应的初始校正图像中的一个R通道像素点,进而确定第四图像和第五图像中每个像素点在各校正方向上的G通道变化梯度。其中,校正方向包括横向和纵向。
以第四图像为例,第四图像中每个像素点在横向上的G通道变化梯度可由该像素点左右相邻的像素点在对应初始校正图像中的G通道的通道值确定,在纵向上的G通道变化梯度可由该像点上下相邻的像素点在对应初始校正图像中的G通道的通道值确定。
对于每个校正方向,可从第四图像中的预设区域内确定出在该校正方向上的G通道变化梯度超过对应的第三梯度阈值的第一像素点,第四图像中的预设区域为第四图像中对应于该校正方向的G通道变化梯度相对平滑的区域。对于每个第一像素点,可确定该第一像素点对应的各第一像素点组合。对于每个第一像素点而言,可将该第一像素点以及在该校正方向上与该第一像素点相邻的一个像素点确定为一个第一像素点组合,每个第一像素点在该校正方向上对应两个第一像素点组合。
进一步地,对于每个第一像素点,可确定该第一像素点对应的每个第一像素点组合中的两个像素点在该校正方向上的G通道变化梯度的梯度差,进而将梯度差最大的一个像点组合中的两个像素点的边界确定为该校正方向对应的一个校正边界。
进一步地,对于每个校正边界,可确定该校正边界对应的至少一个第二像素点组合,每个第二像素点组合包括第四图像中与该校正边界相邻的一个像素点、以及与该像素点在该校正边界对应的校正方向上相邻的一个像素点,每个第二像素点组合中的各像素点对应于校正边界的同一侧。由于在RGB图片的小平滑区域内相邻的像素点存在色差恒定关系,即假设像素点P(i,j)和邻近像素点P(m,n),则有
Rij-Rmn=Gij-Gmn
Bij-Bmn=Gij-Gmn
其中,Rij、Bij和Gij分别为像素点P(i,j)的R、B以及G通道的通道值,Rmn、Bmn以及Gmn分别为像素点P(m,n)的R、B以及G通道的通道值。
因此,对于每个第二像素点组合,可对该第二像素点组合内的像素点的B通道值进行校正使得B通道值之差与第一通道值之差一致。第一通道值之差为该第二像素点组合内各像素点在第一图像中G通道的通道值之差。
需要特别说明的是,在对第四图像中各像素点的B通道值进行校正时,可先确定出第三方向的所有校正边界对应的所有第二像素点组合,进而同时对每个第二像素点组合内的各像素点的B通道值进行校正得到候选校正图像。进一步基于候选校正图像对第四方向上的所有校正边界所对应的所有第二像素点组合内各像素点的B通道值进行更新,进而再对第四方向上的所有校正边界对应的所有第二像素点组合内的各像素点的B通道值进行校正,最终得到第六图像。
其中,第三方向和第四方向分别为纵向和横向中的不同方向。
基于上述方式可将第四图像中各像素点的B通道值在横向和纵向进行校正得到第六图像,同理可基于上述类似的实现方式对第五图像中各像素点的R通道值进行校正得到第七图像,从而可基于第六图像和第七图像得到第一图像对应的目标校正图像。即对于第一图像中的每个像素点而言,可基于该像素点对应于第六图像的B通道值、对应于第七图像的R通道值以及原始的G通道值重新确定该像素点的RGB三通道值,进而得到目标校正图像。
参见图6,图6是本申请实施例提供的横向色差校正装置的结构示意图。本申请实施例提供的横向色差校正装置包括:
校正模块61,用于基于待校正图像中每个第一像点的位置信息,确定该第一像点的色差偏移位置,基于每个上述第一像点的色差偏移位置对该第一像点的通道值进行校正得到初始校正图像,上述待校正图像为RAW图像,每个上述第一像点为上述待校正图像中除G通道像点外的一个像点;
确定模块62,用于基于上述初始校正图像中各像点的通道值,确定至少一个校正方向对应的校正边界;
上述校正模块61,用于确定每个上述校正边界对应的至少一个目标像点组合,基于上述初始校正图像中各像点的通道值,对各上述目标像点组合中的像点的通道值进行校正得到目标校正图像;
其中,每个上述校正边界对应的一个目标像点组合包括上述初始校正图像中与该校正边界相邻的一个像点、以及与该像点在该校正边界对应的校正方向上相邻的一个像点,每个上述目标像点组合中的各像点位于对应校正边界的同一侧。
在一些可行的实施方式中,上述校正模块61,用于:
确定R通道对应的色差偏移参数以及B通道对应的色差偏移参数;
基于待校正图像中每个第一像点的位置信息,确定该第一像点相较于上述待校正图像的图像中心的第一横向距离、第一纵向距离以及第一直线距离;基于上述第一横向距离、上述第一直线距离以及该第一像点对应的色差偏移参数,确定该第一像点的第一横向色差偏移量,基于上述第一纵向距离、上述第一直线距离以及该第一像点对应的色差偏移参数,确定该第一像点的第一纵向色差偏移量;基于该第一像点的第一横向色差偏移量和第一纵向色差偏移量,确定该第一像点的色差偏移位置。
在一些可行的实施方式中,上述校正模块61,用于:
基于上述待校正图像中每个上述第一像点的色差偏移位置相较于该第一像点所在第一方向的第一投影位置,从上述待校正图像中确定出该第一像点对应的第一方向校正像点,基于上述第一方向校正像点的通道值对该第一像点的通道值进行校正得到中间校正图像;基于上述中间校正图像中每个上述第一像点的色差偏移位置相较于该第一像点所在第二方向的第二投影位置,从上述中间校正图像中确定出该第一像点对应的第二方向校正像点,基于上述第二方向校正像点在上述待校正图像中的通道值对该第一像点在上述中间校正图像中的通道值进行校正得到初始校正图像;上述第一方向和上述第二方向分别为横向和纵向中的不同方向;或者,
基于上述待校正图像中每个上述第一像点的色差偏移位置,从上述待校正图像中确定出该第一像点对应的多个目标校正像点,基于各上述目标校正像点的通道值对该第一像点的通道值进行校正得到初始校正图像。
在一些可行的实施方式中,上述校正模块61,用于:
若上述待校正图像中每个第一像点的色差偏移位置相较于该第一像点所在第一方向的第一投影位置与任一第二像点重合,则将该第二像点确定为该第一像点对应的第一方向校正像点;每个上述第二像点为上述待校正图像中与该第一像点对应于相同通道的一个其他像点;
若上述第一投影位置与各上述第二像点均不重合,则将该第一像点所在第一方向上的与上述第一投影位置最近的两个第二像点确定为该第一像点对应的第一方向校正像点。
在一些可行的实施方式中,上述校正模块61,用于:
从上述待校正图像中确定出距离每个上述第一像点的色差偏移位置最近的第三像点,每个上述第一像点和对应的第三像点分别对应于R通道和B通道中的不同通道;
对于每个上述第一像点,将距离该第一像点对应的第三像点最近的四个第四像点确定为该第一像点对应的目标校正像点,每个上述第四像点与该第一像点对应于相同通道。
在一些可行的实施方式中,上述确定模块62,用于:
基于上述初始校正图像中各像点的通道值,确定上述初始校正图像中各像点在至少一个校正方向上的G通道变化梯度;
基于上述初始校正图像中各像点在每个上述校正方向上的G通道变化梯度,确定该校正方向对应的校正边界,上述至少一个校正方向包括横向或纵向中的至少一项。
在一些可行的实施方式中,上述确定模块62,用于:
对于上述初始校正图像中的每个像点,若该像点为B通道像点或R通道像点,基于该像点左右相邻的G通道像点的通道值,确定该像点在横向上的G通道变化梯度,基于与该像点上下相邻的G通道像点的通道值,确定该像点在纵向上的G通道变化梯度;
对于上述初始校正图像中的每个像点,若该像点为G通道像点,基于与每个第五像点四面相邻的G通道像点的通道值确定该像点在横向上的G通道变化梯度,基于与每个第六像点四面相邻的G通道像点的通道值确定该像点在纵向上的G通道变化梯度,各上述第五像点与该G通道像点左右相邻,各上述第六像点与该G通道像点上下相邻。
在一些可行的实施方式中,对于每一上述校正方向,上述确定模块62,用于:
确定上述初始校正图像中的第七像点,上述第七像点为上述初始校正图像的预设区域中在该校正方向上的G通道变化梯度超过该校正方向对应第一梯度阈值的第一像点,上述预设区域内各像点在该校正方向上的G通道变化梯度小于第二梯度阈值;
对于每个上述第七像点,确定该第七像点对应的各第一像点组合,每个上述第一像点组合包括该第七像点以及与该第七像点在该校正方向上相邻的一个像点,确定每个上述第一像点组合中的两个像点在该校正方向上的G通道变化梯度的梯度差,将梯度差最大的第一像点组合中的两个像点的边界确定为该校正方向对应的一个校正边界。
在一些可行的实施方式中,上述校正模块61,用于:
从上述初始校正图像中确定出每个上述目标像点组合对应的校正像点组合,每个上述目标像点组合对应的校正像点组合和该目标像点组合位于对应的校正边界的同一侧,每个上述目标像点组合对应的校正像点组合在该目标像点组合对应的校正方向上与该目标像点组合相邻,且包括与该目标像点组合具有相同通道排列方式的两个像点;
基于色差恒定关系,通过每个目标像点组合对应的校正像点组合中各像点的通道值,对该目标像点组合中各像点的通道值进行校正得到目标校正图像。
在一些可行的实施方式中,上述确定模块62,用于:
确定标定图像中每个预设G通道像点对应的B通道像点和R通道像点相较于该预设G通道像点第二横向色差偏移量以及第二纵向色差偏移量;
确定每个上述预设G通道像点相较于上述标定图像的图像中心的第二横向距离、第二纵向距离以及第二直线距离;
对于B通道和R通道中的每个通道,基于各上述预设G通道像点对应的第二横向距离、第二纵向距离、第二直线距离以及对应于该通道的第二横向色差偏移量和第二纵向色差偏移量,确定该通道对应的色差偏移参数。
具体实现中,上述横向色差校正装置可通过其内置的各个功能模块执行如上述图1中各个步骤所提供的实现方式,具体可参见上述各个步骤所提供的实现方式,在此不再赘述。
参见图7,图7是本申请实施例提供的电子设备的结构示意图。如图7所示,本实施例中的电子设备700可以包括:处理器701,网络接口704和存储器705,此外,上述电子设备700还可以包括:用户接口703,和至少一个通信总线702。其中,通信总线702用于实现这些组件之间的连接通信。其中,用户接口703可以包括显示屏(Display)、键盘(Keyboard),可选用户接口703还可以包括标准的有线接口、无线接口。网络接口704可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器705可以是高速RAM存储器,也可以是非易失性存储器(non-volatile memory,NVM),例如至少一个磁盘存储器。存储器705可选的还可以是至少一个位于远离前述处理器701的存储装置。如图7所示,作为一种计算机可读存储介质的存储器705中可以包括操作***、网络通信模块、用户接口模块以及设备控制应用程序。
在图7所示的电子设备700中,网络接口704可提供网络通讯功能;而用户接口703主要用于为对象提供输入的接口;而处理器701可以用于调用存储器705中存储的设备控制应用程序,以实现:
基于待校正图像中每个第一像点的位置信息,确定该第一像点的色差偏移位置,基于每个上述第一像点的色差偏移位置对该第一像点的通道值进行校正得到初始校正图像,上述待校正图像为RAW图像,每个上述第一像点为上述待校正图像中除G通道像点外的一个像点;
基于上述初始校正图像中各像点的通道值,确定至少一个校正方向对应的校正边界;
确定每个上述校正边界对应的至少一个目标像点组合,基于上述初始校正图像中各像点的通道值,对各上述目标像点组合中的像点的通道值进行校正得到目标校正图像;
其中,每个上述校正边界对应的一个目标像点组合包括上述初始校正图像中与该校正边界相邻的一个像点、以及与该像点在该校正边界对应的校正方向上相邻的一个像点,每个上述目标像点组合中的各像点位于对应校正边界的同一侧。
在一些可行的实施方式中,上述处理器701用于:
确定R通道对应的色差偏移参数以及B通道对应的色差偏移参数;
基于待校正图像中每个第一像点的位置信息,确定该第一像点相较于上述待校正图像的图像中心的第一横向距离、第一纵向距离以及第一直线距离;基于上述第一横向距离、上述第一直线距离以及该第一像点对应的色差偏移参数,确定该第一像点的第一横向色差偏移量,基于上述第一纵向距离、上述第一直线距离以及该第一像点对应的色差偏移参数,确定该第一像点的第一纵向色差偏移量;基于该第一像点的第一横向色差偏移量和第一纵向色差偏移量,确定该第一像点的色差偏移位置。
在一些可行的实施方式中,上述处理器701用于:
基于上述待校正图像中每个上述第一像点的色差偏移位置相较于该第一像点所在第一方向的第一投影位置,从上述待校正图像中确定出该第一像点对应的第一方向校正像点,基于上述第一方向校正像点的通道值对该第一像点的通道值进行校正得到中间校正图像;基于上述中间校正图像中每个上述第一像点的色差偏移位置相较于该第一像点所在第二方向的第二投影位置,从上述中间校正图像中确定出该第一像点对应的第二方向校正像点,基于上述第二方向校正像点在上述待校正图像中的通道值对该第一像点在上述中间校正图像中的通道值进行校正得到初始校正图像;上述第一方向和上述第二方向分别为横向和纵向中的不同方向;或者,
基于上述待校正图像中每个上述第一像点的色差偏移位置,从上述待校正图像中确定出该第一像点对应的多个目标校正像点,基于各上述目标校正像点的通道值对该第一像点的通道值进行校正得到初始校正图像。
在一些可行的实施方式中,上述处理器701用于:
若上述待校正图像中每个第一像点的色差偏移位置相较于该第一像点所在第一方向的第一投影位置与任一第二像点重合,则将该第二像点确定为该第一像点对应的第一方向校正像点;每个上述第二像点为上述待校正图像中与该第一像点对应于相同通道的一个其他像点;
若上述第一投影位置与各上述第二像点均不重合,则将该第一像点所在第一方向上的与上述第一投影位置最近的两个第二像点确定为该第一像点对应的第一方向校正像点。
在一些可行的实施方式中,上述处理器701用于:
从上述待校正图像中确定出距离每个上述第一像点的色差偏移位置最近的第三像点,每个上述第一像点和对应的第三像点分别对应于R通道和B通道中的不同通道;
对于每个上述第一像点,将距离该第一像点对应的第三像点最近的四个第四像点确定为该第一像点对应的目标校正像点,每个上述第四像点与该第一像点对应于相同通道。
在一些可行的实施方式中,上述处理器701用于:
基于上述初始校正图像中各像点的通道值,确定上述初始校正图像中各像点在至少一个校正方向上的G通道变化梯度;
基于上述初始校正图像中各像点在每个上述校正方向上的G通道变化梯度,确定该校正方向对应的校正边界,上述至少一个校正方向包括横向或纵向中的至少一项。
在一些可行的实施方式中,上述处理器701用于:
对于上述初始校正图像中的每个像点,若该像点为B通道像点或R通道像点,基于该像点左右相邻的G通道像点的通道值,确定该像点在横向上的G通道变化梯度,基于与该像点上下相邻的G通道像点的通道值,确定该像点在纵向上的G通道变化梯度;
对于上述初始校正图像中的每个像点,若该像点为G通道像点,基于与每个第五像点四面相邻的G通道像点的通道值确定该像点在横向上的G通道变化梯度,基于与每个第六像点四面相邻的G通道像点的通道值确定该像点在纵向上的G通道变化梯度,各上述第五像点与该G通道像点左右相邻,各上述第六像点与该G通道像点上下相邻。
在一些可行的实施方式中,对于每一上述校正方向,上述处理器701用于:
确定上述初始校正图像中的第七像点,上述第七像点为上述初始校正图像的预设区域中在该校正方向上的G通道变化梯度超过该校正方向对应第一梯度阈值的第一像点,上述预设区域内各像点在该校正方向上的G通道变化梯度小于第二梯度阈值;
对于每个上述第七像点,确定该第七像点对应的各第一像点组合,每个上述第一像点组合包括该第七像点以及与该第七像点在该校正方向上相邻的一个像点,确定每个上述第一像点组合中的两个像点在该校正方向上的G通道变化梯度的梯度差,将梯度差最大的第一像点组合中的两个像点的边界确定为该校正方向对应的一个校正边界。
在一些可行的实施方式中,上述处理器701用于:
从上述初始校正图像中确定出每个上述目标像点组合对应的校正像点组合,每个上述目标像点组合对应的校正像点组合和该目标像点组合位于对应的校正边界的同一侧,每个上述目标像点组合对应的校正像点组合在该目标像点组合对应的校正方向上与该目标像点组合相邻,且包括与该目标像点组合具有相同通道排列方式的两个像点;
基于色差恒定关系,通过每个目标像点组合对应的校正像点组合中各像点的通道值,对该目标像点组合中各像点的通道值进行校正得到目标校正图像。
在一些可行的实施方式中,上述处理器701用于:
确定标定图像中每个预设G通道像点对应的B通道像点和R通道像点相较于该预设G通道像点第二横向色差偏移量以及第二纵向色差偏移量;
确定每个上述预设G通道像点相较于上述标定图像的图像中心的第二横向距离、第二纵向距离以及第二直线距离;
对于B通道和R通道中的每个通道,基于各上述预设G通道像点对应的第二横向距离、第二纵向距离、第二直线距离以及对应于该通道的第二横向色差偏移量和第二纵向色差偏移量,确定该通道对应的色差偏移参数。
应当理解,在一些可行的实施方式中,上述处理器701可以是中央处理单元(central processing unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor,DSP)、专用集成电路(application specific integratedcircuit,ASIC)、现成可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。该存储器可以包括只读存储器和随机存取存储器,并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如,存储器还可以存储设备类型的信息。
具体实现中,上述电子设备700可通过其内置的各个功能模块执行如上述图1中各个步骤所提供的实现方式,具体可参见上述各个步骤所提供的实现方式,在此不再赘述。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,被处理器执行以实现图1中各个步骤所提供的方法,具体可参见上述各个步骤所提供的实现方式,在此不再赘述。
上述计算机可读存储介质可以是前述任一实施例提供的装置或电子设备的内部存储单元,例如电子设备的硬盘或内存。该计算机可读存储介质也可以是该电子设备的外部存储设备,例如该电子设备上配备的插接式硬盘,智能存储卡(smart media card,SMC),安全数字(secure digital,SD)卡,闪存卡(flash card)等。上述计算机可读存储介质还可以包括磁碟、光盘、只读存储记忆体(read-only memory,ROM)或随机存储记忆体(randomaccess memory,RAM)等。进一步地,该计算机可读存储介质还可以既包括该电子设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该电子设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例提供了一种计算机程序产品,该计算机程序产品包括计算机程序,上述计算机程序被处理器执行图1中各个步骤所提供的方法。
本申请的权利要求书和说明书及附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或电子设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或电子设备固有的其它步骤或单元。在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
以上所揭露的仅为本申请较佳实施例而已,不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。
Claims (13)
1.一种横向色差校正方法,其特征在于,所述方法包括:
基于待校正图像中每个第一像点的位置信息,确定该第一像点的色差偏移位置,基于每个所述第一像点的色差偏移位置对该第一像点的通道值进行校正得到初始校正图像,所述待校正图像为RAW图像,每个所述第一像点为所述待校正图像中除G通道像点外的一个像点;
基于所述初始校正图像中各像点的通道值,确定至少一个校正方向对应的校正边界;
确定每个所述校正边界对应的至少一个目标像点组合,基于所述初始校正图像中各像点的通道值,对各所述目标像点组合中的像点的通道值进行校正得到目标校正图像;
其中,每个所述校正边界对应的一个目标像点组合包括所述初始校正图像中与该校正边界相邻的一个像点、以及与该像点在该校正边界对应的校正方向上相邻的一个像点,每个所述目标像点组合中的各像点位于对应校正边界的同一侧。
2.根据权利要求1所述的方法,其特征在于,所述基于待校正图像中每个第一像点的位置信息,确定该第一像点的色差偏移位置,包括:
确定R通道对应的色差偏移参数以及B通道对应的色差偏移参数;
基于待校正图像中每个第一像点的位置信息,确定该第一像点相较于所述待校正图像的图像中心的第一横向距离、第一纵向距离以及第一直线距离;基于所述第一横向距离、所述第一直线距离以及该第一像点对应的色差偏移参数,确定该第一像点的第一横向色差偏移量,基于所述第一纵向距离、所述第一直线距离以及该第一像点对应的色差偏移参数,确定该第一像点的第一纵向色差偏移量;基于该第一像点的第一横向色差偏移量和第一纵向色差偏移量,确定该第一像点的色差偏移位置。
3.根据权利要求1所述的方法,其特征在于,所述基于每个所述第一像点的色差偏移位置对该第一像点的通道值进行校正得到初始校正图像,包括:
基于所述待校正图像中每个所述第一像点的色差偏移位置相较于该第一像点所在第一方向的第一投影位置,从所述待校正图像中确定出该第一像点对应的第一方向校正像点,基于所述第一方向校正像点的通道值对该第一像点的通道值进行校正得到中间校正图像;基于所述中间校正图像中每个所述第一像点的色差偏移位置相较于该第一像点所在第二方向的第二投影位置,从所述中间校正图像中确定出该第一像点对应的第二方向校正像点,基于所述第二方向校正像点在所述待校正图像中的通道值对该第一像点在所述中间校正图像中的通道值进行校正得到初始校正图像;所述第一方向和所述第二方向分别为横向和纵向中的不同方向;或者,
基于所述待校正图像中每个所述第一像点的色差偏移位置,从所述待校正图像中确定出该第一像点对应的多个目标校正像点,基于各所述目标校正像点的通道值对该第一像点的通道值进行校正得到初始校正图像。
4.根据权利要求3所述的方法,其特征在于,所述基于所述待校正图像中每个所述第一像点的色差偏移位置相较于该第一像点所在第一方向的第一投影位置,从所述待校正图像中确定出该第一像点对应的第一方向校正像点,包括:
若所述待校正图像中每个第一像点的色差偏移位置相较于该第一像点所在第一方向的第一投影位置与任一第二像点重合,则将该第二像点确定为该第一像点对应的第一方向校正像点;每个所述第二像点为所述待校正图像中与该第一像点对应于相同通道的一个其他像点;
若所述第一投影位置与各所述第二像点均不重合,则将该第一像点所在第一方向上的与所述第一投影位置最近的两个第二像点确定为该第一像点对应的第一方向校正像点。
5.根据权利要求3所述的方法,其特征在于,所述基于所述待校正图像中每个所述第一像点的色差偏移位置,从所述待校正图像中确定出该第一像点对应的多个目标校正像点,包括:
从所述待校正图像中确定出距离每个所述第一像点的色差偏移位置最近的第三像点,每个所述第一像点和对应的第三像点分别对应于R通道和B通道中的不同通道;
对于每个所述第一像点,将距离该第一像点对应的第三像点最近的四个第四像点确定为该第一像点对应的目标校正像点,每个所述第四像点与该第一像点对应于相同通道。
6.根据权利要求1所述的方法,其特征在于,基于所述初始校正图像中各像点的通道值,确定至少一个校正方向对应的校正边界,包括:
基于所述初始校正图像中各像点的通道值,确定所述初始校正图像中各像点在至少一个校正方向上的G通道变化梯度;
基于所述初始校正图像中各像点在每个所述校正方向上的G通道变化梯度,确定该校正方向对应的校正边界,所述至少一个校正方向包括横向或纵向中的至少一项。
7.根据权利要求6所述的方法,其特征在于,基于所述初始校正图像中各像点的通道值,确定所述初始校正图像中各像点在横向上的G通道变化梯度,包括:
对于所述初始校正图像中的每个像点,若该像点为B通道像点或R通道像点,基于该像点左右相邻的G通道像点的通道值,确定该像点在横向上的G通道变化梯度,基于与该像点上下相邻的G通道像点的通道值,确定该像点在纵向上的G通道变化梯度;
对于所述初始校正图像中的每个像点,若该像点为G通道像点,基于与每个第五像点四面相邻的G通道像点的通道值确定该像点在横向上的G通道变化梯度,基于与每个第六像点四面相邻的G通道像点的通道值确定该像点在纵向上的G通道变化梯度,各所述第五像点与该G通道像点左右相邻,各所述第六像点与该G通道像点上下相邻。
8.根据权利要求6所述的方法,其特征在于,对于每一所述校正方向,基于所述初始校正图像中各像点在该校正方向上的G通道变化梯度,确定该校正方向对应的校正边界,包括:
确定所述初始校正图像中的第七像点,所述第七像点为所述初始校正图像的预设区域中在该校正方向上的G通道变化梯度超过该校正方向对应第一梯度阈值的第一像点,所述预设区域内各像点在该校正方向上的G通道变化梯度小于第二梯度阈值;
对于每个所述第七像点,确定该第七像点对应的各第一像点组合,每个所述第一像点组合包括该第七像点以及与该第七像点在该校正方向上相邻的一个像点,确定每个所述第一像点组合中的两个像点在该校正方向上的G通道变化梯度的梯度差,将梯度差最大的第一像点组合中的两个像点的边界确定为该校正方向对应的一个校正边界。
9.根据权利要求1所述的方法,其特征在于,所述基于所述初始校正图像中各像点的通道值,对各所述目标像点组合中的像点的通道值进行校正得到目标校正图像,包括:
从所述初始校正图像中确定出每个所述目标像点组合对应的校正像点组合,每个所述目标像点组合对应的校正像点组合和该目标像点组合位于对应的校正边界的同一侧,每个所述目标像点组合对应的校正像点组合在该目标像点组合对应的校正方向上与该目标像点组合相邻,且包括与该目标像点组合具有相同通道排列方式的两个像点;
基于色差恒定关系,通过每个目标像点组合对应的校正像点组合中各像点的通道值,对该目标像点组合中各像点的通道值进行校正得到目标校正图像。
10.根据权利要求2所述的方法,其特征在于,所述确定R通道对应的色差偏移参数以及B通道对应的色差偏移参数,包括:
确定标定图像中每个预设G通道像点对应的B通道像点和R通道像点相较于该预设G通道像点第二横向色差偏移量以及第二纵向色差偏移量;
确定每个所述预设G通道像点相较于所述标定图像的图像中心的第二横向距离、第二纵向距离以及第二直线距离;
对于B通道和R通道中的每个通道,基于各所述预设G通道像点对应的第二横向距离、第二纵向距离、第二直线距离以及对应于该通道的第二横向色差偏移量和第二纵向色差偏移量,确定该通道对应的色差偏移参数。
11.一种横向色差校正装置,其特征在于,所述装置包括:
校正模块,用于基于待校正图像中每个第一像点的位置信息,确定该第一像点的色差偏移位置,基于每个所述第一像点的色差偏移位置对该第一像点的通道值进行校正得到初始校正图像,所述待校正图像为RAW图像,每个所述第一像点为所述待校正图像中除G通道像点外的一个像点;
确定模块,用于基于所述初始校正图像中各像点的通道值,确定至少一个校正方向对应的校正边界;
所述校正模块,用于确定每个所述校正边界对应的至少一个目标像点组合,基于所述初始校正图像中各像点的通道值,对各所述目标像点组合中的像点的通道值进行校正得到目标校正图像;
其中,每个所述校正边界对应的一个目标像点组合包括所述初始校正图像中与该校正边界相邻的一个像点、以及与该像点在该校正边界对应的校正方向上相邻的一个像点,每个所述目标像点组合中的各像点位于对应校正边界的同一侧。
12.一种电子设备,其特征在于,包括处理器和存储器,所述处理器和存储器相互连接;
所述存储器用于存储计算机程序;
所述处理器被配置用于在调用所述计算机程序时,执行如权利要求1至10任一项所述的方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行以实现权利要求1至10任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211066007.4A CN115499629B (zh) | 2022-08-31 | 2022-08-31 | 横向色差校正方法、装置、设备以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211066007.4A CN115499629B (zh) | 2022-08-31 | 2022-08-31 | 横向色差校正方法、装置、设备以及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115499629A CN115499629A (zh) | 2022-12-20 |
CN115499629B true CN115499629B (zh) | 2023-05-26 |
Family
ID=84468242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211066007.4A Active CN115499629B (zh) | 2022-08-31 | 2022-08-31 | 横向色差校正方法、装置、设备以及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115499629B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111242863A (zh) * | 2020-01-09 | 2020-06-05 | 上海酷芯微电子有限公司 | 基于图像处理器实现的消除镜头横向色差的方法及介质 |
CN113905183A (zh) * | 2021-08-25 | 2022-01-07 | 珠海全志科技股份有限公司 | 宽动态范围图像的色差校正方法及装置 |
CN114359050A (zh) * | 2021-12-28 | 2022-04-15 | 北京奕斯伟计算技术有限公司 | 图像处理方法、装置、计算机设备、存储介质及程序产品 |
CN114943658A (zh) * | 2022-06-09 | 2022-08-26 | 豪威科技(武汉)有限公司 | 一种基于横向色差标定的去色边方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013240022A (ja) * | 2012-05-17 | 2013-11-28 | Canon Inc | 画像処理装置、撮像装置、および、画像処理方法 |
-
2022
- 2022-08-31 CN CN202211066007.4A patent/CN115499629B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111242863A (zh) * | 2020-01-09 | 2020-06-05 | 上海酷芯微电子有限公司 | 基于图像处理器实现的消除镜头横向色差的方法及介质 |
CN113905183A (zh) * | 2021-08-25 | 2022-01-07 | 珠海全志科技股份有限公司 | 宽动态范围图像的色差校正方法及装置 |
CN114359050A (zh) * | 2021-12-28 | 2022-04-15 | 北京奕斯伟计算技术有限公司 | 图像处理方法、装置、计算机设备、存储介质及程序产品 |
CN114943658A (zh) * | 2022-06-09 | 2022-08-26 | 豪威科技(武汉)有限公司 | 一种基于横向色差标定的去色边方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115499629A (zh) | 2022-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10839485B2 (en) | Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers | |
US9532018B2 (en) | Projection system, device and method for the output of calibration projection scenes | |
US9661257B2 (en) | Projection system, image processing device, and projection method | |
US11861813B2 (en) | Image distortion correction method and apparatus | |
US8699820B2 (en) | Image processing apparatus, camera apparatus, image processing method, and program | |
US20090160997A1 (en) | Imaging device | |
US9996903B2 (en) | Super-resolution in processing images such as from multi-layer sensors | |
US20100033584A1 (en) | Image processing device, storage medium storing image processing program, and image pickup apparatus | |
US8818128B2 (en) | Image processing apparatus, image processing method, and program | |
US20090256928A1 (en) | Method and device for detecting color temperature | |
US8385686B2 (en) | Image processing method based on partitioning of image data, image processing device based on partitioning image data and program | |
US20120188336A1 (en) | Camera module, photographing method, and electronic apparatus | |
US8908988B2 (en) | Method and system for recovering a code image including blurring | |
JP6838918B2 (ja) | 画像データ処理装置及び方法 | |
CN115499629B (zh) | 横向色差校正方法、装置、设备以及存储介质 | |
JP5446285B2 (ja) | 画像処理装置及び画像処理方法 | |
US20080316343A1 (en) | Method and Apparatus For Allowing Access to Individual Memory | |
JP2002320237A (ja) | 倍率色収差の検出方法 | |
JP2020061129A (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理システム、プログラム、および、記憶媒体 | |
CN113676659B (zh) | 图像处理方法及装置、终端及计算机可读存储介质 | |
US11893706B2 (en) | Image correction device | |
JP5423221B2 (ja) | 画像判定装置、画像判定プログラムおよび画像判定方法 | |
CN110268439B (zh) | 运动图像角点排序器 | |
CN115908172A (zh) | 一种色差校正方法以及相关装置 | |
CN113676630A (zh) | 图像处理方法及装置、终端及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |