CN113518186B - 一种工业相机曝光度的自动调节方法及装置 - Google Patents
一种工业相机曝光度的自动调节方法及装置 Download PDFInfo
- Publication number
- CN113518186B CN113518186B CN202110701126.1A CN202110701126A CN113518186B CN 113518186 B CN113518186 B CN 113518186B CN 202110701126 A CN202110701126 A CN 202110701126A CN 113518186 B CN113518186 B CN 113518186B
- Authority
- CN
- China
- Prior art keywords
- gray scale
- shutter time
- acquisition
- acquisition gray
- ideal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及一种工业相机曝光度的自动调节方法及装置,方法包括:根据预设的比例确定策略,确定每种颜色对应的主分量与次分量之间的快门时间固定比例;获取每种颜色对应的主分量在第一采集灰度下的理想快门时间,第一采集灰度为用户根据显示屏校正需要预先设置的灰度值;根据每种颜色对应的主分量在第一采集灰度下的理想快门时间,以及每种颜色对应的主分量与次分量之间的快门时间固定比例,获得每种颜色对应的次分量在第一采集灰度下的理想快门时间;根据每种颜色对应的主分量以及次分量在第一采集灰度下的理想快门时间,对工业相机的快门时间进行调节,使工业相机获得理想曝光度。本发明提供的方法及装置,能够大大降低调节次数,提高调节效率。
Description
技术领域
本发明涉及工业相机曝光度调节领域,尤其涉及一种工业相机曝光度的自动调节方法及装置。
背景技术
在色度校正过程中,需使用工业相机拍摄LED显示屏,从而得到校正图片。拍摄LED显示屏时需要对工业相机进行自动测光(调节工业相机的快门时间),以保证校正图片的曝光度达到理想曝光度或正常曝光度,该自动测光需要进行各个颜色分量(例如红色主分量、红色次分量、蓝色主分量、蓝色次分量、绿色主分量、绿色次分量)的测光,且在对这些颜色分量测光时,每次都需要将工业相机的快门时间从一个固定的初始快门时间开始调节,将快门时间由初始快门时间逐渐调整为理想快门时间,以实现拍出的校正图片达到理想曝光度(218)或者正常曝光度(207-229之间),这种自动调节方法存在调节次数较多,且耗时较长的问题,若是基于人工手动调节,调节次数可能将会更多,耗时时间将会更长。
发明内容
针对上述问题,本发明提供一种工业相机曝光度的自动调节方法及装置,实现曝光度自动调节的同时,还能够减少快门时间的调节次数,提高调节效率。
本发明提供的工业相机曝光度的自动调节方法,包括根据预设的比例确定策略,确定每种颜色对应的主分量与次分量之间的快门时间固定比例,颜色包括红色、绿色以及蓝色;获取每种颜色对应的主分量在第一采集灰度下的理想快门时间,第一采集灰度为用户根据显示屏校正需要预先设置的灰度值;根据每种颜色对应的主分量在第一采集灰度下的理想快门时间,以及每种颜色对应的主分量与次分量之间的快门时间固定比例,获得每种颜色对应的次分量在第一采集灰度下的理想快门时间;根据每种颜色对应的主分量以及次分量在第一采集灰度下的理想快门时间,调节工业相机的快门时间,以使工业相机获得理想曝光度或正常曝光度。
进一步的,根据预设的比例确定策略,确定每种颜色对应的主分量与次分量之间的快门时间固定比例包括:分别采集每种颜色对应的主分量以及次分量在多个预设采集灰度下的理想快门时间,并进行可视化处理,为每种颜色生成对应的分析图像,分析图像中包括同一颜色的主分量以及次分量的理想快门时间随采集灰度变化的曲线;根据分析图像,计算每种颜色对应的主分量与次分量在多个预设采集灰度下的理想快门时间比例;计算每种颜色对应的主分量与次分量在多个预设采集灰度下的理想快门时间比例的平均值或中位数,将中位数或平均值作为每种颜色对应的主分量与次分量的理想快门时间固定比例。
进一步的,方法还包括:获取第二采集灰度,第二采集灰度为用户根据显示屏的校正需要预先设置的灰度值;确定第二采集灰度所在的采集灰度范围,采集灰度范围包括高亮采集灰度范围以及低亮采集灰度范围;若第二采集灰度在高亮采集灰度范围内,判断第一采集灰度是否在高亮采集灰度范围内,若是,根据预设的预测策略以及每种颜色对应的主分量以及次分量在第一采集灰度下的理想快门时间,预测得到每种颜色对应的主分量以及次分量在第二采集灰度下的预测快门时间,将每种颜色对应的主分量以及次分量在第二采集灰度下的预测快门时间作为理想快门时间,根据每种颜色对应的主分量以及次分量在第二采集灰度下的理想快门时间,调节工业相机的快门时间;若第二采集灰度在低亮采集灰度范围内,获取每种颜色对应的主分量以及次分量在第三采集灰度下的理想快门时间,第三采集灰度为低亮采集灰度范围内的最高采集灰度;根据预设的预测策略以及每种颜色对应的主分量以及次分量在第三采集灰度下的理想快门时间,预测得到每种颜色对应的主分量以及次分量在第二采集灰度下的预测快门时间;将每种颜色对应的主分量以及次分量在第二采集灰度下的预测快门时间作为起始快门时间,以起始快门时间作为工业相机的快门时间初始值,在起始快门时间的基础上对工业相机的快门时间进行调整,直至工业相机获得理想曝光度或者正常曝光度。
进一步的,预测策略为:从预设的Gamma表中获取第二采集灰度对应的,以及第一采集灰度或第三采集灰度对应的Gamma值;根据公式,分别计算得到每种颜色在第二采集灰度下对应的主分量与次分量的预测快门时间,其中i为第一采集灰度或第三采集灰度,j为第二采集灰度,color为选定的颜色分量,为第一采集灰度或第三采集灰度对应的Gamma值,为第二采集灰度对应的Gamma值,为选定的颜色分量在第一采集灰度或第三采集灰度下的理想快门时间,为选定的颜色分量在第二采集灰度下的预测快门时间。
进一步的,高亮采集灰度范围为[9,255],低亮采集灰度范围为[0,8]。
进一步的,红色的主分量表示为Xr,次分量表示为Yr、Zr;绿色的主分量表示为Yg,次分量表示为Xg、Zg;蓝色的主分量表示为Zb,次分量表示为Xb、Yb;根据每种颜色对应的主分量以及次分量在第一采集灰度下的理想快门时间,对工业相机的快门时间进行调节为:根据Xr、Yr、Xg、Yg、Zg、Xb、Yb、Zb的理想快门时间,调节工业相机的快门时间。
本发明还提供一种工业相机曝光度的自动调节装置,装置包括:固定比例确定模块、第一获取模块、第一预测模块以及第一调节模块,其中:固定比例确定模块,与第一预测模块连接,用于根据预设的比例确定策略,确定每种颜色对应的主分量与次分量之间的快门时间固定比例,颜色包括红色、绿色以及蓝色;第一获取模块,与第一预测模块以及第一调节模块连接,用于获取第一采集灰度,并获取每种颜色对应的主分量在第一采集灰度下的理想快门时间,第一采集灰度为用户根据显示屏校正需要预先设置的灰度值;第一预测模块,与第一调节模块连接,用于根据每种颜色对应的主分量在第一采集灰度下的理想快门时间,以及每种颜色对应的主分量与次分量之间的快门时间固定比例,获得每种颜色对应的次分量在第一采集灰度下的理想快门时间;第一调节模块,用于根据每种颜色对应的主分量以及次分量在第一采集灰度下的理想快门时间,调节工业相机的快门时间,以使工业相机获得理想曝光度或者正常曝光度。
进一步的,固定比例确定模块包括样本采集单元、可视化处理单元、分析计算单元以及固定比例确定单元,其中:样本采集单元,与可视化处理单元连接,用于分别采集每种颜色对应的主分量以及次分量在多个预设采集灰度下的理想快门时间;可视化处理单元,与分析计算单元连接,用于分别将每种颜色对应的主分量以及次分量在多个预设采集灰度下的理想快门时间,进行可视化处理,为每种颜色生成对应的分析图像,分析图像中包括同一颜色的主分量以及次分量的理想快门时间随采集灰度变化的曲线;分析计算单元,与固定比例确定单元连接,用于根据分析图像,计算每种颜色对应的主分量以及次分量在多个预设采集灰度下的理想快门时间比例;固定比例计算单元,用于计算每种颜色对应的主分量与次分量在多个预设采集灰度下的理想快门时间比例的平均值或中位数,将中位数或平均值作为每种颜色对应的主分量与次分量的理想快门时间固定比例。
进一步的,装置还包括第二获取模块、第二预测模块、采集灰度判断模块、第二调节模块,其中:第二获取模块,与第二预测模块、采集灰度判断模块连接,用于获取第二采集灰度,第二采集灰度为用户根据显示屏校正需要预先设置的灰度值;采集灰度判断模块,与第二获取模块、第二预测模块连接,用于确定第二采集灰度所在的采集灰度范围,采集灰度范围包括高亮采集灰度范围以及低亮采集灰度范围;若第二采集灰度在高亮采集灰度范围内,采集灰度判断模块还用于判断第一采集灰度是否在高亮采集灰度范围内;第二预测模块,与第一调节模块、第二调节模块连接,用于在第一采集灰度以及第二采集灰度同时在预设的高亮采集灰度范围内或者低亮采集灰度范围内时,根据预设的预测策略以及每种颜色对应的主分量以及次分量在第一采集灰度下的理想快门时间,预测得到每种颜色对应的主分量以及次分量在第二采集灰度下的预测快门时间,并且控制第一调节模块调节工业相机的快门时间;第二预测模块还用于在第二采集灰度在低亮采集灰度范围内时,获取每种颜色对应的主分量以及次分量在第三采集灰度下的理想快门时间,根据预设的预测策略以及每种颜色对应的主分量以及次分量在第三采集灰度下的理想快门时间,预测得到每种颜色对应的主分量以及次分量在第二采集灰度下的预测快门时间,并且控制第二调节模块调节工业相机的快门时间,其中第三采集灰度为低亮采集灰度范围内的最高采集灰度;第一调节模块,与第二预测模块连接,还用于将每种颜色对应的主分量以及次分量在第二采集灰度下的预测快门时间作为理想快门时间,根据每种颜色对应的主分量以及次分量在第二采集灰度下的理想快门时间,调节工业相机的快门时间;第二调节模块,用于将每种颜色对应的主分量以及次分量在第二采集灰度下的预测快门时间作为起始快门时间,以起始快门时间作为工业相机的快门时间初始值,在起始快门时间的基础上对工业相机的快门时间进行调整,直至工业相机获得理想曝光度或者正常曝光度。
进一步的,第二预测模块包括Gamma值获取单元以及与Gamma值获取单元连接的快门时间预测单元,其中:Gamma值获取单元,用于从预设的Gamma表中获取第二采集灰度对应的,以及第一采集灰度或第三采集灰度对应的Gamma值;快门时间预测单元,用于根据公式,分别计算得到每种颜色在第二采集灰度下对应的主分量与次分量的预测快门时间,其中i为第一采集灰度或第三采集灰度,j为第二采集灰度,color为选定的颜色分量,为第一采集灰度或第三采集灰度对应的Gamma值,为第二采集灰度对应的Gamma值,为选定的颜色分量在第一采集灰度或第三采集灰度下的理想快门时间,为选定的颜色分量在第二采集灰度下的预测快门时间。
本发明提供的工业相机曝光度的自动调节方法及装置,至少包括以下有益效果:预先获得每种颜色对应的主分量与次分量之间的快门时间固定比例,在进行工业相机曝光度调节时,只需要利用多次测量得到各个颜色的主分量的理想快门时间,即可根据每种颜色对应的主分量与次分量之间的快门时间固定比例,得到各个颜色次分量的理想快门时间。采用本实施例中的工业相机曝光度调节方法,省去了对次分量的快门时间进行多次调节的步骤,可以大大减少调节次数,提高调节效率。
附图说明
为了更清楚的说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见的,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一种实施例中的工业相机曝光度的自动调节方法步骤流程图;
图2为本发明一种实施例中的确定理想快门时间固定比例步骤流程图;
图3为本发明一种实施例中的红色对应的分析图像;
图4为预测测光-直接测光的测光次数比较示意图;
图5为预测测光-直接测光的测光时间比较示意图;
图6为本发明又一种实施例中的工业相机曝光度的自动调节方法步骤流程图;
图7为本发明一种实施例中的工业相机曝光度的自动调节装置示意图;
图8为本发明一种实施例中的固定比例确定模块结构示意图;
图9为本发明又一种实施例中的工业相机曝光度的自动调节装置示意图;
图10为本发明一种实施例中的第二预测模块结构示意图;
501-固定比例确定模块、502-第一获取模块、503-第一预测模块、504-第一调节模块、5011-样本采集单元、5012-可视化处理单元、5013-分析计算单元、5014-固定比例确定单元、505-第二获取模块、506-第二预测模块、507-采集灰度判断模块、508-第二调节模块、5061-Gamma值获取单元、5062-快门时间预测单元。
具体实施方式
下面将结合本发明中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通的技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例,都属于本发明的保护范围。
在本发明的一种实施例中,如图1所示,公开了一种工业相机曝光度的自动调节方法,具体的,方法包括以下步骤:
步骤S101:根据预设的比例确定策略,确定每种颜色对应的主分量与次分量之间的快门时间固定比例。
具体的,本实施例中所提及的工业相机可以为CCD(Charge Coupled Device,电荷耦合器件)相机或CMOS(Complementary Metal-Oxide-Semiconductor,互补金属氧化物半导体)相机。本实施例中的颜色包括红色、绿色以及蓝色3种颜色,每种颜色对应1个主分量以及2个次分量,其中各个颜色分量是屏幕发光波长各组分的表示,是通过相机滤镜对不同波长的光进行选择性透过后得到的。相机滤镜一般有三种,分别为X、Y、Z:X主要选择性透过红光,而在红光外其他波长透过率低;Y主要选择性透过绿光;Z主要选择性透过蓝光。因而红色的三个分量为Xr、Yr、Zr(分别代表X滤镜透过的红光、Y滤镜透过的红光、Z滤镜透过的红光),由于在X滤镜下主要透过红光,所以红色的主分量为Xr,次分量为Yr、Zr。同理,绿色的主分量为Yg,次分量为Xg、Zg;蓝色的主分量为Zb,次分量为Xb、Yb。更具体的,由于经过多次实验验证,红色次分量Zr的快门时间对于曝光度的影响极小,可以忽略不计,因此在本实施例中,对工业相机的曝光度进行调节时,无需调节Zr的快门时间,仅需对Xr、Yr、Xg、Yg、Zg、Xb、Yb、Zb这8个分量的快门时间进行调节即可。
进一步的,在本实施例中,如图2所示,根据预设的比例确定策略,确定每种颜色对应的主分量与次分量之间的快门时间固定比例包括以下步骤:
步骤S1011:分别采集每种颜色对应的主分量以及次分量在多个预设采集灰度下的理想快门时间。
具体的,在一种实现方式中,预设采集灰度可以从灰度值150开始,每次递增10,一直到灰度值250,总共11个采集灰度,即150、160、170、180、190、200、210、220、230、240、250。每一个采集灰度对应8个分量的测光数据,即上述提及的Xr、Yr、Xg、Yg、Zg、Xb、Yb、Zb这8个分量的理想快门时间。当然也可以选用其他的采集灰度,本发明对此不作限制。
更具体的,在本实施例中,采集每种颜色对应的主分量以及次分量在多个预设采集灰度下的理想快门时间为:通过工业相机,对显示屏进行拍摄,获得对应采集灰度的校正图像,根据校正图像的曝光度对工业相机中各个颜色分量的快门时间进行调节,直至得到理想曝光度或者正常曝光度的校正图像,记录此时各个颜色分量的快门时间作为理想快门时间。
进一步的,当得到各个颜色分量的理想快门时间之后,需要对各个颜色分量的理想快门时间进行复检,具体的,复检的过程包括,将该理想快门时间再次作为工业相机的起始快门时间进行拍照,以验证在该理想快门时间下是否能够拍摄得到具有理想曝光度或者正常曝光度的校正图片,若能够拍摄得到具有理想曝光度的校正图片,则将该理想快门时间作为最终的理想快门时间,用于在步骤S103中预测其他次分量的理想快门时间,若拍摄得到的校正图片的曝光度不在理想曝光度或正常曝光度内,则对该理想快门时间进行进一步的调节,直至拍摄得到具有理想曝光度或者正常曝光度的校正图片,将此时的理想快门时间作为最终的理想快门时间,用于在步骤S103中预测其他次分量的理想快门时间。通过增加理想快门时间的复检过程,可以进一步的确保得到的理想快门时间的准确性,从而使后续的预测过程更加准确。
更进一步的,在采集多个预设采集灰度下的理想快门时间时,需要在采集时保持关灯(同时保证处于相同的采集环境),保证工业相机型号固定、显示屏屏幕型号固定、工业相机的模糊度固定、光圈设置固定,工业相机与显示屏屏幕相对位置固定、拍摄的校正图片的理想曝光度限制在225±2。
步骤S1012:分别将每种颜色对应的主分量以及次分量在多个预设采集灰度下的理想快门时间,进行可视化处理,为每种颜色生成对应的分析图像。
具体的,分析图像中包括同一颜色的主分量以及次分量的理想快门时间随采集灰度变化的曲线,如图3所示,为红色对应的可视化图像,其中包括红色主分量Xr及红色次分量Yr对应的理想快门时间随采集灰度变化的曲线,由于经过大量实验发现在实际调节曝光度时,红色次分量的快门时间对于曝光度的影响很小,可忽略不计,因此本发明中在调节曝光度时,无需用到红色次分量Zr,因此未在图3中示出。
步骤S1013:根据分析图像,计算每种颜色对应的主分量与次分量在多个预设采集灰度下的理想快门时间比例。
在本步骤中,每种颜色在每一个采集灰度下,均可计算出一个主分量与次分量的理想快门时间比例,也即每种颜色对应有多个主分量与次分量的理想快门时间比例。
步骤S1014:计算每种颜色对应的主分量与次分量在多个预设采集灰度下的理想快门时间比例的平均值或中位数,将中位数或平均值作为每种颜色对应的主分量与次分量的理想快门时间固定比例。
本步骤对于每种颜色,求其对应的多个主分量与次分量的理想快门时间比例的平均值或中位数,作为该种颜色对应的多个主分量与次分量的理想快门时间固定比例,因此对于每种颜色,均可得到一个确定的主分量与次分量的理想快门时间固定比例,便于后续的利用理想快门时间比例对次分量的理想快门时间进行预测。进一步的,采用平均值或者中位数作为最终的理想快门时间固定比例,可以有效减小计算误差,提高次分量的理想快门时间的预测准确性。
步骤S102:获取每种颜色对应的主分量在第一采集灰度下的理想快门时间。
具体的,在本实施例中,第一采集灰度为用户根据显示屏校正需要预先设置的灰度值。以红色主分量为例,获取红色主分量在第一采集灰度下的理想快门时间为:对于红色主分量,设置工业相机以某一个预设的快门时间作为起始快门时间,令工业相机在起始快门时间下利用X滤镜对显示屏进行拍照,得到具有第一采集灰度的校正图片,根据校正图片的曝光度对工业相机的快门时间进行反复调节,直至工业相机拍摄得到的校正图片的曝光度达到理想曝光度或者正常曝光度,则停止调整,将此时工业相机对应的快门时间作为红色主分量对应的理想快门时间。进一步的,在本实施例中,当获取每种颜色对应的主分量在第一采集灰度下的理想快门时间之后,也需要对其进行复检,具体的复检过程上文已经提及,在此不再进行过多赘述。
步骤S103:根据每种颜色对应的主分量在第一采集灰度下的理想快门时间,以及每种颜色对应的主分量与次分量之间的快门时间固定比例,获得每种颜色对应的次分量在第一采集灰度下的理想快门时间。
步骤S104:根据每种颜色对应的主分量以及次分量在第一采集灰度下的理想快门时间,调节工业相机的快门时间,以使工业相机获得理想曝光度或者正常曝光度。
具体的,上述已经提及,红色的主分量表示为Xr,次分量表示为Yr、Zr;绿色的主分量表示为Yg,次分量表示为Xg、Zg;蓝色的主分量表示为Zb,次分量表示为Xb、Yb。由于Zr的快门时间对于曝光度的影响可以忽略不计,因此在本实施例中根据每种颜色对应的主分量以及次分量在第一采集灰度下的理想快门时间,对工业相机的快门时间进行调节为:根据Xr、Yr、Xg、Yg、Zg、Xb、Yb、Zb的理想快门时间,对工业相机的快门时间进行调节。也即,在本实施例中,对工业相机的曝光度进行调节时,无需调节所有颜色分量的快门时间,只需要调节Xr、Yr、Xg、Yg、Zg、Xb、Yb、Zb这8个颜色分量的快门时间即可。更进一步的,在步骤S101中,确定每种颜色对应的主分量与次分量之间的快门时间固定比例,只需确定Xr与Yr、Yg与Xg、Yg与Zg、Zb与Xb、Zb与Yb的快门时间固定比例即可。
如图4所示,为在采集灰度为210时,采用直接测光方法(传统调节方法)和采用本发明提供的工业相机曝光度的自动调节方法(即图4、图5中的K值预测法,K值指的是主分量与次分量的快门时间固定比例)对应的测光次数比较图,如图5所示,为在采集灰度为210时,采用直接测试方法(传统调节方法)和采用本发明提供的工业相机曝光度的自动调节方法(即图4、图5中的K值预测法)对应的测光时间比较图,从图4、图5能够明显看出,采用本发明提供的工业相机曝光度的自动调节方法,大大减小了调光时间与调光次数。
在本实施例中,针对每一种颜色,通过预先采集多个采集灰度下各个分量的测光数据(理想快门时间),得到每种颜色对应的主分量与次分量之间的快门时间固定比例,在进行工业相机曝光度调节时,只需要利用多次测量得到各个颜色的主分量的理想快门时间,即可根据每种颜色对应的主分量与次分量之间的快门时间固定比例,得到各个颜色次分量的理想快门时间。采用本实施例中的工业相机曝光度调节方法,根据主分量的理想快门时间直接得到次分量的理想快门时间,省去了对次分量进行多次调节的步骤,可以大大减少调节次数,提高调节效率。
在本发明的又一种实施例中,如图6所示,工业相机曝光度的自动调节方法还包括以下步骤:
步骤S401:获取第二采集灰度。
具体的,第二采集灰度也为用户根据显示屏的校正需要预先设置的灰度值。更具体的,在用户利用工业相机采集校正图片之前,用户可以预先同时设置多个采集灰度,将其中1个采集灰度作为第一采集灰度,先根据上述的步骤S101-步骤S104获得各个颜色分量在第一采集灰度下对应理想快门时间,之后再根据本实施例中的方法获得各个颜色分量在其他采集灰度下对应得理想快门时间。从而在工业相机需要拍摄多个采集灰度下的校正图像时,进一步减少工业相机的调节次数,提高调节效率。
步骤S402:判断第二采集灰度是否在高亮采集灰度范围内,若是,则执行步骤S403,否则,执行步骤S406。
具体的,在本实施例中,将采集灰度分为高亮采集灰度与低亮采集灰度,高亮采集灰度范围为[9,255],低亮采集灰度范围为[0,8]。通过判断第二采集灰度是否在高亮采集灰度范围内,即可确定出第二采集灰度所在的采集灰度范围。
步骤S403:判断第一采集灰度是否在高亮采集灰度范围内,若是,则执行步骤S404,否则,执行步骤S408;
步骤S404:根据预设的预测策略以及每种颜色对应的主分量以及次分量在第一采集灰度下的理想快门时间,预测得到每种颜色对应的主分量以及次分量在第二采集灰度下的预测快门时间。
步骤S405:将每种颜色对应的主分量以及次分量在第二采集灰度下的预测快门时间作为每种颜色对应的主分量以及次分量在第二采集灰度下的理想快门时间,根据每种颜色对应的主分量以及次分量在第二采集灰度下的理想快门时间,调节工业相机的快门时间。
步骤S406:获取每种颜色对应的主分量以及次分量在第三采集灰度下的理想快门时间,根据预设的预测策略以及每种颜色对应的主分量以及次分量在第三采集灰度下的理想快门时间,预测得到每种颜色对应的主分量以及次分量在第二采集灰度下的预测快门时间。
步骤S407:将每种颜色对应的主分量以及次分量在第二采集灰度下的预测快门时间作为起始快门时间,以起始快门时间作为工业相机的快门时间初始值,在起始快门时间的基础上对工业相机的快门时间进行调整,直至工业相机获得理想曝光度或者正常曝光度。
具体的,第三采集灰度为低亮采集灰度范围内的最高采集灰度,当低亮采集灰度范围为[0,8]时,则第三采集灰度为8。每种颜色对应的主分量以及次分量在第三采集灰度下的理想快门时间,可以根据步骤S101-步骤S104中的方法获得。
步骤S408:结束预测。
具体的,在本实施例中,步骤S404中的预设策略为:
步骤S4041:从预设的Gamma表中获取第一采集灰度以及第二采集灰度对应的Gamma值。
具体的,在Gamma表中,每个灰度可对应存在一个确定的Gamma值,用于调整显示屏的显示效果。
具体的,i为第一采集灰度,j为第二采集灰度,color为选定的颜色分量,为第一采集灰度对应的Gamma值,为第二采集灰度对应的Gamma值,为选定的颜色分量在第一采集灰度下的理想快门时间,为选定的颜色分量在第二采集灰度下的预测快门时间。进一步的,步骤S406中的预设策略与步骤S404中的预设策略相同,仅需在预测时将第一采集灰度替换为第三采集灰度即可。
由于经过多次实验验证,利用公式、高亮采集灰度范围内的一个已知采集灰度的理想快门时间,预测得到的高亮采集灰度范围内的其他采集灰度下各颜色分量的预测快门时间,与其实际的理想快门时间十分接近,利用公式、低亮采集灰度范围内的最高采集灰度的理想快门时间,预测得到的低亮采集灰度范围内的其他采集灰度下(高亮采集灰度以外的灰度)各颜色分量的预测快门时间虽然小于实际的理想快门时间,但是相比于工业相机原有的起始快门时间而言,其更为接近实际的理想快门时间。因此当第一采集灰度以及第二采集灰度同时为高亮度采集灰度时,根据Gamma表,利用已知第一采集灰度的理想快门时间计算得到第二采集灰度的预测快门时间后,将预测快门时间作为理想快门时间;或者当第二采集灰度为低亮度采集灰度时,根据Gamma表,利用已知第三采集灰度的理想快门时间计算得到第二采集灰度的预测快门时间后,将预测快门时间作为起始快门时间,可以大幅减少测光(调节)次数和测光(调节)时间。
而对于第二采集灰度在高亮采集灰度,第一采集灰度不在高亮采集灰度时,利用Gamma表预测得到的预测快门时间与实际的理想快门时间差距较大,因此在本实施例中,当第二采集灰度在高亮采集灰度,第一采集灰度不在高亮采集灰度时,直接结束预测。进一步的,第二采集灰度在高亮采集灰度,第一采集灰度不在高亮采集灰度时,可以采用步骤S101-步骤S104中的方法获得第二采集灰度的各个分量的理想快门时间。
本发明还提供一种工业相机曝光度的自动调节装置,如图7所示,装置包括:固定比例确定模块501、第一获取模块502、第一预测模块503以及第一调节模块504,其中:
固定比例确定模块501,与第一预测模块503连接,用于根据预设的比例确定策略,确定每种颜色对应的主分量与次分量之间的快门时间固定比例,颜色包括红色、绿色以及蓝色。具体的,每种颜色对应1个主分量以及2个次分量;
第一获取模块502,与第一预测模块503以及第一调节模块504连接,用于获取第一采集灰度,并获取每种颜色对应的主分量在第一采集灰度下的理想快门时间,第一采集灰度为用户根据显示屏校正需要预先设置的灰度值;
第一预测模块503,与第一调节模块504连接,用于根据每种颜色对应的主分量在第一采集灰度下的理想快门时间,以及每种颜色对应的主分量与次分量之间的快门时间固定比例,获得每种颜色对应的次分量在第一采集灰度下的理想快门时间;
第一调节模块504,用于根据每种颜色对应的主分量以及次分量在第一采集灰度下的理想快门时间,调节工业相机的快门时间,以使工业相机获得理想曝光度或者正常曝光度。
本实施例中提供的工业相机曝光度的自动调节装置,利用固定比例确定模块预先确定好每种颜色对应的主分量与次分量之间的快门时间固定比例,之后由第一预测模块根据每种颜色对应的主分量在第一采集灰度下的理想快门时间,以及每种颜色对应的主分量与次分量之间的快门时间固定比例,获得每种颜色对应的次分量在第一采集灰度下的理想快门时间,在拍摄校正图片时,可以有效的减少工业相机快门时间的调节次数及调节时间,经过较少的调节次数及调节时间,即可使工业相机拍摄得到具有理想曝光度或者正常曝光度的校正图片。
在本发明的又一种实施例中,如图8所示,固定比例确定模块501包括样本采集单元5011、可视化处理单元5012、分析计算单元5013以及固定比例确定单元5014,其中:
样本采集单元5011,与可视化处理单元5012连接,用于分别采集每种颜色对应的主分量以及次分量在多个预设采集灰度下的理想快门时间;
可视化处理单元5012,与分析计算单元5013连接,用于分别将每种颜色对应的主分量以及次分量在多个预设采集灰度下的理想快门时间,进行可视化处理,为每种颜色生成对应的分析图像,分析图像中包括同一颜色的主分量以及次分量的理想快门时间随采集灰度变化的曲线;
分析计算单元5013,与固定比例确定单元5014连接,用于根据分析图像,计算每种颜色对应的主分量以及次分量在多个预设采集灰度下的理想快门时间比例;
固定比例计算单元5014,用于计算每种颜色对应的主分量与次分量在多个预设采集灰度下的理想快门时间比例的平均值或中位数,将中位数或平均值作为每种颜色对应的主分量与次分量的理想快门时间固定比例。
在本发明的又一种实施例中,如图9所示,装置还包括第二获取模块505、第二预测模块506、采集灰度判断模块507、第二调节模块508,其中:
第二获取模块505,与第二预测模块506、采集灰度判断模块507连接,用于获取第二采集灰度,第二采集灰度为用户根据显示屏校正需要预先设置的灰度值;
采集灰度判断模块507,与第二获取模块505、第二预测模块506连接,用于确定第二采集灰度所在的采集灰度范围,采集灰度范围包括高亮采集灰度范围以及低亮采集灰度范围;若第二采集灰度在高亮采集灰度范围内,采集灰度判断模块507还用于判断第一采集灰度是否在高亮采集灰度范围内;
第二预测模块506,与第一调节模块504、第二调节模块508连接,用于在第一采集灰度以及第二采集灰度同时在预设的高亮采集灰度范围内时,根据预设的预测策略以及每种颜色对应的主分量以及次分量在第一采集灰度下的理想快门时间,预测得到每种颜色对应的主分量以及次分量在第二采集灰度下的预测快门时间,并且控制第一调节模块504调节工业相机的快门时间;
第二预测模块506还用于在第二采集灰度在低亮采集灰度范围内时,获取每种颜色对应的主分量以及次分量在第三采集灰度下的理想快门时间,根据预设的预测策略以及每种颜色对应的主分量以及次分量在第三采集灰度下的理想快门时间,预测得到每种颜色对应的主分量以及次分量在第二采集灰度下的预测快门时间,并且控制第二调节模块505调节工业相机的快门时间,其中第三采集灰度为低亮采集灰度范围内的最高采集灰度;
第一调节模块504,与第二预测模块506连接,还用于将每种颜色对应的主分量以及次分量在第二采集灰度下的预测快门时间作为理想快门时间,根据每种颜色对应的主分量以及次分量在第二采集灰度下的理想快门时间,调节工业相机的快门时间;
第二调节模块508,用于将每种颜色对应的主分量以及次分量在第二采集灰度下的预测快门时间作为起始快门时间,以起始快门时间作为工业相机的快门时间初始值,在起始快门时间的基础上对工业相机的快门时间进行调整,直至工业相机获得理想曝光度或者正常曝光度。
本实施例中提供的工业相机曝光度的自动调节装置,获得各个颜色分量在第一采集灰度下对应理想快门时间之后,根据预设的预设策略获得各个颜色分量在其他采集灰度下对应得理想快门时间,从而在工业相机需要拍摄多个采集灰度下的校正图像时,进一步减少工业相机的快门时间的调节次数,降低调节时间,提高调节效率。
在本发明的又一种实施例中,如图10所示,第二预测模块506包括Gamma值获取单元5061以及与Gamma值获取单元5061连接的快门时间预测单元5062,其中:Gamma值获取单元5061,用于从预设的Gamma表中获取第二采集灰度对应的,以及第一采集灰度或者第三采集灰度对应的Gamma值;快门时间预测单元5062,用于根据公式,分别计算得到每种颜色在第二采集灰度下对应的主分量与次分量的预测快门时间,其中i为第一采集灰度或第三采集灰度,j为第二采集灰度,color为选定的颜色分量,为第一采集灰度或第三采集灰度对应的Gamma值,为第二采集灰度对应的Gamma值,为选定的颜色分量在第一采集灰度或第三采集灰度下的理想快门时间,为选定的颜色分量在第二采集灰度下的预测快门时间。
本发明提供的工业相机曝光度的自动调节方法及装置,实现了工业相机曝光度的自动调节,并且极大的减少了工业相机快门时间调节的次数与时间,大大提高了调节速度。
本发明说明书中使用的术语和措辞仅仅为了举例说明,并不意味构成限定。本文中在本发明的权利要求书、说明书中所使用的“第一”、“第二”“第三”只是为了便于区分的目的,没有特殊含义,不是旨在于限制本发明。本领域技术人员应当理解,在不脱离所公开的实施方式的基本原理的前提下,对上述实施方式中的各细节可进行各种变化。因此,本发明的范围只由权利要求确定,在权利要求中,除非另有说明,所有的术语应按最宽泛合理的意思进行理解。
Claims (10)
1.一种工业相机曝光度的自动调节方法,其特征在于,所述方法包括:
根据预设的比例确定策略,确定每种颜色对应的主分量与次分量之间的快门时间固定比例,所述颜色包括红色、绿色以及蓝色;
获取每种颜色对应的主分量在第一采集灰度下的理想快门时间,所述第一采集灰度为用户根据显示屏校正需要预先设置的灰度值;
根据每种颜色对应的主分量在所述第一采集灰度下的理想快门时间,以及每种颜色对应的主分量与次分量之间的快门时间固定比例,获得每种颜色对应的次分量在所述第一采集灰度下的理想快门时间;
根据每种颜色对应的主分量以及次分量在所述第一采集灰度下的理想快门时间,调节工业相机的快门时间,以使所述工业相机获得理想曝光度或者正常曝光度。
2.根据权利要求1所述的工业相机曝光度的自动调节方法,其特征在于,所述根据预设的比例确定策略,确定每种颜色对应的主分量与次分量之间的快门时间固定比例包括:
分别采集每种颜色对应的主分量以及次分量在多个预设采集灰度下的理想快门时间,并进行可视化处理,为每种颜色生成对应的分析图像,所述分析图像中包括同一颜色的主分量以及次分量的理想快门时间随采集灰度变化的曲线;
根据所述分析图像,计算每种颜色对应的主分量与次分量在多个预设采集灰度下的理想快门时间比例;
计算每种颜色对应的主分量与次分量在多个预设采集灰度下的理想快门时间比例的平均值或中位数,将所述中位数或平均值作为每种颜色对应的主分量与次分量的理想快门时间固定比例。
3.根据权利要求1所述的工业相机曝光度的自动调节方法,其特征在于,所述方法还包括:
获取第二采集灰度,所述第二采集灰度为用户根据显示屏的校正需要预先设置的灰度值;
确定所述第二采集灰度所在的采集灰度范围,所述采集灰度范围包括高亮采集灰度范围以及低亮采集灰度范围;
若所述第二采集灰度在所述高亮采集灰度范围内,判断所述第一采集灰度是否在所述高亮采集灰度范围内,若是,根据预设的预测策略以及每种颜色对应的主分量以及次分量在所述第一采集灰度下的理想快门时间,预测得到每种颜色对应的主分量以及次分量在所述第二采集灰度下的预测快门时间,将每种颜色对应的主分量以及次分量在所述第二采集灰度下的预测快门时间作为理想快门时间,根据每种颜色对应的主分量以及次分量在所述第二采集灰度下的理想快门时间,调节所述工业相机的快门时间;
若所述第二采集灰度在所述低亮采集灰度范围内,获取每种颜色对应的主分量以及次分量在第三采集灰度下的理想快门时间,所述第三采集灰度为所述低亮采集灰度范围内的最高采集灰度;根据预设的预测策略以及每种颜色对应的主分量以及次分量在所述第三采集灰度下的理想快门时间,预测得到每种颜色对应的主分量以及次分量在所述第二采集灰度下的预测快门时间;将每种颜色对应的主分量以及次分量在所述第二采集灰度下的预测快门时间作为起始快门时间,以所述起始快门时间作为所述工业相机的快门时间初始值,在所述起始快门时间的基础上对所述工业相机的快门时间进行调整,直至所述工业相机获得理想曝光度或者正常曝光度。
5.根据权利要求3所述的工业相机曝光度的自动调节方法,其特征在于,所述高亮采集灰度范围为[9,255],所述低亮采集灰度范围为[0,8]。
6.根据权利要求1所述的工业相机曝光度的自动调节方法,其特征在于,
红色的主分量表示为Xr,次分量表示为Yr、Zr;
绿色的主分量表示为Yg,次分量表示为Xg、Zg;
蓝色的主分量表示为Zb,次分量表示为Xb、Yb;
所述根据每种颜色对应的主分量以及次分量在所述第一采集灰度下的理想快门时间,调节工业相机的快门时间为:根据Xr、Yr、Xg、Yg、Zg、Xb、Yb、Zb的理想快门时间,调节所述工业相机的快门时间。
7.一种工业相机曝光度的自动调节装置,其特征在于,所述装置包括:固定比例确定模块、第一获取模块、第一预测模块以及第一调节模块,其中:
所述固定比例确定模块,与所述第一预测模块连接,用于根据预设的比例确定策略,确定每种颜色对应的主分量与次分量之间的快门时间固定比例,所述颜色包括红色、绿色以及蓝色;
所述第一获取模块,与所述第一预测模块以及第一调节模块连接,用于获取第一采集灰度,并获取每种颜色对应的主分量在第一采集灰度下的理想快门时间,所述第一采集灰度为用户根据显示屏校正需要预先设置的灰度值;
所述第一预测模块,与所述第一调节模块连接,用于根据每种颜色对应的主分量在所述第一采集灰度下的理想快门时间,以及每种颜色对应的主分量与次分量之间的快门时间固定比例,获得每种颜色对应的次分量在所述第一采集灰度下的理想快门时间;
所述第一调节模块,用于根据每种颜色对应的主分量以及次分量在所述第一采集灰度下的理想快门时间,调节工业相机的快门时间,以使所述工业相机获得理想曝光度或者正常曝光度。
8.根据权利要求7所述的工业相机曝光度的自动调节装置,其特征在于,所述固定比例确定模块包括样本采集单元、可视化处理单元、分析计算单元以及固定比例确定单元,其中:
所述样本采集单元,与所述可视化处理单元连接,用于分别采集每种颜色对应的主分量以及次分量在多个预设采集灰度下的理想快门时间;
所述可视化处理单元,与所述分析计算单元连接,用于分别将每种颜色对应的主分量以及次分量在多个预设采集灰度下的理想快门时间,进行可视化处理,为每种颜色生成对应的分析图像,所述分析图像中包括同一颜色的主分量以及次分量的理想快门时间随采集灰度变化的曲线;
所述分析计算单元,与所述固定比例确定单元连接,用于根据所述分析图像,计算每种颜色对应的主分量以及次分量在多个预设采集灰度下的理想快门时间比例;
所述固定比例确定单元,用于计算每种颜色对应的主分量与次分量在多个预设采集灰度下的理想快门时间比例的平均值或中位数,将所述中位数或平均值作为每种颜色对应的主分量与次分量的理想快门时间固定比例。
9.根据权利要求7所述的工业相机曝光度的自动调节装置,其特征在于,所述装置还包括第二获取模块、第二预测模块、采集灰度判断模块、第二调节模块,其中:
所述第二获取模块,与所述第二预测模块、采集灰度判断模块连接,用于获取第二采集灰度,所述第二采集灰度为用户根据显示屏校正需要预先设置的灰度值;
所述采集灰度判断模块,与所述第二获取模块以及第二预测模块连接,用于确定所述第二采集灰度所在的采集灰度范围,所述采集灰度范围包括高亮采集灰度范围以及低亮采集灰度范围;若所述第二采集灰度在所述高亮采集灰度范围内,所述采集灰度判断模块还用于判断所述第一采集灰度是否在所述高亮采集灰度范围内;
所述第二预测模块,与所述第一调节模块、第二调节模块连接,用于在所述第一采集灰度以及所述第二采集灰度同时在预设的高亮采集灰度范围内时,根据预设的预测策略以及每种颜色对应的主分量以及次分量在所述第一采集灰度下的理想快门时间,预测得到每种颜色对应的主分量以及次分量在所述第二采集灰度下的预测快门时间,并且控制所述第一调节模块调节所述工业相机的快门时间;
所述第二预测模块还用于在所述第二采集灰度在低亮采集灰度范围内时,获取每种颜色对应的主分量以及次分量在第三采集灰度下的理想快门时间,根据预设的预测策略以及每种颜色对应的主分量以及次分量在所述第三采集灰度下的理想快门时间,预测得到每种颜色对应的主分量以及次分量在所述第二采集灰度下的预测快门时间,并且控制所述第二调节模块调节所述工业相机的快门时间,其中所述第三采集灰度为所述低亮采集灰度范围内的最高采集灰度;
所述第一调节模块,与所述第二预测模块连接,还用于将每种颜色对应的主分量以及次分量在所述第二采集灰度下的预测快门时间作为理想快门时间,根据每种颜色对应的主分量以及次分量在所述第二采集灰度下的理想快门时间,调节所述工业相机的快门时间;
所述第二调节模块,用于将每种颜色对应的主分量以及次分量在所述第二采集灰度下的预测快门时间作为起始快门时间,以所述起始快门时间作为所述工业相机的快门时间初始值,在所述起始快门时间的基础上对所述工业相机的快门时间进行调整,直至所述工业相机获得理想曝光度或者正常曝光度。
10.根据权利要求9所述的工业相机曝光度的自动调节装置,其特征在于,所述第二预测模块包括Gamma值获取单元以及与所述Gamma值获取单元连接的快门时间预测单元,其中:
所述Gamma值获取单元,用于从预设的Gamma表中获取所述第二采集灰度对应的,以及所述第一采集灰度或所述第三采集灰度对应的Gamma值;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110701126.1A CN113518186B (zh) | 2021-06-24 | 2021-06-24 | 一种工业相机曝光度的自动调节方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110701126.1A CN113518186B (zh) | 2021-06-24 | 2021-06-24 | 一种工业相机曝光度的自动调节方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113518186A CN113518186A (zh) | 2021-10-19 |
CN113518186B true CN113518186B (zh) | 2021-11-16 |
Family
ID=78065856
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110701126.1A Active CN113518186B (zh) | 2021-06-24 | 2021-06-24 | 一种工业相机曝光度的自动调节方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113518186B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102170530A (zh) * | 2010-02-25 | 2011-08-31 | 夏普株式会社 | 信号处理设备及方法、固态图像捕获设备和电子信息器件 |
CN108322666A (zh) * | 2018-02-12 | 2018-07-24 | 广州视源电子科技股份有限公司 | 摄像头快门的调控方法、装置、计算机设备及存储介质 |
CN112104814A (zh) * | 2020-11-03 | 2020-12-18 | 卡莱特(深圳)云科技有限公司 | 曝光度自动调节方法、装置及led显示屏校正方法 |
-
2021
- 2021-06-24 CN CN202110701126.1A patent/CN113518186B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102170530A (zh) * | 2010-02-25 | 2011-08-31 | 夏普株式会社 | 信号处理设备及方法、固态图像捕获设备和电子信息器件 |
CN108322666A (zh) * | 2018-02-12 | 2018-07-24 | 广州视源电子科技股份有限公司 | 摄像头快门的调控方法、装置、计算机设备及存储介质 |
CN112104814A (zh) * | 2020-11-03 | 2020-12-18 | 卡莱特(深圳)云科技有限公司 | 曝光度自动调节方法、装置及led显示屏校正方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113518186A (zh) | 2021-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104301624B (zh) | 一种图像拍摄亮度控制方法及装置 | |
CN102104785B (zh) | 摄像设备及其控制方法 | |
CN104184958B (zh) | 一种适用于空间探测成像的基于fpga的自动曝光控制方法及其装置 | |
CN105635593B (zh) | 多重曝光成像***及其白平衡方法 | |
CN108024056B (zh) | 基于双摄像头的成像方法和装置 | |
CN107835372A (zh) | 基于双摄像头的成像方法、装置、移动终端和存储介质 | |
WO2008148291A1 (fr) | Dispositif et procédé pour étalonner un mur à écrans multiples | |
CN101404728B (zh) | 一种数字图像曝光调整的方法和装置 | |
CN108881701B (zh) | 拍摄方法、摄像头、终端设备及计算机可读存储介质 | |
CN107801011B (zh) | 全景拍摄的白平衡处理方法、装置及设备 | |
CN107800971B (zh) | 全景拍摄的自动曝光控制处理方法、装置及设备 | |
TW201345246A (zh) | 用於進行影像合成的影像處理設備和影像處理方法 | |
CN101170650A (zh) | 产生特定场景的高动态范围影像的方法及*** | |
CN102622741B (zh) | 一种检测图像文件的方法及装置 | |
EP1315370A2 (en) | Precision exposure setting in a digital imaging device | |
CN110798671A (zh) | 投影装置亮度的自适应调节方法及调节*** | |
CN107846556A (zh) | 成像方法、装置、移动终端和存储介质 | |
CN102523386B (zh) | 基于直方图均衡化的自动曝光方法 | |
CN107872631A (zh) | 基于双摄像头的图像拍摄方法、装置及移动终端 | |
CN107635124B (zh) | 人脸拍摄的白平衡处理方法、装置及设备 | |
CN113518186B (zh) | 一种工业相机曝光度的自动调节方法及装置 | |
CN108063933A (zh) | 图像处理方法及装置、计算机可读存储介质和计算机设备 | |
CN108156434A (zh) | 图像处理方法及装置、计算机可读存储介质和计算机设备 | |
EP2146501B1 (en) | Image processing apparatus, image-capturing apparatus, and image processing program | |
CN106448546B (zh) | 自动调节成像面积大小的方法和led亮色度校正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |