CN114095718B - 单像素成像***及方法 - Google Patents
单像素成像***及方法 Download PDFInfo
- Publication number
- CN114095718B CN114095718B CN202111271950.4A CN202111271950A CN114095718B CN 114095718 B CN114095718 B CN 114095718B CN 202111271950 A CN202111271950 A CN 202111271950A CN 114095718 B CN114095718 B CN 114095718B
- Authority
- CN
- China
- Prior art keywords
- light
- target
- information
- image
- light field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 140
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000001228 spectrum Methods 0.000 claims description 47
- 230000003287 optical effect Effects 0.000 claims description 27
- 238000005259 measurement Methods 0.000 claims description 19
- 230000010363 phase shift Effects 0.000 claims description 16
- 239000004973 liquid crystal related substance Substances 0.000 claims description 7
- 230000000875 corresponding effect Effects 0.000 description 31
- 238000005286 illumination Methods 0.000 description 25
- 238000013461 design Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000013480 data collection Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000000701 chemical imaging Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 229910052732 germanium Inorganic materials 0.000 description 1
- GNPVGFCGXDBREM-UHFFFAOYSA-N germanium atom Chemical compound [Ge] GNPVGFCGXDBREM-UHFFFAOYSA-N 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/293—Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)
Abstract
本发明提供一种单像素成像***及方法,该***包括:光源、空间光调制器、单像素探测器和图像生成装置;所述光源,用于发射激光;所述空间光调制器,用于基于泽尼克图案作为调制图案对第一光束进行调制;所述单像素探测器,用于基于第二光束获取目标光场的信息;所述图像生成装置,用于基于所述目标光场的信息,生成目标图像。本发明提供的单像素成像***及方法,基于空间光调制器采用泽尼克图案对第一光束进行调制,通过单像素探测器输出的目标光场的信息,可以实现目标图像的重建。能够在较少的投影次数的情况下,实现较高质量的成像,提高单像素成像的成像效率。
Description
技术领域
本发明涉及光学成像技术领域,尤其涉及一种单像素成像***及方法。
背景技术
由鬼成像技术发展而来的单像素成像技术,是一种利用随机图案对照明光场或被检测光场进行空间调制,通过关联成像而非空间点扫描的成像技术方案。单像素成像技术的成像原理是首先通过空间光调制技术对空间信息进行编码,再通过单像素探测器对编码后所获得的光信号进行采集,最后通过计算对空间信息进行解码,恢复出物体图像。由于继承了鬼成像中基于随机、统计数学的图像重建机理,基于空间光调制的单像素成像技术面对的主要挑战是成像质量差和成像效率低的问题。其中,空间光调制图案的选择对单像素成像的质量和效率影响甚大。
目前,单像素成像技术采用的光调制模式,包括随机散斑模式、哈达玛模式和傅立叶模式。与传统的基于随机散斑光调制模式单像素成像技术相比,哈达玛调制模式和傅立叶光调制模式属于确定性正交基,具有利用欠采样数据重构清晰图像实现完美重构的优点,是目前常采用的调制模式。并且傅立叶光调制模式单像素成像技术比哈达玛调制模式的单像素成像技术具有更高的成像效率。尽管如此,傅里叶单像素成像技术仍需要大量的投影图案去提升成像质量,因此,现有技术的成像效率较低。
发明内容
本发明提供一种单像素成像***及方法,用以解决现有技术中需要大量投影图案保证成像质量的缺陷,实现成像效率的提高。
本发明提供一种单像素成像***,包括:光源、空间光调制器、单像素探测器和图像生成装置;
所述光源,用于发射激光;
所述空间光调制器,用于基于泽尼克图案作为调制图案对第一光束进行调制;
所述单像素探测器,用于基于第二光束获取目标光场的信息;
所述图像生成装置,用于基于所述目标光场的信息,生成目标图像;
其中,所述目标图像是待成像物体的图像,所述目标光场的信息是所述待成像物体基于入射光产生的反射光的光场信息,所述第二光束为所述单像素探测器的入射光,所述第一光束为所述空间光调制器的入射光。
根据本发明提供的一种单像素成像***,光路上依次设置所述光源、所述空间光调制器、所述待成像物体和所述单像素探测器,所述单像素探测器和所述图像生成装置连接。
根据本发明提供的一种单像素成像***,光路上依次设置所述光源、所述待成像物体、所述空间光调制器和所述单像素探测器,所述单像素探测器和所述图像生成装置连接。
根据本发明提供的一种单像素成像***,还包括飞行时间测量模块;
所述飞行时间测量模块,用于基于所述单像素探测器输出的所述目标光场的信息进行时域切片,将对应切片时刻的光场信息发送至所述图像生成装置。
根据本发明提供的一种单像素成像***,所述图像生成装置和所述空间光调制器电连接。
根据本发明提供的一种单像素成像***,所述空间光调制器包括液晶空间光调制器或者数字微镜器件。
根据本发明提供的一种单像素成像***,所述单像素探测器包括光电二极管探测器、雪崩光电二极管探测器或者单光子探测器。
本发明还提供一种单像素成像***的单像素成像方法,包括:
所述光源发射激光;
所述空间光调制器基于泽尼克图案作为调制图案对入射的第一光束进行调制;
所述探测模组元件基于入射的第二光束获取目标光场的信息;
所述图像生成装置基于所述目标光场的信息,生成目标图像;
其中,所述目标图像是待成像物体的图像,所述目标光场的信息是所述待成像物体基于入射光产生的反射光的光场信息,所述第二光束为所述单像素探测器的入射光,所述第一光束为所述空间光调制器的入射光。
根据本发明提供的一种单像素成像方法,所述图像生成装置基于所述目标光场的信息,生成目标图像,包括:
基于所述目标光场的信息,采用二步相移法获取傅里叶频谱;
基于所述傅里叶频谱,进行傅里叶逆变换,生成目标图像。
根据本发明提供的一种单像素成像方法,所述图像生成装置基于所述目标光场的信息,生成目标图像,包括:
基于所述对应切片时刻的光场信息,采用二步相移法获取目标傅里叶频谱;
基于各所述目标傅里叶频谱,按照目标时序进行傅里叶逆变换,生成目标图像。
本发明提供的单像素成像***及方法,基于空间光调制器采用泽尼克图案对第一光束进行调制,通过单像素探测器输出的目标光场的信息,可以实现目标图像的重建。能够在较少的投影次数的情况下,实现较高质量的成像,提高单像素成像的成像效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的单像素成像***的结构示意图;
图2是本发明提供的单像素成像***的光路设计结构示意图之一;
图3是本发明提供的单像素成像***的光路设计结构示意图之二;
图4是本发明提供的单像素成像***的光路设计结构示意图之三;
图5是本发明提供的单像素成像***的光路设计结构示意图之四;
图6是本发明实施例的泽尼克图案的示意图;
图7是本发明提供的单像素成像***的单像素成像方法的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。
应当理解,在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
图1是本发明提供的单像素成像***的结构示意图。如图1所示,本发明实施例提供的单像素成像***,包括:光源110、空间光调制器120、单像素探测器130和图像生成装置140。
需要说明的是,单像素成像技术作为一种计算成像技术,通过空间光调制技术对空间信息进行编码,再通过单像素探测器对编码后所得的光信号进行采集,最后通过计算对空间信息进行解码,恢复出物体图像。
对于单像素成像***的应用场景,本发明实施例对此不作具体限定。例如,可以是多光谱成像、超光谱成像、红外成像或者显微成像等。
对于任一应用场景,包括单像素成像***和待成像的对象。其中,单像素成像***的测量光路是接收由光源在不同的空间光调制下在待成像的对象上的反射光束,并将其转换成对应的数字信号。
需要说明的是,在本发明实施例中,单像素成像***生成的目标图像是二维图像。
可以理解的是,图1中的虚线并不代表模块间的连接关系,仅表示在光路中的相对次序,而无箭头的实线表示模块之间的连接关系。
具体地,单像素成像***设置有光源110、空间光调制器120、单像素探测器130和图像生成装置140,空间光调制器120利用不同的基底图案作为空间光调制图案对光源110下的光场进行调制,并由单像素探测器130获取目标光场的信息,通过采集设备传输至图像生成装置140以生成待成像物体的图像。
光源110,用于发射激光。
具体地,光源110产生均匀的照明光场,并照亮待成像物体,提高亮度。
可以理解的是,在单像素成像***中,根据不同的测量需求选取对应类型的光源110。
本发明实施例对光源110的类型不作具体限定。
可选地,依据光谱覆盖范围,光源110的类型可以为白光光源或单色光源等
依据光源发光类型,光源110的类型可以为发光二极管(Light Emitting Diode,LED)光源或激光光源等。
空间光调制器120,用于基于泽尼克图案作为调制图案对入射的第一光束进行调制。
其中,第一光束为空间光调制器的入射光。
需要说明的是,第一光束,是指空间光调制器120的入射光信号。在根据不同的测量光路设计中,第一光束可以是光源110形成的照明光场中的光束,第一光束也可以是光源110投射在待成像物体所生成的待探测光场中的光束。
具体地,单像素成像***中的空间光调制器120将输入的第一光束的光信号,根据控制信号中指示的函数关系调制并输出对应的光信号。
本发明实施例对控制信号中指示的函数关系不作具体限定。
优选地,空间光调制器120利用泽尼克基底多项式生成空间光调制图案,并基于该图案对第一光束(即照明光场或待探测光场)进行调制。
单像素探测器130,用于基于入射的第二光束获取目标光场的信息。
其中,目标光场的信息是待成像物体基于入射光产生的反射光的光场信息,第二光束为单像素探测器的入射光。
需要说明的是,第二光束,是指单像素探测器130的入射光信号。在根据不同的测量光路设计中,第二光束可以是在空间光调制器120调制后的结构光场照明下,由待成像物体所产生反射光、透射光或激发荧光;第二光束也可以是待成像物体在光源110照明条件下,由空间光调制器120对待成像物体的像进行调制后生成的光信号。
具体地,单像素成像***中的单像素探测器130接收第二光束的光信号,进行信号采集,获取目标光场的信息。
目标光场的信息,是指单像素探测器130基于待成像物体在照明光场或待探测光场所生成的反射光的光强度信号,所转换生成的电压信号,以表征单像素探测器130在探测第二光束对应生成的响应值。
图像生成装置140,用于基于目标光场的信息,生成目标图像。
其中,目标图像是待成像物体的图像。
需要说明的是,图像生成装置140和单像素探测器130通过采集元件连接。
根据生成的目标图像的维度不同,其对应设置的采集元件不同。
示例性地,若目标图像为二维图像,则采集元件为数字采集卡。即图像生成装置140通过数字采集卡将单像素探测器130生成的目标光场的信息,进行模拟/数字转换,获取目标光场的信息对应的像素值。
示例性地,若目标图像为三维图像,则采集元件为一个能够基于激光测距原理进行时间切片的采集元件。即图像生成装置140通过该数字采集卡将单像素探测器130生成的对应时间切片的目标光场的信息,进行模拟/数字转换,获取与该时间切片的目标光场的信息对应的像素值。
具体地,图像生成装置140根据与目标光场的信息对应的每一个坐标点的像素值,推导出傅立叶光谱。然后通过傅里叶逆变换处理傅里叶频谱来重建目标图像。
本发明实施例对生成图像的具体过程不作具体限定。
示例性地,图像生成装置140重建二维目标图像的具体实施方式如下:
S1、利用泽尼克基底图案作为空间光调制图案对照明光场或待探测光场进行调制。
(1)设置一个全灰的基图案来抵消平均强度,全灰基图案是其他投影图案的基准,其所有像素都有相同的灰度值。全灰基图案的表达式为:
Zbase=Gary(x,y)=k
其中,k是全灰基图案的平均强度。根据全灰基图案的位数确定k的取值范围。
示例性地,若全灰基图案的位数为8bit,k的范围则为0-255。
优选地,k=126。
(2)除了全灰基图案外,还需要其他投影图案,故任意一个连续信号都可以在一个半径为R的单位圆上用泽尼克多项式展开。泽尼克多项式可以定义为:
其中,
其中,Zeven和Zodd分别是泽尼克多项式为奇函数和偶函数所对应的泽尼克投影图案,m和n为不同泽尼克投影图案的阶数,都为正整数且同时满足m≤n和n-|m|=even,为实值径向多项式,即对应阶数下的泽尼克投影图案,fx和fy分别是二维泽尼克图案中对应x和y方向的空间频率。因此,每个照明的泽尼克图案都包含一个特定的空间频率,在图像重建中起着关键作用。
(3)将全灰基图案和泽尼克投影图案投影到待成像物体上,使用单像素探测器130对来感知光强度的变化并将其转换为电压信号。理论上每个投影图案对应一个电压值,但在实际测量时,需要采样更多的数据点来减少误差。由于光电探测器的数据是模拟信号,不便于存储和分析,通过数字采集卡将其转换为数字信号。
通过数据采集卡采集到的数字信号,采用二步相移法计算图像的傅立叶频谱,其计算公式可以为:
F(fx,fy)=(Zeven-Zbase)+(Zodd-Zbase)·j
其中,F(fx,fy)为重建图像的傅立叶频谱中与空间频率(fx,fy)对应的傅里叶系数,j称为索引,是模的序数,即关于泽尼克多项式的阶数n和m的函数。
数据采集卡采集到的数字信号可以用泽尼克多项式展开,表示为Zeven和Zodd。任一泽尼克多项式中的Rnm对应的泽尼克图案是实值的,因此,由Zeven和Zodd生成的傅里叶频谱具有共轭对称性。
S2、对傅里叶频谱采用逆傅里叶变换重建目标图像,其计算公式如下:
I(x,y)=F-1{F(fx,fy)}
=F-1{(Zeven-Zbase)+(Zodd-Zbase)·j}
其中,F-1{ }表示逆傅里叶变换。
在现有技术中,要重建图像分辨率为M*N的图像,则需要获取傅里叶频谱中的全部的M*N个傅里叶系数。由于每个傅里叶系数需要投影x步相移的泽尼克图案,故需要每一次都需要花费x次测量,共需要进行x*M*N次测量。
在本发明实施例的方案中,由于选择二步相移法去获取傅里叶系数,共需要进行2*M*N次测量,再由于泽尼克图案具有共轭对称性,仅需要进行M*N次测量即可实现无失真的图形重建。
本发明实施例基于空间光调制器采用泽尼克图案对第一光束进行调制,通过单像素探测器输出的目标光场的信息,可以实现目标图像的重建。能够在较少的投影次数的情况下,实现较高质量的成像,提高单像素成像的成像效率。
图2是本发明提供的单像素成像***的光路设计结构示意图之一。如图2所示,在上述任一实施例的基础上,光路上依次设置光源210、空间光调制器220、待成像物体230和单像素探测器240,单像素探测器240和图像生成装置250连接。
可以理解的是,图2中的标有箭头的虚线并不代表模块间的连接关系,仅表示具有方向的光路,而无箭头的实线表示模块之间的连接关系。
具体地,光源210、空间光调制器220、待成像物体230和单像素探测器240的中心依次放置在同一条水平准线上。光源210产生均匀的照明光场经空间光调制器220调制后,通过成像透镜成像在待成像物体230的物体面上,单像素探测器240收集物体与结构光场照明下所得的反射光的光场强度,使单像素成像***在前调制方式(称为结构照明)下,进行图像重建。
优选地,光源210发出的准直光束作为第一光束投射至空间光调制器220中,同时计算机生成一组不同阶数的泽尼克图案,通过控制空间光调制器220,依次将不同泽尼克图案生成的投影光路投射到待成像物体230上,将待成像物体230生成的反射光作为第二光束,被单像素探测器240采集,并将光信号转换成电信号,电信号经由数据采集卡存储在计算机硬盘上,通过计算机中的图像生成装置250处理得到目标图像。
本发明实施例基于光源、待成像物体、空间光调制器和单像素探测器所构成的前调制光路,通过单像素探测器向图像生成装置输出的目标光场的信息,可以实现目标图像的重建。能够在较少的投影次数的情况下,实现较高质量的成像,提高单像素成像的成像效率。
图3是本发明提供的单像素成像***的光路设计结构示意图之二。如图3所示,在上述任一实施例的基础上,光路上依次设置光源310、待成像物体320、空间光调制器330和单像素探测器340单像素探测器340和图像生成装置350连接。
可以理解的是,图3中的标有箭头的虚线并不代表模块间的连接关系,仅表示具有方向的光路,而无箭头的实线表示模块之间的连接关系。
具体地,光源310、待成像物体320、空间光调制器330和单像素探测器340的中心依次放置在同一条水平准线上。待成像物体320在光源310的传统照明条件下,由空间光调制器330对物体的像进行调制,所得的光场由单像素探测器340进行探测,使单像素成像***在后调制方式(称为结构探测)下,进行图像重建。
优选地,光源310发出的准直光束投射在待成像物体320,并由待成像物体320生成的反射光作为第一光束投射至空间光调制器330中,同时计算机生成一组不同阶数的泽尼克图案,通过控制空间光调制器330,依次将第一光束按照不同泽尼克图案进行调制,生成第二光束,最后利用单像素探测器340从各个方向采集第二光束的光场强度,并将光信号转换成电信号,电信号经由数据采集卡存储在计算机硬盘上,通过计算机中的图像生成装置350处理得到目标图像。
本发明实施例基于光源、空间光调制器、待成像物体和单像素探测器所构成的后调制光路,通过单像素探测器向图像生成装置输出的目标光场的信息,可以实现目标图像的重建。能够在较少的投影次数的情况下,实现较高质量的成像,提高单像素成像的成像效率。
在上述任一实施例的基础上,单像素成像***还包括飞行时间测量模块。
需要说明的是,在本发明实施例中,单像素成像***生成的目标图像是三维图像。
具体地,单像素成像***设置有光源、空间光调制器、单像素探测器、飞行时间测量模块和图像生成装置,空间光调制器利用不同的基底图案作为空间光调制图案对光源下的光场进行调制,由单像素探测器和飞行时间测量模块获取不同时间切片下的目标光场的信息,并通过飞行时间测量模块按照对应的时序发送至图像生成装置,以生成待成像物体的图像。
飞行时间测量模块,用于基于单像素探测器输出的目标光场的信息进行时域切片,将对应切片时刻的光场信息发送至图像生成装置。
具体地,飞行时间测量模块对单像素探测器输出的目标光场的信息采用飞行时间法(Time of flight,TOF)进行时域切片,提取切片时刻的光强度信息并计算对应切片平面的光场分布。再不断改变空间光调制器件上的调制信号,产生不同的目标光场,针对每个切片能够采集到不同的目标光场对应的强度信息及对应切片平面的光强分布,将各组强度信息及光强分布在图像生成装置中进行关联计算,即能够得到对应切片的二维图像,将多个切片的二维图像融合成三维的目标图像。
本发明实施例对重建三维图像的单像素成像***的光路设计不作具体限定。
图4是本发明提供的单像素成像***的光路设计结构示意图之三。可选地,如图4所示,在前述前调整光路的基础上,飞行时间测量模块450可以在不同的时间相位控制光源410产生均匀的照明光场,并经空间光调制器420调制后,通过成像透镜成像在待成像物体430的物体面上,单像素探测器440和飞行时间测量模块450在该时间切片上收集物体与结构光场照明下所得的反射光的光场强度,使单像素成像***在前调制方式(称为结构照明)下,由图像生成装置460依照各时间切片的光场信息,进行三维图像重建。
图5是本发明提供的单像素成像***的光路设计结构示意图之四。可选地,如图5所示,在前述后调整光路的基础上,飞行时间测量模块450可以在不同的时间相位控制光源510投射在待成像物体520上,由空间光调制器530对物体的像进行调制,所得的光场由单像素探测器540和飞行时间测量模块550在不同时间切片上进行探测,使单像素成像***在后调制方式(称为结构探测)下,由图像生成装置560依照各时间切片的光场信息,进行三维图像重建。
本发明实施例基于空间光调制器采用泽尼克图案对第一光束进行调制,通过单像素探测器和飞行时间测量模块获取不同时间切片上的目标光场的信息,可以实现对三维目标图像的重建。能够在较少的投影次数的情况下,实现较高质量的成像,提高单像素成像的成像效率。
在上述任一实施例的基础上,图像生成装置140和空间光调制器120电连接。
具体地,在单像素成像***中,图像生成装置140和空间光调制器120电连接。
图像生成装置140根据接收到的参数信息,生成控制指令。本发明实施例对控制指令的内容不作具体限定。
优选地,控制指令,是指能驱动空间光调制器120生成不同的泽尼克图案的指令。控制指令与泽尼克多项式的阶数[n,m]一一对应。
示例性地,图6是本发明实施例的泽尼克图案的示意图。如图6所示,在[n,m]分别取值为[1,-1]、[1,1]、[2,-2]、[2,2]、[3,-3]、[3,3]、[3,-1]、[3,1]、[4,2]、[4,-2]、[4,4]、[4,-4]、[5,1]、[5,-1]、[5,3]、[5,-3]、[5,5]和[5,-5]时,生成的泽尼克图案。
本发明实施例基于泽尼克图案进行光调制,通过单像素探测器输出的目标光场的信息,可以实现目标图像的重建。由于泽尼克多项式的共轭对称性,减少投影次数,实现较高质量的成像,提高单像素成像的成像效率。
在上述任一实施例的基础上,空间光调制器120包括液晶空间光调制器或者数字微镜器件。
具体地,空间光调制器120根据接收的控制指令实现对光的调制。本发明实施例对空间光调制器120的种类不做具体限定。
可选地,空间光调制器120可以为液晶空间光调制器。
液晶空间光调制器可以在主动控制下,通过液晶分子调制光场的某个参量,例如通过调制光场的振幅,通过折射率调制相位,通过偏振面的旋转调制偏振态,或是实现非相干——相干光的转换,从而将一定的信息写入光波中,达到光波调制的目的。
可选地,空间光调制器120可以为数字微镜器件(Digtial Micromirror Devices,DMD),是一种电子输入、光学输出的微机电***(optical micro-electrical-mechanicalsystem,MEMS),它由许多小型铝制反射镜面组成,每个镜面被称为一个像素。每个镜面能够绕每一个正方向小镜子(或者叫一个像素)的对角线偏转±12°,即DMD的微镜有三种状态+12°(开启),0°(无信号),-12°(关闭)。
当给DMD一个信号“1”,其偏转+12度,被反射的光刚好沿光轴方向通过投影物镜成像在屏上,形成一个亮的像素。当反射镜偏离平衡位置-12度或0度时,反射的光束将不能通过投影透镜,因此呈现一个暗的像素。
本发明实施例基于液晶空间光调制器或者数字微镜器件采用泽尼克图案对第一光束进行调制,通过单像素探测器输出的目标光场的信息,可以实现目标图像的重建。能够在较少的投影次数的情况下,实现较高质量的成像,提高单像素成像的成像效率。
在上述任一实施例的基础上,单像素探测器130包括光电二极管探测器、雪崩光电二极管探测器或者单光子探测器。
具体地,根据不同的测量需求,使用不同的单像素探测器130对第二光束进行探测。本发明实施例对单像素探测器130的种类不做具体限定。
可选地,单像素探测器130可以为光电二极管探测器。
光电二极管(Photo-Diode)探测器是由一个PN结组成的半导体器件,具有单方向导电特性,可以把光信号转换成电信号的光电传感器件。
可选地,单像素探测器130可以为雪崩光电二极管探测器。
雪崩光电二极管探测器是一种在激光通信中使用的光敏元件。在以硅或锗为材料制成的光电二极管的P-N结上加上反向偏压后,射入的光被P-N结吸收后会形成光电流。加大反向偏压会产生“雪崩”(即光电流成倍地激增)的现象。
可选地,单像素探测器130可以为单光子探测器。
单光子探测器(Single Photon Detector,SPD)可以在光子吸收后产生光电子,再通过读取光电子产生的电流或者电压信号,反推出光的特性。单光子探测器可以设置在对三维的目标图像重建的单像素成像***中。
本发明实施例基于空间光调制器采用泽尼克图案对第一光束进行调制,通过光电二极管探测器、雪崩光电二极管探测器或者单光子探测器输出的目标光场的信息,可以实现目标图像的重建。能够在较少的投影次数的情况下,实现较高质量的成像,提高单像素成像的成像效率。
图7是根据本发明实施例提供的单像素成像***的单像素成像方法的流程示意图。如图7所示,基于上述任一实施例的内容,单像素成像***的单像素成像方法,包括:步骤701、光源发射激光。
具体地,根据不同的测量需求,选取光源,并产生均匀的照明光场,并照亮待成像物体,提高亮度。
本发明实施例对光源的类型不作具体限定。
示例性地,光源可以依据光谱覆盖范围,将光源的类型划分为白光光源和单色光源等
光源也可以依据光源发光类型,将光源的类型划分为发光二极管(LightEmitting Diode,LED)光源和激光光源等。
步骤702、空间光调制器基于泽尼克图案作为调制图案对入射的第一光束进行调制。
其中,第一光束为空间光调制器的入射光。
需要说明的是,第一光束,是指空间光调制器的入射光信号。在根据不同的测量光路设计中,第一光束可以是光源形成的照明光场中的光束,第一光束也可以是光源投射在待成像物体所生成的待探测光场中的光束。
具体地,单像素成像***中的空间光调制器将输入的第一光束的光信号,根据控制信号中指示的函数关系调制并输出对应的光信号。
本发明实施例对控制信号中指示的函数关系不作具体限定。
优选地,空间光调制器利用泽尼克基底多项式生成空间光调制图案,并基于该图案对第一光束(即照明光场或待探测光场)进行调制。
步骤703、探测模组元件基于入射的第二光束获取目标光场的信息。
其中,目标光场的信息是待成像物体基于入射光产生的反射光的光场信息,第二光束为单像素探测器的入射光,
需要说明的是,第二光束,是指单像素探测器的入射光信号。在根据不同的测量光路设计中,第二光束可以是在空间光调制器调制后的结构光场照明下,由待成像物体所产生反射光、透射光或激发荧光,第二光束也可以是待成像物体在光源照明条件下,由空间光调制器对待成像物体的像进行调制后生成的光信号。
具体地,单像素成像***中的单像素探测器接收第二光束的光信号,进行信号采集,获取目标光场的信息。
目标光场的信息,是指单像素探测器基于待成像物体在照明光场或待探测光场所生成的反射光的光强度信号,所转换生成的电压信号,以表征单像素探测器在探测第二光束对应生成的响应值。
步骤704、图像生成装置基于目标光场的信息,生成目标图像。
其中,目标图像是待成像物体的图像。
需要说明的是,图像生成装置和单像素探测器通过采集元件连接。
示例性地,图像生成装置通过数字采集卡将单像素探测器生成的目标光场的信息,进行模拟/数字转换,获取目标光场的信息对应的像素值。
具体地,图像生成装置根据与目标光场的信息对应的每一个坐标点的像素值,推导出傅立叶光谱。然后通过傅里叶逆变换处理傅里叶频谱来重建目标图像。
在现有技术中,要重建图像分辨率为M*N的图像,则需要获取傅里叶频谱中的全部的M*N个傅里叶系数。由于每个傅里叶系数需要投影x步相移的泽尼克图案,故需要每一次都需要花费x次测量,共需要进行x*M*N次测量。
在本发明实施例的方案中,由于选择二步相移法去获取傅里叶系数,共需要进行2*M*N次测量,再由于泽尼克图案具有共轭对称性,仅需要进行M*N次测量即可实现无失真的图形重建。
本发明实施例基于空间光调制器采用泽尼克图案对第一光束进行调制,通过单像素探测器输出的目标光场的信息,可以实现目标图像的重建。能够在较少的投影次数的情况下,实现较高质量的成像,提高单像素成像的成像效率。
在上述任一实施例的基础上,图像生成装置基于光场的信息,生成目标图像,包括:基于目标光场的信息,采用二步相移法获取傅里叶频谱。
需要说明的是,步骤704中图像生成装置生成的目标图像是二维的。
具体地,在步骤704中,图像生成装置基于分别第一泽尼克图案Zeven和第二泽尼克图案Zodd的调制下,数据采集卡获取到的图像与全灰基图案Zbase,采用二步相移法获取傅里叶频谱,其计算公式可以为:
F(fx,fy)=(Zeven-Zbase)+(Zodd-Zbase)·j
其中,F(fx,fy)为重建图像的傅立叶频谱中与空间频率(fx,fy)对应的傅里叶系数,j称为索引,是模的序数,即关于泽尼克多项式的阶数n和m的函数。
基于傅里叶频谱,进行傅里叶逆变换,生成目标图像。
具体地,在步骤704中,图像生成装置基于生成的傅里叶频谱采用逆傅里叶变换重建目标图像,其计算公式如下:
I9x,y)=F-1{F(fx,fy)}
=F-1{(Zeven-Zbase)+(Zodd-Zbase)·j}
其中,F-1{ }表示逆傅里叶变换。
本发明实施例基于空间光调制器采用泽尼克图案对第一光束进行调制,通过数据采集卡输出的目标光场的信息,可以实现对二维目标图像的重建。能够在较少的投影次数的情况下,实现较高质量的成像,提高单像素成像的成像效率。
在上述任一实施例的基础上,图像生成装置基于目标光场的信息,生成目标图像,包括:基于对应切片时刻的光场信息,采用二步相移法获取目标傅里叶频谱。
需要说明的是,步骤704中图像生成装置生成的目标图像是三维的。
目标傅里叶频谱,为与切片时刻对应的傅里叶频谱。
具体地,在步骤704中,单光子探测器分别基于第一泽尼克图案Zeven和第二泽尼克图案Zodd的调制下,获取对应切片时刻的图像。图像生成装置结合全灰基图案Zbase,采用二步相移法获取目标傅里叶频谱,其计算公式可以为:
其中,Ftarge(fx,fy)为重建图像的目标傅立叶频谱中与空间频率(fx,fy)对应的目标傅里叶系数,和/>分别为对应切片时刻的光场信息,j称为索引,是模的序数,即关于泽尼克多项式的阶数n和m的函数。
基于各目标傅里叶频谱,按照目标时序进行傅里叶逆变换,生成目标图像。
需要说明的是,目标时序,是指单光子探测器进行探测的时间顺序
具体地,在步骤704中,图像生成装置基于生成的各目标傅里叶频谱采用逆傅里叶变换重建该切片时刻对应的二维图像,再将多个二维图像按照其对应的目标时序,进行图像融合,获取三维的目标图像。
其中,基于生成的各目标傅里叶频谱采用逆傅里叶变换重建该切片时刻对应的二维图像的计算公式如下:
其中,F-1{ }表示逆傅里叶变换,Itarge(x,y)表示目标图像在目标时序中的二维图像。
本发明实施例基于空间光调制器采用泽尼克图案对第一光束进行调制,通过单光子探测器输出的目标光场的信息,可以实现对三维目标图像的重建。能够在较少的投影次数的情况下,实现较高质量的成像,提高单像素成像的成像效率。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种单像素成像***,其特征在于,包括:光源、空间光调制器、单像素探测器和图像生成装置;
所述光源,用于发射激光;
所述空间光调制器,用于基于泽尼克图案作为调制图案对第一光束进行调制;
所述单像素探测器,用于基于第二光束获取目标光场的信息;
所述图像生成装置,用于基于所述目标光场的信息,生成目标图像;
其中,所述目标图像是待成像物体的图像,所述目标光场的信息是所述待成像物体基于入射光产生的反射光的光场信息,所述第二光束为所述单像素探测器的入射光,所述第一光束为所述空间光调制器的入射光;
所述基于所述目标光场的信息,生成目标图像,包括:
基于所述目标光场的信息,采用二步相移法获取傅里叶频谱;
基于所述傅里叶频谱,进行傅里叶逆变换,生成目标图像;
所述基于所述目标光场的信息,采用二步相移法获取傅里叶频谱执行如下步骤:
将所述目标光场的信息按照所述泽尼克图案对应的泽尼克多项式进行展开,得到具有共轭对称性的第一傅里叶频谱和第二傅里叶频谱;
对所述第一傅里叶频谱和所述第二傅里叶频谱采用二步相移法,得到所述傅里叶频谱;
其中,所述第一傅里叶频谱是根据所述泽尼克图案对应的泽尼克多项式中的奇函数确定的;所述第二傅里叶频谱是根据所述泽尼克图案对应的泽尼克多项式中的偶函数确定的。
2.根据权利要求1所述的单像素成像***,其特征在于,光路上依次设置所述光源、所述空间光调制器、所述待成像物体和所述单像素探测器,所述单像素探测器和所述图像生成装置连接。
3.根据权利要求1所述的单像素成像***,其特征在于,光路上依次设置所述光源、所述待成像物体、所述空间光调制器和所述单像素探测器,所述单像素探测器和所述图像生成装置连接。
4.根据权利要求2或者3任一所述的单像素成像***,其特征在于,还包括飞行时间测量模块;
所述飞行时间测量模块,用于基于所述单像素探测器输出的所述目标光场的信息进行时域切片,将对应切片时刻的光场信息发送至所述图像生成装置。
5.根据权利要求1所述的单像素成像***,其特征在于,所述图像生成装置和所述空间光调制器电连接。
6.根据权利要求1所述的单像素成像***,其特征在于,所述空间光调制器包括液晶空间光调制器或者数字微镜器件。
7.根据权利要求1所述的单像素成像***,其特征在于,所述单像素探测器包括光电二极管探测器、雪崩光电二极管探测器或者单光子探测器。
8.基于如权利要求4所述的单像素成像***的单像素成像方法,其特征在于,包括:
所述光源发射激光;
所述空间光调制器基于泽尼克图案作为调制图案对入射的第一光束进行调制;
所述单像素探测器基于入射的第二光束获取目标光场的信息;
所述图像生成装置基于所述目标光场的信息,生成目标图像;
其中,所述目标图像是待成像物体的图像,所述目标光场的信息是所述待成像物体基于入射光产生的反射光的光场信息,所述第二光束为所述单像素探测器的入射光,所述第一光束为所述空间光调制器的入射光;
所述图像生成装置基于所述目标光场的信息,生成目标图像,包括:
基于所述目标光场的信息,采用二步相移法获取傅里叶频谱;
基于所述傅里叶频谱,进行傅里叶逆变换,生成目标图像;
所述基于所述目标光场的信息,采用二步相移法获取傅里叶频谱执行如下步骤:
将所述目标光场的信息按照所述泽尼克图案对应的泽尼克多项式进行展开,得到具有共轭对称性的第一傅里叶频谱和第二傅里叶频谱;
对所述第一傅里叶频谱和所述第二傅里叶频谱采用二步相移法,得到所述傅里叶频谱;其中,所述第一傅里叶频谱是根据所述泽尼克图案对应的泽尼克多项式中的奇函数确定的;所述第二傅里叶频谱是根据所述泽尼克图案对应的泽尼克多项式中的偶函数确定的。
9.根据权利要求8所述的单像素成像方法,其特征在于,所述图像生成装置基于所述目标光场的信息,生成目标图像,包括:
基于所述对应切片时刻的光场信息,采用二步相移法获取目标傅里叶频谱;
基于各所述目标傅里叶频谱,按照目标时序进行傅里叶逆变换,生成目标图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111271950.4A CN114095718B (zh) | 2021-10-29 | 2021-10-29 | 单像素成像***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111271950.4A CN114095718B (zh) | 2021-10-29 | 2021-10-29 | 单像素成像***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114095718A CN114095718A (zh) | 2022-02-25 |
CN114095718B true CN114095718B (zh) | 2023-10-24 |
Family
ID=80298266
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111271950.4A Active CN114095718B (zh) | 2021-10-29 | 2021-10-29 | 单像素成像***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114095718B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113033723B (zh) * | 2021-03-08 | 2023-06-16 | 山东大学 | 环形掩膜版、光场调控方法、单像素成像方法及*** |
CN114710615B (zh) * | 2022-06-08 | 2022-08-12 | 中国人民解放军国防科技大学 | 高效单像素成像方法及*** |
CN117471489B (zh) * | 2023-12-25 | 2024-03-22 | 中国人民解放军国防科技大学 | 基于单像素成像技术的目标探测方法、装置和计算机设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103907048A (zh) * | 2011-10-26 | 2014-07-02 | 浜松光子学株式会社 | 光调制控制方法、控制程序、控制装置以及激光照射装置 |
CN107306333A (zh) * | 2016-12-07 | 2017-10-31 | 暨南大学 | 一种高速单像素成像方法 |
CN112935531A (zh) * | 2019-12-11 | 2021-06-11 | 株式会社迪思科 | 激光束的光斑形状的校正方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104154878B (zh) * | 2014-07-29 | 2016-09-28 | 暨南大学 | 一种使用单像素探测器的光学成像方法 |
-
2021
- 2021-10-29 CN CN202111271950.4A patent/CN114095718B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103907048A (zh) * | 2011-10-26 | 2014-07-02 | 浜松光子学株式会社 | 光调制控制方法、控制程序、控制装置以及激光照射装置 |
CN107306333A (zh) * | 2016-12-07 | 2017-10-31 | 暨南大学 | 一种高速单像素成像方法 |
CN112935531A (zh) * | 2019-12-11 | 2021-06-11 | 株式会社迪思科 | 激光束的光斑形状的校正方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114095718A (zh) | 2022-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114095718B (zh) | 单像素成像***及方法 | |
JP6817387B2 (ja) | Ladarシステム及び方法 | |
CN103471718B (zh) | 一种基于稀疏孔径压缩计算关联的高光谱成像***及方法 | |
CN105589210B (zh) | 一种基于光瞳调制的数字化合成孔径成像方法 | |
JP2013535931A (ja) | 圧縮撮像装置の画像取得時間の減少 | |
CN103308189B (zh) | 一种基于双压缩符合测量的纠缠成像***及方法 | |
CN107817641B (zh) | 基于多模光纤的单像素相机*** | |
US20200120299A1 (en) | Method and system for time-of-flight imaging with high lateral resolution | |
CN103326779B (zh) | 一种基于压缩感知的自由空间光通信***及方法 | |
US8542347B2 (en) | Super resolution telescope | |
CN114721006B (zh) | 高精度单像素成像方法及*** | |
CN104267407A (zh) | 基于压缩采样的主动成像方法和*** | |
CN113114882A (zh) | 一种高采样效率的傅里叶单像素成像方法 | |
CN114264370B (zh) | 一种压缩感知计算层析成像光谱仪***和成像方法 | |
CN108007385B (zh) | 一种大视场弹坑表面形貌成像***及方法 | |
CN114710615B (zh) | 高效单像素成像方法及*** | |
CN112731783B (zh) | 一种高通量单像素全息成像方法及其*** | |
US11802962B2 (en) | Method for multipath error compensation and multipath error-compensated indirect time of flight range calculation apparatus | |
CN212694043U (zh) | 主动照明关联成像*** | |
JP2023552698A (ja) | イメージング・システム | |
CN107014487B (zh) | 一种动态场景下的压缩感知测量方法及其*** | |
CN212723363U (zh) | 减小接收到的回波能量差异*** | |
Hovland | Construction and demonstration of a multispectral tomographic scanning imager (TOSCA) | |
CN212723364U (zh) | 减小接收到的回波能量差异*** | |
CN112866532B (zh) | 一种紧凑型双光路单像素成像***及不均匀光源校正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |