CN110062145A - 深度相机、电子设备及图像获取方法 - Google Patents
深度相机、电子设备及图像获取方法 Download PDFInfo
- Publication number
- CN110062145A CN110062145A CN201910437664.7A CN201910437664A CN110062145A CN 110062145 A CN110062145 A CN 110062145A CN 201910437664 A CN201910437664 A CN 201910437664A CN 110062145 A CN110062145 A CN 110062145A
- Authority
- CN
- China
- Prior art keywords
- image
- laser
- memory block
- projecting apparatus
- depth camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2504—Calibration devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/02—Illuminating scene
- G03B15/03—Combinations of cameras with lighting apparatus; Flash units
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
- G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
本申请公开了一种深度相机、电子设备及图像获取方法。深度相机包括激光投射器、图像传感器、第一存储区、第二存储区及逻辑减电路。激光投射器用于向场景投射激光。图像传感器用于多次曝光以获取多帧采集图像,多帧采集图像包括在激光投射器未投射激光时获取的第一图像及在激光投射器投射激光时获取的第二图像。第一存储区用于存储第一图像。第二存储区用于存储第二图像。逻辑减电路用于处理第一图像和第二图像以得到第三图像,第三图像用于计算深度图像。本申请的深度相机可以得到减背景后的第三图像,第三图像为可以容易地区分出激光散斑点的图像,激光散斑匹配不受影响,可以避免深度信息出现部分或全部缺失,从而提升深度图像的精确度。
Description
技术领域
本申请涉及成像技术领域,特别涉及一种深度相机、电子设备及图像获取方法。
背景技术
深度相机通过向场景投射带有斑点的激光图案来获取场景的深度信息。具体地,深度相机向场景中投射出红外激光(例如940nm的红外激光),红外激光形成散斑图案,深度相机采集被场景中物体反射形成的散斑图案以进行场景中物体的深度信息的获取。然而,如果在亮度较高的场景下使用深度相机,例如处于阳光强烈的户外场景下使用深度相机,此时的环境光线中包含有大量940nm的红外光,这部分红外光会进入到深度相机中成像,导致散斑图案成像与环境红外光成像的亮度比较接近,算法无法区分激光散斑点,导致激光散斑匹配失败,深度信息出现部分或全部缺失。
发明内容
本申请实施方式提供了一种深度相机、电子设备及图像获取方法。
本申请实施方式的深度相机包括激光投射器、图像传感器、第一存储区、第二存储区及逻辑减电路。所述激光投射器用于向场景投射激光。所述图像传感器用于多次曝光以获取多帧采集图像,多帧所述采集图像包括在所述激光投射器未投射激光时获取的第一图像及在所述激光投射器投射激光时获取的第二图像。所述第一存储区用于存储所述第一图像。所述第二存储区用于存储所述第二图像。所述逻辑减电路用于处理所述第一图像和所述第二图像以得到第三图像,所述第三图像用于计算深度图像。
本申请实施方式的电子设备包括壳体、上述的深度相机及处理器。所述深度相机与所述壳体结合。所述处理器用于根据所述第三图像及参考图像计算所述深度图像。
本申请实施方式的图像获取方法用于深度相机。所述深度相机包括激光投射器、第一存储区、第二存储区及逻辑减电路,所述图像获取方法包括:向场景投射激光;获取多帧采集图像,多帧所述采集图像包括在所述激光投射器未投射激光时获取的第一图像及在所述激光投射器投射激光时获取的第二图像;将所述第一图像存储在所述第一存储区;将所述第二图像存储在所述第二存储区;将所述第一图像及所述第二图像传送到所述逻辑减电路中进行处理以得到第三图像,所述第三图像用于计算深度图像。
本申请实施方式的深度相机、电子设备及图像获取方法控制激光投射器交替地执行投射激光和不投射激光的操作,控制图像采集器采集仅由环境红外光形成的第一图像以及同时由环境红外光和激光投射器投射的红外激光形成的第二图像,并基于第一图像去除掉第二图像中由环境红外光形成的图像部分,由此得到仅由激光投射器投射的红外激光形成的第三图像,第三图像为可以容易地区分出激光散斑点的图像,激光散斑匹配不受影响,可以避免深度信息出现部分或全部缺失,从而提升深度图像的精确度。
本申请实施方式的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1和图2是本申请某些实施方式的电子设备的结构示意图。
图3是本申请某些实施方式的电子设备的***架构示意图。
图4是本申请某些实施方式的第一存储区、第二存储区、第三存储区设置在图像传感器内部的电路示意图。
图5是本申请某些实施方式的激光投射器和图像采集器的一个工作时序图。
图6是本申请某些实施方式的激光投射器和图像采集器的另一个工作时序图。
图7是本申请某些实施方式的第一存储区、第二存储区、第三存储区设置在图像传感器外部且与图像传感器封装在一起的电路示意图。
图8是本申请某些实施方式的第一存储区、第二存储区、第三存储区设置在处理器内部的电路示意图。
图9和图10是本申请某些实施方式的图像获取方法的流程示意图。
图11是本申请某些实施方式的非易失性计算机可读存储介质与处理器的交互示意图。
具体实施方式
下面详细描述本申请的实施方式,所述实施方式的示例在附图中示出,其中,相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本申请的实施方式,而不能理解为对本申请的实施方式的限制。
请一并参阅图1至图3,本申请提供一种电子设备100。其中,电子设备100可以是手机、平板电脑、笔记本电脑、智能穿戴设备(智能手表、智能手环、智能头盔、智能眼镜等)、虚拟现实设备等。本申请以电子设备100是手机为例进行说明,但电子设备100的形式并不限于手机。电子设备100包括深度相机10、泛光灯20、可见光相机30、处理器40及壳体50。
处理器40收容在壳体50中。深度相机10、泛光灯20及可见光相机30均安装在壳体50上。在一个例子中,壳体50包括主体51和可动支架52。可动支架52在驱动装置的驱动下可以相对主体51运动,例如,可动支架52可以相对于主体51滑动,以滑入主体51或从主体51滑出。深度相机10、泛光灯20及可见光相机30均可以安装在可动支架52上,可动支架52运动可带动深度相机10、泛光灯20及可见光相机30缩回主体51内或从主体51中伸出。壳体50上开设有一个或多个采集窗口,采集窗口可以开设在壳体50的正面或背面深度相机10、泛光灯20及可见光相机30均与采集窗口对准安装,以使深度相机10和可见光相机30能够接收从采集窗口入射的光线,泛光灯20发射的光线可以从采集窗***出。用户在需要使用深度相机10、泛光灯20及可见光相机30中的任意一个时,可以触发可动支架52从主体51中滑出以带动深度相机10、泛光灯20及可见光相机30从主体51中伸出;用户不需要使用深度相机10、泛光灯20及可见光相机30时,可以触发可动支架52滑入主体51以带动深度相机10、泛光灯20及可见光相机30缩回主体51中。在另一个例子中,壳体50上开设有一个或多个通孔,深度相机10、泛光灯20及可见光相机30安装在壳体50内并与通孔对准。通孔可以开设在壳体50的正面或背面,深度相机10和可见光相机30可以接收经过通孔的光线,泛光灯20发射的光线可以从通孔射出。
深度相机10包括激光投射器11和图像采集器12。激光投射器11用于向场景投射激光。其中,激光投射器11包括激光光源111和第一驱动器112,第一驱动器112可用于驱动激光光源111投射激光。激光可以是红外激光或其他不可见光,例如紫外激光等。图像采集器12包括图像传感器121,图像传感器121曝光时,图像传感器121接收被物体反射回的光线以形成采集图像。在本申请的具体实施例中,图像传感器121为CMOS传感器。另外,本申请以激光是红外激光为例,图像采集器12是红外摄像头为例进行说明,但激光和图像采集器12的形式并不限于此,例如,激光还可以是紫外激光,图像采集器12是紫外光摄像头。激光投射器11和图像采集器12均与处理器40连接,处理器40可以为激光投射器11提供使能信号,具体地,处理器40可以为第一驱动器112提供使能信号。图像采集器12通过I2C总线与处理器40连接。深度相机10工作时,图像采集器12通过选通信号(strobe信号)与激光投射器11配合使用,strobe信号可被视为高低电平交替的电信号,它是根据图像采集器12获取采集图像的采集时序生成的。strobe信号用于控制激光投射器11按照strobe信号指示的投射时序投射激光。具体地,处理器40通过I2C总线发送获取深度图像的图像采集指令至图像采集器12,图像采集器12接收到图像采集指令后,通过strobe信号控制开关器件61,若strobe信号为高电平,则开关器件61向第一驱动器112发送第一脉冲信号(pwn1),第一驱动器112根据第一脉冲信号驱动激光光源111向场景中投射激光,若strobe信号为低电平,则开关器件61停止发送第一脉冲信号至第一驱动器112,激光光源111不投射激光;或者,也可以是在strobe信号为低电平时,开关器件61向第一驱动器112发送第一脉冲信号,第一驱动器112根据第一脉冲信号驱动激光光源111向场景中投射激光,在信号为高电平时,开关器件61停止发送第一脉冲信号至第一驱动器112,激光光源111不投射激光。
深度相机10还包括第一存储区71、第二存储区72及逻辑减电路73。在一个例子中,第一存储区71、第二存储区72及逻辑减电路73均设置在图像传感器121内部。具体地,如图3和图4所示,图像传感器121包括像素阵列、放大器、10-bit模数转换器、黑电平校准电路、逻辑减电路73、第一存储区71、第二存储区72、先入先出(First Input First Output,FIFO)存储器、移动产业处理器接口(Mobile Industry Processor Interface,MIPI)。像素阵列、放大器、10-bit模数转换器、黑电平校准电路、逻辑减电路73、FIFO存储器及移动产业处理器接口依次连接,第一存储区71与第二村湖区72均与逻辑减电路连接。在另一个例子中,第一存储区71、第二存储区72及逻辑减电路73均设置在图像传感器121外部并与图像传感器121封装在一起(图未示)。激光投射器11可以向场景中投射激光,图像传感器121可以多次曝光以获取多帧采集图像。多帧采集图像包括激光投射器11未投射激光时获取的第一图像以及激光投射器11投射激光时获取的第二图像。第一存储区71用于存储第一图像,第二存储区72用于存储第二图像,逻辑减电路73用于处理第一图像和第二图像以得到第三图像,第三图像可以用于计算深度图像。
请结合图5和图6,在一个例子中,处理器40发送图像采集指令至图像传感器121,处理器40在发送图像采集指令至图像传感器121的同时还发送复位信号(reset)至图像采集器12以复位图像采集器12。图像传感器121接收到图像采集指令后开始曝光,同时在这第一次曝光的开始时刻根据自身获取采集图像的采集时序生成strobe信号并发送strobe信号至开关器件61,开关器件61按照strobe信号的高低电平变化时序为第一驱动器112提供第一脉冲信号,以使第一驱动器112按照strobe信号指示的投射时序控制激光光源111投射激光。图像传感器121仅在第一次曝光的开始时刻发送strobe信号至开关器件61,而无需在每一次曝光时都发送strobe信号至开关器件61,控制逻辑较为简单。如图6所示,图6中由上至下依次为实线、虚线及点划线,其中,实线表示激光投射器11的投射时序,虚线表示图像采集器12获取采集图像的采集时序以及采集图像的帧数,点划线表示根据第一图像和第二图像得到的第三图像的帧数。初始状态下,激光投射器11未投射激光,图像传感器121处于复位后的未曝光状态。随后,图像传感器121接收环境中的红外光(下称环境红外光)以获取第N1子帧采集图像(即图5中的背景曝光的过程,此时第N1子帧采集图像为第一图像,也可称作背景图像),并将第N1子帧采集图像存储到第一存储区71(即图5中的存储1);随后,处理器40再次复位图像传感器121,同时激光投射器11开始投射激光,图像传感器121接收环境外光以及由激光投射器11投射的红外激光以获取第N2子帧采集图像(即图5中的背景+激光曝光的过程,此时第N2子帧采集图像为第二图像,也可称作干扰散斑图像),并将第N2子帧采集图像存储到第二存储区72(即图5中的存储2);随后,逻辑减电路73从第一存储区71读取第N1子帧采集图像、从第二存储区72读取第N2子帧采集图像,并对第N1子帧采集图像及第N2子帧采集图像执行减法处理以得到第N帧采集图像(即图5中的存储2-存储1的过程,此时第N帧采集图像第三图像)。图像传感器121从逻辑减电路73中获取第N帧采集图像并通过移动产业处理器接口(Mobile Industry Processor Interface,MIPI)将第N帧采集图像发送给处理器40(即图5中的输出的过程)。随后,图像传感器121复位,同时激光投射器11的工作状态再次变为未投射激光的状态,图像传感器121接收环境红外光以获取第N1+1子帧采集图像(此时为第一图像),并将第N1+1子帧采集图像存储到第一存储区71;随后,处理器40再次复位图像传感器121,同时激光投射器11开始投射激光,图像传感器121接收环境外光以及由激光投射器11投射的红外激光以获取第N2+1子帧采集图像(此时为第二图像),并将第N2+1子帧采集图像存储到第二存储区72;随后,逻辑减电路73从第一存储区71读取第N1+1子帧采集图像、从第二存储区72读取第N2+1子帧采集图像,并对第N1+1子帧采集图像及第N2+1子帧采集图像执行减法处理以得到第N+1帧采集图像(即第三图像)。图像传感器121从逻辑减电路73中获取第N+1帧采集图像并通过移动产业处理器接口将第N帧采集图像发送给处理器40。依此类推,处理器40可以接收到多帧第三图像。处理器40在接收到每一帧第三图像后,即可根据该帧第三图像以及预存在处理器40中的参考图像做深度图像的计算。
需要说明的是,在某些实施方式中,图像采集器12也可以在发送第三图像给处理器40的过程中同时执行采集图像的获取。并且,图像采集器12也可以先获取第二图像,再获取第三图像,并根据这个顺序交替执行采集图像的获取。
可以理解,环境光包括与激光投射器11投射的红外激光波长相同的红外光(例如,包含940nm的环境红外光),图像采集器12获取采集图像时,这部分红外光也会被图像采集器12接收。在场景的亮度较高时,图像采集器12接收的光线中环境红外光的占比会增大,导致采集图像中的激光散斑点不明显,从而影响深度图像的计算。
本申请的图像获取方法控制激光投射器11交替地执行投射激光和不投射激光的操作,控制图像采集器12采集仅由环境红外光形成的第一图像以及同时由环境红外光和激光投射器11投射的红外激光形成的第二图像,并基于第一图像去除掉第二图像中由环境红外光形成的图像部分,由此得到仅由激光投射器11投射的红外激光形成的第三图像,第三图像为可以容易地区分出激光散斑点的图像,激光散斑匹配不受影响,可以避免深度信息出现部分或全部缺失,从而提升深度图像的精确度。
在本申请的具体实施例中,用于计算第三图像的第一图像和第二图像是图像传感器121执行连续的两次曝光获取的,如图6所示,第N帧图像是由连续两次曝光获取的第N1子帧第一图像和第N2子帧第二图像计算得到的,如此,第N1子帧第一图像和第N2子帧第二图像中环境红外光的量较为一致,根据连续两次曝光获取的第N1子帧第一图像和第N2子帧第二图像计算出来的第N帧第三图像中环境红外光的占比会更少。
在某些实施方式中,第一图像的多个像素点与第二图像中的多个像素点是一一对应的,第一图像与第二图像的相减指的是第一图像的像素点P1i,j的像素值与第二图像的像素点P2i,j的像素值相减,也即是说,第三图像中的像素点P3i,j的像素值的计算方式为:P3i,j=P2i,j-P1i,j,i∈N+,j∈N+。
在某些实施方式中,第一存储区71、第二存储区72及逻辑减电路73均设置在图像传感器121的外部,并且与图像传感器121封装在一起。具体地,图像采集器12还包括电路板,图像传感器121设置在电路板上。如图7所示,第一存储区71、第二存储区72及逻辑减电路73设置在图像传感器121外部时,第一存储区71、第二存储区72及逻辑减电路73单独做成一个减背景处理芯片(即去除环境红外光的干扰),减背景处理芯片与图像传感器121均设置在设置电路板(图未示)上,使能信号(EN)可用于控制减背景处理芯片的工作状态。图像传感器121曝光后输出的信号通过移动产业处理器接口输出至减背景处理芯片,减背景处理芯片可将减背景处理后得到的信号通过移动产业处理器接口输出至处理器40。此时,图像传感器121仅需要执行曝光的操作,则第一存储区71、第二存储区72及逻辑减电路73可以作为额外电路与现有的图像传感器121结合,而不用大幅度地更改现有的图像传感器121的电路设计,有利于简化图像采集器12的制造。
在第一存储区71、第二存储区72及逻辑减电路73均设置在图像采集器12中时,图像采集器12曝光两次后仅输出一帧,也即是说,此时图像采集器12以不同的曝光帧率和输出帧率工作,其中,曝光帧率大于输出帧率(如图6所示,图像采集器12曝光两子帧采集图像,输出一帧采集图像)。在第一存储区71、第二存储区72及逻辑减电路73均设置在图像采集器12中时,由于第一图像与第二图像相减的操作是在图像采集器12中执行的,减小了处理器40的处理计算负担和功耗。
在某些实施方式中,逻辑减电路73可以计算出多帧第三图像,如图6中的第N帧第三图像、第N+1帧第三图像、第N+2帧第三图像等等,并将多帧第三图像发送给处理器40。处理器40根据多帧第三图像计算出多帧深度图像。当然,在其他实施方式中,逻辑减电路73也可以仅计算出一帧第三图像,处理器40根据这一帧第三图像计算出一帧深度图像。第三图像的帧数可以根据应用场景的安全级别来确定。具体地,当应用场景的安全级别较高时,例如对于支付等安全级别较高的应用场景,第三图像的帧数应该较多,此时需要多帧深度图像与用户的深度模板的匹配均成功才执行支付动作,以提升支付的安全性;而对于应用场景的安全级别较低,例如对于基于深度信息进行人像美颜的应用场景,第三图像的帧数可以较少,例如,为一帧,此时利用一帧深度图像即足够进行人像美颜,如此,可以减少图像采集器12以及处理器40的计算量及功耗,并可以提升图像处理的速度。
在某些实施方式中,泛光灯20包括泛光光源21和第二驱动器22,第二驱动器22可以驱动泛光光源21向场景中发射均匀的面光。泛光灯20发出的光可以是红外光或其他不可见光,如紫外光等。本申请以泛光灯20发射红外光为例进行说明,但泛光灯20发射的光的形式并不限于此。泛光灯20与处理器40连接,处理器40可以为泛光灯20提供使能信号,具体地,处理器40可以为第二驱动器22提供使能信号。泛光灯20可以与图像采集器12配合工作以采集红外图像。当泛光灯20与图像采集器12配合使用时,图像采集器12可以根据自身获取红外图像的采集时序来生成选通信号(strobe信号,该strobe信号与图像采集器12用于控制激光投射器11的strobe信号为两个独立的strobe信号),并通过strobe信号控制泛光灯20按照strobe信号指示的发射时序发射红外光。具体地,处理器40可以通过I2C总线向图像采集器12发送获取红外图像的图像采集指令,图像采集器12接收到图像采集指令后,通过strobe信号控制开关器件61,若strobe信号为高电平,则开关器件61向第二驱动器22发送第二脉冲信号(pwn2),第二驱动器22根据第二脉冲信号控制泛光光源21发射红外光,若strobe信号为低电平,则开关器件61停止发送第二脉冲信号至第二驱动器22,泛光光源21不发射红外光;或者,也可以是在strobe信号为低电平时,开关器件61向第二驱动器22发送第二脉冲信号,第二驱动器22根据第二脉冲信号控制泛光光源21发射红外光,在strobe信号为高电平时,开关器件61停止发送第二脉冲信号至第二驱动器22,泛光光源21不发射红外光。泛光灯20发射红外光时,图像采集器12接收被场景中的物体反射的红外光以形成红外图像,并通过移动产业处理器接口将红外图像发送给处理器40。该红外图像通常用于虹膜识别、人脸识别等。同样地,图像采集器12仅在第一次曝光时发送strobe信号至开关器件61,无需在每一次曝光时均发送strobe信号至开关器件61,控制逻辑较为简单。
进一步地,在图像采集器12、激光投射器11、泛光灯20三者一起配合使用时,图像采集器12会根据自身获取图像(包括采集图像和红外图像)的采集时序来生成两个strobe信号,其中一个strobe信号用于控制激光投射器11按照该strobe信号指示的投射时序投射激光,另一个strobe信号用于控制泛光灯20按照该strobe信号指示的发射时序发射红外光,通过两个strobe信号来使得激光投射器11投射激光的状态和泛光灯20发射红外光的状态错开,同时,图像采集器12可以采集第一图像、第二图像及红外图像(三者的采集顺序不限定),从而可以获得仅由激光投射器11投射的激光形成的第三图像以及由环境红外光和泛光灯20发射的红外光形成的红外图像。第三图像可以用于计算深度图像,深度图像可以用于与深度模板做匹配,红外图像可以用于与红外模板做匹配。
在某些实施方式中,可见光相机30通过I2C总线与处理器40连接。可见光相机30可以用于采集可见光图像。可见光相机30可以单独使用,也可以和深度相机10配合使用。在一个例子中,当第一存储区71、第二存储区72及逻辑减电路73均设置在图像采集器12中时,图像采集器12在获取一帧采集图像的期间会曝光两次(例如曝光两次以分别获取第一图像和第二图像),但输出的采集图像仅为一帧,图像采集器12可以在不改变自身的输出帧率的情况下实现减背景的效果,此时图像采集器12可以与可见光相机30通过同步信号(sync)进行硬件同步。具体地,在可见光相机30和深度相机10配合使用时,处理器40可以通过I2C总线向图像采集器12发送图像采集指令。图像采集器12接收到图像采集指令后开始曝光,并通过strobe信号控制开关器件61向第一驱动器112发送第一脉冲信号,同时,图像采集器12还与可见光相机30通过sync信号进行同步,具体地,图像采集器12发送sync信号至可见光相机30,可见光相机30接收到sync信号后开始采集可见光图像。
在某些实施方式中,请参阅图8,第一存储区71、第二存储区72及逻辑减电路73均设置在处理器40内部,具体地,第一存储区71、第二存储区72及逻辑减电路73作为减背景处理单元设置在处理器40内部,使能信号(EN)可以控制减背景处理单元的工作状态。深度相机10工作时,图像采集器12采集的第一图像通过移动产业处理器接口发送至第一存储区71中存储,第二图像通过移动产业处理器接口发送至第二存储区72中存储。逻辑减电路73从第一存储区71中读取第一图像,从第二存储区72中读取第二图像,再对第一图像和第二图像执行相减动作,最终得到第三图像。处理器40中还设置有深度计算模块(例如可以为专门用于计算深度的集成电路ASIC),深度计算模块与逻辑减电路73连接,逻辑减电路73可以将第三图像发送到深度计算模块,以便于深度计算模块根据第三图像和参考图像计算深度图像。
当第一存储区71、第二存储区72及逻辑减电路73均设置在处理器40内部时,若可见光相机30和深度相机10配合使用,由于可见光相机30输出一帧可见光图像至处理器40时,图像采集器12是输出两帧采集图像至处理器40,具体地,图像采集器12输出一帧第一图像至处理器40以及输出一帧第二图像至处理器40,这种情形下可见光相机30和深度相机10无法通过sync信号进行硬件同步。此时,可见光相机30与图像采集器12可以通过软件同步的方式进行同步。具体地,处理器40可以获取每一帧可见光图像的采集时间以及每一帧第二图像的采集时间,再根据可见光采集图像的采集时间和第二图像的采集时间确定帧同步的可见光图像和第二图像。其中,每一帧可见光图像的采集时间可以是可见光相机30采集这一帧可见光图像的开始时间、结束时间、介于开始时间至结束时间之间的任意一个时间等等;每一帧第二图像的采集时间可以是图像采集器12采集这一帧第二图像的开始时间、结束时间、介于开始时间至结束时间之间的任意一个时间等等。帧同步指的是确定出的第二图像的采集时间与可见光图像的采集时间的差值小于预设的时间差值,可见光图像的采集时间可以位于第二图像的采集时间之前也可以位于第二图像的采集时间之后。可见光图像和第二图像可以用于场景或物体的三维彩色建模等等,而基于帧同步的可见光图像和第二图像进行三维彩色建模可以提升建模的物体或场景的准确性。
在某些实施方式中,处理器40可以先获取场景的亮度以及场景的类型,在亮度大于亮度阈值且类型为户外场景时,深度相机10才执行获取第一图像和第二图像的操作。其中,场景的亮度可以通过分析图像采集器12在激光投射器11未投射激光且泛光灯20未发射红外光时获取的图像得到,或者,通过分析可见光相机30获取的可见光图像得到,或者,场景的亮度也可以由光线感应器来直接检测,处理器40从光线感应器读取检测到的信号以获取场景的亮度。场景的类型可以通过分析图像采集器12在激光投射器11未投射激光时获取的图像或可见光相机30获取的可见光图像得到,例如,分析图像采集器12在激光投射器11未投射激光时获取的图像或可见光相机30获取的可见光图像中的物体来判断场景的类型为户外场景还是户内场景;场景类型也可以直接根据地理位置来确定,具体地,处理器40可以获取全球卫星定位***对场景的定位结果,再根据定位结果进一步判断场景的类型,例如,定位结果为某某办公楼,则说明场景为户内场景;定位场景为某某公园,则说明场景为户外场景;定位场景为某某街道,则说明场景为户外场景等等。
可以理解,在场景的亮度较高(例如亮度大于亮度阈值)时,采集图像中环境红外光的占比会较多,对斑点的识别会较大影响,此时需要去除环境红外光的干扰。但是在场景的亮度较低时,采集图像中环境红外光的占比会较少,对斑点的识别产生的影响较小,可以忽略不计,此时图像采集器12可以直接获取第二图像,处理器40直接根据第二图像与参考图像计算深度图像。另外,场景的亮度较高时可能是户内的灯光光线较强引起的,由于灯光光线不包括红外光,不会对斑点的识别产生较大影响,此时图像采集器12可以直接获取第二图像,处理器40直接根据第二图像与参考图像计算深度图像。如此,可以减小图像采集器12的曝光次数,减少图像采集器12的功耗。
当然,在某些实施方式中,图像采集器12也可以仅仅根据场景的亮度是否大于亮度阈值来决定是否执行获取第一图像和第二图像的操作。具体地,处理器40仅仅获取场景的亮度,判断场景的亮度是否大于亮度阈值,在亮度大于亮度阈值时,图像采集器12采集第一图像和第二图像。
请参阅图9,本申请还提供一种图像获取方法。图像获取方法可以应用于上述任意一项实施方式所述的深度相机10。图像获取方法包括:
01:向场景投射激光;
02:获取多帧采集图像,多帧采集图像包括在激光投射器11未投射激光时获取的第一图像及在激光投射器11投射激光时获取的第二图像;
03:将第一图像存储在第一存储区71;
04:将第二图像存储在第二存储区72;和
05:将第一图像及第二图像传送到逻辑减电路73中进行处理以得到第三图像,第三图像用于计算深度图像。
请参阅图10,在某些实施方式中,图像获取方法在步骤01前还包括:
06:根据图像传感器121的采集时序生成选通信号;和
07:通过选通信号控制激光投射器11投射激光的投射时序。
在某些实施方式中,图像获取方法在步骤01前还包括:获取场景的亮度以及场景的类型,在亮度大于亮度阈值且类型为户外场景时执行步骤01。
请参阅图11,本申请还提供一种存储有计算机可读指令的非易失性计算机可读存储介质200。计算机可读指令被处理器300执行,使得处理器300执行本申请任意一项实施方式所述的图像处理方法。
例如,请结合图9,计算机可读指令被处理器300执行,使得处理器300执行以下步骤:
01:向场景投射激光;
02:获取多帧采集图像,多帧采集图像包括在激光投射器11未投射激光时获取的第一图像及在激光投射器11投射激光时获取的第二图像;
03:将第一图像存储在第一存储区71;
04:将第二图像存储在第二存储区72;和
05:将第一图像及第二图像传送到逻辑减电路73中进行处理以得到第三图像,第三图像用于计算深度图像。
再例如,请结合图10,计算机可读指令被处理器300执行,使得处理器300执行以下步骤:
06:根据图像传感器121的采集时序生成选通信号;和
07:发送选通信号至激光投射器11,选通信号用于控制激光投射器11投射激光的投射时序。
再例如,计算机可读指令被处理器300执行,使得处理器300执行以下步骤:
获取场景的亮度以及场景的类型,在亮度大于亮度阈值且类型为户外场景时执行步骤01。
在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式,可以理解的是,上述实施方式是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。
Claims (10)
1.一种深度相机,其特征在于,所述深度相机包括:
激光投射器,所述激光投射器用于向场景投射激光;
图像传感器,所述图像传感器用于多次曝光以获取多帧采集图像,多帧所述采集图像包括在所述激光投射器未投射激光时获取的第一图像及在所述激光投射器投射激光时获取的第二图像;
第一存储区,所述第一存储区用于存储所述第一图像;
第二存储区,所述第二存储区用于存储所述第二图像;和
逻辑减电路,所述逻辑减电路用于处理所述第一图像和所述第二图像以得到第三图像,所述第三图像用于计算深度图像。
2.根据权利要求1所述的深度相机,其特征在于,所述第一存储区、所述第二存储区及所述逻辑减电路均设置在所述图像传感器内部;或
所述第一存储区、所述第二存储区及所述逻辑减电路均设置在所述图像传感器外部并与所述图像传感器封装在一起。
3.根据权利要求2所述的深度相机,其特征在于,所述深度相机还包括图像采集器,所述图像采集器包括电路板及所述图像传感器,所述图像传感器设置在所述电路板上;所述第一存储区、所述第二存储区及所述逻辑减电路均设置在所述图像传感器外部时,所述第一存储区、所述第二存储区及所述逻辑减电路均设置在所述电路板上。
4.根据权利要求1所述的深度相机,其特征在于,在所述图像传感器第一次曝光时,所述图像传感器还用于根据所述图像传感器的采集时序生成选通信号、并通过所述选通信号控制所述激光投射器投射激光的投射时序。
5.根据权利要求1所述的深度相机,其特征在于,所述第一图像和所述第二图像是所述图像传感器执行连续的两次曝光后获取的。
6.一种电子设备,其特征在于,所述电子设备包括:
壳体;
权利要求1-5任意一项所述的深度相机,所述深度相机与所述壳体结合;和
处理器,所述处理器用于根据所述第三图像及参考图像计算所述深度图像。
7.根据权利要求6所述的电子设备,其特征在于,所述电子设备还包括可见光相机,所述可见光相机在接收到所述图像传感器发送的同步信号时采集可见光图像。
8.根据权利要求6所述的电子设备,其特征在于,所述电子设备还包括泛光灯,所述图像传感器还用于根据所述图像传感器的采集时序生成选通信号、并通过所述选通信号控制所述泛光灯发射光线的发射时序。
9.一种图像获取方法,用于深度相机,其特征在于,所述深度相机包括激光投射器、第一存储区、第二存储区及逻辑减电路,所述图像获取方法包括:
向场景投射激光;
获取多帧采集图像,多帧所述采集图像包括在所述激光投射器未投射激光时获取的第一图像及在所述激光投射器投射激光时获取的第二图像;
将所述第一图像存储在所述第一存储区;
将所述第二图像存储在所述第二存储区;和
将所述第一图像及所述第二图像传送到所述逻辑减电路中进行处理以得到第三图像,所述第三图像用于计算深度图像。
10.根据权利要求9所述的图像获取方法,其特征在于,所述图像获取方法还包括:
根据所述图像传感器的采集时序生成选通信号;和
通过所述选通信号控制所述激光投射器投射激光的投射时序。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910437664.7A CN110062145B (zh) | 2019-05-24 | 2019-05-24 | 深度相机、电子设备及图像获取方法 |
EP20174514.8A EP3745195A1 (en) | 2019-05-24 | 2020-05-13 | Depth cameras, electronic devices, and methods for image acquisition |
US16/875,332 US20200372663A1 (en) | 2019-05-24 | 2020-05-15 | Depth Cameras, Electronic Devices, and Image Acquisition Methods |
PCT/CN2020/091431 WO2020238729A1 (en) | 2019-05-24 | 2020-05-20 | Depth cameras, electronic devices, and methods for image acquisition |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910437664.7A CN110062145B (zh) | 2019-05-24 | 2019-05-24 | 深度相机、电子设备及图像获取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110062145A true CN110062145A (zh) | 2019-07-26 |
CN110062145B CN110062145B (zh) | 2021-07-20 |
Family
ID=67324312
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910437664.7A Active CN110062145B (zh) | 2019-05-24 | 2019-05-24 | 深度相机、电子设备及图像获取方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20200372663A1 (zh) |
EP (1) | EP3745195A1 (zh) |
CN (1) | CN110062145B (zh) |
WO (1) | WO2020238729A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020238729A1 (en) * | 2019-05-24 | 2020-12-03 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Depth cameras, electronic devices, and methods for image acquisition |
CN113138067A (zh) * | 2021-04-20 | 2021-07-20 | 奥比中光科技集团股份有限公司 | 一种衍射光学器件的检测方法、装置及设备 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110012206A (zh) * | 2019-05-24 | 2019-07-12 | Oppo广东移动通信有限公司 | 图像获取方法、图像获取装置、电子设备和可读存储介质 |
CN112672067B (zh) * | 2020-12-17 | 2022-11-15 | 杭州艾芯智能科技有限公司 | 深度相机的自动曝光方法、***、计算机设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103995581A (zh) * | 2013-02-18 | 2014-08-20 | 义明科技股份有限公司 | 光学感测装置以及图像感测装置 |
US20170032192A1 (en) * | 2015-07-30 | 2017-02-02 | Snitch, Inc. | Computer-vision based security system using a depth camera |
CN107682607A (zh) * | 2017-10-27 | 2018-02-09 | 广东欧珀移动通信有限公司 | 图像获取方法、装置、移动终端和存储介质 |
CN108873221A (zh) * | 2018-08-22 | 2018-11-23 | Oppo广东移动通信有限公司 | 激光投射装置、tof深度相机和电子设备 |
CN108881691A (zh) * | 2018-07-13 | 2018-11-23 | Oppo广东移动通信有限公司 | 控制方法、微处理器、计算机可读存储介质及计算机设备 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8831285B2 (en) * | 2012-07-26 | 2014-09-09 | Hewlett-Packard Development Company, L.P. | Detecting objects with a depth sensor |
CN106550228B (zh) * | 2015-09-16 | 2019-10-15 | 上海图檬信息科技有限公司 | 获取三维场景的深度图的设备 |
US9800795B2 (en) * | 2015-12-21 | 2017-10-24 | Intel Corporation | Auto range control for active illumination depth camera |
US10582178B2 (en) * | 2016-11-02 | 2020-03-03 | Omnivision Technologies, Inc. | Systems and methods for active depth imager with background subtract |
US20180129866A1 (en) * | 2016-11-10 | 2018-05-10 | Intel Corporation | Meta illuminator |
CN110062145B (zh) * | 2019-05-24 | 2021-07-20 | Oppo广东移动通信有限公司 | 深度相机、电子设备及图像获取方法 |
-
2019
- 2019-05-24 CN CN201910437664.7A patent/CN110062145B/zh active Active
-
2020
- 2020-05-13 EP EP20174514.8A patent/EP3745195A1/en active Pending
- 2020-05-15 US US16/875,332 patent/US20200372663A1/en not_active Abandoned
- 2020-05-20 WO PCT/CN2020/091431 patent/WO2020238729A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103995581A (zh) * | 2013-02-18 | 2014-08-20 | 义明科技股份有限公司 | 光学感测装置以及图像感测装置 |
US20170032192A1 (en) * | 2015-07-30 | 2017-02-02 | Snitch, Inc. | Computer-vision based security system using a depth camera |
CN107682607A (zh) * | 2017-10-27 | 2018-02-09 | 广东欧珀移动通信有限公司 | 图像获取方法、装置、移动终端和存储介质 |
CN108881691A (zh) * | 2018-07-13 | 2018-11-23 | Oppo广东移动通信有限公司 | 控制方法、微处理器、计算机可读存储介质及计算机设备 |
CN108873221A (zh) * | 2018-08-22 | 2018-11-23 | Oppo广东移动通信有限公司 | 激光投射装置、tof深度相机和电子设备 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020238729A1 (en) * | 2019-05-24 | 2020-12-03 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Depth cameras, electronic devices, and methods for image acquisition |
CN113138067A (zh) * | 2021-04-20 | 2021-07-20 | 奥比中光科技集团股份有限公司 | 一种衍射光学器件的检测方法、装置及设备 |
CN113138067B (zh) * | 2021-04-20 | 2024-05-03 | 奥比中光科技集团股份有限公司 | 一种衍射光学器件的检测方法、装置及设备 |
Also Published As
Publication number | Publication date |
---|---|
EP3745195A1 (en) | 2020-12-02 |
WO2020238729A1 (en) | 2020-12-03 |
US20200372663A1 (en) | 2020-11-26 |
CN110062145B (zh) | 2021-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110062145A (zh) | 深度相机、电子设备及图像获取方法 | |
TW591201B (en) | Pointed position detection device and pointed position detection method | |
CN105744175B (zh) | 一种屏幕补光方法、装置及移动终端 | |
JP2021520154A (ja) | 画像処理方法、コンピュータ可読記憶媒体、および電子機器 | |
JP4732299B2 (ja) | 特定被写体像の検出方法およびデジタルカメラ | |
CN101399914B (zh) | 摄影装置和摄影方法 | |
WO2020258300A1 (zh) | 识别装置及方法 | |
CN108683902B (zh) | 目标图像获取***与方法 | |
WO2017133087A1 (zh) | 拍摄控制装置及辅助闪光控制装置 | |
JP2007135140A (ja) | 撮像装置 | |
JP2002344800A (ja) | 同期撮影方法および撮影システム | |
CN108200340A (zh) | 能够检测眼睛视线的拍照装置及拍照方法 | |
CN110213480A (zh) | 一种对焦方法及电子设备 | |
CN110012206A (zh) | 图像获取方法、图像获取装置、电子设备和可读存储介质 | |
US10834323B2 (en) | Electronic apparatus, motion sensor, position change detection program, and position change detection method | |
CN110169042A (zh) | 用于使相机闪光与传感器消隐同步的方法和设备 | |
JP2008252401A (ja) | 撮像システム、撮像方法、および撮像プログラム | |
CN112584058A (zh) | 图像采集***、方法及装置 | |
WO2018214838A1 (zh) | 监控抓拍方法、装置及*** | |
CN112565733B (zh) | 基于多相机同步拍摄的三维成像方法、装置及拍摄*** | |
JP2016092779A (ja) | 画像投影システム、情報処理装置、情報処理方法、及びプログラム | |
CN108156387A (zh) | 通过检测眼睛视线自动结束摄像的装置及方法 | |
CN110191279A (zh) | 深度相机、电子设备及图像获取方法 | |
CN110245618B (zh) | 3d识别装置及方法 | |
WO2017133208A1 (zh) | 拍摄***及氙气闪光装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |