CN111474818B - 控制方法、控制装置、深度相机和电子装置 - Google Patents
控制方法、控制装置、深度相机和电子装置 Download PDFInfo
- Publication number
- CN111474818B CN111474818B CN202010370932.0A CN202010370932A CN111474818B CN 111474818 B CN111474818 B CN 111474818B CN 202010370932 A CN202010370932 A CN 202010370932A CN 111474818 B CN111474818 B CN 111474818B
- Authority
- CN
- China
- Prior art keywords
- sub
- light sources
- point light
- arrays
- circular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
- G03B21/20—Lamp housings
- G03B21/2006—Lamp housings characterised by the light source
- G03B21/2013—Plural light sources
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/02—Illuminating scene
- G03B15/03—Combinations of cameras with lighting apparatus; Flash units
- G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
- G03B21/20—Lamp housings
- G03B21/2053—Intensity control of illuminating light
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种激光投射模组的控制方法及装置、深度相机和电子装置。激光投射模组的发射器包括形成了多个可独立控制的子阵列的点光源。多个子阵列围成圆形阵列。子阵列包括圆形子阵列和环形子阵列。控制方法包括获取激光投射模组与用户的当前距离,根据当前距离确定子阵列的目标数量,开启目标数量的子阵列的点光源。本发明实施方式的控制方法及装置、深度相机和电子装置将点光源排列成由多个可独立控制的子阵列组成的圆形阵列,可使激光发射器的形状与准直元件的圆形光学有效区对应,充分利用空间,还可根据距离开启目标数量的子阵列的点光源,避免全部开启点光源时,用户与激光投射模组的距离过近且激光能量过高危害用户眼睛的问题。
Description
技术领域
本发明涉及成像技术领域,特别涉及一种激光投射模组的控制方法、激光投射模组的控制装置、深度相机和电子装置。
背景技术
现有的激光投射模组中的点光源呈分区的矩形排列。而由于准直元件的光学有效区为圆形,圆形的光学有效区要全部覆盖矩形结构排列的点光源需要满足光学有效区的直径大于点光源组成的矩形的对角线的长度,如此,会浪费一部分的空间。此外,激光投射模组开启时通常是开启全部的点光源,若此时用户距离激光投射模组的距离过近,则全部开启的点光源出射的激光的能量较高,可能对用户的眼睛产生危害。
发明内容
本发明的实施例提供了一种激光投射模组的控制方法、激光投射模组的控制装置、深度相机和电子装置。
本发明提供一种激光投射模组的控制方法,所述激光投射模组包括激光发射器,所述激光发射器包括多个点光源,多个所述点光源形成多个子阵列,多个所述子阵列围成圆形阵列,所述子阵列包括一个圆形子阵列和至少一个环形子阵列;多个所述子阵列独立控制;所述控制方法包括:
获取所述激光投射模组与用户的当前距离;
根据所述当前距离确定所述子阵列的目标数量;和
开启所述目标数量的所述子阵列的所述点光源。
本发明提供一种激光投射模组的控制装置。所述激光投射模组包括激光发射器,所述激光发射器包括多个点光源,多个所述点光源形成多个子阵列,多个所述子阵列围成圆形阵列,所述子阵列包括一个圆形子阵列和至少一个环形子阵列;多个所述子阵列独立控制。所述控制装置包括获取模块、确定模块和开启模块。所述获取模块用于获取所述激光投射模组与用户的当前距离。所述确定模块用于根据所述当前距离确定所述子阵列的目标数量。所述开启模块用于开启所述目标数量的所述子阵列的点光源。
本发明提供一种深度相机。深度相机包括图像采集器和激光投射模组。所述激光投射模组包括激光发射器,所述激光发射器包括多个点光源,多个所述点光源形成多个子阵列,多个所述子阵列围成圆形阵列,所述子阵列包括一个圆形子阵列和至少一个环形子阵列;多个所述子阵列独立控制。所述处理器用于获取所述激光投射模组与用户的当前距离,根据所述当前距离确定所述子阵列的目标数量,以及开启所述目标数量的所述子阵列的点光源。
本发明提供一种电子装置。所述电子装置包括壳体和上述的深度相机。所述深度相机设置在所述壳体内并从所述壳体暴露以获取深度图像。
本发明实施方式的激光投射模组的控制方法、激光投射模组的控制装置、深度相机和电子装置将激光投射模组中的点光源排列成由多个可独立控制的子阵列组成的圆形阵列,如此,一方面可以使激光发射器的形状与准直元件的圆形光学有效区对应,充分利用空间,另一方面可以根据检测到的距离开启对应该距离的目标数量的子阵列的点光源,避免全部开启点光源后,用户与激光投射模组的距离过近,而激光发射器发射的能量又过高,危害用户眼睛的问题。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是本发明某些实施方式的激光投射模组的控制方法的流程示意图。
图2是本发明某些实施方式的激光投射模组的结构示意图。
图3是本发明某些实施方式的激光投射模组中激光发射器呈子阵列的排布示意图。
图4是本发明某些实施方式的激光投射模组的控制装置的模块示意图。
图5是本发明某些实施方式的深度相机的结构示意图。
图6是本发明某些实施方式的电子装置的结构示意图。
图7是本发明某些实施方式的激光投射模组的控制方法的流程示意图。
图8是本发明某些实施方式的激光投射模组的控制装置中获取模块的模块示意图。
图9是本发明某些实施方式的激光投射模组的控制方法的流程示意图。
图10是本发明某些实施方式的激光投射模组的控制装置中确定单元的模块示意图。
图11是本发明某些实施方式的激光投射模组的控制方法的流程示意图。
图12是本发明某些实施方式的激光投射模组的控制装置中确定单元的模块示意图。
图13是本发明某些实施方式的激光投射模组的控制方法的流程示意图。
图14是本发明某些实施方式的激光投射模组的控制装置中确定单元的模块示意图。
图15是本发明某些实施方式的激光投射模组的控制方法的流程示意图。
图16是本发明某些实施方式的激光投射模组的控制装置中获取模块的模块示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
请一并参阅图1至图3,本发明提供一种激光投射模组100的控制方法。激光投射模组100包括激光发射器10。激光发射器10包括多个点光源101。多个点光源101形成多个子阵列110。多个子阵列110围成圆形阵列120。多个子阵列110包括圆形子阵列111和环形子阵列112。其中,圆形子阵列111的个数为一个,环形子阵列112的个数为一个或多个。多个子阵列110可被独立控制。激光投射模组100的控制方法包括:
01:获取激光投射模组100与用户的当前距离;
02:根据当前距离确定子阵列110的目标数量;和
03:开启目标数量的子阵列110的点光源101。
请参阅图4,本发明还提供一种激光投射模组100的控制装置80。激光投射模组100包括激光发射器10,激光发射器10为垂直腔面激光发射器(Vertical-Cavity Surface-Emitting Laser,VCSEL),垂直腔面激光发射器包括多个点光源101。多个点光源101形成多个子阵列110。多个子阵列110围成圆形阵列120。多个子阵列110包括圆形子阵列111和环形子阵列112。其中,圆形子阵列111的个数为一个,环形子阵列112的个数为一个或多个。多个子阵列110可被独立控制。控制装置80包括获取模块81、确定模块82和开启模块83。步骤01可以由获取模块81实现,步骤02可以由确定模块82实现,步骤03可以由开启模块83实现。获取模块81可用于获取激光投射模组100与用户的当前距离。确定模块82可用于根据当前距离确定子阵列110的目标数量。开启模块83可用于开启目标数量的子阵列110的点光源101。
请结合图2,激光投射模组100还包括准直元件20和衍射元件30。准直元件20用于准直激光发射器10发射的激光,衍射元件30用于衍射准直元件20准直后的激光以形成激光图案。此外激光投射模组100还包括镜筒40和基板组件50。镜筒40设置在基板组件50上。镜筒40的侧壁41与基板组件50围成收容腔42。基板组件50包括基板52及承载在基板52上的电路板51。电路板51开设有通孔511,激光发射器10承载在基板52上并收容在通孔511内。准直元件20和衍射元件30沿激光发射器10的发光方向依次排列。镜筒40的侧壁41向收容腔42的中心延伸有承载台411,衍射元件30承载在承载台411上。
激光投射模组100还包括保护罩60。保护罩60可以由透光材料制成,例如玻璃、聚甲基丙烯酸甲酯(Polymethyl Methacrylate,PMMA)、聚碳酸酯(Polycarbonate,PC)、聚酰亚胺(Polyimide,PI)等。由于玻璃、PMMA、PC、及PI等透光材料均具有优异的透光性能,保护罩60可以不用开设透光孔。如此,保护罩60能够在防止衍射元件30脱落的同时,还能够避免衍射元件30裸露在镜筒40的外面,从而使衍射元件30防水防尘。当然,在其他实施方式中,保护罩60可以开设有透光孔,透光孔与衍射元件30的光学有效区相对以避免遮挡衍射元件30的光路。
请参阅图5,本发明还提供一种深度相机1000。深度相机1000包括图像采集器200、上述的激光投射模组100和处理器300。图像采集器200可用于采集激光图案,图像采集器200可为红外摄像头。处理器300可用于处理激光图案以获取深度图像。步骤01、步骤02和步骤03还可以由处理器300实现。也即是说,处理器300还可用于获取激光投射模组100与用户的当前距离,根据当前距离确定子阵列110的目标数量,以及开启目标数量的子阵列110的点光源101。
请参阅图6,本发明还提供一种电子装置3000。电子装置3000包括壳体2000和上述的深度相机1000。深度相机1000设置在壳体2000内并从壳体2000暴露以获取深度图像。其中,电子装置3000可以是手机、平板电脑、笔记本电脑、智能手表、智能手环、智能眼镜、智能头盔等等。
可以理解,现有的激光投射模组100中的点光源101呈分区的矩形排列。而准直元件20的光学有效区通常为圆形,圆形的光学有效区要全部覆盖矩形排列的点光源101需要满足光学有效区的直径大于点光源101组成的矩形的对角线的长度,如此,会导致一部分空间的浪费。另外,激光投射模组100开启时通常是开启全部的点光源101,若此时用户距离激光投射模组100的距离过近,则由于全部开启点光源101后激光发射器10发射的激光的能量较高,可能对用户的眼睛产生危害。
本发明实施方式的激光投射模组100的控制方法、激光投射模组100的控制装置80、深度相机1000和电子装置3000将激光投射模组100中的点光源101排列成由可独立控制的多个子阵列110组成的圆形阵列120,如此,一方面可以使激光发射器10的形状与准直元件20的圆形光学有效区对应,充分利用空间,另一方面可以根据检测到的距离开启对应该距离的目标数量的子阵列110的点光源101,避免全部开启点光源101后,用户与激光投射模组100的距离过近,而激光发射器10发射的能量又过高,危害用户眼睛的问题。
请参阅图7,在某些实施方式中,步骤01获取激光投射模组100与用户的当前距离包括:
011:获取用户的人脸图像;
012:处理人脸图像以确定用户的人脸占人脸图像的第一比例;和
013:根据第一比例确定当前距离。
请参阅图8,在某些实施方式中,获取模块81包括获取单元811、处理单元812和确定单元813。步骤011可以由获取单元811实现,步骤012可以由处理单元812实现,步骤013可以由确定单元813实现。也即是说,获取单元811可用于获取用户的人脸图像。处理单元812可用于处理人脸图像以确定用户的人脸占人脸图像的第一比例。确定单元813可用于根据第一比例确定当前距离。
请再参阅图5,在某些实施方式中,步骤011、步骤012和步骤013均可以由处理器300实现。也即是说,处理器300还可用于获取用户的人脸图像,处理人脸图像以确定用户的人脸占人脸图像的第一比例,以及根据第一比例确定当前距离。其中,人脸图像由图像采集器200拍摄得到,处理器300与图像采集器200电连接,并从图像采集器200中读取人脸图像。
具体地,可以先依据对人脸的特征点的提取和分析划分人脸图像中的人脸区域和背景区域,然后计算人脸区域所在的像素个数与人脸图像的像素个数的比值以得到第一比例。可以理解,当第一比例较大时,说明用户较靠近图像采集器200,也就是较靠近激光投射模组100,当前距离较小,此时激光投射模组100需要开启较少目标数量的子阵列110的点光源101,以避免投射的激光太强而灼伤用户。同时,当第一比例较小时,说明用户与图像采集器200相距较远,也就是与激光投射模组100相距较远,当前距离较大,激光投射模组100需要以较大的功率投射激光,以使激光图案投射到用户上并被反射后依然有适当的强度,以用于形成深度图像,此时激光投射模组100需要开启较多目标数量的子阵列110的点光源101。在一个例子中,当同一张人脸图像中包含有多个人脸时,则选取多个人脸中面积最大的人脸作为人脸区域用以计算第一比例,其他人脸所占的区域均作为背景区域的一部分。
可以预先对当前距离与第一比例进行标定。具体地,指引用户以预定的当前距离拍摄人脸图像,并计算该人脸图像对应的标定比例,存储该预设的当前距离与标定比例的对应关系,以便在后续的使用中依据实际的第一比例计算当前距离。例如,指引用户在当前距离为30厘米时拍摄人脸图像,并计算得到该人脸图像对应的标定比例为45%,而在实际测量中,当计算得到第一比例为R时,则依据相似三角形的性质有其中,D为依据实际测量的第一比例R计算的实际的当前距离。如此,依据人脸图像中人脸所占第一比例,可以较为客观地反应用户与激光投射模组100之间的当前距离。
请参阅图9,在某些实施方式中,步骤013根据第一比例确定当前距离包括:
0131:计算人脸图像中人脸的预设的特征区域占人脸的第二比例;和
0132:根据第一比例及第二比例计算当前距离。
请参阅图10,在某些实施方式中,确定单元813包括第一计算子单元8131和第二计算子单元8132。步骤0131可以由第一计算子单元8131实现,步骤0132可以由第二计算子单元8132实现。也即是说,第一计算子单元8131可用于计算人脸图像中人脸的预设的特征区域占人脸的第二比例。第二计算子单元8132可用于根据第一比例及第二比例计算当前距离。
请再参阅图5,在某些实施方式中,步骤0131和步骤0132还可以由处理器300实现。也即是说,处理器300还可用于计算人脸图像中人脸的预设的特征区域占人脸的第二比例,以及根据第一比例及第二比例计算当前距离。
可以理解,不同的用户的人脸的大小有差异,使得不同的用户处于同样的距离被采集到的人脸图像中,人脸所占的第一比例有差异。第二比例为人脸的预设的特征区域占人脸的比例,预设的特征区域可以选择不同用户个体的差异度较小的特征区域,例如预设的特征区域为用户的双眼间距。当第二比例较大时,说明该用户的人脸较小,仅依据第一比例计算得到的当前距离过大;当第二比例较小时,说明该用户的人脸较大,仅依据第一比例计算得到的当前距离过小。在实际使用中,可以预先对第一比例、第二比例与当前距离进行标定。具体地,指引用户以预定的当前距离先拍摄人脸图像,并计算该人脸图像对应的第一标定比例及第二标定比例,存储该预设的当前距离与第一标定比例、第二标定比例的对应关系,以便于在后续的使用中依据实际的第一比例和第二比例计算当前距离。例如,指引用户在当前距离为25厘米时拍摄人脸图像,并计算得到该人脸图像对应的第一标定比例为50%,第二标定比例为10%,而在实际测量中,当计算得到第一比例为R1,第二比例为R2时,则依据三角形相似的性质有其中D1为依据实际测量的第一比例R1计算得到的初始的当前距离,可以再依据关系式求得进一步依据实际测量的第二比例R2计算得到的校准的当前距离D2,D2作为最终的当前距离。如此,依据第一比例与第二比例计算得到的当前距离考虑了不同用户之间的个体差异,能够获得更加客观的当前距离。
请参阅图11,在某些实施方式中,步骤013根据第一比例确定当前距离包括:
0133:根据人脸图像判断用户是否配戴眼镜;和
0134:在用户佩戴眼镜时根据第一比例及预设的距离系数计算当前距离。
请参阅图12,在某些实施方式中,确定单元813包括第一判断子单元8133和第三计算子单元8134。步骤0133可以由第一判断子单元8133实现,步骤0134可以由第三计算子单元8134实现。也即是说,第一判断子单元8133可用于根据人脸图像判断用户是否配戴眼镜。第三计算子单元8134可用于在用户配戴眼镜时根据第一比例及预设的距离系数计算当前距离。
请再参阅图5,在某些实施方式中,步骤0133和步骤0134还可以由处理器300实现。也即是说,处理器300可用于根据人脸图像判断用户是否配戴眼镜,以及在用户配戴眼镜时根据第一比例及预设的距离系数计算当前距离。
可以理解,用户是否配戴眼镜可以用于表征用户眼睛的健康状况,具体为用户佩戴眼睛则表明用户的眼镜已经患有相关的眼疾或视力不佳,在对佩戴眼睛的用户投射激光时,需要开启较少数目的扇形阵列111的点光源101,使得激光投射模组100投射的激光的能量较小,一面对用户的眼睛造成伤害。预设的距离系数可以是介于0至1的系数,例如0.6、0.78、0.82、0.95等,例如在根据第一比例计算得到初始的当前距离,或者在依据第一比例和第二比例计算得到校准后的当前距离后,再将初始的当前距离或者校准的当前距离乘以距离系数,得到最终的当前距离,并根据该当前距离确定目标数量。如此,可以避免投射激光的功率过大伤害患有眼疾或视力不佳的用户。
进一步地,距离系数可以是不固定的,例如,距离系数可以是根据环境中可见光或者红外光的强度自行调节的。图像采集器200采集的人脸图像为红外图像,可以先计算人脸图像的所有像素的红外光强度的平均值,不同的平均值对应不同的距离系数,平均值越大,距离系数越小,平均值越小,距离系数越大。
请参阅图13,在某些实施方式中,步骤013根据第一比例确定当前距离包括:
0135:根据人脸图像判断用户的年龄;和
0136:根据第一比例及年龄调整当前距离。
请参阅图14,在某些实施方式中,确定单元813还包括第二判断子单元8135和调整子单元8136。步骤0135可以由第二判断子单元8135实现,步骤0136可以由调整子单元8136实现。也即是说,第二判断子单元8135可用于根据人脸图像判断用户的年龄。调整子单元8136可用于根据第一比例及年龄调整当前距离。
请再参阅图5,在某些实施方式中,步骤0135和步骤0136还可以由处理器300实现。也即是说,处理器300还可用于根据人脸图像判断用户的年龄,以及根据第一比例及年龄调整当前距离。
不同年龄段的人对红外激光的耐受能力不同,例如小孩和老人更容易被激光灼伤等,可能对于成年人而言是合适强度的激光会对小孩造成伤害。本实施方式中,可以提取人脸图像中,人脸皱纹的特征点的数量、分布和面积等来判断用户的年龄,例如,提取眼角处皱纹的数量来判断用户的年龄,或者进一步结合用户的额头处的皱纹多少来判断用户的年龄。在判断用户的年龄后,可以依据用户的年龄得到比例系数,具体可以是在查询表中查询得知年龄与比例系数的对应关系,例如,年龄在15岁以下时,比例系数为0.6,年龄在15岁至20岁时,比例系数为0.8;年龄在20岁至45岁时,比例系数为1.0;年龄在45岁以上时,比例系数为0.8。在得知比例系数后,可以将根据第一比例计算得到的初始的当前距离、或者根据第一比例及第二比例计算得到的校准的当前距离乘以比例系数,以得到最终的当前距离,再根据该当前距离确定子阵列110的目标数量。如此,可以避免投射激光的功率过大而伤害小年龄段或者年龄较大的用户。
请参阅图15,在某些实施方式中,步骤01获取激光投射模组100与用户的当前距离包括:
014:向用户发射检测信号;和
015:根据被用户反射回的检测信号计算当前距离。
请参阅图16,在某些实施方式中,获取模块81包括发射单元814和计算单元815。步骤014可以由发射单元814实现,步骤015可以由计算单元815实现。也即是说,发射单元814可用于向用户发射检测信号。计算单元815可用于根据被用户反射回的检测信号计算当前距离。
请再参阅图5,在某些实施方式中,步骤014可以由激光投射模组100实现,步骤015可以由处理器300实现。也即是说,激光投射模组100可以用于向用户发射检测信号。处理器300可用于根据被用户反射回的检测信号计算当前距离。
具体地,激光投射模组100仅开启一个子阵列110中的点光源101,即仅由该子阵列110中的点光源101发射激光。由深度相机1000中的图像采集器200接收反射回的激光以得到激光图案,再利用图像匹配算法计算出该激光图案中各像素点与预定图案中的对应各个像素点的偏离值,再根据偏离值进一步获得该激光图案对应的深度图像,从而粗略估算激光投射模组100与用户的当前距离。由于仅开启一个子阵列110中的点光源101进行当前距离的检测,因此激光投射模组100发射的激光的能量较低,不会对用户的眼睛产生危害。而在粗测完用户与激光投射模组100的当前距离后,根据当前距离确定开启的扇形阵列111的目标数量,此时激光投射模组100的发射的激光既能满足深度图像测算的精准度需求,同时还不会对用户的眼睛产生危害。
在某些实施方式中,当当前距离处于第一距离区间时,开启第一目标数量的子阵列110的点光源101。当当前距离处于第二距离区间时,开启第二目标数量的子阵列110的点光源101。当当前距离处于第三距离区间时,开启第三目标数量的子阵列110的所述点光源101。第二距离区间位于第一距离区间与第三距离区间之间,也即是说,第一距离区间中距离的最大值小于或等于第二距离区间中距离的最小值,第二距离区间中距离的最大值小于第三距离区间中距离的最小值。第二目标数量大于第一目标数量且小于第三目标数量。
具体地,例如,激光投射模组100中的点光源101形成有3个子阵列110,即一个圆形子阵列111和2个环形子阵列112。第一距离区间为[0cm,15cm],第二距离区间为(15cm,40cm],第三距离区间为(40cm,∞),第一目标数量为1个,第二目标数量为2个,第三目标数量为3个。则当检测到的当前距离处于[0cm,15cm]中时,开启1个环形阵列的点光源101;当检测到的当前距离处于(15cm,40cm]中时,开启2个环形阵列的点光源101;当检测到的当前距离处于(40cm,∞)中时,开启2个环形阵列的点光源101和1个圆形子阵列111的点光源101,即开启3个子阵列110的点光源101。也即是说,随着当前距离的增大,目标数量的值越大,开启的子阵列110的点光源101的数量越多。如此,在用户与激光投射模组100之间的当前距离较小时,开启较少的子阵列110的点光源101,避免激光投射模组100发射的激光能量过大而危害用户眼睛,在用户与激光投射模组100之前的距离较大时,开启较多的子阵列110的点光源101,可以使得图像采集器200接收到足够能量的激光,进一步使得深度图像的获取精度更高。
在某些实施方式中,在同时开启圆形子阵列111的点光源101和至少一个环形子阵列112的点光源101时,距离圆形阵列120中心越远的子阵列110的点光源101功率越高。
具体地,请结合图3,例如,激光发射器10的圆形阵列120包括4个子阵列110,分别为1个圆形子阵列111和3个环形子阵列112。沿远离圆形阵列120中心的方向,3个环形子阵列112依次排布,依次排布的3个环形子阵列112的编号分别为A、B、C。则当同时开启圆形子阵列111和编号为A的环形子阵列112中的点光源101时,施加在圆形子阵列111中的点光源101的电压(U圆)小于施加在编号为A的环形子阵列112中的点光源101的电压(UA),即U圆<UA;或者,当同时开启圆形子阵列111、编号为A和编号为B的环形子阵列112中的点光源101时,施加在圆形子阵列111中的点光源101的电压(U圆)小于施加在编号为A的环形子阵列112中的点光源101的电压(UA),且施加在编号为A的环形子阵列112中的电压(UA)小于施加在编号为B的环形子阵列112中的点光源101的电压(UB),即U圆<UA<UB;或者,当同时开启圆形子阵列111、编号为A、编号为B和编号为C的环形子阵列112中的点光源101时,施加在圆形子阵列111中的点光源101的电压(U圆)小于施加在编号为A的环形子阵列112中的点光源101的电压(UA),且施加在编号为A的环形子阵列112中的电压(UA)小于施加在编号为B的环形子阵列112中的点光源101的电压(UB),且施加在编号为B的环形子阵列112中的电压小于施加在编号为C的环形子阵列112中的点光源101的电压(UC),即U圆<UA<UB<UC。如此,距离圆形阵列120中心越远的子阵列110的功率越高,能够保证从衍射元件30中出射的光线出光均匀。
可以理解,若距离圆形阵列120中心越近的子阵列110的功率越高,则激光发射器10发射的聚集在圆形阵列120中心位置的激光较多,该部分激光经衍射元件30时,由于衍射元件30的衍射能力有限,即部分光束不会被衍射而是直接出射,直接出射的激光不经过衍射元件20的衍射衰减作用,因此直接出射的激光的能量较大,极有可能对用户的眼睛产生危害,因此,降低距离圆形阵列120中心较近的子阵列110的功率,可以避免在圆形阵列120中心聚集的激光过多,且不经衍射直接出射,从而危害用户眼睛的问题。
在某些实施方式中,当当前距离处于第一距离区间时,开启环形子阵列112的点光源101。当当前距离处于第二距离区间时,开启圆形子阵列111的点光源101。其中,第一距离区间的最大值小于第二距离区间的最小值。
具体地,假设激光发射器的圆形阵列120包括2个子阵列110,分别为一个圆形子阵列111和一个环形子阵列112,第一距离区间为[0cm,15cm],第二距离区间为(15cm,40cm],第三距离区间为(40cm,∞),第一目标数量为1个,第二目标数量为1个,第三目标数量为2个。则当当前距离处于第一距离区间时,开启环形子阵列112的点光源101;当当前距离处于第二距离区间时,开启圆形子阵列111的点光源101;当当前距离处于第三距离区间时,开启环形子阵列112的点光源101和圆形子阵列111的点光源101。在开启环形子阵列112的点光源101或者开启圆形子阵列111的点光源101时,施加在环形子阵列112的点光源101的电压可与施加在圆形子阵列111的点光源101的电压相等。如此,随着当前距离增大,子阵列110的开启方式为:沿靠近圆形阵列120中心的方向,依次开启环形子阵列112和圆形子阵列111。如此,可以避免在当前距离较小时先开启靠近圆形阵列120中心的圆形子阵列111或环形子阵列112,导致不经衍射元件30的衍射作用衍射衰减而直接出射的激光能量过大而危害用户眼睛的问题。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用,或结合这些指令执行***、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (14)
1.一种激光投射模组的控制方法,其特征在于,所述激光投射模组包括激光发射器,所述激光发射器包括多个点光源,多个所述点光源形成多个子阵列,多个所述子阵列围成圆形阵列,所述子阵列包括一个圆形子阵列和至少一个环形子阵列;多个所述子阵列独立控制;所述控制方法包括:
获取所述激光投射模组与用户的当前距离;
根据所述当前距离确定所述子阵列的目标数量;和
开启所述目标数量的所述子阵列的所述点光源;
随所述当前距离的增大,所述子阵列的开启方式为:沿靠近所述圆形阵列的中心的方向,依次开启所述环形子阵列和所述圆形子阵列,在开启所述环形子阵列的点光源或者开启所述圆形子阵列的点光源时,施加在所述环形子阵列点光源的电压与施加在所述圆形子阵列的点光源的电压相等。
2.根据权利要求1所述的控制方法,其特征在于,所述获取所述激光投射模组与用户的当前距离的步骤包括:
获取所述用户的人脸图像;
处理所述人脸图像以确定所述用户的人脸占所述人脸图像的第一比例;和
根据所述第一比例确定所述当前距离。
3.根据权利要求2所述的控制方法,其特征在于,所述根据所述第一比例确定所述当前距离的步骤包括:
计算所述人脸图像中所述人脸的预设的特征区域占所述人脸的第二比例;和
根据所述第一比例及所述第二比例计算所述当前距离。
4.根据权利要求1所述的控制方法,其特征在于,所述获取所述激光投射模组与用户的当前距离的步骤包括:
向所述用户发射检测信号;和
根据被所述用户反射回的检测信号计算所述当前距离。
5.根据权利要求1所述的控制方法,其特征在于,当所述当前距离处于第一距离区间时,开启第一目标数量的所述子阵列的所述点光源;当所述当前距离处于第二距离区间时,开启第二目标数量的所述子阵列的所述点光源;当所述当前距离处于第三距离区间时,开启第三目标数量的所述子阵列的所述点光源;所述第二距离区间位于所述第一距离区间与所述第三距离区间之间;所述第二目标数量大于所述第一目标数量且小于所述第三目标数量。
6.根据权利要求1所述的控制方法,其特征在于,在同时开启所述圆形子阵列的所述点光源和至少一个所述环形子阵列的所述点光源时,距离所述圆形阵列中心越远的所述子阵列的所述点光源的功率越高。
7.一种激光投射模组的控制装置,其特征在于,所述激光投射模组包括激光发射器,所述激光发射器包括多个点光源,多个所述点光源形成多个子阵列,多个所述子阵列围成圆形阵列,所述子阵列包括一个圆形子阵列和至少一个环形子阵列;多个所述子阵列独立控制;所述控制装置包括:
获取模块,所述获取模块用于获取所述激光投射模组与用户的当前距离;
确定模块,所述确定模块用于根据所述当前距离确定所述子阵列的目标数量;和
开启模块,所述开启模块用于开启所述目标数量的所述子阵列的点光源;
随所述当前距离的增大,所述子阵列的开启方式为:沿靠近所述圆形阵列的中心的方向,依次开启所述环形子阵列和所述圆形子阵列,在开启所述环形子阵列的点光源或者开启所述圆形子阵列的点光源时,施加在所述环形子阵列点光源的电压与施加在所述圆形子阵列的点光源的电压相等。
8.一种深度相机,包括图像采集器和激光投射模组,其特征在于,所述激光投射模组包括激光发射器,所述激光发射器包括多个点光源,多个所述点光源形成多个子阵列,多个所述子阵列围成圆形阵列,所述子阵列包括一个圆形子阵列和至少一个环形子阵列;多个所述子阵列独立控制;所述深度相机还包括处理器,所述处理器用于:
获取所述激光投射模组与用户的当前距离;
根据所述当前距离确定所述子阵列的目标数量;和
开启所述目标数量的所述子阵列的点光源;
随所述当前距离的增大,所述子阵列的开启方式为:沿靠近所述圆形阵列的中心的方向,依次开启所述环形子阵列和所述圆形子阵列,在开启所述环形子阵列的点光源或者开启所述圆形子阵列的点光源时,施加在所述环形子阵列点光源的电压与施加在所述圆形子阵列的点光源的电压相等。
9.根据权利要求8所述的深度相机,其特征在于,所述处理器还用于:
获取所述用户的人脸图像;
处理所述人脸图像以确定所述用户的人脸占所述人脸图像的第一比例;和
根据所述第一比例确定所述当前距离。
10.根据权利要求9所述的深度相机,其特征在于,所述处理器还用于:
计算所述人脸图像中所述人脸的预设的特征区域占所述人脸的第二比例;和
根据所述第一比例及所述第二比例计算所述当前距离。
11.根据权利要求8所述的深度相机,其特征在于,所述激光投射模组用于:
向所述用户发射检测信号;
所述处理器还用于:
根据被所述用户反射回的检测信号计算所述当前距离。
12.根据权利要求8所述的深度相机,其特征在于,当所述当前距离处于第一距离区间时,开启第一目标数量的所述子阵列的所述点光源;当所述当前距离处于第二距离区间时,开启第二目标数量的所述子阵列的所述点光源;当所述当前距离处于第三距离区间时,开启第三目标数量的所述子阵列的所述点光源;所述第二距离区间位于所述第一距离区间与所述第三距离区间之间;所述第二目标数量大于所述第一目标数量且小于所述第三目标数量。
13.根据权利要求8所述的深度相机,其特征在于,在同时开启所述圆形子阵列的所述点光源和至少一个所述环形子阵列的所述点光源时,距离所述圆形阵列中心越远的所述子阵列的所述点光源的功率越高。
14.一种电子装置,其特征在于,所述电子装置包括:
壳体;和
权利要求8至13任意一项所述的深度相机,所述深度相机设置在所述壳体内并从所述壳体暴露以获取深度图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010370932.0A CN111474818B (zh) | 2018-03-12 | 2018-03-12 | 控制方法、控制装置、深度相机和电子装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010370932.0A CN111474818B (zh) | 2018-03-12 | 2018-03-12 | 控制方法、控制装置、深度相机和电子装置 |
CN201810200433.XA CN108509867B (zh) | 2018-03-12 | 2018-03-12 | 控制方法、控制装置、深度相机和电子装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810200433.XA Division CN108509867B (zh) | 2018-03-12 | 2018-03-12 | 控制方法、控制装置、深度相机和电子装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111474818A CN111474818A (zh) | 2020-07-31 |
CN111474818B true CN111474818B (zh) | 2022-05-20 |
Family
ID=63376447
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810200433.XA Active CN108509867B (zh) | 2018-03-12 | 2018-03-12 | 控制方法、控制装置、深度相机和电子装置 |
CN202010370932.0A Active CN111474818B (zh) | 2018-03-12 | 2018-03-12 | 控制方法、控制装置、深度相机和电子装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810200433.XA Active CN108509867B (zh) | 2018-03-12 | 2018-03-12 | 控制方法、控制装置、深度相机和电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN108509867B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3567427B1 (en) | 2018-03-12 | 2023-12-13 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Control method and control device for a depth camera |
CN109194869A (zh) * | 2018-10-09 | 2019-01-11 | Oppo广东移动通信有限公司 | 控制方法、控制装置、深度相机和电子装置 |
CN111182287A (zh) * | 2018-11-13 | 2020-05-19 | 南昌欧菲生物识别技术有限公司 | 发射模组、成像装置和电子装置 |
CN110213413B (zh) * | 2019-05-31 | 2021-05-14 | Oppo广东移动通信有限公司 | 电子装置的控制方法及电子装置 |
CN110322498A (zh) * | 2019-06-27 | 2019-10-11 | Oppo广东移动通信有限公司 | 一种图像生成方法及终端、存储介质 |
CN110441784A (zh) * | 2019-08-27 | 2019-11-12 | 浙江舜宇光学有限公司 | 深度图像成像***和方法 |
CN111477184A (zh) * | 2020-05-22 | 2020-07-31 | 青岛海信激光显示股份有限公司 | 投影设备及其亮度调整方法 |
CN113111762B (zh) * | 2021-04-07 | 2024-04-05 | 瑞芯微电子股份有限公司 | 一种人脸识别方法、检测方法、介质及电子设备 |
CN114500795B (zh) * | 2021-12-27 | 2024-03-15 | 奥比中光科技集团股份有限公司 | 激光安全控制方法、装置、智能门锁及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW497000B (en) * | 1999-02-04 | 2002-08-01 | Matsushita Electric Ind Co Ltd | Lighting device, image display device, production method of hologram, light control element and reflective type liquid crystal display device |
CN1798249A (zh) * | 2004-12-30 | 2006-07-05 | 亚洲光学股份有限公司 | 测距式数码相机 |
EP2477240A1 (en) * | 2011-01-18 | 2012-07-18 | Koninklijke Philips Electronics N.V. | Illumination device |
CN106972347A (zh) * | 2017-05-04 | 2017-07-21 | 深圳奥比中光科技有限公司 | 用于3d成像的激光阵列 |
CN107229173A (zh) * | 2017-06-14 | 2017-10-03 | 深圳奥比中光科技有限公司 | 投影模组及其制造方法以及深度相机 |
CN107330316A (zh) * | 2017-07-31 | 2017-11-07 | 广东欧珀移动通信有限公司 | 解锁处理方法及相关产品 |
CN107490869A (zh) * | 2017-08-24 | 2017-12-19 | 华天科技(昆山)电子有限公司 | 空间结构光发射装置 |
CN107680128A (zh) * | 2017-10-31 | 2018-02-09 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009122523A (ja) * | 2007-11-16 | 2009-06-04 | Olympus Imaging Corp | ストロボ装置 |
KR101569268B1 (ko) * | 2014-01-02 | 2015-11-13 | 아이리텍 잉크 | 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법 |
KR102226177B1 (ko) * | 2014-09-24 | 2021-03-10 | 삼성전자주식회사 | 사용자 인증 방법 및 그 전자 장치 |
KR102364084B1 (ko) * | 2014-10-21 | 2022-02-17 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
TWM497000U (zh) * | 2014-11-10 | 2015-03-11 | xue-fang Xu | 門窗清潔裝置 |
CN107113379B (zh) * | 2016-08-09 | 2018-06-12 | 深圳市瑞立视多媒体科技有限公司 | 红外光源的亮度调节方法与装置、光学动捕摄像机 |
-
2018
- 2018-03-12 CN CN201810200433.XA patent/CN108509867B/zh active Active
- 2018-03-12 CN CN202010370932.0A patent/CN111474818B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW497000B (en) * | 1999-02-04 | 2002-08-01 | Matsushita Electric Ind Co Ltd | Lighting device, image display device, production method of hologram, light control element and reflective type liquid crystal display device |
CN1798249A (zh) * | 2004-12-30 | 2006-07-05 | 亚洲光学股份有限公司 | 测距式数码相机 |
EP2477240A1 (en) * | 2011-01-18 | 2012-07-18 | Koninklijke Philips Electronics N.V. | Illumination device |
CN106972347A (zh) * | 2017-05-04 | 2017-07-21 | 深圳奥比中光科技有限公司 | 用于3d成像的激光阵列 |
CN107229173A (zh) * | 2017-06-14 | 2017-10-03 | 深圳奥比中光科技有限公司 | 投影模组及其制造方法以及深度相机 |
CN107330316A (zh) * | 2017-07-31 | 2017-11-07 | 广东欧珀移动通信有限公司 | 解锁处理方法及相关产品 |
CN107490869A (zh) * | 2017-08-24 | 2017-12-19 | 华天科技(昆山)电子有限公司 | 空间结构光发射装置 |
CN107680128A (zh) * | 2017-10-31 | 2018-02-09 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108509867A (zh) | 2018-09-07 |
CN111474818A (zh) | 2020-07-31 |
CN108509867B (zh) | 2020-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111474818B (zh) | 控制方法、控制装置、深度相机和电子装置 | |
CN108333860B (zh) | 控制方法、控制装置、深度相机和电子装置 | |
CN108227361B (zh) | 控制方法、控制装置、深度相机和电子装置 | |
CN108594451B (zh) | 控制方法、控制装置、深度相机和电子装置 | |
TWI684026B (zh) | 控制方法、控制裝置、深度相機和電子裝置 | |
CN109104583B (zh) | 控制方法及装置、深度相机、电子装置及可读存储介质 | |
CN108833889B (zh) | 控制方法及装置、深度相机、电子装置及可读存储介质 | |
US10606071B1 (en) | Lightfield waveguide integrated eye tracking | |
US5317140A (en) | Diffusion-assisted position location particularly for visual pen detection | |
JP2020115630A (ja) | オプティカル・フローを用いる眼球追跡 | |
CN109068036B (zh) | 控制方法及装置、深度相机、电子装置及可读存储介质 | |
CN108376251B (zh) | 控制方法、控制装置、终端、计算机设备和存储介质 | |
CN105807285B (zh) | 多区域测距方法、测距装置及终端 | |
CN110226110B (zh) | 具有用于减少光学伪影的动态拔模的菲涅耳透镜 | |
JP2011507336A (ja) | イメージング装置の制御のための近接検知 | |
CN108376252B (zh) | 控制方法、控制装置、终端、计算机设备和存储介质 | |
US20240117953A1 (en) | Optical System for Noise Mitigation | |
US20210173057A1 (en) | Method and System for Calibrating Time-Of-Flight Module, and Storage Medium | |
KR101538395B1 (ko) | 방사각의 조절이 가능한 광 확산장치 조합모듈, 3d 카메라 및 방사각을 최적화하는 방법 | |
TWI685678B (zh) | 鐳射投射模組、深度相機和電子裝置 | |
CN205720669U (zh) | 多区域测距装置及终端 | |
KR102582761B1 (ko) | 센싱 방법 및 장치 | |
KR20090039208A (ko) | 거리 측정 센서 모듈 | |
US20230030103A1 (en) | Electronic apparatus | |
US20230077073A1 (en) | Augmented reality device and method for obtaining depth map by using depth sensor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |