CN116088181A - 结构光***和标定方法 - Google Patents
结构光***和标定方法 Download PDFInfo
- Publication number
- CN116088181A CN116088181A CN202310084403.8A CN202310084403A CN116088181A CN 116088181 A CN116088181 A CN 116088181A CN 202310084403 A CN202310084403 A CN 202310084403A CN 116088181 A CN116088181 A CN 116088181A
- Authority
- CN
- China
- Prior art keywords
- target object
- structured light
- light system
- eye display
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000003287 optical effect Effects 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 31
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 17
- 239000004065 semiconductor Substances 0.000 claims description 5
- 239000004984 smart glass Substances 0.000 claims description 5
- 230000000295 complement effect Effects 0.000 claims description 4
- 229910044991 metal oxide Inorganic materials 0.000 claims description 4
- 150000004706 metal oxides Chemical class 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 11
- 239000011521 glass Substances 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 230000003993 interaction Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 229910000838 Al alloy Inorganic materials 0.000 description 1
- 229920000049 Carbon (fiber) Polymers 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 239000000956 alloy Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000004917 carbon fiber Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0176—Head mounted characterised by mechanical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请公开了一种结构光***和标定方法。其中，结构光***包括：投射装置、接收装置和处理装置，投射装置和接收装置对称分布在智能近眼显示设备的两侧，投射装置对应的第一视场角与接收装置对应的第二视场角存在重叠；投射装置用于向第一目标对象投射光信号，第一目标对象位于第一视场角和第二视场角的重叠范围内；接收装置用于接收光信号；处理装置设置于智能近眼显示设备，用于对光信号进行计算，得到第一目标对象对应的深度数据，根据深度数据生成第一目标对象对应的图像，若图像为散斑图，对结构光***进行标定。根据本申请实施例，能够保证3D结构光的数据完整性，得到完整的深度图像，进而能够提高智能近眼显示设备识别手势指令的准确性。
Description
技术领域
本申请属于结构光技术领域，尤其涉及一种结构光***和标定方法。
背景技术
随着智能近眼显示技术的发展，智能近眼显示设备已经能够与用户进行手势交互。3D结构光技术作为新一代人机交互技术的核心，可用于识别用户的手势指令。
现有技术中，通常将结构光模组设置于智能近眼显示设备的正中央，即鼻梁上方。另外，由于用户的手部位于眼部下方，因此，为了便于用户与智能近眼显示设备进行手势交互，结构光模组的视场角可以朝向斜下方。如此，结构光模组的视场角通常会与用户的鼻部、脸部等发生空间位置上的干涉，导致3D结构光的数据丢失，形成不完整的深度图像，进而导致智能近眼显示设备识别手势指令的准确性较低。
发明内容
本申请实施例提供了一种结构光***和标定方法，能够保证3D结构光的数据完整性，得到完整的深度图像，进而能够提高智能近眼显示设备识别手势指令的准确性。
第一方面，本申请实施例提供了一种结构光***，该结构光***包括：投射装置、接收装置和处理装置，
所述投射装置和所述接收装置对称分布在智能近眼显示设备的两侧，所述投射装置对应的第一视场角与所述接收装置对应的第二视场角存在重叠；
所述投射装置用于向第一目标对象投射光信号，所述第一目标对象位于所述第一视场角和所述第二视场角的重叠范围内；
所述接收装置用于接收所述光信号；
所述处理装置设置于所述智能近眼显示设备，用于对所述光信号进行计算，得到与所述第一目标对象对应的深度数据，根据所述深度数据生成与所述第一目标对象对应的图像，以及在所述图像为散斑图的情况下，对所述结构光***进行标定，以得到与所述第一目标对象对应的深度图像。
在一种可能的实现方式中，所述智能近眼显示设备包括智能眼镜，所述智能眼镜包括镜框和镜腿；
所述智能近眼显示设备的两侧，包括以下任一项：
所述镜框的两侧且靠近所述镜框和所述镜腿的连接处；
所述镜框两侧的下边缘且位于所述镜框和所述镜腿连接处的下方；
所述镜框中且靠近鼻梁支撑部件的位置。
在一种可能的实现方式中，所述投射装置包括激光发生模块和散斑生成器；
所述激光发生模块用于向所述散斑生成器发射激光；
所述散斑生成器用于根据所述激光生成激光光斑，复制所述激光光斑，以及向所述第一目标对象投射所述激光光斑。
在一种可能的实现方式中，所述接收装置包括深度相机和镜头，所述深度相机与所述镜头连接；
所述深度相机包括互补金属氧化物半导体CMOS相机和电荷耦合器件CCD相机中的任意一个。
在一种可能的实现方式中，所述CMOS相机包括具有目标画幅的CMOS传感器，所述目标画幅为1/3画幅至1/2画幅之间的任意一个；
所述镜头的焦距为2毫米至6毫米之间的任意一个。
在一种可能的实现方式中，所述处理装置集成于所述智能近眼显示设备的主控芯片，或，独立于所述主控芯片。
第二方面，本申请实施例提供了一种标定方法，应用于上述第一方面中任一种可能的实现方式中的结构光***，该方法包括：
通过投射装置向第一目标对象投射光信号；
通过接收装置接收所述光信号；
通过处理装置对所述光信号进行计算，得到与所述第一目标对象对应的深度数据；
通过所述处理装置根据所述深度数据生成与所述第一目标对象对应的图像；
在所述图像为散斑图的情况下，通过所述处理装置对所述结构光***进行标定，以得到与所述第一目标对象对应的深度图像。
在一种可能的实现方式中，所述对所述结构光***进行标定，包括：
获取第二目标对象的散斑图，所述第二目标对象为表面平整的对象，且与所述智能近眼显示设备平行，所述散斑图包括多个特征点；
获取目标特征点在摄像机坐标系下的第一坐标，以及所述目标特征点在世界坐标系下的第二坐标，所述目标特征点为所述多个特征点中的任意一个；
根据所述第一坐标和所述第二坐标确定外参矩阵；
根据所述外参矩阵中的参数对所述结构光***进行标定。
第三方面，本申请实施例提供了一种电子设备，该设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现上述第二方面中任一种可能的实现方法中的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现上述第二方面中任一种可能的实现方法中的方法。
第五方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备执行如上述第二方面中任一种可能的实现方法中的方法。
本申请实施例的结构光***和标定方法，通过将投射装置和接收装置分别设置于智能近眼显示设备的两侧，能够避免投射装置对应的第一视场角和/或接收装置对应的第二视场角与智能近眼显示设备的结构和用户的鼻部、脸部等发生空间位置上的干涉。通过使第一视场角与第二视场角存在重叠，使接收装置能够接收到投射装置投射的光信号，以及使处理装置能够对接收装置接收的光信号进行计算，得到与第一目标对象的深度数据，以及根据深度数据生成与第一目标对象对应的深度图像。如此，通过本申请实施例，由于第一视场角和/或第二视场角不会与用户的鼻部、脸部等发生空间位置上的干涉，因此，能够保证3D结构光的数据完整性，得到完整的深度图像，进而能够提高智能近眼显示设备识别手势指令的准确性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种结构光***的结构示意图；
图2是本申请实施例提供的一种智能眼镜的示意图；
图3是本申请实施例提供的一种标定方法的流程示意图；
图4是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本申请实施例中，智能近眼显示设备可以包括智能眼镜。其中，智能眼镜不仅需要满足舒适、轻便、美观和长时间佩戴的要求，还需要能够与用户进行手势交互。3D结构光技术作为新一代人机交互技术的核心，可用于识别用户的手势指令。随着智能近眼显示设备对3D结构光技术的要求越来越高，3D结构光正朝着低功耗、高性能、小体积的方向发展。
现有技术中，通常将结构光模组设置于智能近眼显示设备的正中央，即鼻梁上方。其中，结构光模组可以用作深度传感器，结构光模组通常包括投射装置(transport，TX)，接收装置(receive，RX)以及相关的驱动、主控芯片。为了实现整个结构光模组的稳定性，通常将上述器件固定在一起，以免投射装置和接收装置发生相对位移和旋转。另外，由于用户的手部位于眼部下方，因此，为了便于用户与智能近眼显示设备进行手势交互，结构光模组的视场角可以朝向斜下方。如此，结构光模组的视场角通常会与用户的鼻部、脸部等发生空间位置上的干涉，导致3D结构光的数据丢失，形成不完整的深度图像，进而导致智能近眼显示设备识别手势指令的准确性较低。
为了解决现有技术问题，本申请实施例提供了一种结构光***，其中，结构光***可以包括独立可分离的投射装置和独立可分离的接收装置。但是，在使用独立可分离的投射装置和独立可分离的接收装置的过程中，投射装置和接收装置的相对位置可能发生偏移或旋转。若投射装置和接收装置的相对位置发生偏移或旋转，则会降低结构光***识别手势指令的准确性。具体的，由于智能近眼显示设备的定制外形、加工误差、佩戴智能近眼显示设备的用户的头围不同等原因可能引起发射装置和接收装置的相对位置和相对方向发生变化，从而可能导致深度识别问题。
如此，为了保证结构光***识别手势指令的准确性，本申请实施例提供了一种标定方法、设备、计算机可读存储介质及计算机程序产品。其中，标定方法可应用于结构光***。
下面对本申请实施例所提供的结构光***进行介绍。
如图1所示，结构光***可以包括投射装置110、接收装置120和处理装置130。其中，投射装置110和接收装置120可以对称分布在智能近眼显示设备的两侧，投射装置110对应的第一视场角与接收装置120对应的第二视场角可以存在重叠。
这里，投射装置110可以是独立可分离的投射装置，接收装置120可以是独立可分离的接收装置。
在一些实施例中，智能近眼显示设备可以包括智能眼镜，智能眼镜可以包括镜框和镜腿；
基于此，智能近眼显示设备的两侧，可以包括以下任一项：
镜框的两侧且靠近镜框和镜腿的连接处；
镜框两侧的下边缘且位于所镜框和镜腿连接处的下方；
镜框中且靠近鼻梁支撑部件的位置。
这里，投射装置和接收装置可以设置于镜框，以镜框作为连接件。其中，为了满足智能眼镜的轻量化和稳定性，镜框可以是铝合金材料，也可以是碳纤维材料。
作为一种示例，如图2所示，投射装置21和接收装置22可以对称分布在镜框的两侧且靠近镜框和镜腿的连接处，投射装置23和接收装置24可以对称分布在镜框两侧的下边缘且位于所镜框和镜腿连接处的下方，投射装置25和接收装置26可以对称分布在镜框中且靠近鼻梁支撑部件的位置。其中，如图2所示，投射装置可以位于接收装置的左侧，投射装置也可以位于接收装置的右侧，在此不做限定。另外，投射装置21、投射装置23和投射装置25可以是相同的投射装置，接收装置22、接收装置24和接收装置26可以是相同的接收装置。需要说明的是，在本申请实施例中，投射装置和接收装置还可以设置于镜框除上述位置处的其他位置。
作为一种示例，若将投射装置和/或发射装置的朝向为垂直于地面向下记为0°，将投射装置和/或发射装置的朝向为垂直于地面向上记为180°，则投射装置和/或发射装置的朝向可以位于0°-180°之间。
为了使智能近眼显示设备可以与用户进行更加自然地手势交互。投射装置和/或发射装置的朝向具体可以为方向向前下方，且偏离水平方向30°。
另外，第一视场角与第二视场角的重叠视场角(Field of Vision，FoV)例如可以为60°×40°。
在一些实施例中，投射装置110可以用于向第一目标对象投射光信号，第一目标对象可以位于第一视场角和第二视场角的重叠范围内。
这里，第一目标对象可以是与手势动作相关的身体部位，身体部位例如可以包括手指、手掌和手臂等。在第一目标对象位于第一视场角内的情况下，投射装置110可以向第一目标对象投射光信号。其中，投射装置110可以包括激光发生模块和散斑生成器；激光发生模块可以用于向散斑生成器发射激光；散斑生成器可以用于根据激光生成激光光斑，复制激光光斑，以及向第一目标对象投射激光光斑。为了能够根据激光生成激光光斑，复制激光光斑，以及向第一目标对象投射激光光斑，散斑生成器具体可以包括扩束准直光学***和衍射光学元件(Diffractive Optical Elements，DOE)。
在一些实施例中，接收装置120可以用于接收光信号。
这里，接收装置120可以接收投射装置110向第一目标对象投射且位于第二视场角内的光信号。其中，接收装置120可以包括深度相机和镜头，深度相机可以与镜头连接。另外，深度相机可以包括互补金属氧化物半导体(Complementary Metal OxideSemiconductor，CMOS)相机和电荷耦合器件(Charge Coupled Device，CCD)相机中的任意一个。
具体的，为了能够得到第一目标对象在(特定距离下)0.3米-1米范围内的深度图像，也即，为了能够涵盖人类手势操作的常用场景，CMOS相机可以采用具有目标画幅的CMOS传感器，目标画幅可以为1/3画幅至1/2画幅之间的任意一个。需要说明的是，目标画幅可以包括1/3画幅和1/2画幅。另外，镜头的焦距可以为2毫米至6毫米之间的任意一个。同样，镜头的焦距可以包括2毫米和6毫米。基于此，为了使结构光***能够捕获高分辨率的细节图像和覆盖测量范围内的景深，CMOS相机例如可以采用具有1/2画幅的CMOS传感器，镜头的焦距例如可以为4毫米。
在一些实施例中，处理装置130可以设置于智能近眼显示设备，可以用于对光信号进行计算，得到与第一目标对象对应的深度数据，根据深度数据生成与第一目标对象对应的图像，以及在图像为散斑图的情况下，对结构光***进行标定，以得到与第一目标对象对应的深度图像。
这里，处理装置130可以设置于智能近眼显示设备的任意位置，在此不做限定。具体的，处理装置可以集成于智能近眼显示设备的主控芯片，也即，通过主控芯片可以实现上述处理装置的功能。另外，处理装置可以独立于主控芯片，也即，处理装置可以设置于除主控芯片之外的其他芯片中，作为单独的处理芯片存在。
作为一种示例，在接收装置接收到光信号之后，计算装置可以对光信号进行计算，从而得到与第一目标对象对应的深度数据。在得到与第一目标对象对应的深度数据之后，计算装置可以根据深度数据生成与第一目标对象对应的图像。其中，图像可以为深度图像，也可以为散斑图。若图像为深度图像，则可以认为计算装置能够对第一目标对象进行正确地深度识别。若图像为散斑图，则可以认为深度数据可能有异常，从而导致对第一目标对象的深度识别问题。若存在深度识别问题，则计算装置可以对结构光***进行标定，以得到与第一目标对象对应的深度图像。
本申请实施例的结构光***通过将投射装置和接收装置分别设置于智能近眼显示设备的两侧，能够避免投射装置对应的第一视场角和/或接收装置对应的第二视场角与智能近眼显示设备的结构和用户的鼻部、脸部等发生空间位置上的干涉。通过使第一视场角与第二视场角存在重叠，使接收装置能够接收到投射装置投射的光信号，以及使处理装置能够对接收装置接收的光信号进行计算，得到与第一目标对象的深度数据，以及根据深度数据生成与第一目标对象对应的深度图像。如此，通过本申请实施例，由于第一视场角和/或第二视场角不会与用户的鼻部、脸部等发生空间位置上的干涉，因此，能够保证3D结构光的数据完整性，得到完整的深度图像，进而能够提高智能近眼显示设备识别手势指令的准确性。
下面对本申请实施例所提供的标定方法进行介绍。
图3示出了本申请实施例提供的一种标定方法的流程示意图。如图3所示，本申请实施例提供的标定方法包括以下步骤：
S310、通过投射装置向第一目标对象投射光信号；
S320、通过接收装置接收光信号；
S330、通过处理装置对光信号进行计算，得到与第一目标对象对应的深度数据；
S340、通过处理装置根据深度数据生成与第一目标对象对应的图像；
S350、在图像为散斑图的情况下，通过处理装置对结构光***进行标定，以得到与第一目标对象对应的深度图像。
本申请实施例的标定方法在根据深度数据生成的与第一目标对象对应的图像为散斑图的情况下，通过计算装置对结构光***进行标定，能够得到与第一目标对象对应的深度图像。如此，通过在结构光***存在深度识别问题的情况下对结构光***进行修正，能够保证通过结构光所获得的待测物体的深度数据的准确性，进而能够提高智能近眼显示设备识别手势指令的准确性。
上述各个步骤的具体实现方式可参见上文，在此不再详细赘述。
基于此，在一些实施例中，上述S350具体可以包括：
获取第二目标对象的散斑图，第二目标对象为表面平整的对象，且与智能近眼显示设备平行，散斑图包括多个特征点；
获取目标特征点在摄像机坐标系下的第一坐标，以及目标特征点在世界坐标系下的第二坐标，目标特征点为多个特征点中的任意一个；
根据第一坐标和第二坐标确定外参矩阵；
根据外参矩阵中的参数对结构光***进行标定。
这里，第二目标对象可以是表面平整的任一对象。具体的，第二目标对象例如可以为墙壁。
作为一种示例，配戴智能近眼显示设备的用户可以面向墙壁站立，以使智能近眼显示设备与墙壁平行。如此，通过计算装置可以获取第二目标对象的散斑图。由于结构光的散斑本身具有特定的分布，因此，可以将散斑图案定义为特征点。具体的，散斑图中的任一点均可以为特征点。
作为一种示例，通过接收装置可以直接获取目标特征点在摄像机坐标系下的第一坐标，通过计算装置可以获取目标特征点在世界坐标系下的第二坐标。在得到第一坐标和第二坐标之后，即可根据第一坐标和第二坐标确定外参矩阵。
具体的，确定外参矩阵的过程可以如下所示：
其中，(xc,yc,zc)可以是第一坐标，(xw,yw,zw)可以是第二坐标，cMw可以是摄像机坐标系到世界坐标系的转换矩阵，cMw可以包括一个旋转矩阵R和一个平移矩阵P。在旋转矩阵R中，[nx ny nz]可以是xw轴在摄像机坐标系下的方向向量，[ox oy oz]可以是yw轴在摄像机坐标系下的方向向量，[ax ay az]可以是zw轴在摄像机坐标系下的方向向量。平移向量[px pypz]可以是世界坐标系的原点在摄像机坐标系下的位置向量。
在得到外参矩阵之后，根据外参矩阵中的参数对结构光***进行标定具体可以为以上述外参矩阵更新已有的外参矩阵。其中，外参矩阵中的参数例如可以为nx、ny、nz、ox、oy、oz、ax、ay、az、px、py、pz中的任意一个。另外，已有的外参矩阵可以是对智能近眼显示设备进行出厂标定得到的外参矩阵，也可以是上一次标定得到的外参矩阵，在此不做限定。
需要说明的是，在本申请实施例中，结构光***可以实时对深度数据进行检测。在检测到深度数据异常时，即可触发标定过程。其中，深度数据异常即可以为计算装置根据第一坐标和外参矩阵计算得到的第二坐标与第一目标物体的实际坐标不符。其中，第一目标物体的实际坐标具体可以为第一目标物体与结构光***之间的相对位置坐标。若未检测到深度数据异常，则通过计算装置可以得到第一目标物体与结构光***之间准确的相对位置坐标。也即，若深度数据异常，则计算装置根据深度数据生成的可以是散斑图，而不是深度图像。若未检测到深度数据异常，则计算装置可以根据深度数据生成与第一目标对象对应的深度图像。
基于上述实施例提供的标定方法，本申请实施例还提供了电子设备的具体实施方式。图4示出了本申请实施例提供的电子设备400示意图。
电子设备400可以包括处理器410以及存储有计算机程序指令的存储器420。
具体地，上述处理器410可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器420可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器420可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器420可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器420可在综合网关容灾设备的内部或外部。在特定实施例中，存储器420是非易失性固态存储器。
存储器可包括只读存储器(ROM)，随机存取存储器(RAM)，磁盘存储介质设备，光存储介质设备，闪存设备，电气、光学或其他物理/有形的存储器存储设备。因此，通常，存储器包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如，存储器设备)，并且当该软件被执行(例如，由一个或多个处理器)时，其可操作来执行参考根据本申请的第一方面的方法所描述的操作。
处理器410通过读取并执行存储器420中存储的计算机程序指令，以实现上述实施例中的任意一种标定方法。
在一个示例中，电子设备400还可包括通信接口430和总线440。其中，如图4所示，处理器410、存储器420、通信接口430通过总线440连接并完成相互间的通信。
通信接口430，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线440包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、***组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线440可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
示例性的，电子设备400可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等。
该电子设备可以执行本申请实施例中的标定方法，从而实现结合图3描述的标定方法。
另外，结合上述实施例中的标定方法，本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种标定方法。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或***。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本申请的实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的***、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。
Claims (11)
1.一种结构光***，其特征在于，包括：投射装置、接收装置和处理装置，
所述投射装置和所述接收装置对称分布在智能近眼显示设备的两侧，所述投射装置对应的第一视场角与所述接收装置对应的第二视场角存在重叠；
所述投射装置用于向第一目标对象投射光信号，所述第一目标对象位于所述第一视场角和所述第二视场角的重叠范围内；
所述接收装置用于接收所述光信号；
所述处理装置设置于所述智能近眼显示设备，用于对所述光信号进行计算，得到与所述第一目标对象对应的深度数据，根据所述深度数据生成与所述第一目标对象对应的图像，以及在所述图像为散斑图的情况下，对所述结构光***进行标定，以得到与所述第一目标对象对应的深度图像。
2.根据权利要求1所述的结构光***，其特征在于，所述智能近眼显示设备包括智能眼镜，所述智能眼镜包括镜框和镜腿；
所述智能近眼显示设备的两侧，包括以下任一项：
所述镜框的两侧且靠近所述镜框和所述镜腿的连接处；
所述镜框两侧的下边缘且位于所述镜框和所述镜腿连接处的下方；
所述镜框中且靠近鼻梁支撑部件的位置。
3.根据权利要求1所述的结构光***，其特征在于，所述投射装置包括激光发生模块和散斑生成器；
所述激光发生模块用于向所述散斑生成器发射激光；
所述散斑生成器用于根据所述激光生成激光光斑，复制所述激光光斑，以及向所述第一目标对象投射所述激光光斑。
4.根据权利要求1所述的结构光***，其特征在于，所述接收装置包括深度相机和镜头，所述深度相机与所述镜头连接；
所述深度相机包括互补金属氧化物半导体CMOS相机和电荷耦合器件CCD相机中的任意一个。
5.根据权利要求4所述的方法，其特征在于，所述CMOS相机包括具有目标画幅的CMOS传感器，所述目标画幅为1/3画幅至1/2画幅之间的任意一个；
所述镜头的焦距为2毫米至6毫米之间的任意一个。
6.根据权利要求1所述的结构光***，其特征在于，所述处理装置集成于所述智能近眼显示设备的主控芯片，或，独立于所述主控芯片。
7.一种标定方法，应用于权利要求1-6任一项所述的结构光***，其特征在于，所述方法包括：
通过投射装置向第一目标对象投射光信号；
通过接收装置接收所述光信号；
通过处理装置对所述光信号进行计算，得到与所述第一目标对象对应的深度数据；
通过所述处理装置根据所述深度数据生成与所述第一目标对象对应的图像；
在所述图像为散斑图的情况下，通过所述处理装置对所述结构光***进行标定，以得到与所述第一目标对象对应的深度图像。
8.根据权利要求7所述的方法，其特征在于，所述对所述结构光***进行标定，包括：
获取第二目标对象的散斑图，所述第二目标对象为表面平整的对象，且与所述智能近眼显示设备平行，所述散斑图包括多个特征点；
获取目标特征点在摄像机坐标系下的第一坐标，以及所述目标特征点在世界坐标系下的第二坐标，所述目标特征点为所述多个特征点中的任意一个；
根据所述第一坐标和所述第二坐标确定外参矩阵；
根据所述外参矩阵中的参数对所述结构光***进行标定。
9.一种电子设备，其特征在于，所述电子设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求7-8任意一项所述的标定方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求7-8任意一项所述的标定方法。
11.一种计算机程序产品，其特征在于，所述计算机程序产品中的指令由电子设备的处理器执行时，使得所述电子设备执行如权利要求7-8任意一项所述的标定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310084403.8A CN116088181A (zh) | 2023-01-31 | 2023-01-31 | 结构光***和标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310084403.8A CN116088181A (zh) | 2023-01-31 | 2023-01-31 | 结构光***和标定方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116088181A true CN116088181A (zh) | 2023-05-09 |
Family
ID=86202282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310084403.8A Pending CN116088181A (zh) | 2023-01-31 | 2023-01-31 | 结构光***和标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116088181A (zh) |
-
2023
- 2023-01-31 CN CN202310084403.8A patent/CN116088181A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111354042B (zh) | 机器人视觉图像的特征提取方法、装置、机器人及介质 | |
| US9759548B2 (en) | Image processing apparatus, projector and projector system including image processing apparatus, image processing method | |
| US10764487B2 (en) | Distance image acquisition apparatus and application thereof | |
| US9813692B2 (en) | Online compensation of thermal distortions in a stereo depth camera | |
| US11238273B2 (en) | Data processing method and apparatus, electronic device and storage medium | |
| US20220066545A1 (en) | Interactive control method and apparatus, electronic device and storage medium | |
| CN113256718B (zh) | 定位方法和装置、设备及存储介质 | |
| CN112816949B (zh) | 传感器的标定方法及装置、存储介质、标定*** | |
| US20120069018A1 (en) | Ar process apparatus, ar process method and storage medium | |
| TW201626049A (zh) | 頭戴型顯示裝置及其校正方法 | |
| CN112819896A (zh) | 传感器的标定方法及装置、存储介质和标定*** | |
| US11380063B2 (en) | Three-dimensional distortion display method, terminal device, and storage medium | |
| CN113361365B (zh) | 定位方法和装置、设备及存储介质 | |
| CN111095914B (zh) | 三维图像传感***以及相关电子装置以及飞时测距方法 | |
| JP2019099142A (ja) | 仮想スクリーンのパラメータ推定方法及び装置 | |
| EP3506204B1 (en) | Image processing system, method and program therefor | |
| JP2018084954A (ja) | プログラム、姿勢導出方法、姿勢導出装置 | |
| CN112184811A (zh) | 单目空间结构光***结构校准方法及装置 | |
| CN110705433A (zh) | 一种基于视觉感知的桥梁变形的监测方法、装置及设备 | |
| JP6486083B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN109765634A (zh) | 一种深度标注装置 | |
| WO2013108075A1 (en) | System and method for measuring tracker system accuracy | |
| CN116088181A (zh) | 结构光***和标定方法 | |
| CN112184828A (zh) | 激光雷达与摄像头的外参标定方法、装置及自动驾驶车辆 | |
| EP3312626A1 (en) | Auxiliary apparatus for lighthouse positioning system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |