CN112102404A - 物体检测追踪方法、装置及头戴显示设备 - Google Patents
物体检测追踪方法、装置及头戴显示设备 Download PDFInfo
- Publication number
- CN112102404A CN112102404A CN202010817884.5A CN202010817884A CN112102404A CN 112102404 A CN112102404 A CN 112102404A CN 202010817884 A CN202010817884 A CN 202010817884A CN 112102404 A CN112102404 A CN 112102404A
- Authority
- CN
- China
- Prior art keywords
- feature
- detected
- acquisition conditions
- different acquisition
- under different
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000001514 detection method Methods 0.000 title claims abstract description 38
- 239000011159 matrix material Substances 0.000 claims abstract description 37
- 230000009466 transformation Effects 0.000 claims abstract description 25
- 238000004422 calculation algorithm Methods 0.000 claims description 60
- 238000003384 imaging method Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000013519 translation Methods 0.000 claims description 5
- 238000005286 illumination Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 230000003993 interaction Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004387 environmental modeling Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种物体检测追踪方法、装置及头戴显示设备，该方法包括：获取不同采集条件下采集到的多个待检测物体图像，对各图像进行特征点提取，并对提取的特征点进行特征描述符提取，得到多个特征点及对应的特征描述符；确定各特征点在相机坐标系下的三维点云坐标；将待检测物体在不同采集条件下得到的特征描述符进行匹配，得到多个匹配特征点对；根据各匹配特征点对的三维点云坐标确定待检测物体的特征点在不同采集条件之间的坐标转换矩阵，根据坐标转换矩阵将待检测物体的特征点在不同采集条件下的三维点云坐标进行对齐。本申请通过将物体在不同采集条件下的特征信息进行匹配和对齐，极大地提高了后续物体跟踪和再匹配成功的概率。
Description
技术领域
本申请涉及人机交互技术领域，具体涉及一种物体检测追踪方法、装置及头戴显示设备。
背景技术
众所周知，在虚拟现实(Virtual Reality，简称VR)、增强现实(AugmentedReality，简称AR)以及混合现实(Mix reality，简称MR)等领域中，物体检测是常常会发生的，例如在VR/MR的多任务办公***交互中，需要在VR的透视(See-through)模式下，开放多个虚拟任务窗口，模拟现实环境中的多个电脑屏幕显示器，同时显示处理多个任务。这些虚拟任务窗口需要和See-through透视模式下真实环境的办公桌面进行叠加交互，模拟在真实环境下的办公桌面上放置多个显示器设备，这个过程需要利用计算机视觉处理算法、图像处理方法以及图形渲染等技术，实现多个虚拟任务窗口叠加到现实环境下的办公桌面上，达到一比一高精度还原。
又比如在AR领域的场景交互中，我们常常需要检测真实环境中的一些关键物体，例如桌子、凳子和沙发等一些常见物体，利用计算机视觉处理算法、图像处理方法以及图形渲染等技术，通过用户佩戴的AR眼镜进而达到和这些真实环境中的物体产生一定程度的虚实交互的目的。
然而，不论是在VR领域、MR领域，还是AR领域，用户往往是只和所希望交互的真实环境场景发生一次虚拟和现实的交互建模，后续在这个真实场景下就可以随时进行交互了。而目前现有技术中的人机交互设备，当用户和所需要的真实环境场景进行虚实建模之后，用户虽然在当时可以顺利进行虚拟交互，但是在一段时间之后希望在第一次建模的环境中可以再次进行虚实交互时，大部分设备都会提示用户该区域没有建模信息，给出需要进行模型创建等提示，这会大大降低用户的体验价值。
发明内容
有鉴于此，本发明的主要目的在于提供了一种物体检测追踪方法、装置及头戴显示设备，用于解决现有的物体检测跟踪方法效率不高的技术问题。
本申请实施例采用下述技术方案：
第一方面，本申请实施例提供了一种物体检测追踪方法，包括：
获取待检测物体在不同采集条件下采集到的多个图像，对各图像分别进行特征点提取，并对提取的特征点进行特征描述符提取，得到待检测物体在不同采集条件下的多个特征点及各特征点对应的特征描述符；
确定所述待检测物体在不同采集条件下的各特征点在相机坐标系下的三维点云坐标；
将所述待检测物体在不同采集条件下得到的特征描述符进行匹配，得到多个匹配特征点对；
根据各匹配特征点对对应的三维点云坐标确定所述待检测物体的特征点在不同采集条件之间的坐标转换矩阵，根据所述坐标转换矩阵将所述待检测物体的特征点在不同采集条件下的三维点云坐标进行对齐。
第二方面，本申请实施例提供了一种物体检测追踪装置，包括：
提取单元，用于获取待检测物体在不同采集条件下采集到的多个图像，对各图像分别进行特征点提取，并对提取的特征点进行特征描述符提取，得到待检测物体在不同采集条件下的多个特征点及各特征点对应的特征描述符；
坐标确定单元，用于确定所述待检测物体在不同采集条件下的各特征点在相机坐标系下的三维点云坐标；
匹配单元，用于将所述待检测物体在不同采集条件下得到的特征描述符进行匹配，得到多个匹配特征点对；
对齐单元，用于根据各匹配特征点对对应的三维点云坐标确定所述待检测物体的特征点在不同采集条件之间的坐标转换矩阵，根据所述坐标转换矩阵将所述待检测物体的特征点在不同采集条件下的三维点云坐标进行对齐。
第三方面，本申请实施例提供了一种头戴显示设备，包括：处理器，存储计算机可执行指令的存储器，所述可执行指令在被所述处理器执行时，实现所述如前任一所述的物体检测追踪方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的头戴显示设备执行时，使得所述头戴显示设备执行如前任一所述的物体检测追踪方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：获取了待检测物体在不同采集条件下的多个图像，通过对各图像进行特征提取，得到了待检测物体在不同采集条件下的特征点。通过对特征点进行特征描述符的提取，将不同采集条件下的多个特征描述符进行特征匹配，将匹配度较高的特征描述符作为该待检测物体的不变属性信息，进而捕捉到了到待检测物体在不同采集条件下的不变特性。此外，为了能够实现待检测物体的特征点能够在不同采集条件之间进行转换，提高后续物体追踪和再匹配成功的成功概率，可以基于待检测物体的特征点的三维点云坐标来实现，即通过三维点云坐标的转换或对齐实现对待检测物体在不同采集条件下的追踪。因此本申请的物体检测追踪方法通过将物体在不同采集条件下的特征信息进行匹配和对齐，极大地提高了后续物体跟踪和再匹配成功的概率。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本申请一个实施例的物体检测追踪方法的流程示意图；
图2示出了根据本申请一个实施例的物体检测追踪装置的结构示意图；
图3示出了根据本申请一个实施例的头戴显示设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在虚拟环境建模过程中，一个很重要的步骤就是物体检测，而物体检测一般需要存储的物体特征信息就是物体在当前环境光照下的特征描述符信息，该信息是和当前的图像亮暗度强相关的，即普通的相机在采集图像时对光照条件有依赖性，当用户想后续继续在该环境下体验时，由于环境光照等条件会在大概率上发生变化，导致从图像中提取的物体特征信息也发生变化，此时当前提取到的物体特征描述符和第一次环境建模时提取的特征描述符发生了不匹配，影响了后续对图像的检测和跟踪等，同时由于需要重新进行环境建模，用户的当前体验失败，大大降低了用户的交互体验。
图1为本申请实施例的物体检测追踪方法的流程图，参见图1，本申请实施例的物体检测追踪方法包括下列步骤S110至步骤S140：
步骤S110，获取待检测物体在不同采集条件下采集到的多个图像，对各图像分别进行特征点提取，并对提取的特征点进行特征描述符提取，得到待检测物体在不同采集条件下的多个特征点及各特征点对应的特征描述符。
本申请实施例的待检测物体在不同采集条件下的图像可以通过VR/AR/MR等头戴式一体机设备采集得到，这些设备内置有两个或两个以上的环境捕捉追踪摄像头，可以实时获取头戴端的6DoF(6Degree of Freedom，六自由度)信息，当然除了上述种类的头戴式一体机设备，本领域技术人员也可以通过其他设备采集待检测物体图像，在此不做具体限定。
在确认好真实环境场景中需要被检测的物体后，用户通过佩戴的头戴式一体机设备上内置的环境追踪摄像头对环境中的待检测物体进行360°的全方位扫描，尽量使其头戴设备内置的环境追踪摄像头能够无死角的扫描待检测物体，上述扫描图像的过程可以是在多种不同采集条件下进行的，这里的采集条件可以是指环境光照条件等，例如在早晨、中午、傍晚三种不同环境光照条件下分别对同一物体进行扫描，进而得到待检测物体在不同光照条件下采集到的多个图像。
在得到待检测物体在不同采集条件下的多个图像后，可以利用特征提取算法对各个图像进行特征点提取，物体的特征点提取有很多常规算法，比如FAST(Features fromAccelerated Segment Test，加速分割测试获得特征)算法，SIFT(Scale-InvariantFeature Transform，尺度不变特征转换)算法以及SURF(Speed Up Robust Feature，加速鲁棒特征算法)等。FAST算法基于特征点周围的图像灰度值，检测候选特征点周围一圈的像素值，如果候选点周围领域内有足够多的像素点与该候选点的灰度值差别够大，则认为该候选点为一个特征点。SIFT算法是用于图像处理领域的一种描述子，这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子。上述这些特征提取方法都属于本领域的常规方法，本申请实施例不做详细描述。基于算法复杂度和检测精度的平衡考虑，本申请实施例可以使用FAST算法进行物体特征点的提取。
在提取出各图像的特征点后，进一步针对各特征点提取出对应的特征描述符，特征描述符是检测图像的局部特征(比如边缘、角点、轮廓等)，然后根据匹配目标的需要进行特征的组合、变换，以形成易于匹配、稳定性好的特征向量，从而把图像匹配问题转化为特征的匹配问题，物体特征点的特征描述符表征了该特征点的含义和属性信息等，可以用来解释该特征点，作为后续对物体进行追踪的基础。
步骤S120，确定待检测物体在不同采集条件下的各特征点在相机坐标系下的三维点云坐标。
在得到待检测物体在不同采集条件下的各特征点信息后，可以利用计算机立体成像技术、三角定位原理以及头戴设备内置的摄像头的标定参数等，计算各特征点在相机坐标系下的三维点云坐标，并将物体上的每一个特征点的特征描述符和其对应的在相机坐标系下的三维点云坐标进行关联存储。
步骤S130，将待检测物体在不同采集条件下得到的特征描述符进行匹配，得到多个匹配特征点对。
在得到待检测物体在不同采集条件下的特征描述符后，需要确定不同采集条件下的特征描述符之间的关联性或者匹配度，因此可以利用现有技术中的特征点匹配算法对不同采集条件下得到的特征描述符进行匹配，进而得到相匹配的多个匹配特征点对。
常规的特征点匹配方法有汉明距离匹配算法，汉明距离是以理查德·卫斯里·汉明的名字命名的，两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数，也即将一个字符串变换成另外一个字符串所需要替换的字符个数。KNN(K-NearestNeighbor classification，K近邻分类算法)匹配算法，是从训练集中找到和新数据最接近的K条记录，然后依据它们的主要分类来决定新数据的类别。RANSAC(RANdom SAmpleConsensus，随机抽样一致)匹配算法，是从匹配样本中随机取样，寻找一致的样本点。上述特征点匹配算法均为本领域的常规匹配算法，本领域技术人员可根据实际情况灵活选择，在此不做具体限定。
需要说明的是，上述步骤S120和步骤S130并没有严格的先后顺序，具体实施时，本领域技术人员可根据实际情况灵活调整，不应以此构成对本申请实施例的保护范围的限定。
步骤S140，根据各匹配特征点对对应的三维点云坐标确定待检测物体的特征点在不同采集条件之间的坐标转换矩阵，根据坐标转换矩阵将待检测物体的特征点在不同采集条件下的三维点云坐标进行对齐。
由于各特征描述符是与各特征点对应的，在得到多个匹配特征点对后，可以根据相匹配的特征点对中的特征描述符确定其对应的特征点，进而得到每一个匹配特征点对所对应的三维点云坐标，基于各匹配特征点对对应的三维点云坐标，可以计算出待检测物体的特征点在不同采集条件之间的坐标转换矩阵，利用该坐标转换矩阵可以将待检测物体的特征点在不同采集条件之间进行三维点云坐标的转换或对齐，进而可以利用对齐后得到的多个采集条件下的物体的特征点信息实现对同一物体在不同采集条件下的匹配和追踪。
本申请实施例的物体检测追踪方法通过将物体在不同采集条件下的特征信息进行匹配和对齐，极大地提高了后续物体跟踪和再匹配成功的概率。
在本申请的一个实施例中，对提取的特征点进行特征描述符提取包括：确定各特征点在各图像中对应的邻域窗口；根据各特征点对应的灰度值和邻域窗口中各像素点的灰度值计算各特征点的像素梯度值；对各特征点的像素梯度值进行归一化处理，得到各特征点对应的特征描述符。
在现实生活场景下，我们从不同的距离、不同的方向和角度以及不同的光照条件下观察同一个物体时，物体的大小、形状和明暗等都会有所不同，但我们的大脑依然可以判断它是同一个物体。理想的特征描述符应该具备这些性质，即在大小、方向、明暗不同的图像中，同一特征点应具有足够相似的描述符，称之为描述符的可复现性。当以某种理想的方式分别计算描述符时，应该得出同样的结果，即描述符应该对光照(亮度)不敏感，具备尺度一致性(大小)，旋转一致性(角度)等。因此本申请实施例提取特征描述符的目的就是为了在得到特征点后，用一组向量将这个特征点描述出来，这个描述符不但包括该特征点，也包括该特征点周围对其有贡献的像素点，可使特征点具有更多的不变特性，如光照变化、三维视点变化等，用来作为后续目标匹配和追踪的依据。
本申请实施例可以采用区域梯度提取算法进行特征描述符的提取，具体地，可以针对各特征点确定邻域5*5大小的窗口，根据窗口中每一个像素点的灰度值和特征点对应的像素灰度值计算像素梯度值，依次遍历窗口中所有像素点，即可得到所有窗口的像素梯度值，然后对该像素梯度值进行归一化处理，生成具有独特性的向量，这个向量是该特征点信息的一种抽象，具有唯一性。当然，本领域技术人员也可采用其它算法进行特征描述符的提取，在此不一一列举。
在本申请的一个实施例中，待检测物体在不同采集条件下采集到的多个图像包括由左目摄像头采集到的第一子图像和由右目摄像头采集到的第二子图像，确定待检测物体在不同采集条件下的各特征点在相机坐标系下的三维点云坐标包括：根据双目摄像头的标定参数，利用归一化互相关匹配算法，确定待检测物体上的特征点在第一子图像中对应的第一成像位置和在第二子图像中对应的第二成像位置；根据第一成像位置与第二成像位置之间的相对位置关系，利用立体三角定位算法，计算出待检测物体在不同采集条件下的各特征点在相机坐标系下的三维点云坐标。
具体实施时，本申请实施例可以采用内置有两个环境捕捉追踪摄像头即双目摄像头的头戴设备进行图像采集，采集到的图像具体包括由左目摄像头采集到的第一子图像和由右目摄像头采集到的第二子图像。在得到左右摄像头采集到的图像后，可以利用上述特征点提取算法对其中一目如左目摄像头采集的图像进行物体特征点提取，然后根据事先标定好的双目摄像头的标定参数，利用NCC(Normalized cross correlation，归一化互相关匹配法)匹配算法可以获取到左目摄像头采集的图像上的每一个特征点的第一成像位置对应在右目摄像头采集的图像上的第二成像位置。
上述实施例仅对左目摄像头采集的图像进行了物体特征点提取，可以在一定程度上降低后续的特征点匹配误差，当然也可以采用将左右摄像头采集到的图像均进行特征点提取后再进行匹配的方式，具体采用哪种方式本领域技术人员可根据实际情况灵活选择，在此不做具体限定。
之后根据第一成像位置与第二成像位置之间的相对位置关系，利用立体三角定位算法，可以计算出待检测物体在不同采集条件下的各特征点在相机坐标系下的三维点云坐标。具体地，从第一子图像中选择与待检测物体的实际物理结构相对应的图像特征；在第二子图像中确定出同一物理结构的对应图像特征；确定这两个图像特征之间的相对位置，得到视差，根据该视差即可计算出待检测物体上的特征点在相机坐标系下的三维点云坐标。也即只要左目摄像头采集的图像上的任意一点能在右目摄像头采集的图像上找到对应的匹配点，就可以确定出该点的三维点云坐标。
在本申请的一个实施例中，双目摄像头的标定参数通过如下方式获取：利用预设标定算法对双目摄像头的左目摄像头和右目摄像头进行标定；根据标定结果确定左目摄像头和右目摄像头的标定参数，其中标定参数包括左目摄像头和右目摄像头的内参、畸变参数以及左目摄像头相对右目摄像头的旋转平移矩阵。
在物体检测等场景下，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，需要建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数(内参、外参、畸变参数等)可以通过实验与计算得到，这个求解参数的过程就称之为相机标定(或摄像机标定)。无论是在图像测量或者机器视觉应用中，相机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。因此，本申请实施例在进行待检测物体图像的特征点匹配之前，先对双目摄像机进行了标定，以提高后续图像检测和匹配的精度。
具体地，摄像机的标定方法有多种，例如传统的张正友标定法、主动视觉相机标定法以及相机自标定法等，利用这些标定算法标定摄像机后即可以得到上述标定参数，包括左目摄像头和右目摄像头的内参、畸变参数以及左目摄像头相对右目摄像头的旋转平移矩阵等。这里具体采用哪种标定方法，本领域技术人员可根据实际情况灵活选择，在此不做具体限定。
在本申请的一个实施例中，特征描述符包括在第一采集条件下得到的待检测物体对应的多个第一特征描述符和在第二采集条件下得到的待检测物体对应的多个第二特征描述符，将待检测物体在不同采集条件下得到的特征描述符进行匹配，得到多个匹配特征点对包括：利用预设特征匹配算法，计算各第一特征描述符与各第二特征描述符之间的匹配度；将匹配度达到预设阈值的第一特征描述符以及第二特征描述符构成匹配特征点对。
本申请实施例的特征描述符匹配的过程实质上是将任意两种采集条件下得到的待检测物体对应的多个特征描述符进行相互匹配的过程，这里为了以示区别，采用第一采集条件和第二采集条件来加以区分。例如第一采集条件可以为早晨，第二采集条件可以为傍晚，将早晨采集的待检测物体图像对应的多个特征描述符分别与傍晚采集的该物体图像对应的多个特征描述符进行匹配，这里可以采用上述提到的KNN匹配算法，得到任意两个特征描述符之间的相似度，最后可以将相似度的大小排在前N位的特征描述符构成N个匹配特征点对。虽然不同光照条件下同一个真实物体上的特征描述符大概率是不一样的，但是根据对多个物体的特征描述符的测试，平均每一个物体上的特征点个数在120个以上，还是有一些特征描述符是相似的。本申请实施例基于算法复杂度和精度等方面的考虑，可以取匹配特征点对的个数N为20。当然，本领域技术人员也可以选择其他数量的匹配特征点对，在此不做具体限定。
在本申请的一个实施例中，根据各匹配特征点对对应的三维点云坐标确定待检测物体的特征点在不同采集条件之间的坐标转换矩阵包括：获取匹配特征点对中各第一特征描述符对应的特征点的三维点云坐标以及各第二特征描述符对应的特征点的三维点云坐标；利用透视N点算法，计算第一特征描述符对应的特征点的三维点云坐标与第二特征描述符对应的特征点的三维点云坐标之间的坐标转换矩阵。
本申请实施例的目的是通过相机立体几何成像和透视投影关系，把第二采集条件下的物体特征点的三维点云坐标转换到第一采集条件下的物体特征点对应的三维点云坐标系下，计算坐标转换矩阵。在具体计算坐标转换矩阵时，可以采用如下公式：
其中，
表示第一采集条件下待检测物体的特征点对应在相机坐标系下的三维点云坐标；
表示第二采集条件下待检测物体的特征点对应在相机坐标系下的三维点云坐标；ΔT表示相机坐标系下的
相对
的旋转平移矩阵。
这里的
和
可以是上述实施例得到的20个匹配特征点对所对应的特征点的三维点云坐标，然后通过PNP(Pespective-N-Point，透视N点法)算法计算得到待检测物体图像的特征点在第一采集条件与第二采集条件之间的坐标转换矩阵。
在本申请的一个实施例中，根据坐标转换矩阵将待检测物体的特征点在不同采集条件下的三维点云坐标进行对齐包括：根据坐标转换矩阵，将在第二采集条件下得到的待检测物体的各特征点的三维点云坐标转换为第一采集条件对应的待检测物体的各特征点的三维点云坐标。
在得到上述坐标转换矩阵之后，就可以将两个采集条件下对应的待检测物体的各特征点的三维点云坐标进行转换或对齐了。需要说明的是，本申请的方案不限于上述列举的两种采集条件之间的特征点的坐标转换或对齐，也可以扩展至两种以上的采集条件之间的特征点的坐标转换或对齐，例如可以对在早晨、中午和傍晚三种光照条件下采集的图像进行特征点的坐标对齐，这里的对齐可以是将其中任意两种光照条件下采集的图像的特征点与另一种光照条件下采集的图像的特征点进行坐标匹配和对齐，当然也可以是两两对齐的方式，只要保证对齐后的特征点的坐标能够反映该待检测物体在不同采集条件下的属性信息即可。
举例说明，对于三种不同光照条件下采集得到的图像的三维点云坐标，假设待检测物体在每一种光照条件下平均有150个特征点，那么通过上述坐标对齐过程，最终就会得到待检测物体的450个特征点所对应的三维点云坐标，这将极大地提高后续物体跟踪和再匹配成功的概率。
与前述物体检测追踪方法同属于一个技术构思，本申请实施例还提供一种物体检测追踪装置，应用于头戴显示设备。图2为本申请实施例的物体检测追踪装置的框图，参见图2，物体检测追踪装置200包括：提取单元210、坐标确定单元220、匹配单元230和对齐单元240。
本申请实施例的提取单元210，用于获取待检测物体在不同采集条件下采集到的多个图像，对各图像分别进行特征点提取，并对提取的特征点进行特征描述符提取，得到待检测物体在不同采集条件下的多个特征点及各特征点对应的特征描述符。
本申请实施例的待检测物体在不同采集条件下的图像可以通过VR/AR/MR等头戴式一体机设备采集得到，这些设备内置有两个或两个以上的环境捕捉追踪摄像头，可以实时获取头戴端的6DoF(6Degree of Freedom，六自由度)信息，当然除了上述种类的头戴式一体机设备，本领域技术人员也可以通过其他设备采集待检测物体图像，在此不做具体限定。
在确认好真实环境场景中需要被检测的物体后，用户通过佩戴的头戴式一体机设备上内置的环境追踪摄像头对环境中的待检测物体进行360°的全方位扫描，尽量使其头戴设备内置的环境追踪摄像头能够无死角的扫描待检测物体，上述扫描图像的过程可以是在多种不同采集条件下进行的，这里的采集条件可以是指环境光照条件等，例如在早晨、中午、傍晚三种不同环境光照条件下分别对同一物体进行扫描，进而得到待检测物体在不同光照条件下采集到的多个图像。
在得到待检测物体在不同采集条件下的多个图像后，可以利用特征提取算法对各个图像进行特征点提取，物体的特征点提取有很多常规算法，比如FAST(Features fromAccelerated Segment Test，加速分割测试获得特征)算法，SIFT(Scale-InvariantFeature Transform，尺度不变特征转换)算法以及SURF(Speed Up Robust Feature，加速鲁棒特征算法)等。FAST算法基于特征点周围的图像灰度值，检测候选特征点周围一圈的像素值，如果候选点周围领域内有足够多的像素点与该候选点的灰度值差别够大，则认为该候选点为一个特征点。SIFT算法是用于图像处理领域的一种描述子，这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子。上述这些特征提取方法都属于本领域的常规方法，本申请实施例不做详细描述。基于算法复杂度和检测精度的平衡考虑，本申请实施例可以使用FAST算法进行物体特征点的提取。
在提取出各图像的特征点后，进一步针对各特征点提取出对应的特征描述符，特征描述符是检测图像的局部特征(比如边缘、角点、轮廓等)，然后根据匹配目标的需要进行特征的组合、变换，以形成易于匹配、稳定性好的特征向量，从而把图像匹配问题转化为特征的匹配问题，物体特征点的特征描述符表征了该特征点的含义和属性信息等，可以用来解释该特征点，作为后续对物体进行追踪的基础。
本申请实施例的坐标确定单元220，用于确定待检测物体在不同采集条件下的各特征点在相机坐标系下的三维点云坐标。
在得到待检测物体在不同采集条件下的各特征点信息后，可以利用计算机立体成像技术、三角定位原理以及头戴设备内置的摄像头的标定参数等，计算各特征点在相机坐标系下的三维点云坐标，并将物体上的每一个特征点的特征描述符和其对应的在相机坐标系下的三维点云坐标进行关联存储。
本申请实施例的匹配单元230，用于将待检测物体在不同采集条件下得到的特征描述符进行匹配，得到多个匹配特征点对。
在得到待检测物体在不同采集条件下的特征描述符后，需要确定不同采集条件下的特征描述符之间的关联性或者匹配度，因此可以利用现有技术中的特征点匹配算法对不同采集条件下得到的特征描述符进行匹配，进而得到相匹配的多个匹配特征点对。
常规的特征点匹配方法有汉明距离匹配算法，汉明距离是以理查德·卫斯里·汉明的名字命名的，两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数，也即将一个字符串变换成另外一个字符串所需要替换的字符个数。KNN(K-NearestNeighbor classification，K近邻分类算法)匹配算法，是从训练集中找到和新数据最接近的K条记录，然后依据它们的主要分类来决定新数据的类别。RANSAC(RANdom SAmpleConsensus，随机抽样一致)匹配算法，是从匹配样本中随机取样，寻找一致的样本点。上述特征点匹配算法均为本领域的常规匹配算法，本领域技术人员可根据实际情况灵活选择，在此不做具体限定。
本申请实施例的对齐单元240，用于根据各匹配特征点对对应的三维点云坐标确定待检测物体的特征点在不同采集条件之间的坐标转换矩阵，根据坐标转换矩阵将待检测物体的特征点在不同采集条件下的三维点云坐标进行对齐。
由于各特征描述符是与各特征点对应的，在得到多个匹配特征点对后，可以根据相匹配的特征点对中的特征描述符确定其对应的特征点，进而得到每一个匹配特征点对所对应的三维点云坐标，基于各匹配特征点对对应的三维点云坐标，可以计算出待检测物体的特征点在不同采集条件之间的坐标转换矩阵，利用该坐标转换矩阵可以将待检测物体的特征点在不同采集条件之间进行三维点云坐标的转换或对齐，进而可以利用对齐后得到的多个采集条件下的物体的特征点信息实现对同一物体在不同采集条件下的匹配和追踪。
本申请实施例的物体检测追踪方法通过将物体在不同采集条件下的特征信息进行匹配和对齐，极大地提高了后续物体跟踪和再匹配成功的概率。
在本申请的一个实施例中，提取单元210还用于：确定各特征点在各图像中对应的邻域窗口；根据各特征点对应的灰度值和邻域窗口中各像素点的灰度值计算各特征点的像素梯度值；对各特征点的像素梯度值进行归一化处理，得到各特征点对应的特征描述符。
在本申请的一个实施例中，待检测物体在不同采集条件下采集到的多个图像包括由左目摄像头采集到的第一子图像和由右目摄像头采集到的第二子图像，坐标确定单元220还用于：根据双目摄像头的标定参数，利用归一化互相关匹配算法，确定待检测物体上的特征点在第一子图像中对应的第一成像位置和在第二子图像中对应的第二成像位置；根据第一成像位置与第二成像位置之间的相对位置关系，利用立体三角定位算法，计算出待检测物体在不同采集条件下的各特征点在相机坐标系下的三维点云坐标。
在本申请的一个实施例中，双目摄像头的标定参数通过如下方式获取：利用预设标定算法对双目摄像头的左目摄像头和右目摄像头进行标定；根据标定结果确定左目摄像头和右目摄像头的标定参数，其中标定参数包括左目摄像头和右目摄像头的内参、畸变参数以及左目摄像头相对右目摄像头的旋转平移矩阵。
在本申请的一个实施例中，特征描述符包括在第一采集条件下得到的待检测物体对应的多个第一特征描述符和在第二采集条件下得到的待检测物体对应的多个第二特征描述符，匹配单元230还用于：利用预设特征匹配算法，计算各第一特征描述符与各第二特征描述符之间的匹配度；将匹配度达到预设阈值的第一特征描述符以及第二特征描述符构成匹配特征点对。
在本申请的一个实施例中，对齐单元240还用于：获取匹配特征点对中各第一特征描述符对应的特征点的三维点云坐标以及各第二特征描述符对应的特征点的三维点云坐标；利用透视N点算法，计算第一特征描述符对应的特征点的三维点云坐标与第二特征描述符对应的特征点的三维点云坐标之间的坐标转换矩阵。
在本申请的一个实施例中，对齐单元240还用于：根据坐标转换矩阵，将在第二采集条件下得到的待检测物体的各特征点的三维点云坐标转换为第一采集条件对应的待检测物体的各特征点的三维点云坐标。
需要说明的是，上述物体检测追踪装置，能够实现前述实施例中提供的的物体检测追踪方法的各个步骤，关于物体检测追踪方法的相关阐释均适用于物体检测追踪装置，此处不再赘述。
综上，本申请的技术方案，获取了待检测物体在不同采集条件下的多个图像，通过对各图像进行特征提取，得到了待检测物体在不同采集条件下的特征点。通过对特征点进行特征描述符的提取，将不同采集条件下的多个特征描述符进行特征匹配，将匹配度较高的特征描述符作为该待检测物体的不变属性信息，进而捕捉到了到待检测物体在不同采集条件下的不变特性。此外，为了能够实现待检测物体的特征点能够在不同采集条件之间进行转换，提高后续物体追踪和再匹配成功的成功概率，可以基于待检测物体的特征点的三维点云坐标来实现，即通过三维点云坐标的转换或对齐实现对待检测物体在不同采集条件下的追踪。因此本申请通过将物体在不同采集条件下的特征信息进行匹配和对齐，极大地提高了后续物体跟踪和再匹配成功的概率。
需要说明的是：
图3示意了头戴显示设备的结构示意图。请参考图3，在硬件层面，该头戴显示设备包括存储器和处理器，可选地还包括接口模块、通信模块等。存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器等。当然，该头戴显示设备还可能包括其他业务所需要的硬件。
处理器、接口模块、通信模块和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放计算机可执行指令。存储器通过内部总线向处理器提供计算机可执行指令。
处理器，执行存储器所存放的计算机可执行指令，并具体用于实现以下操作：
获取待检测物体在不同采集条件下采集到的多个图像，对各图像分别进行特征点提取，并对提取的特征点进行特征描述符提取，得到待检测物体在不同采集条件下的多个特征点及各特征点对应的特征描述符；
确定所述待检测物体在不同采集条件下的各特征点在相机坐标系下的三维点云坐标；
将所述待检测物体在不同采集条件下得到的特征描述符进行匹配，得到多个匹配特征点对；
根据各匹配特征点对对应的三维点云坐标确定所述待检测物体的特征点在不同采集条件之间的坐标转换矩阵，根据所述坐标转换矩阵将所述待检测物体的特征点在不同采集条件下的三维点云坐标进行对齐。
上述如本申请图2所示实施例揭示的物体检测追踪装置执行的功能可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该头戴显示设备还可执行图1中物体检测追踪方法执行的步骤，并实现物体检测追踪方法在图1所示实施例的功能，本申请实施例在此不再赘述。
本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序当被处理器执行时，实现前述的方法，并具体用于执行：
获取待检测物体在不同采集条件下采集到的多个图像，对各图像分别进行特征点提取，并对提取的特征点进行特征描述符提取，得到待检测物体在不同采集条件下的多个特征点及各特征点对应的特征描述符；
确定所述待检测物体在不同采集条件下的各特征点在相机坐标系下的三维点云坐标；
将所述待检测物体在不同采集条件下得到的特征描述符进行匹配，得到多个匹配特征点对；
根据各匹配特征点对对应的三维点云坐标确定所述待检测物体的特征点在不同采集条件之间的坐标转换矩阵，根据所述坐标转换矩阵将所述待检测物体的特征点在不同采集条件下的三维点云坐标进行对齐。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其特征在于包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种物体检测追踪方法，其特征在于，包括：
获取待检测物体在不同采集条件下采集到的多个图像，对各图像分别进行特征点提取，并对提取的特征点进行特征描述符提取，得到待检测物体在不同采集条件下的多个特征点及各特征点对应的特征描述符；
确定所述待检测物体在不同采集条件下的各特征点在相机坐标系下的三维点云坐标；
将所述待检测物体在不同采集条件下得到的特征描述符进行匹配，得到多个匹配特征点对；
根据各匹配特征点对对应的三维点云坐标确定所述待检测物体的特征点在不同采集条件之间的坐标转换矩阵，根据所述坐标转换矩阵将所述待检测物体的特征点在不同采集条件下的三维点云坐标进行对齐。
2.根据权利要求1所述的物体检测追踪方法，其特征在于，所述对提取的特征点进行特征描述符提取包括：
确定各特征点在各图像中对应的邻域窗口；
根据各特征点对应的灰度值和所述邻域窗口中各像素点的灰度值计算各特征点的像素梯度值；
对各特征点的像素梯度值进行归一化处理，得到各特征点对应的特征描述符。
3.根据权利要求1所述的物体检测追踪方法，其特征在于，所述待检测物体在不同采集条件下采集到的多个图像包括由左目摄像头采集到的第一子图像和由右目摄像头采集到的第二子图像，所述确定所述待检测物体在不同采集条件下的各特征点在相机坐标系下的三维点云坐标包括：
根据双目摄像头的标定参数，利用归一化互相关匹配算法，确定待检测物体上的特征点在所述第一子图像中对应的第一成像位置和在所述第二子图像中对应的第二成像位置；
根据所述第一成像位置与所述第二成像位置之间的相对位置关系，利用立体三角定位算法，计算出所述待检测物体在不同采集条件下的各特征点在相机坐标系下的三维点云坐标。
4.根据权利要求3所述的物体检测追踪方法，其特征在于，所述双目摄像头的标定参数通过如下方式获取：
利用预设标定算法对所述双目摄像头的左目摄像头和右目摄像头进行标定；
根据标定结果确定所述左目摄像头和右目摄像头的标定参数，其中所述标定参数包括左目摄像头和右目摄像头的内参、畸变参数以及左目摄像头相对右目摄像头的旋转平移矩阵。
5.根据权利要求1所述的物体检测追踪方法，其特征在于，所述特征描述符包括在第一采集条件下得到的待检测物体对应的多个第一特征描述符和在第二采集条件下得到的待检测物体对应的多个第二特征描述符，所述将所述待检测物体在不同采集条件下得到的特征描述符进行匹配，得到多个匹配特征点对包括：
利用预设特征匹配算法，计算各第一特征描述符与各第二特征描述符之间的匹配度；
将匹配度达到预设阈值的第一特征描述符以及第二特征描述符构成所述匹配特征点对。
6.根据权利要求5所述的物体检测追踪方法，其特征在于，所述根据各匹配特征点对对应的三维点云坐标确定所述待检测物体的特征点在不同采集条件之间的坐标转换矩阵包括：
获取所述匹配特征点对中各第一特征描述符对应的特征点的三维点云坐标以及各第二特征描述符对应的特征点的三维点云坐标；
利用透视N点算法，计算所述第一特征描述符对应的特征点的三维点云坐标与所述第二特征描述符对应的特征点的三维点云坐标之间的坐标转换矩阵。
7.根据权利要求6所述的物体检测追踪方法，其特征在于，所述根据所述坐标转换矩阵将所述待检测物体的特征点在不同采集条件下的三维点云坐标进行对齐包括：
根据所述坐标转换矩阵，将在第二采集条件下得到的待检测物体的各特征点的三维点云坐标转换为第一采集条件对应的待检测物体的各特征点的三维点云坐标。
8.一种物体检测追踪装置，其特征在于，包括：
提取单元，用于获取待检测物体在不同采集条件下采集到的多个图像，对各图像分别进行特征点提取，并对提取的特征点进行特征描述符提取，得到待检测物体在不同采集条件下的多个特征点及各特征点对应的特征描述符；
坐标确定单元，用于确定所述待检测物体在不同采集条件下的各特征点在相机坐标系下的三维点云坐标；
匹配单元，用于将所述待检测物体在不同采集条件下得到的特征描述符进行匹配，得到多个匹配特征点对；
对齐单元，用于根据各匹配特征点对对应的三维点云坐标确定所述待检测物体的特征点在不同采集条件之间的坐标转换矩阵，根据所述坐标转换矩阵将所述待检测物体的特征点在不同采集条件下的三维点云坐标进行对齐。
9.根据权利要求1所述的物体检测追踪方法，其特征在于，所述特征描述符包括在第一采集条件下得到的待检测物体对应的多个第一特征描述符和在第二采集条件下得到的待检测物体对应的多个第二特征描述符，所述匹配单元具体用于：
利用预设特征匹配算法，计算各第一特征描述符与各第二特征描述符之间的匹配度；
将匹配度达到预设阈值的第一特征描述符以及第二特征描述符构成所述匹配特征点对。
10.一种头戴显示设备，其特征在于，包括：处理器，存储计算机可执行指令的存储器，
所述可执行指令在被所述处理器执行时，实现所述权利要求1至7之任一所述的物体检测追踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010817884.5A CN112102404B (zh) | 2020-08-14 | 2020-08-14 | 物体检测追踪方法、装置及头戴显示设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010817884.5A CN112102404B (zh) | 2020-08-14 | 2020-08-14 | 物体检测追踪方法、装置及头戴显示设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112102404A true CN112102404A (zh) | 2020-12-18 |
| CN112102404B CN112102404B (zh) | 2024-04-30 |
Family
ID=73753767
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010817884.5A Active CN112102404B (zh) | 2020-08-14 | 2020-08-14 | 物体检测追踪方法、装置及头戴显示设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112102404B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112949736A (zh) * | 2021-03-15 | 2021-06-11 | 浙江中控技术股份有限公司 | 一种特征匹配方法及相关设备 |
| US20220236065A1 (en) * | 2021-07-13 | 2022-07-28 | Apollo Intelligent Driving Technology (Beijing) Co., Ltd. | Map data fusion method and apparatus, electronic device, medium and program product |
| US20220244057A1 (en) * | 2021-08-16 | 2022-08-04 | Beijing Baidu Netcom Science Technology Co., Ltd. | Map data fusion method and apparatus, electronic device, medium and program product |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019100933A1 (zh) * | 2017-11-21 | 2019-05-31 | 蒋晶 | 用于三维测量的方法、装置以及*** |
| CN110853151A (zh) * | 2019-10-15 | 2020-02-28 | 西安理工大学 | 一种基于视频的三维立体点集恢复方法 |
| WO2020063987A1 (zh) * | 2018-09-30 | 2020-04-02 | 先临三维科技股份有限公司 | 三维扫描方法、装置、存储介质和处理器 |
| WO2020103427A1 (zh) * | 2018-11-23 | 2020-05-28 | 华为技术有限公司 | 对象检测方法、相关设备及计算机存储介质 |
| CN111340797A (zh) * | 2020-03-10 | 2020-06-26 | 山东大学 | 一种激光雷达与双目相机数据融合检测方法及*** |
-
2020
- 2020-08-14 CN CN202010817884.5A patent/CN112102404B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019100933A1 (zh) * | 2017-11-21 | 2019-05-31 | 蒋晶 | 用于三维测量的方法、装置以及*** |
| WO2020063987A1 (zh) * | 2018-09-30 | 2020-04-02 | 先临三维科技股份有限公司 | 三维扫描方法、装置、存储介质和处理器 |
| WO2020103427A1 (zh) * | 2018-11-23 | 2020-05-28 | 华为技术有限公司 | 对象检测方法、相关设备及计算机存储介质 |
| CN110853151A (zh) * | 2019-10-15 | 2020-02-28 | 西安理工大学 | 一种基于视频的三维立体点集恢复方法 |
| CN111340797A (zh) * | 2020-03-10 | 2020-06-26 | 山东大学 | 一种激光雷达与双目相机数据融合检测方法及*** |
Non-Patent Citations (2)
| Title |
|---|
| 蔡勇;秦现生;张雪峰;张培培;单宁;: "参数化轨迹导引三维扫描与点云对齐研究", 制造业自动化, no. 11 * |
| 陈智翔;吴黎明;高世平;: "基于FAST-SURF算法的移动增强现实跟踪技术", 计算机与现代化, no. 09 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112949736A (zh) * | 2021-03-15 | 2021-06-11 | 浙江中控技术股份有限公司 | 一种特征匹配方法及相关设备 |
| CN112949736B (zh) * | 2021-03-15 | 2023-07-21 | 浙江中控技术股份有限公司 | 一种特征匹配方法及相关设备 |
| US20220236065A1 (en) * | 2021-07-13 | 2022-07-28 | Apollo Intelligent Driving Technology (Beijing) Co., Ltd. | Map data fusion method and apparatus, electronic device, medium and program product |
| US20220244057A1 (en) * | 2021-08-16 | 2022-08-04 | Beijing Baidu Netcom Science Technology Co., Ltd. | Map data fusion method and apparatus, electronic device, medium and program product |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112102404B (zh) | 2024-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11928800B2 (en) | Image coordinate system transformation method and apparatus, device, and storage medium | |
| US9727775B2 (en) | Method and system of curved object recognition using image matching for image processing | |
| CN106897648B (zh) | 识别二维码位置的方法及其*** | |
| CN112102404B (zh) | 物体检测追踪方法、装置及头戴显示设备 | |
| CN110675487B (zh) | 基于多角度二维人脸的三维人脸建模、识别方法及装置 | |
| Baatz et al. | Leveraging 3D city models for rotation invariant place-of-interest recognition | |
| WO2019042426A1 (zh) | 增强现实场景的处理方法、设备及计算机存储介质 | |
| US20190096092A1 (en) | Method and device for calibration | |
| CN112435338B (zh) | 电子地图的兴趣点的位置获取方法、装置及电子设备 | |
| CN112966725B (zh) | 匹配模板图像的方法、装置及终端设备 | |
| CN109525786B (zh) | 视频处理方法、装置、终端设备及存储介质 | |
| CN110738703B (zh) | 定位方法及装置、终端、存储介质 | |
| CN104156998A (zh) | 一种基于图片虚拟内容融合真实场景的实现方法及*** | |
| US11620730B2 (en) | Method for merging multiple images and post-processing of panorama | |
| CN111325798A (zh) | 相机模型纠正方法、装置、ar实现设备及可读存储介质 | |
| CN112184811A (zh) | 单目空间结构光***结构校准方法及装置 | |
| CN108447092B (zh) | 视觉定位标识物的方法及装置 | |
| CN110120013A (zh) | 一种点云拼接方法及装置 | |
| CN113963158A (zh) | 一种掌静脉图像感兴趣区域提取方法及装置 | |
| CN113095187A (zh) | 一种基于图像特征匹配对齐的试卷批改方法 | |
| US10445620B2 (en) | Method and system for object tracking in multiple non-linear distortion lenses | |
| CN117313364A (zh) | 一种数字孪生三维场景构建方法及装置 | |
| CN117253022A (zh) | 一种对象识别方法、装置及查验设备 | |
| CN109816709B (zh) | 基于单目摄像头的深度估计方法、装置及设备 | |
| CN110660091A (zh) | 一种图像配准处理方法、装置和拍照批改作业*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |