CN107437258A - 特征提取方法、运动状态估计方法以及运动状态估计装置 - Google Patents
特征提取方法、运动状态估计方法以及运动状态估计装置 Download PDFInfo
- Publication number
- CN107437258A CN107437258A CN201610363621.5A CN201610363621A CN107437258A CN 107437258 A CN107437258 A CN 107437258A CN 201610363621 A CN201610363621 A CN 201610363621A CN 107437258 A CN107437258 A CN 107437258A
- Authority
- CN
- China
- Prior art keywords
- frame image
- matching
- current frame
- region
- enhancing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000002708 enhancing effect Effects 0.000 claims abstract description 110
- 238000001514 detection method Methods 0.000 claims abstract description 108
- 238000012545 processing Methods 0.000 claims abstract description 62
- 238000000605 extraction Methods 0.000 claims abstract description 42
- 238000009826 distribution Methods 0.000 claims abstract description 15
- 238000012360 testing method Methods 0.000 claims abstract description 13
- 239000000284 extract Substances 0.000 claims description 5
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000005728 strengthening Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 15
- 238000005520 cutting process Methods 0.000 description 8
- 238000005286 illumination Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000018199 S phase Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种特征提取方法、运动状态估计方法以及运动状态估计装置。特征信息提取方法，包括：获取场景的连续帧图像；预测当前帧图像的特征点；将所述当前帧图像分为多个区域，对所述多个区域中的每一个区域分配预测特征点的阈值数目；基于所述当前帧图像，确定所述多个区域中的每一个区域中的检测特征点的检测数目；在存在其中所述检测数目小于所述阈值数目的待增强区域的情况下，对所述待增强区域的当前帧图像执行分级增强处理，以获得增强的当前帧图像，并且基于所述增强的当前帧图像，确定所述检测数目；以及在不存在其中所述待增强区域的情况下，确定所述检测特征点以及与其对应的所述分级增强处理的增强级别作为所述特征信息。
Description
技术领域
本发明涉及图像处理领域，更具体地，本发明涉及一种用于提取连续图像帧中的特征点的特征提取方法，利用该特征提取方法执行运动状态估计的运动状态估计方法，以及使用该特征提取方法和运动状态估计方法的运动状态估计装置。
背景技术
近年来，在计算机视觉领域中，在诸如视觉测量、即时定位与地图构建(SLAM)、辅助驾驶等应用场景中，存在通过移动的图像捕获设备捕获连续帧的场景图像，并且进一步通过分析连续帧的场景图像，实现对于移动的图像捕获设备的运动信息(诸如，位置、取向、速度等)的确定。在这种视觉测程(Visual Odometry)处理中，需要对于连续帧的场景图像中的相应特征点进行提取和匹配。然而，可能由于图像捕获场景过暗或者图像捕获设备的移动导致的图像模糊，难以在连续帧的场景图像中提取和匹配足够数目和置信度的特征点，从而导致基于匹配的特征点的运动状态估计不精确甚至失败。为了克服特征点提取和匹配的困难，通常对于图像执行整体增强处理，以便在增强后的图像中进行特征点的提取。然而，在实际处理中，难以确定对于图像增强的程度，并且由于整体增强导致对于同时也增强了噪声的影响。
因此，希望提供一种用于提取连续图像帧中的特征点的特征提取方法，利用该特征提取方法执行运动状态估计的运动状态估计方法，以及使用该特征提取方法和运动状态估计方法的运动状态估计装置，其能够针对因光照和运动图像模糊造成的匹配特征点减少的问题，自适应地有效增加特征点数目，从而改进运动状态估计的鲁棒性。
发明内容
鉴于上述问题，本发明提供一种用于提取连续图像帧中的特征点的特征提取方法，利用该特征提取方法执行运动状态估计的运动状态估计方法，以及使用该特征提取方法和运动状态估计方法的运动状态估计装置。
根据本发明的一个实施例，提供了一种特征信息提取方法，包括：获取场景的连续帧图像；预测当前帧图像的特征点；将所述当前帧图像分为多个区域，对所述多个区域中的每一个区域分配预测特征点的阈值数目；基于所述当前帧图像，确定所述多个区域中的每一个区域中的检测特征点的检测数目；在存在其中所述检测数目小于所述阈值数目的待增强区域的情况下，对所述待增强区域的当前帧图像执行分级增强处理，以获得增强的当前帧图像，并且基于所述增强的当前帧图像，确定所述检测数目；以及在不存在其中所述检测数目小于所述阈值数目的所述待增强区域的情况下，确定所述检测特征点以及与其对应的所述分级增强处理的增强级别作为所述当前帧图像的所述特征信息。
根据本发明的另一个实施例，提供了一种运动状态估计方法，包括：利用图像捕获设备获取场景的连续帧图像；提取当前帧图像的特征信息；匹配所述当前帧图像的特征信息与所述当前帧图像的前一帧图像的特征信息；以及基于匹配的所述特征信息，执行所述图像捕获设备的运动状态估计，其中，所述提取当前帧图像的特征信息包括预测所述当前帧图像的特征点；将所述当前帧图像分为多个区域，对所述多个区域中的每一个区域分配预测特征点的阈值数目；基于所述当前帧图像，确定所述多个区域中的每一个区域中的检测特征点的检测数目；在存在其中所述检测数目小于所述阈值数目的待增强区域的情况下，对所述待增强区域的当前帧图像执行分级增强处理，以获得增强的当前帧图像，并且基于所述增强的当前帧图像，确定所述检测数目；以及在不存在其中所述检测数目小于所述阈值数目的待增强区域的情况下，确定所述检测特征点以及与其对应的所述分级增强处理的增强级别作为所述当前帧图像的所述特征信息。
此外，根据本发明的另一个实施例的运动状态估计方法，其中所述匹配所述当前帧图像的特征信息与所述当前帧图像的前一帧图像的特征信息包括：对所述当前帧图像的特征信息与所述当前帧图像的前一帧图像的特征信息中包括的所有检测特征点执行匹配，获得所述检测特征点的匹配对集合；移除所述匹配对集合中的重复匹配对，获得分级匹配对集合；基于与所述匹配对中的所述检测特征点对应的所述分级增强处理的增强级别，为所述匹配对分配权重。
此外，根据本发明的另一个实施例的运动状态估计方法，其中所述基于匹配的所述特征信息，执行所述图像捕获设备的运动状态估计包括：基于所述匹配对以及所述权重，执行所述图像捕获设备的运动状态估计。
此外，根据本发明的另一个实施例的运动状态估计方法，其中所述移除所述匹配对集合中的重复匹配对包括：在检测特征点出现在所述匹配对集合中的多个匹配对的情况下，所述多个匹配对具有对应于所述检测特征点对应的所述分级增强处理的增强级别的匹配级别，在所述分级匹配对集合中，仅保留具有最低匹配级别的匹配对。
此外，根据本发明的另一个实施例的运动状态估计方法，其中所述基于与所述匹配对中的所述检测特征点对应的所述分级增强处理的增强级别，为所述匹配对分配权重包括：基于所述匹配对中的所述检测特征点的所述增强级别之间的级别差以及所述增强级别的级别和，为所述匹配对分配权重。
此外，根据本发明的另一个实施例的运动状态估计方法，其中所述预测所述当前帧图像的特征点包括：基于所述前一帧图像的特征信息和运动状态，预测所述当前帧图像的特征点。
根据本发明的又一个实施例，提供了一种运动状态估计装置，包括：图像捕获部件，用于获取场景的连续帧图像；特征信息提取部件，用于提取当前帧图像的特征信息；特征信息匹配部件，用于匹配所述当前帧图像的特征信息与所述当前帧图像的前一帧图像的特征信息；以及运动状态估计部件，用于基于匹配的所述特征信息，执行所述图像捕获设备的运动状态估计，其中所述特征信息提取部件包含特征点预测单元，用于预测所述当前帧图像的特征点；图像分割单元，用于将所述当前帧图像分为多个区域，对所述多个区域中的每一个区域分配预测特征点的阈值数目；特征检测单元，用于基于所述当前帧图像，确定所述多个区域中的每一个区域中的检测特征点的检测数目；在存在其中所述检测数目小于所述阈值数目的待增强区域的情况下，对所述待增强区域的当前帧图像执行分级增强处理，以获得增强的当前帧图像，并且基于所述增强的当前帧图像，确定所述检测数目；以及在不存在其中所述检测数目小于所述阈值数目的待增强区域的情况下，确定所述检测特征点以及与其对应的所述分级增强处理的增强级别作为所述当前帧图像的所述特征信息。
此外，根据本发明的又一个实施例的运动状态估计装置，其中所述特征信息匹配部件包括：匹配执行单元，用于对所述当前帧图像的特征信息与所述当前帧图像的前一帧图像的特征信息中包括的所有检测特征点执行匹配，获得所述检测特征点的匹配对集合；匹配对过滤单元，用于移除所述匹配对集合中的重复匹配对，获得分级匹配对集合；以及权重分配单元，用于基于与所述匹配对中的所述检测特征点对应的所述分级增强处理的增强级别，为所述匹配对分配权重。
此外，根据本发明的又一个实施例的运动状态估计装置，其中所述运动状态估计部件基于所述匹配对以及所述权重，执行所述图像捕获设备的运动状态估计。
根据本发明的实施例的用于提取连续图像帧中的特征点的特征提取方法，利用该特征提取方法执行运动状态估计的运动状态估计方法，以及使用该特征提取方法和运动状态估计方法的运动状态估计装置，其能够针对因光照和运动图像模糊造成的匹配特征点减少的问题，自适应地有效增加特征点数目，从而改进运动状态估计的鲁棒性。
要理解的是，前面的一般描述和下面的详细描述两者都是示例性的，并且意图在于提供要求保护的技术的进一步说明。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是图示根据本发明的实施例的运动状态估计装置的功能性框图；
图2是图示根据本发明的实施例的运动状态估计方法的流程图；
图3是图示根据本发明的实施例的运动状态估计的示意图；
图4是进一步图示根据本发明的实施例的运动状态估计装置中的特征信息提取部件的功能性框图；
图5是进一步图示根据本发明的实施例的运动状态估计方法中的特征信息提取处理的流程图；
图6是图示根据本发明的实施例的运动状态估计方法中通过分级增强提取特征点的示意图；
图7是进一步图示根据本发明的实施例的运动状态估计装置中的特征信息匹配部件的功能性框图；
图8是进一步图示根据本发明的实施例的运动状态估计方法中的特征信息匹配处理的流程图；
图9是进一步图示根据本发明的实施例的运动状态估计装置的功能性框图；以及
图10是进一步图示根据本发明的实施例的运动状态估计装置的具体功能性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
以下，将参考附图详细描述本发明的实施例。
首先，将参照图1描述根据本发明的运动状态估计装置。图1是图示根据本发明的实施例的运动状态估计装置的功能性框图。如图1所示，根据本发明的实施例的运动状态估计装置10包括图像捕获部件100、特征信息提取部件200、特征信息匹配部件300和运动状态估计部件400。
在本发明的一个实施例中，所述运动状态估计装置10可以是配置在车辆、机器人上的独立装置。在本发明的另一个实施例中，所述运动状态估计装置10可以是指能够执行运动状态估计的诸如移动电话的电子装置。所述运动状态估计装置10中的特征信息提取部件200、特征信息匹配部件300和运动状态估计部件400可以是由所述运动状态估计部件10的中央处理单元(CPU)配置。可替代地，所述特征信息提取部件200、特征信息匹配部件300和运动状态估计部件400还可以是由所述运动状态估计装置10中的专用处理单元(诸如专用集成电路(ASIC)等)。也就是说，所述特征信息提取部件200、特征信息匹配部件300和运动状态估计部件400例如可以由诸如硬件、软件、固件以及它们的任意可行的组合配置。容易理解的是，图1仅示出所述运动状态估计装置10中与本发明密切相关的模块，根据本发明实施例的运动状态估计装置当然还可以包括其他模块，诸如输入输出部件、通信部件等。
具体地，所述图像捕获部件100用于获取场景的连续帧图像。在本发明的实施例中，所述图像捕获部件100可以是由单目相机、立体相机或全向相机的任一配置。在本发明的一个实施例中，所述图像捕获部件100可以与其后的所述特征信息提取部件200、特征信息匹配部件300和运动状态估计部件400物理上分离，或者物理上位于同一位置甚至位于同一机壳内部。在所述图像捕获部件100与其后的所述特征信息提取部件200、特征信息匹配部件300和运动状态估计部件400物理上分离的情况下，所述图像捕获部件100经由有线或者无线方式将获取的场景的连续帧图像发送给其后的部件。在所述图像捕获部件100与其后的所述特征信息提取部件200、特征信息匹配部件300和运动状态估计部件400物理上位于同一位置甚至位于同一机壳内部的情况下，所述图像捕获部件100经由内部总线将获取的场景的连续帧图像发送给其后的部件。
所述特征信息提取部件200用于提取当前帧图像的特征信息。在本发明的一个实施例中，当前帧图像的特征信息包括当前帧图像中的特征点。在本发明的一个实施例中，用于提取当前帧图像的特征信息的方法包括但不限于尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、ORB特征提取、二进制鲁棒尺度不变关键点(BRISK)等。如上所述，在因光照和运动图像模糊造成的特征点减少时，不同于传统方法中对于当前帧图像整体增强，根据本发明的实施例所述特征信息提取部件200对于需要增强的当前帧图像执行自适应的分区域多级增强，从而能够实现适当的增强程度避免不要的噪声出现。以下，将参照附图进一步描述所述特征信息提取部件200的具体配置，以及由所述特征信息提取部件200利用多级增强的当前帧图像执行的特征信息提取处理。
所述特征信息匹配部件300用于匹配由所述特征信息提取部件200提取的所述当前帧图像的特征信息与所述当前帧图像的前一帧图像的特征信息。在本发明的一个实施例中，在对当前帧图像执行自适应的分区域多级增强处理后，提取的所述当前帧图像的特征信息不但包括特征点，同时还将所述特征点对应的多级增强的级别记录为特征信息。因此，所述特征信息匹配部件300基于特征点以及相应的级别，执行特征点的匹配。以下，将参照附图进一步描述所述特征信息匹配部件300的具体配置，以及由所述特征信息匹配部件300基于特征点以及相应的级别执行的特征信息匹配处理。
所述运动状态估计部件400用于基于匹配的所述特征信息，执行运动状态估计。在本发明的一个实施例中，在获得由所述特征信息匹配部件300确定的匹配的特征信息之后，所述运动状态估计部件400例如利用诸如随机抽样一致性算法执行所述运动状态估计。
图2是图示根据本发明的实施例的运动状态估计方法的流程图。由以上参照图1描述的根据本发明的实施例的运动状态估计装置10执行所述运动状态估计方法。根据本发明的实施例的运动状态估计方法包括以下步骤：
在步骤S201中，在步骤S201中，利用图像捕获设备获取场景的连续帧图像。如上所述，根据本发明的实施例的所述图像捕获部件100获取场景的连续帧图像，并且将其提供给其后的部件。此后，处理进到步骤S202。
在步骤S202中，提取当前帧图像的特征信息。如上所述，根据本发明的实施例的所述特征信息提取部件200提取当前帧图像的特征信息。用于提取当前帧图像的特征信息的方法包括但不限于尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、ORB特征提取、二进制鲁棒尺度不变关键点(BRISK)等。在因光照和运动图像模糊造成的特征点减少时，根据本发明的实施例所述特征信息提取部件200对于需要增强的当前帧图像执行自适应的分区域多级增强，并且将从多级增强的当前帧图像中提取的特征点以及与特征点对应的多级增强的级别记录为特征信息。此后，处理进到步骤S203。
在步骤S203中，匹配所述当前帧图像的特征信息与所述当前帧图像的前一帧图像的特征信息。如上所述，根据本发明的实施例的所述特征信息匹配部件300匹配由所述特征信息提取部件200提取的所述当前帧图像的特征信息与所述当前帧图像的前一帧图像的特征信息。所述特征信息匹配部件300基于特征点以及相应的级别，执行特征点的匹配。此后，处理进到步骤S204。
在步骤S204中，基于匹配的所述特征信息，执行所述图像捕获设备的运动状态估计。如上所述，根据本发明的实施例的所述运动状态估计部件400基于由所述特征信息匹配部件300确定的匹配的特征信息，利用诸如随机抽样一致性算法执行所述运动状态估计。
图3是图示根据本发明的实施例的运动状态估计的示意图。如图3所示，有处于运动状态的图像捕获部件对于场景执行图像捕获。在图3中示出了对于之前帧场景301捕获的之前帧图像302，以及对于当前帧场景303捕获的当前帧图像304。对于之前帧图像302和当前帧图像304中都存在的特征点305进行匹配。进一步利用图像捕获部件的成像几何模型(包括相机参数)以及约束，可以求出两帧之间的运动信息(旋转矩阵R和平移t)。从而可以得到一系列的相机相对变化矩阵，以便估计相机的姿态信息。
因此，在以上参照图1到图3概述了根据本发明的实施例的运动状态估计装置和运动状态估计方法，以下将参照附图进一步详细描述根据本发明的实施例运动状态估计方法中的特征信息提取处理和特征信息匹配处理。
图4是进一步图示根据本发明的实施例的运动状态估计装置中的特征信息提取部件的功能性框图。
如图4所示，根据本发明的实施例的运动状态估计装置10中的特征信息提取部件200进一步包括特征点预测单元2001、图像分割单元2002和特征检测单元2003。
所述特征点预测单元2001用于预测所述当前帧图像的特征点。在本发明的一个实施例中，由于所述当前帧图像的之前帧的运动状态已知，因此可以基于所述之前帧图像中特征点的位置，预测特征点在当前帧图像中的位置。
所述图像分割单元2002将所述当前帧图像分为多个区域。在本发明的一个实施例中，所述图像分割单元2002可以将所述当前帧图像均匀分割为多个区域。在本发明的另一个实施例中，所述图像分割单元2002可以基于预测的特征点的位置进行聚类，以获得多个区域。
进一步地，所述图像分割单元2002对所述多个区域中的每一个区域分配预测特征点的阈值数目NE。在本发明的一个实施例中，所述预测特征点的阈值数目NE可以通过统计当前帧所有预测特征点的位置中落在该区域中的数目NP获取。例如，所述预测特征点的阈值数目NE与NP获取由以下表达式1表示：
NE＝NP×C (表达式1)
其中C是不大于1的常数。
所述特征检测单元2003用于基于所述当前帧图像，确定所述多个区域中的每一个区域中的检测特征点的检测数目ND。
具体地，所述特征检测单元2003比较所述预测特征点的阈值数目NE与检测特征点的检测数目ND。
如果所述特征检测单元2003执行的比较结果为一个区域中检测特征点的检测数目ND小于所述预测特征点的阈值数目NE，即指示需要对该待增强区域执行图像增强以便检测到更多检测特征点。在本发明的一个实施例中，所述特征检测单元2003对该区域执行伽玛校正。伽玛校正后的输出灰度级与校正前的输入灰度级由以下表达式2表示：
其中不同的伽玛值γ对应于不同的增强级别。
在对该区域执行伽玛校正后，所述特征检测单元2003继续基于增强后的所述当前帧图像，确定增强后的所述检测数目ND，并且继续比较所述预测特征点的阈值数目NE与检测特征点的检测数目ND。
如果所述特征检测单元2003执行某一增强级别的图像增强后，确定检测特征点的检测数目ND仍小于所述预测特征点的阈值数目NE，则例如通过调整伽玛值γ或者重复执行迭代增强以实现更高增强级别的图像增强，直到达到预先设置的增强级别的上限K*或者确定检测特征点的检测数目ND不小于所述预测特征点的阈值数目NE。
如果所述特征检测单元2003执行的比较结果为检测特征点的检测数目ND都不小于所述预测特征点的阈值数目NE，即不存在所述待增强区域的情况下，或者增强级别已经达到预先设置的增强级别的上限K*，那么所述特征检测单元2003将对于所有区域在所有增强级别检测到特征点以及与其对应的所述分级增强处理的增强级别记录为所述当前帧图像的特征信息。也就是说，所述当前帧图像的特征信息包括所述检测特征点以及与其对应的所述分级增强处理的增强级别。
图5是进一步图示根据本发明的实施例的运动状态估计方法中的特征信息提取处理的流程图。如图5所示，根据本发明的实施例的运动状态估计方法中的特征信息提取处理包括以下步骤。
在步骤S201中利用图像捕获设备获取场景的连续帧图像后，处理进到步骤S2021。
在步骤S2021中，预测当前帧图像的特征点。如上所述，根据本发明的实施例的所述特征点预测单元2001预测所述当前帧图像的特征点。在本发明的一个实施例中，由于所述当前帧图像的之前帧的运动状态已知，因此所述特征点预测单元2001基于所述之前帧图像中特征点的位置，预测特征点在当前帧图像中的位置。此后，处理进到步骤S2022。
在步骤S2022中，将所述当前帧图像分为多个区域，对所述多个区域中的每一个区域分配预测特征点的阈值数目。如上所述，根据本发明的实施例的所述图像分割单元2002将所述当前帧图像分为多个区域。在本发明的一个实施例中，所述图像分割单元2002可以将所述当前帧图像均匀分割为多个区域。在本发明的另一个实施例中，所述图像分割单元2002可以基于预测的特征点的位置进行聚类，以获得多个区域。所述图像分割单元2002通过统计当前帧所有预测特征点的位置中落在该区域中的数目NP获取所述预测特征点的阈值数目NE，如表达式1所示。此后，处理进到步骤S2023。
在步骤S2023中，基于所述当前帧图像，确定所述多个区域中的每一个区域中的检测特征点的检测数目。如上所述，根据本发明的实施例的所述特征检测单元2003基于所述当前帧图像，利用诸如尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、ORB特征提取、二进制鲁棒尺度不变关键点(BRISK)的特征点提取方法，确定所述多个区域中的每一个区域中的检测特征点的检测数目ND。此后，处理进到步骤S2024。
在步骤S2024中，判断一个区域中检测特征点的检测数目ND是否小于所述预测特征点的阈值数目NE。
如果在步骤S2024中获得否定结果，即该区域中检测特征点的检测数目ND不小于所述预测特征点的阈值数目NE，则指示该区域中检测到的特征点满足预期，该区域无需执行图像增强。此后，处理进到步骤S2027。
相反地，如果在步骤S2024中获得肯定结果，即该区域中检测特征点的检测数目ND小于所述预测特征点的阈值数目NE，则指示该区域中检测到的特征点不满足预期，该区域需要执行图像增强。此后，处理进到步骤S2025。
在步骤S2025中，判断对该区域已经执行的增强级别是否已经达到预先设置的上限K*。
如果在步骤S2025中确定增强级别已经达到预先设置的上限K*，即无法进行进一步的图像增强，则处理进到步骤S2027。
相反地，如果在步骤S2025中确定增强级别未达到预先设置的上限K*，即还可进行进一步的图像增强，则处理进到步骤S2026。
在步骤S2026中，对待增强区域的当前帧图像执行分级增强处理，以获得增强的当前帧图像。如上所述，所述特征检测单元2003对该区域执行伽玛校正，通过控制上述表达式2中的伽玛值γ或者重复执行迭代增强，可以实现不同级别的图像增强。在步骤S2026中获得增强的当前帧图像之后，处理进到步骤S2023，以便基于增强的当前帧图像，重复执行检测特征点的检测数目的确定，以及检测特征点的检测数目ND与所述预测特征点的阈值数目NE的比较，直到在步骤S2024中确定获得大于预测特征点的阈值数目NE的检测特征点的检测数目ND或者在步骤S2025中确定增强级别已经达到预先设置的增强级别的上限K*。
在步骤S2027中，将对于所有区域在所有增强级别检测到特征点以及与其对应的所述分级增强处理的增强级别记录为所述当前帧图像的特征信息。
图6是图示根据本发明的实施例的运动状态估计方法中通过分级增强提取特征点的示意图。
图6的(A)示出了之前帧图像601以及之前帧图像特征点602。图6的(B)示出了当前帧图像603以及检测到的当前帧图像特征点604。图6的(A)和(B)比较可见，由于光照暗和图像捕获设备运动等原因，在当前帧图像603中的当前帧图像特征点604明显少于已知的之前帧图像601中的之前帧图像特征点602。
图6的(C)示出了根据本发明的实施例的运动状态估计方法中对于图6的(B)所示的当前帧图像603执行区域分级增强处理，其中包括增强的区域6051、6052和6053。进一步地，在增强的区域6051、6052和6053中，获得相应的增强级别特征点606。
通过以上参照图4到图6描述的根据本发明的实施例的运动状态估计方法中的特征信息提取处理。如上所述，在根据本发明的实施例的运动状态估计方法中，通过针对因光照和运动图像模糊造成的匹配特征点减少的问题，分区域执行当前帧图像的分级图像增强，自适应地有效增加特征点数目。
图7是进一步图示根据本发明的实施例的运动状态估计装置中的特征信息匹配部件的功能性框图。
如图7所示，根据本发明的实施例的运动状态估计装置10中的特征信息匹配部件300进一步包括匹配执行单元3001、匹配对过滤单元3002和权重分配单元3003。
所述匹配执行单元3001用于对所述当前帧图像的特征信息与所述当前帧图像的前一帧图像的特征信息中包括的所有检测特征点执行匹配，获得所述检测特征点的匹配对集合。在本发明的一个实施例中，采用与之前特征信息提取处理中所采用的提取方法对应的特征匹配方法。所述匹配执行单元3001在不考虑特征点对应的分级增强处理的增强级别的情况下进行匹配。
所述匹配对过滤单元3002用于移除所述匹配对集合中的重复匹配对，获得分级匹配对集合。由于所述匹配执行单元3001在不考虑特征点对应的分级增强处理的增强级别的情况下进行匹配，所以同一特征点可能多次出现在多个匹配对中。所述匹配对过滤单元3002对所有匹配对按增强级别由低到高进行过滤，当一个特征点出现在多个匹配对中时，只保留它第一次出现的匹配对。
所述权重分配单元3003用于基于与所述匹配对中的所述检测特征点对应的所述分级增强处理的增强级别，为所述匹配对分配权重。在本发明的一个实施例中，基于所述匹配对中的所述检测特征点的所述增强级别之间的级别差以及所述增强级别的级别和，为所述匹配对分配权重。也就是说，对来自相近增强级别的匹配对分配更高的权重，对总增强级别较低的匹配对分配更高的权重。例如，采用如下表达式3计算为匹配对分配的权重。
W＝w1(|K*-K1|+|K*-K2|)-w2|K1-K2| (表达式3)
其中，K1和K2为特征点匹配对中两个特征点各自的增强级别，w1和w2为两个预定义的常数，例如w1和w2可以都为0.5。
在本发明的实施例中，由所述特征信息匹配部件300中的匹配执行单元3001、匹配对过滤单元3002和权重分配单元3003执行特征信息匹配处理获得的分配有权重W的特征点匹配对进一步用于由所述运动状态估计部件400执行运动状态估计。由于获得了分配有权重W的特征点匹配对，因此在基于诸如随机抽样一致性算法进行运动状态估计时，特征点匹配对的权重W在例如统计内点数的处理过程中被使用，使得增强级别在运动状态估计中得以体现。
图8是进一步图示根据本发明的实施例的运动状态估计方法中的特征信息匹配处理的流程图。如图8所示，根据本发明的实施例的运动状态估计方法中的特征信息匹配处理包括以下步骤。
在步骤S202中将从多级增强的当前帧图像中提取的特征点以及与特征点对应的多级增强的级别记录为特征信息之后，处理进到步骤S2031。
在步骤S2031中，执行匹配，获得所述检测特征点的匹配对集合。如上所述，根据本发明的实施例的所述匹配执行单元3001对所述当前帧图像的特征信息与所述当前帧图像的前一帧图像的特征信息中包括的所有检测特征点执行匹配，获得所述检测特征点的匹配对集合。此后，处理进到步骤S2032。
在步骤S2032中，移除所述匹配对集合中的重复匹配对，获得分级匹配对集合。如上所述，根据本发明的实施例的所述匹配对过滤单元3002移除所述匹配对集合中的重复匹配对，获得分级匹配对集合。所述匹配对过滤单元3002对所有匹配对按增强级别由低到高进行过滤，当一个特征点出现在多个匹配对中时，只保留它第一次出现的匹配对。此后，处理进到步骤S2033。
在步骤S2033中，基于与所述匹配对中的所述检测特征点对应的所述分级增强处理的增强级别，为所述匹配对分配权重。如上所述，根据本发明的实施例的所述权重分配单元3003基于与所述匹配对中的所述检测特征点对应的所述分级增强处理的增强级别，为所述匹配对分配权重。在本发明的一个实施例中，基于所述匹配对中的所述检测特征点的所述增强级别之间的级别差以及所述增强级别的级别和，为所述匹配对分配权重。也就是说，对来自相近增强级别的匹配对分配更高的权重，对总增强级别较低的匹配对分配更高的权重。
在经由上述步骤S2031到S2033的特征信息匹配处理之后，获得的分配有权重W的特征点匹配对进一步用于在以上参照图2描述的步骤S204中由所述运动状态估计部件400执行运动状态估计。
图9是进一步图示根据本发明的实施例的运动状态估计装置的功能性框图。如图9所示，根据本发明的实施例的运动状态估计装置90包括存储器901和处理器902。具体地，所述存储器901配置为存储获取场景的连续帧图像。所述处理器902耦合到该存储器901，该处理器902配置为：提取当前帧图像的特征信息；匹配所述当前帧图像的特征信息与所述当前帧图像的前一帧图像的特征信息；以及基于匹配的所述特征信息，执行所述图像捕获设备的运动状态估计。更具体地，该处理器902提取当前帧图像的特征信息包括：预测当前帧图像的特征点；将所述当前帧图像分为多个区域，对所述多个区域中的每一个区域分配预测特征点的阈值数目；基于所述当前帧图像，确定所述多个区域中的每一个区域中的检测特征点的检测数目；在存在其中所述检测数目小于所述阈值数目的待增强区域的情况下，对所述待增强区域的当前帧图像执行分级增强处理，以获得增强的当前帧图像，并且基于所述增强的当前帧图像，确定所述检测数目；以及在不存在所述待增强区域的情况下，确定所述检测特征点以及与其对应的所述分级增强处理的增强级别作为所述特征信息。该处理器902匹配所述当前帧图像的特征信息与所述当前帧图像的前一帧图像的特征信息包括：对所述当前帧图像的特征信息与所述当前帧图像的前一帧图像的特征信息中包括的所有检测特征点执行匹配，获得所述检测特征点的匹配对集合；移除所述匹配对集合中的重复匹配对，获得分级匹配对集合；基于与所述匹配对中的所述检测特征点对应的所述分级增强处理的增强级别，为所述匹配对分配权重。
图10是进一步图示根据本发明的实施例的运动状态估计装置的具体功能性框图。如图10所示，根据本发明的实施例的运动状态估计装置91包括存储器901、处理器902和图像捕获部件100。
具体地，所述图像捕获部件100获取场景的连续帧图像，并且将获取的连续帧图像11提供给所述处理器902。所述存储器901用于存储计算机程序指令以及输入的场景的连续帧图像等。所述处理器902耦合到该存储器901，所述存储器901存储的计算机程序指令由所述处理器902运行时，所述处理器902运行为包括之前参照图1描述的特征信息提取部件200、特征信息匹配部件300和运动状态估计部件400。所述特征信息提取部件200基于连续帧图像11，提取当前帧图像的特征信息21。如上所述，所述特征信息提取部件200预测当前帧图像的特征点；将所述当前帧图像分为多个区域，对所述多个区域中的每一个区域分配预测特征点的阈值数目；基于所述当前帧图像，确定所述多个区域中的每一个区域中的检测特征点的检测数目；在存在其中所述检测数目小于所述阈值数目的待增强区域的情况下，对所述待增强区域的当前帧图像执行分级增强处理，以获得增强的当前帧图像，并且基于所述增强的当前帧图像，确定所述检测数目；以及在不存在所述待增强区域的情况下，确定所述检测特征点以及与其对应的所述分级增强处理的增强级别作为所述特征信息21。所述特征信息匹配部件300利用所述特征信息21，匹配所述当前帧图像的特征信息与所述当前帧图像的前一帧图像的特征信息，以获得匹配的特征信息31。如上所述，所述特征信息匹配部件300对所述当前帧图像的特征信息与所述当前帧图像的前一帧图像的特征信息中包括的所有检测特征点执行匹配，获得所述检测特征点的匹配对集合；移除所述匹配对集合中的重复匹配对，获得分级匹配对集合；基于与所述匹配对中的所述检测特征点对应的所述分级增强处理的增强级别，为所述匹配对分配权重。所述运动状态估计部件400基于匹配的特征信息31，执行所述图像捕获设备的运动状态估计，获得运动状态41。
以上，参照图1到图10描述了根据本发明实施例的用于提取连续图像帧中的特征点的特征提取方法，利用该特征提取方法执行运动状态估计的运动状态估计方法，以及使用该特征提取方法和运动状态估计方法的运动状态估计装置，其能够针对因光照和运动图像模糊造成的匹配特征点减少的问题，自适应地有效增加特征点数目，从而改进运动状态估计的鲁棒性。
需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
最后，还需要说明的是，上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理，而且包括并行或分别地、而不是按时间顺序执行的处理。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种特征信息提取方法，包括：
获取场景的连续帧图像；
预测当前帧图像的特征点；
将所述当前帧图像分为多个区域，对所述多个区域中的每一个区域分配预测特征点的阈值数目；
基于所述当前帧图像，确定所述多个区域中的每一个区域中的检测特征点的检测数目；
在存在其中所述检测数目小于所述阈值数目的待增强区域的情况下，对所述待增强区域的当前帧图像执行分级增强处理，以获得增强的当前帧图像，并且基于所述增强的当前帧图像，确定所述检测数目；以及
在不存在其中所述检测数目小于所述阈值数目的所述待增强区域的情况下，确定所述检测特征点以及与其对应的所述分级增强处理的增强级别作为所述当前帧图像的所述特征信息。
2.一种运动状态估计方法，包括：
利用图像捕获设备获取场景的连续帧图像；
提取当前帧图像的特征信息；
匹配所述当前帧图像的特征信息与所述当前帧图像的前一帧图像的特征信息；以及
基于匹配的所述特征信息，执行所述图像捕获设备的运动状态估计，
其中，所述提取当前帧图像的特征信息包括
预测所述当前帧图像的特征点；
将所述当前帧图像分为多个区域，对所述多个区域中的每一个区域分配预测特征点的阈值数目；
基于所述当前帧图像，确定所述多个区域中的每一个区域中的检测特征点的检测数目；
在存在其中所述检测数目小于所述阈值数目的待增强区域的情况下，对所述待增强区域的当前帧图像执行分级增强处理，以获得增强的当前帧图像，并且基于所述增强的当前帧图像，确定所述检测数目；以及
在不存在其中所述检测数目小于所述阈值数目的待增强区域的情况下，确定所述检测特征点以及与其对应的所述分级增强处理的增强级别作为所述当前帧图像的所述特征信息。
3.如权利要求2所述的运动状态估计方法，其中所述匹配所述当前帧图像的特征信息与所述当前帧图像的前一帧图像的特征信息包括：
对所述当前帧图像的特征信息与所述当前帧图像的前一帧图像的特征信息中包括的所有检测特征点执行匹配，获得所述检测特征点的匹配对集合；
移除所述匹配对集合中的重复匹配对，获得分级匹配对集合；
基于与所述匹配对中的所述检测特征点对应的所述分级增强处理的增强级别，为所述匹配对分配权重。
4.如权利要求3所述的运动状态估计方法，其中所述基于匹配的所述特征信息，执行所述图像捕获设备的运动状态估计包括：
基于所述匹配对以及所述权重，执行所述图像捕获设备的运动状态估计。
5.如权利要求3或4所述的运动状态估计方法，其中所述移除所述匹配对集合中的重复匹配对包括：
在检测特征点出现在所述匹配对集合中的多个匹配对的情况下，所述多个匹配对具有对应于所述检测特征点对应的所述分级增强处理的增强级别的匹配级别，在所述分级匹配对集合中，仅保留具有最低匹配级别的匹配对。
6.如权利要求3或4所述的运动状态估计方法，其中所述基于与所述匹配对中的所述检测特征点对应的所述分级增强处理的增强级别，为所述匹配对分配权重包括：
基于所述匹配对中的所述检测特征点的所述增强级别之间的级别差以及所述增强级别的级别和，为所述匹配对分配权重。
7.如权利要求3或4所述的运动状态估计方法，其中所述预测所述当前帧图像的特征点包括：
基于所述前一帧图像的特征信息和运动状态，预测所述当前帧图像的特征点。
8.一种运动状态估计装置，包括：
图像捕获部件，用于获取场景的连续帧图像；
特征信息提取部件，用于提取当前帧图像的特征信息；
特征信息匹配部件，用于匹配所述当前帧图像的特征信息与所述当前帧图像的前一帧图像的特征信息；以及
运动状态估计部件，用于基于匹配的所述特征信息，执行运动状态估计，
其中所述特征信息提取部件包含
特征点预测单元，用于预测所述当前帧图像的特征点；
图像分割单元，用于将所述当前帧图像分为多个区域，对所述多个区域中的每一个区域分配预测特征点的阈值数目；
特征检测单元，用于基于所述当前帧图像，确定所述多个区域中的每一个区域中的检测特征点的检测数目；在存在其中所述检测数目小于所述阈值数目的待增强区域的情况下，对所述待增强区域的当前帧图像执行分级增强处理，以获得增强的当前帧图像，并且基于所述增强的当前帧图像，确定所述检测数目；以及在不存在其中所述检测数目小于所述阈值数目的待增强区域的情况下，确定所述检测特征点以及与其对应的所述分级增强处理的增强级别作为所述当前帧图像的所述特征信息。
9.如权利要求8所述的运动状态估计装置，其中所述特征信息匹配部件包括：
匹配执行单元，用于对所述当前帧图像的特征信息与所述当前帧图像的前一帧图像的特征信息中包括的所有检测特征点执行匹配，获得所述检测特征点的匹配对集合；
匹配对过滤单元，用于移除所述匹配对集合中的重复匹配对，获得分级匹配对集合；以及
权重分配单元，用于基于与所述匹配对中的所述检测特征点对应的所述分级增强处理的增强级别，为所述匹配对分配权重。
10.如权利要求9所述的运动状态估计装置，其中所述运动状态估计部件基于所述匹配对以及所述权重，执行所述运动状态估计。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610363621.5A CN107437258B (zh) | 2016-05-27 | 2016-05-27 | 特征提取方法、运动状态估计方法以及运动状态估计装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610363621.5A CN107437258B (zh) | 2016-05-27 | 2016-05-27 | 特征提取方法、运动状态估计方法以及运动状态估计装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107437258A true CN107437258A (zh) | 2017-12-05 |
| CN107437258B CN107437258B (zh) | 2020-11-06 |
Family
ID=60453713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610363621.5A Active CN107437258B (zh) | 2016-05-27 | 2016-05-27 | 特征提取方法、运动状态估计方法以及运动状态估计装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107437258B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108648215A (zh) * | 2018-06-22 | 2018-10-12 | 南京邮电大学 | 基于imu的slam运动模糊位姿跟踪算法 |
| CN109816051A (zh) * | 2019-02-25 | 2019-05-28 | 北京石油化工学院 | 一种危化品货物特征点匹配方法及*** |
| CN109886104A (zh) * | 2019-01-14 | 2019-06-14 | 浙江大学 | 一种基于视频前后帧相关信息感知的运动特征提取方法 |
| CN110070577A (zh) * | 2019-04-30 | 2019-07-30 | 电子科技大学 | 基于特征点分布的视觉slam关键帧与特征点选取方法 |
| CN110393533A (zh) * | 2019-07-25 | 2019-11-01 | 森博迪(深圳)科技有限公司 | 一种结合惯性和红外的穿戴式动作捕捉***及其方法 |
| CN110675427A (zh) * | 2019-08-30 | 2020-01-10 | 深圳市广宁股份有限公司 | 智能振动检测方法及相关产品 |
| CN112005243A (zh) * | 2018-05-04 | 2020-11-27 | 华为技术有限公司 | 用于高级驾驶辅助***的图像处理装置和方法 |
| CN113435320A (zh) * | 2021-06-25 | 2021-09-24 | 中国科学技术大学 | 自适应配置多模型的人体姿态估计方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101324928A (zh) * | 2007-06-13 | 2008-12-17 | 夏普株式会社 | 图像处理方法、图像处理装置和图像形成装置 |
| CN102722890A (zh) * | 2012-06-07 | 2012-10-10 | 内蒙古科技大学 | 基于光流场模型的非刚性心脏图像分级配准方法 |
| US20140198955A1 (en) * | 2013-01-16 | 2014-07-17 | Honda Research Institute Europe Gmbh | System and method for distorted camera image correction |
| CN104517275A (zh) * | 2013-09-27 | 2015-04-15 | 株式会社理光 | 对象检测方法和*** |
| CN105530502A (zh) * | 2014-09-28 | 2016-04-27 | 株式会社理光 | 根据立体相机拍摄的图像帧生成视差图的方法和装置 |
-
2016
- 2016-05-27 CN CN201610363621.5A patent/CN107437258B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101324928A (zh) * | 2007-06-13 | 2008-12-17 | 夏普株式会社 | 图像处理方法、图像处理装置和图像形成装置 |
| CN102722890A (zh) * | 2012-06-07 | 2012-10-10 | 内蒙古科技大学 | 基于光流场模型的非刚性心脏图像分级配准方法 |
| US20140198955A1 (en) * | 2013-01-16 | 2014-07-17 | Honda Research Institute Europe Gmbh | System and method for distorted camera image correction |
| CN104517275A (zh) * | 2013-09-27 | 2015-04-15 | 株式会社理光 | 对象检测方法和*** |
| CN105530502A (zh) * | 2014-09-28 | 2016-04-27 | 株式会社理光 | 根据立体相机拍摄的图像帧生成视差图的方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| F. FRAUNDORFER 等: "Visual Odometry : Part II: Matching, Robustness, Optimization, and Applications", 《IEEE ROBOTICS & AUTOMATION MAGAZINE》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112005243A (zh) * | 2018-05-04 | 2020-11-27 | 华为技术有限公司 | 用于高级驾驶辅助***的图像处理装置和方法 |
| CN108648215A (zh) * | 2018-06-22 | 2018-10-12 | 南京邮电大学 | 基于imu的slam运动模糊位姿跟踪算法 |
| CN108648215B (zh) * | 2018-06-22 | 2022-04-15 | 南京邮电大学 | 基于imu的slam运动模糊位姿跟踪算法 |
| CN109886104A (zh) * | 2019-01-14 | 2019-06-14 | 浙江大学 | 一种基于视频前后帧相关信息感知的运动特征提取方法 |
| CN109816051A (zh) * | 2019-02-25 | 2019-05-28 | 北京石油化工学院 | 一种危化品货物特征点匹配方法及*** |
| CN110070577A (zh) * | 2019-04-30 | 2019-07-30 | 电子科技大学 | 基于特征点分布的视觉slam关键帧与特征点选取方法 |
| CN110070577B (zh) * | 2019-04-30 | 2023-04-28 | 电子科技大学 | 基于特征点分布的视觉slam关键帧与特征点选取方法 |
| CN110393533A (zh) * | 2019-07-25 | 2019-11-01 | 森博迪(深圳)科技有限公司 | 一种结合惯性和红外的穿戴式动作捕捉***及其方法 |
| CN110675427A (zh) * | 2019-08-30 | 2020-01-10 | 深圳市广宁股份有限公司 | 智能振动检测方法及相关产品 |
| CN110675427B (zh) * | 2019-08-30 | 2023-11-03 | 深圳市广宁股份有限公司 | 智能振动检测方法及相关产品 |
| CN113435320A (zh) * | 2021-06-25 | 2021-09-24 | 中国科学技术大学 | 自适应配置多模型的人体姿态估计方法 |
| CN113435320B (zh) * | 2021-06-25 | 2022-07-15 | 中国科学技术大学 | 自适应配置多模型的人体姿态估计方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107437258B (zh) | 2020-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107437258A (zh) | 特征提取方法、运动状态估计方法以及运动状态估计装置 | |
| CN110070067B (zh) | 视频分类方法及其模型的训练方法、装置和电子设备 | |
| CN110020592B (zh) | 物体检测模型训练方法、装置、计算机设备及存储介质 | |
| US10726244B2 (en) | Method and apparatus detecting a target | |
| CN110378235B (zh) | 一种模糊人脸图像识别方法、装置及终端设备 | |
| CN110765860B (zh) | 摔倒判定方法、装置、计算机设备及存储介质 | |
| CN106778705B (zh) | 一种行人个体分割方法及装置 | |
| CN108229300B (zh) | 视频分类方法、装置、计算机可读存储介质和电子设备 | |
| CN110096938B (zh) | 一种视频中的动作行为的处理方法和装置 | |
| CN110070029B (zh) | 一种步态识别方法及装置 | |
| US11435719B2 (en) | System and method for identifying manufacturing defects | |
| CN109800682B (zh) | 驾驶员属性识别方法及相关产品 | |
| CN108229673B (zh) | 卷积神经网络的处理方法、装置和电子设备 | |
| CN109934077B (zh) | 一种图像识别方法和电子设备 | |
| CN112487913A (zh) | 一种基于神经网络的标注方法、装置及电子设备 | |
| CN106303524B (zh) | 基于预测残差异常模式的视频双重压缩检测方法 | |
| CN114266894A (zh) | 一种图像分割方法、装置、电子设备及存储介质 | |
| CN111860056B (zh) | 基于眨眼的活体检测方法、装置、可读存储介质及设备 | |
| CN117292338B (zh) | 基于视频流解析的车辆事故识别和分析方法 | |
| CN111339808A (zh) | 车辆碰撞概率预测方法、装置、电子设备及存储介质 | |
| CN109726621A (zh) | 行人检测方法、装置及设备 | |
| CN115731179A (zh) | 轨道部件检测方法、终端及存储介质 | |
| CN113239738B (zh) | 一种图像的模糊检测方法及模糊检测装置 | |
| US20220108199A1 (en) | Pipelining and parallelism for implementing a mixture model | |
| CN115713669A (zh) | 一种基于类间关系的图像分类方法、装置、存储介质及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |