CN111462174B - 多目标跟踪方法、装置以及电子设备 - Google Patents
多目标跟踪方法、装置以及电子设备 Download PDFInfo
- Publication number
- CN111462174B CN111462174B CN202010154953.9A CN202010154953A CN111462174B CN 111462174 B CN111462174 B CN 111462174B CN 202010154953 A CN202010154953 A CN 202010154953A CN 111462174 B CN111462174 B CN 111462174B
- Authority
- CN
- China
- Prior art keywords
- picture
- frame
- frame information
- detection
- target frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000001514 detection method Methods 0.000 claims abstract description 290
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 19
- 230000008034 disappearance Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了多目标跟踪方法、装置以及电子设备，涉及图片处理技术领域，可用于自动驾驶。具体实现方案为：获取待处理的图片序列；针对图片序列中的每帧图片，在帧图片为非首帧图片时，结合非首帧图片、非首帧图片的前一帧图片以及对应的目标框信息集合，确定非首帧图片对应的候选目标框信息集合；获取非首帧图片对应的检测框信息集合；针对非首帧图片中的每个检测对象，将检测对象对应的检测框信息与候选目标框信息集合中的候选目标框信息进行匹配，将匹配的候选目标框信息确定为检测对象对应的目标框信息；根据各个检测对象在图片序列的各帧图片中的目标框信息，对各个检测对象进行跟踪，能够对当前帧图片的检测结果进行校正，提高跟踪准确度。
Description
技术领域
本申请涉及数据处理技术领域，具体涉及图片处理技术领域，尤其涉及多目标跟踪方法、装置以及电子设备。
背景技术
目前的多目标跟踪方法是，针对图片序列中的每一帧图片，进行多目标检测，得到检测结果，检测结果包括：多个检测对象的检测框信息；然后，将相邻两帧的检测结果进行关联，得到多个检测对象的跟踪结果。上述方案中，在检测结果准确度低的情况下，跟踪结果的准确度也会低。
发明内容
本申请提出一种多目标跟踪方法、装置以及电子设备，通过采用单目标***结合前一帧图片中各个检测对象的目标框信息，预测当前帧图片的候选目标框信息，并将候选目标框信息与当前帧图片中各个检测对象的检测框信息进行匹配，确定与候选目标框信息关联的检测对象，从而实现对多个检测对象的跟踪，能够对当前帧图片的检测结果进行校正，提高跟踪准确度。
本申请第一方面实施例提出了一种多目标跟踪方法，包括：获取待处理的图片序列；
针对所述图片序列中的每帧图片，在所述帧图片为非首帧图片时，结合所述非首帧图片、所述非首帧图片的前一帧图片、前一帧图片对应的目标框信息集合，确定所述非首帧图片对应的候选目标框信息集合；
获取所述非首帧图片对应的检测框信息集合；所述检测框信息集合包括：所述非首帧图片中各个检测对象对应的检测框信息；
针对所述非首帧图片中的每个检测对象，将所述检测对象对应的检测框信息与候选目标框信息集合中的候选目标框信息进行匹配，获取匹配的候选目标框信息；将匹配的候选目标框信息确定为所述检测对象对应的目标框信息；
根据各个检测对象在所述图片序列的各帧图片中的目标框信息，对各个检测对象进行跟踪。
在本申请一个实施例中，所述针对所述图片序列中的每帧图片，在所述帧图片为非首帧图片时，结合所述非首帧图片、所述非首帧图片的前一帧图片、前一帧图片对应的目标框信息集合，确定所述非首帧图片对应的候选目标框信息集合，包括：
针对所述图片序列中的每帧图片，在所述帧图片为非首帧图片时，获取所述非首帧图片的前一帧图片，以及前一帧图片对应的目标框信息集合；所述目标框信息集合包括：所述前一帧图片中各个检测对象对应的目标框信息；
针对所述前一帧图片中的每个检测对象，结合所述前一帧图片中所述检测对象对应的目标框信息、所述前一帧图片、所述非首帧图片，获取候选目标框信息；
根据获取的候选目标框信息，生成所述非首帧图片对应的候选目标框信息集合。
在本申请一个实施例中，所述针对所述前一帧图片中的每个检测对象，结合所述前一帧图片中所述检测对象对应的目标框信息、所述前一帧图片、所述非首帧图片，获取候选目标框信息，包括：
针对所述前一帧图片中的每个检测对象，根据所述检测对象对应的目标框信息，对所述前一帧图片进行目标框截取处理，获取目标框图片；
将所述目标框图片以及所述非首帧图片输入单目标***，获取多个预测目标框信息，以及每个预测目标框信息对应的置信度；
根据每个预测目标框信息对应的置信度，确定候选目标框信息。
在本申请一个实施例中，所述根据每个预测目标框信息对应的置信度，确定候选目标框信息，包括：
将对应的置信度最高的预测目标框信息，确定为候选目标框信息；或者，
将所述多个预测目标框信息与检测对象对应的检测目标框信息进行匹配，根据匹配结果确定候选目标框信息。
在本申请一个实施例中，所述针对所述非首帧图片中的每个检测对象，将所述检测对象对应的检测框信息与候选目标框信息集合中的候选目标框信息进行匹配，获取匹配的候选目标框信息，包括：
针对所述非首帧图片中的每个检测对象，根据所述检测对象对应的检测框信息以及所述非首帧图片，确定所述非首帧图片中所述检测对象对应的检测框图片；
根据候选目标框信息集合以及所述非首帧图片，确定候选目标框图片集合；
针对所述候选目标框图片集合中的每个待比对候选目标框图片，获取所述检测框图片与所述待比对候选目标框图片的特征距离信息以及交并比数据；
根据所述特征距离信息以及交并比数据确定所述检测框图片与所述待比对候选目标框图片的匹配度；
根据所述检测框图片与所述候选目标框图片集合中各个待比对候选目标框图片的匹配度，确定匹配的候选目标框图片；
将匹配的候选目标框图片对应的候选目标框信息，确定为匹配的候选目标框信息。
在本申请一个实施例中，所述的方法还包括：针对每个检测对象，若未获取到匹配的候选目标框信息，则确定所述检测对象为新增检测对象，将所述检测对象的检测框信息确定为所述检测对象在所述非首帧图片中的目标框信息。
在本申请一个实施例中，所述单目标***的数量为至少一个，每个单目标***用于跟踪一个检测对象，输出所述非首帧图片的一个候选目标框信息；
针对所述非首帧图片中的每个检测对象，将所述检测对象对应的检测框信息与候选目标框信息集合中的候选目标框信息进行匹配，获取匹配的候选目标框信息之后，还包括：
判断所述候选目标框信息集合中是否存在第一候选目标框信息；所述第一候选目标框信息为未匹配到检测框信息的候选目标框信息；
获取所述第一候选目标框信息对应的置信度；
在所述第一候选目标框信息对应的置信度大于第一置信度阈值时，将输出所述第一候选目标框信息的单目标***的状态更改为失去跟踪；
在所述第一候选目标框信息对应的置信度小于第二置信度阈值时，将输出所述第一候选目标框信息的单目标***的状态更改为检测对象消失。
在本申请一个实施例中，所述的方法还包括：判断是否存在第一单目标***，所述第一单目标***为状态为检测对象消失，且状态持续时间大于预设时间阈值的单目标***；
在存在所述第一单目标***时，删除所述第一单目标***。
在本申请一个实施例中，所述获取所述非首帧图片对应的检测框信息集合，包括：
采用预设的多目标检测模型对所述非首帧图片进行多目标检测，获取所述非首帧图片对应的检测框信息集合；
所述多目标检测模型和所述单目标***的训练方式为，
获取初始的联合模型；所述联合模型包括：主干网络、分别与所述主干网络连接的多目标检测头部网络和单目标跟踪头部网络；
获取训练数据，所述训练数据包括：当前帧图片、当前帧图片的前一帧图片以及对应的目标框信息集合；
采用所述训练数据，对所述联合模型进行训练，得到训练后的联合模型；
将所述联合模型中的主干网络，以及与所述主干网络连接的多目标检测头部网络进行组合，得到预设的多目标检测模型；
将所述联合模型中的主干网络，以及与所述主干网络连接的单目标跟踪头部网络进行组合，得到所述单目标***。
本申请实施例的多目标跟踪方法，通过获取待处理的图片序列；针对图片序列中的每帧图片，在帧图片为非首帧图片时，结合非首帧图片、非首帧图片的前一帧图片、前一帧图片对应的目标框信息集合，确定非首帧图片对应的候选目标框信息集合；获取非首帧图片对应的检测框信息集合；针对非首帧图片中的每个检测对象，将检测对象对应的检测框信息与候选目标框信息集合中的候选目标框信息进行匹配，获取匹配的候选目标框信息；将匹配的候选目标框信息确定为检测对象对应的目标框信息；根据各个检测对象在图片序列的各帧图片中的目标框信息，对各个检测对象进行跟踪，能够对当前帧图片的检测结果进行校正，提高跟踪准确度。
本申请第二方面实施例提出了一种多目标跟踪装置，包括：
获取模块，用于获取待处理的图片序列；
确定模块，用于针对所述图片序列中的每帧图片，在所述帧图片为非首帧图片时，结合所述非首帧图片、所述非首帧图片的前一帧图片、前一帧图片对应的目标框信息集合，确定所述非首帧图片对应的候选目标框信息集合；
所述获取模块，还用于获取所述非首帧图片对应的检测框信息集合；所述检测框信息集合包括：所述非首帧图片中各个检测对象对应的检测框信息；
匹配模块，用于针对所述非首帧图片中的每个检测对象，将所述检测对象对应的检测框信息与候选目标框信息集合中的候选目标框信息进行匹配，获取匹配的候选目标框信息；将匹配的候选目标框信息确定为所述检测对象对应的目标框信息；
跟踪模块，用于根据各个检测对象在所述图片序列的各帧图片中的目标框信息，对各个检测对象进行跟踪。
本申请第三方面实施例提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的多目标跟踪方法。
本申请第四方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上所述的多目标跟踪方法。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例的示意图；
图2是根据本申请第二实施例的示意图；
图3为单目标***的示意图；
图4为单目标***的状态转移示意图；
图5是根据本申请第三实施例的示意图；
图6是根据本申请第四实施例的示意图；
图7是用来实现本申请实施例的多目标跟踪方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本申请实施例的多目标跟踪方法、装置以及电子设备。
图1是根据本申请第一实施例的示意图。其中，需要说明的是，本实施例提供的多目标跟踪方法的执行主体为多目标跟踪装置，多目标跟踪装置具体可以为硬件设备，或者硬件设备中的软件等。其中，硬件设备例如终端设备、服务器等。
如图1所示，多目标跟踪方法具体实现过程如下：
步骤101，获取待处理的图片序列。
步骤102，针对图片序列中的每帧图片，在帧图片为非首帧图片时，结合非首帧图片、非首帧图片的前一帧图片、前一帧图片对应的目标框信息集合，确定非首帧图片对应的候选目标框信息集合。
在本申请实施例中，多目标检测状态执行步骤102的过程可以参考图2所示实施例。在图2中，步骤102可以包括以下步骤：
步骤1021，针对图片序列中的每帧图片，在帧图片为非首帧图片时，获取非首帧图片的前一帧图片，以及前一帧图片对应的目标框信息集合；目标框信息集合包括：所述前一帧图片中各个检测对象对应的目标框信息。
本申请实施例中，检测对象例如，人、动物、车辆等。前一帧图片中检测对象对应的目标框信息例如可以为，目标框的四个顶点的坐标信息。其中，目标框一般为方形，通过四个顶点的坐标信息就可以确定目标框所在位置。
步骤1022，针对前一帧图片中的每个检测对象，结合前一帧图片中检测对象对应的目标框信息、前一帧图片、非首帧图片，获取候选目标框信息。
本申请实施例中，多目标检测装置执行步骤1022的过程例如可以为，针对前一帧图片中的每个检测对象，根据检测对象对应的目标框信息，对前一帧图片进行目标框截取处理，获取目标框图片；将目标框图片以及非首帧图片输入单目标***，获取多个预测目标框信息，以及每个预测目标框信息对应的置信度；根据每个预测目标框信息对应的置信度，确定候选目标框信息。其中，单目标***的示意图例如可以如图3所示。
本申请实施例中，在第一种实施场景中，多目标检测装置根据每个预测目标框信息对应的置信度，确定候选目标框信息的方式可以为，将对应的置信度最高的预测目标框信息，确定为候选目标框信息。在第二种实施场景中，为了提高确定得到的候选目标框信息的准确度，多目标检测装置根据每个预测目标框信息对应的置信度，确定候选目标框信息的方式还可以为，将多个预测目标框信息与检测对象对应的检测目标框信息进行匹配，根据匹配结果确定候选目标框信息。
具体地，将多个预测目标框信息与检测对象对应的检测目标框信息进行匹配，判断是否存在匹配到检测目标框信息的第一预测目标框信息，若存在，则选择匹配度最高的预测目标框信息作为候选目标框信息；若不存在，则选择对应的置信度最高的预测目标框信息，作为候选目标框信息。
本申请实施例中，单目标***可以与检测对象一一对应，每个单目标***用于跟踪一个检测对象，输出一个候选目标框信息。其中，单目标***可以为神经网络，单目标***为对初始的单目标***，采用训练数据进行训练后得到的。另外，为了使得单目标***能够对前一帧准确度较差的目标框信息进行纠正，本申请实施例中，在训练时，可以为首帧图片配置准确度较差的目标框信息进行训练，从而进一步提高单目标***的跟踪准确度。
步骤1023，根据获取的候选目标框信息，生成非首帧图片对应的候选目标框信息集合。
另外，本申请实施例中，在帧图片为首帧图片时，可以直接将首帧图片中各个检测对象对应的检测框信息，确定为各个检测对象对应的目标框信息。
步骤103，获取非首帧图片对应的检测框信息集合；检测框信息集合包括：非首帧图片中各个检测对象对应的检测框信息。
本申请实施例中，多目标检测装置执行步骤103的过程例如可以为，采用预设的多目标检测模型对非首帧图片进行多目标检测，获取非首帧图片对应的检测框信息集合。其中，预设的多目标检测模型为采用训练数据对初始的多目标训练模型进行训练得到的。
另外，本申请实施例中，为了减少训练量，降低训练成本，缩短训练时间，且提高训练的准确度，可以根据初始的单目标***和多目标检测模型生成联合模型。联合模型包括：主干网络、分别与所述主干网络连接的多目标检测头部网络和单目标跟踪头部网络。其中，主干网络为单目标***和多目标检测模型中结构相同的主干网络部分。
联合模型的训练方式可以为，获取训练数据，训练数据包括：当前帧图片、当前帧图片的前一帧图片以及对应的目标框信息集合；采用训练数据，对联合模型进行训练，得到训练后的联合模型；将联合模型中的主干网络，以及与主干网络连接的多目标检测头部网络进行组合，得到预设的多目标检测模型；将联合模型中的主干网络，以及与主干网络连接的单目标跟踪头部网络进行组合，得到单目标***。
步骤104，针对所述非首帧图片中的每个检测对象，将所述检测对象对应的检测框信息与候选目标框信息集合中的候选目标框信息进行匹配，获取匹配的候选目标框信息；将匹配的候选目标框信息确定为所述检测对象对应的目标框信息。
本申请实施例中，针对每个检测对象，若未获取到匹配的候选目标框信息，则确定检测对象为新增检测对象，将检测对象的检测框信息确定为检测对象在非首帧图片中的目标框信息。其中，在检测对象与单目标***一一对应的情况下，若检测对象为新增检测对象，则需要新增一个单目标***，并建立新增检测对象与新增单目标***之间的对应关系。
本申请实施例中，还存在未匹配到检测框信息的候选目标框信息。因此，步骤104之后，所述的方法还可以包括以下步骤：判断候选目标框信息集合中是否存在第一候选目标框信息；第一候选目标框信息为未匹配到检测框信息的候选目标框信息；获取第一候选目标框信息对应的置信度；在第一候选目标框信息对应的置信度大于第一置信度阈值时，将输出第一候选目标框信息的单目标***的状态更改为失去跟踪；在第一候选目标框信息对应的置信度小于第二置信度阈值时，将输出第一候选目标框信息的单目标***的状态更改为检测对象消失。
如图4所示，图4为单目标***的状态转移示意图。在图4中，当存在未匹配到候选目标框信息的检测框信息时，确定该检测框信息匹配失败，则确定该检测框信息对应的检测对象为新增检测对象(即图4中的新目标)，则需要为新增检测对象设置一个单目标***，并将新增检测对象确定的检测框信息确定为当前帧中新增检测对象对应的目标框信息；然后对下一帧图片进行多目标检测以及匹配，若在下一帧图片中存在与该新增检测对象对应的候选目标框信息(即图4中的跟踪框)，则该新增检测对象跟踪成功；若在下一帧图片中未检测到该新增检测对象的检测框信息，或者该新增检测对象的单目标***输出的候选目标框信息未匹配到检测框信息，则当候选目标框信息的置信度大于第一置信度阈值时，确定单目标***的状态为失去跟踪，当候选目标框信息的置信度小于第二置信度阈值时，确定单目标***的状态为检测对象消失。另外，若该单目标***在检测对象消失状态的状态持续时间大于预设时间阈值时，删除该单目标***。
步骤105，根据各个检测对象在图片序列的各帧图片中的目标框信息，对各个检测对象进行跟踪。
本申请实施例的多目标跟踪方法，通过获取待处理的图片序列；针对图片序列中的每帧图片，在帧图片为非首帧图片时，结合非首帧图片、非首帧图片的前一帧图片、前一帧图片对应的目标框信息集合，确定非首帧图片对应的候选目标框信息集合；获取非首帧图片对应的检测框信息集合；针对非首帧图片中的每个检测对象，将检测对象对应的检测框信息与候选目标框信息集合中的候选目标框信息进行匹配，获取匹配的候选目标框信息；将匹配的候选目标框信息确定为检测对象对应的目标框信息；根据各个检测对象在图片序列的各帧图片中的目标框信息，对各个检测对象进行跟踪，能够对当前帧图片的检测结果进行校正，提高跟踪准确度。
图5是根据本申请第三实施例的示意图。如图5所示，步骤104具体可以包括以下步骤：
步骤1041，针对非首帧图片中的每个检测对象，根据检测对象对应的检测框信息以及非首帧图片，确定非首帧图片中检测对象对应的检测框图片。
本申请实施例中，检测对象对应的检测框信息可以包括：检测框四个顶点的坐标信息。对应的，根据检测对象对应的检测框信息以及非首帧图片，确定非首帧图片中检测对象对应的检测框图片的方式例如可以为，根据检测框信息的四个顶点的坐标信息，对检测框的大小按照预设的规则进行扩大，然后根据扩大处理后的检测框信息对非首帧图片进行截取操作，得到非首帧图片中检测对象对应的检测框图片。
步骤1042，根据候选目标框信息集合以及非首帧图片，确定候选目标框图片集合。
本申请实施例中，针对候选目标框信息集合中的每个候选目标框信息，按照预设的规则对候选目标框信息进行扩大处理，得到扩大处理后的候选目标框信息；按照扩大处理后的候选目标框信息对非首帧图片进行截取操作，得到非首帧图片中候选目标框信息对应的候选目标框图片。
步骤1043，针对候选目标框图片集合中的每个待比对候选目标框图片，获取检测框图片与待比对候选目标框图片的特征距离信息以及交并比数据。
本申请实施例中，多目标跟踪装置获取检测框图片与待比对候选目标框图片的特征距离信息的方式例如可以为，提取检测框图片中的特征，例如颜色直方图特征等；提取待比对候选目标框图片的特征；计算检测框图片中特征与待比对候选目标框图片中特征的距离信息。其中，距离信息例如可以为JS散度(Jensen-Shannon divergence)等。
本申请实施例中，多目标跟踪装置获取检测框图片与待比对候选目标框图片的交并比数据的方式可以为，获取检测框图片与待比对候选目标框图片的重叠部分，获取重叠部分的面积，对重叠部分的面积进行归一化，得到检测框图片与待比对候选目标框图片的交并比数据。
步骤1044，根据特征距离信息以及交并比数据确定检测框图片与待比对候选目标框图片的匹配度。
本申请实施例中，可以对检测框图片与待比对候选目标框图片的特征距离信息进行归一化，对归一化后的特征距离信息以及交并比数据进行加权求和，得到检测框图片与待比对候选目标框图片的匹配度。
步骤1045，根据检测框图片与候选目标框图片集合中各个待比对候选目标框图片的匹配度，确定匹配的候选目标框图片。
本申请实施例中，可以将匹配度最大的候选目标框图片，确定为与检测框图片匹配的候选目标框图片；或者，将匹配度大于预设匹配度阈值的候选目标框图片，确定为与检测框图片匹配的候选目标框图片。
步骤1046，将匹配的候选目标框图片对应的候选目标框信息，确定为匹配的候选目标框信息。
本申请实施例的多目标跟踪方法，针对非首帧图片中的每个检测对象，根据检测对象对应的检测框信息以及非首帧图片，确定非首帧图片中检测对象对应的检测框图片；根据候选目标框信息集合以及非首帧图片，确定候选目标框图片集合；针对候选目标框图片集合中的每个待比对候选目标框图片，获取检测框图片与待比对候选目标框图片的特征距离信息以及交并比数据；根据特征距离信息以及交并比数据确定检测框图片与待比对候选目标框图片的匹配度；根据检测框图片与候选目标框图片集合中各个待比对候选目标框图片的匹配度，确定匹配的候选目标框图片；将匹配的候选目标框图片对应的候选目标框信息，确定为匹配的候选目标框信息。从而能够结合交并比数据以及特征距离信息等来确定与检测框信息匹配的候选目标框信息，提高匹配准确度，进而提高跟踪准确度。
为了实现图1至图5所述实施例，本申请实施例还提出一种多目标跟踪装置。
图6是根据本申请第四实施例的示意图。如图6所示，该多目标跟踪装置600包括：获取模块610、确定模块620、匹配模块630、跟踪模块640。
其中，获取模块610，用于获取待处理的图片序列；
确定模块620，用于针对所述图片序列中的每帧图片，在所述帧图片为非首帧图片时，结合所述非首帧图片、所述非首帧图片的前一帧图片、前一帧图片对应的目标框信息集合，确定所述非首帧图片对应的候选目标框信息集合；
所述获取模块610，还用于获取所述非首帧图片对应的检测框信息集合；所述检测框信息集合包括：所述非首帧图片中各个检测对象对应的检测框信息；
匹配模块630，用于针对所述非首帧图片中的每个检测对象，将所述检测对象对应的检测框信息与候选目标框信息集合中的候选目标框信息进行匹配，获取匹配的候选目标框信息；将匹配的候选目标框信息确定为所述检测对象对应的目标框信息；
跟踪模块640，用于根据各个检测对象在所述图片序列的各帧图片中的目标框信息，对各个检测对象进行跟踪。
本申请实施例的多目标跟踪装置，通过获取待处理的图片序列；针对图片序列中的每帧图片，在帧图片为非首帧图片时，结合非首帧图片、非首帧图片的前一帧图片、前一帧图片对应的目标框信息集合，确定非首帧图片对应的候选目标框信息集合；获取非首帧图片对应的检测框信息集合；针对非首帧图片中的每个检测对象，将检测对象对应的检测框信息与候选目标框信息集合中的候选目标框信息进行匹配，获取匹配的候选目标框信息；将匹配的候选目标框信息确定为检测对象对应的目标框信息；根据各个检测对象在图片序列的各帧图片中的目标框信息，对各个检测对象进行跟踪，能够对当前帧图片的检测结果进行校正，提高跟踪准确度。
为了实现上述实施例，本申请实施例还提出一种电子设备。
如图7所示，是根据本申请实施例的多目标跟踪方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器***)。图7中以一个处理器701为例。
存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的多目标跟踪方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的多目标跟踪方法。
存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的多目标跟踪方法对应的程序指令/模块(例如，附图6所示的获取模块610、确定模块620、匹配模块630、跟踪模块640)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的多目标跟踪方法。
存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据多目标跟踪的电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至多目标跟踪的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
多目标跟踪方法的电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。
输入装置703可接收输入的数字或字符信息，以及产生与多目标跟踪的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (11)
1.一种多目标跟踪方法，其特征在于，包括：
获取待处理的图片序列；
针对所述图片序列中的每帧图片，在所述帧图片为非首帧图片时，获取所述非首帧图片的前一帧图片，以及前一帧图片对应的目标框信息集合；所述目标框信息集合包括：所述前一帧图片中各个检测对象对应的目标框信息；
针对所述前一帧图片中的每个检测对象，结合所述前一帧图片中所述检测对象对应的目标框信息、所述前一帧图片、所述非首帧图片，获取候选目标框信息；
根据获取的候选目标框信息，生成所述非首帧图片对应的候选目标框信息集合；
获取所述非首帧图片对应的检测框信息集合；所述检测框信息集合包括：所述非首帧图片中各个检测对象对应的检测框信息；
针对所述非首帧图片中的每个检测对象，将所述检测对象对应的检测框信息与候选目标框信息集合中的候选目标框信息进行匹配，获取匹配的候选目标框信息；将匹配的候选目标框信息确定为所述检测对象对应的目标框信息；
根据各个检测对象在所述图片序列的各帧图片中的目标框信息，对各个检测对象进行跟踪。
2.根据权利要求1所述的方法，其特征在于，所述针对所述前一帧图片中的每个检测对象，结合所述前一帧图片中所述检测对象对应的目标框信息、所述前一帧图片、所述非首帧图片，获取候选目标框信息，包括：
针对所述前一帧图片中的每个检测对象，根据所述检测对象对应的目标框信息，对所述前一帧图片进行目标框截取处理，获取目标框图片；
将所述目标框图片以及所述非首帧图片输入单目标***，获取多个预测目标框信息，以及每个预测目标框信息对应的置信度；
根据每个预测目标框信息对应的置信度，确定候选目标框信息。
3.根据权利要求2所述的方法，其特征在于，所述根据每个预测目标框信息对应的置信度，确定候选目标框信息，包括：
将对应的置信度最高的预测目标框信息，确定为候选目标框信息；或者，
将所述多个预测目标框信息与检测对象对应的检测目标框信息进行匹配，根据匹配结果确定候选目标框信息。
4.根据权利要求1所述的方法，其特征在于，所述针对所述非首帧图片中的每个检测对象，将所述检测对象对应的检测框信息与候选目标框信息集合中的候选目标框信息进行匹配，获取匹配的候选目标框信息，包括：
针对所述非首帧图片中的每个检测对象，根据所述检测对象对应的检测框信息以及所述非首帧图片，确定所述非首帧图片中所述检测对象对应的检测框图片；
根据候选目标框信息集合以及所述非首帧图片，确定候选目标框图片集合；
针对所述候选目标框图片集合中的每个待比对候选目标框图片，获取所述检测框图片与所述待比对候选目标框图片的特征距离信息以及交并比数据；
根据所述特征距离信息以及交并比数据确定所述检测框图片与所述待比对候选目标框图片的匹配度；
根据所述检测框图片与所述候选目标框图片集合中各个待比对候选目标框图片的匹配度，确定匹配的候选目标框图片；
将匹配的候选目标框图片对应的候选目标框信息，确定为匹配的候选目标框信息。
5.根据权利要求1所述的方法，其特征在于，还包括：
针对每个检测对象，若未获取到匹配的候选目标框信息，则确定所述检测对象为新增检测对象，将所述检测对象的检测框信息确定为所述检测对象在所述非首帧图片中的目标框信息。
6.根据权利要求2所述的方法，其特征在于，所述单目标***的数量为至少一个，每个单目标***用于跟踪一个检测对象，输出所述非首帧图片的一个候选目标框信息；
针对所述非首帧图片中的每个检测对象，将所述检测对象对应的检测框信息与候选目标框信息集合中的候选目标框信息进行匹配，获取匹配的候选目标框信息之后，还包括：
判断所述候选目标框信息集合中是否存在第一候选目标框信息；所述第一候选目标框信息为未匹配到检测框信息的候选目标框信息；
获取所述第一候选目标框信息对应的置信度；
在所述第一候选目标框信息对应的置信度大于第一置信度阈值时，将输出所述第一候选目标框信息的单目标***的状态更改为失去跟踪；
在所述第一候选目标框信息对应的置信度小于第二置信度阈值时，将输出所述第一候选目标框信息的单目标***的状态更改为检测对象消失。
7.根据权利要求6所述的方法，其特征在于，还包括：
判断是否存在第一单目标***，所述第一单目标***为状态为检测对象消失，且状态持续时间大于预设时间阈值的单目标***；
在存在所述第一单目标***时，删除所述第一单目标***。
8.根据权利要求2所述的方法，其特征在于，所述获取所述非首帧图片对应的检测框信息集合，包括：
采用预设的多目标检测模型对所述非首帧图片进行多目标检测，获取所述非首帧图片对应的检测框信息集合；
所述多目标检测模型和所述单目标***的训练方式为，
获取初始的联合模型；所述联合模型包括：主干网络、分别与所述主干网络连接的多目标检测头部网络和单目标跟踪头部网络；
获取训练数据，所述训练数据包括：当前帧图片、当前帧图片的前一帧图片以及对应的目标框信息集合；
采用所述训练数据，对所述联合模型进行训练，得到训练后的联合模型；
将所述联合模型中的主干网络，以及与所述主干网络连接的多目标检测头部网络进行组合，得到预设的多目标检测模型；
将所述联合模型中的主干网络，以及与所述主干网络连接的单目标跟踪头部网络进行组合，得到所述单目标***。
9.一种多目标跟踪装置，其特征在于，包括：
获取模块，用于获取待处理的图片序列；
确定模块，用于针对所述图片序列中的每帧图片，在所述帧图片为非首帧图片时，获取所述非首帧图片的前一帧图片，以及前一帧图片对应的目标框信息集合；所述目标框信息集合包括：所述前一帧图片中各个检测对象对应的目标框信息；针对所述前一帧图片中的每个检测对象，结合所述前一帧图片中所述检测对象对应的目标框信息、所述前一帧图片、所述非首帧图片，获取候选目标框信息；根据获取的候选目标框信息，生成所述非首帧图片对应的候选目标框信息集合；
所述获取模块，还用于获取所述非首帧图片对应的检测框信息集合；所述检测框信息集合包括：所述非首帧图片中各个检测对象对应的检测框信息；
匹配模块，用于针对所述非首帧图片中的每个检测对象，将所述检测对象对应的检测框信息与候选目标框信息集合中的候选目标框信息进行匹配，获取匹配的候选目标框信息；将匹配的候选目标框信息确定为所述检测对象对应的目标框信息；
跟踪模块，用于根据各个检测对象在所述图片序列的各帧图片中的目标框信息，对各个检测对象进行跟踪。
10.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
11.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010154953.9A CN111462174B (zh) | 2020-03-06 | 2020-03-06 | 多目标跟踪方法、装置以及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010154953.9A CN111462174B (zh) | 2020-03-06 | 2020-03-06 | 多目标跟踪方法、装置以及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111462174A CN111462174A (zh) | 2020-07-28 |
| CN111462174B true CN111462174B (zh) | 2023-10-31 |
Family
ID=71682681
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010154953.9A Active CN111462174B (zh) | 2020-03-06 | 2020-03-06 | 多目标跟踪方法、装置以及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111462174B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112116008A (zh) * | 2020-09-18 | 2020-12-22 | 平安科技（深圳）有限公司 | 基于智能决策的目标检测模型的处理方法、及其相关设备 |
| CN112528932B (zh) * | 2020-12-22 | 2023-12-08 | 阿波罗智联(北京)科技有限公司 | 用于优化位置信息的方法、装置、路侧设备和云控平台 |
| CN112861819A (zh) * | 2021-04-01 | 2021-05-28 | 潘振波 | 一种变电站作业跨越围栏检测方法、装置及电子设备 |
| CN113610819A (zh) * | 2021-08-11 | 2021-11-05 | 杭州申昊科技股份有限公司 | 缺陷检测方法及装置、电子设备、存储介质 |
| CN113450386B (zh) * | 2021-08-31 | 2021-12-03 | 北京美摄网络科技有限公司 | 一种人脸跟踪方法和装置 |
| CN116403074B (zh) * | 2023-04-03 | 2024-05-14 | 上海锡鼎智能科技有限公司 | 基于主动标注的半自动图像标注方法及标注装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06274625A (ja) * | 1993-03-18 | 1994-09-30 | Toshiba Corp | 監視画像の移動物体追跡方法 |
| CN103218827A (zh) * | 2013-03-21 | 2013-07-24 | 上海交通大学 | 基于形状传递联合分割和图匹配校正的轮廓跟踪方法 |
| CN106778141A (zh) * | 2017-01-13 | 2017-05-31 | 北京元心科技有限公司 | 基于手势识别的解锁方法、装置及移动终端 |
| CN106875425A (zh) * | 2017-01-22 | 2017-06-20 | 北京飞搜科技有限公司 | 一种基于深度学习的多目标追踪***及实现方法 |
| CN108053427A (zh) * | 2017-10-31 | 2018-05-18 | 深圳大学 | 一种基于KCF与Kalman的改进型多目标跟踪方法、***及装置 |
| CN109753940A (zh) * | 2019-01-11 | 2019-05-14 | 京东方科技集团股份有限公司 | 图像处理方法及装置 |
| CN110378259A (zh) * | 2019-07-05 | 2019-10-25 | 桂林电子科技大学 | 一种面向监控视频的多目标行为识别方法及*** |
| CN110659559A (zh) * | 2019-08-02 | 2020-01-07 | 浙江省北大信息技术高等研究院 | 一种监控场景多目标跟踪方法及*** |
| CN110827325A (zh) * | 2019-11-13 | 2020-02-21 | 北京百度网讯科技有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002190020A (ja) * | 2000-12-20 | 2002-07-05 | Monolith Co Ltd | 映像効果方法および装置 |
-
2020
- 2020-03-06 CN CN202010154953.9A patent/CN111462174B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06274625A (ja) * | 1993-03-18 | 1994-09-30 | Toshiba Corp | 監視画像の移動物体追跡方法 |
| CN103218827A (zh) * | 2013-03-21 | 2013-07-24 | 上海交通大学 | 基于形状传递联合分割和图匹配校正的轮廓跟踪方法 |
| CN106778141A (zh) * | 2017-01-13 | 2017-05-31 | 北京元心科技有限公司 | 基于手势识别的解锁方法、装置及移动终端 |
| CN106875425A (zh) * | 2017-01-22 | 2017-06-20 | 北京飞搜科技有限公司 | 一种基于深度学习的多目标追踪***及实现方法 |
| CN108053427A (zh) * | 2017-10-31 | 2018-05-18 | 深圳大学 | 一种基于KCF与Kalman的改进型多目标跟踪方法、***及装置 |
| CN109753940A (zh) * | 2019-01-11 | 2019-05-14 | 京东方科技集团股份有限公司 | 图像处理方法及装置 |
| CN110378259A (zh) * | 2019-07-05 | 2019-10-25 | 桂林电子科技大学 | 一种面向监控视频的多目标行为识别方法及*** |
| CN110659559A (zh) * | 2019-08-02 | 2020-01-07 | 浙江省北大信息技术高等研究院 | 一种监控场景多目标跟踪方法及*** |
| CN110827325A (zh) * | 2019-11-13 | 2020-02-21 | 北京百度网讯科技有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111462174A (zh) | 2020-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111462174B (zh) | 多目标跟踪方法、装置以及电子设备 | |
| US11854237B2 (en) | Human body identification method, electronic device and storage medium | |
| CN110659600B (zh) | 物体检测方法、装置及设备 | |
| CN111275190B (zh) | 神经网络模型的压缩方法及装置、图像处理方法及处理器 | |
| CN110968718B (zh) | 目标检测模型负样本挖掘方法、装置及电子设备 | |
| CN110852321B (zh) | 候选框过滤方法、装置以及电子设备 | |
| CN111582375A (zh) | 数据增强策略搜索方法、装置、设备以及存储介质 | |
| CN111695519B (zh) | 关键点定位方法、装置、设备以及存储介质 | |
| CN111539347B (zh) | 用于检测目标的方法和装置 | |
| EP3866065B1 (en) | Target detection method, device and storage medium | |
| KR102432561B1 (ko) | 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법, 장치 및 전자 기기 | |
| CN112241716B (zh) | 训练样本的生成方法和装置 | |
| CN111708477B (zh) | 按键识别方法、装置、设备以及存储介质 | |
| US20210383120A1 (en) | Method and Apparatus for Detecting Region of Interest in Video, Device and Medium | |
| CN111462179B (zh) | 三维物体跟踪方法、装置及电子设备 | |
| CN111861991B (zh) | 计算图像清晰度的方法以及装置 | |
| CN111680597A (zh) | 人脸识别模型处理方法、装置、设备和存储介质 | |
| CN115101069A (zh) | 语音控制方法、装置、设备、存储介质以及程序产品 | |
| CN111488972B (zh) | 数据迁移方法、装置、电子设备和存储介质 | |
| JP7270114B2 (ja) | 顔キーポイントの検出方法、装置及び電子機器 | |
| CN111783644B (zh) | 检测方法、装置、设备和计算机存储介质 | |
| CN112488126A (zh) | 特征图处理方法、装置、设备以及存储介质 | |
| CN111833391A (zh) | 图像深度信息的估计方法及装置 | |
| CN111767990A (zh) | 神经网络的处理方法和装置 | |
| CN112381877B (zh) | 定位融合、室内定位方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |