CN112528945A - 对数据流进行处理的方法和设备 - Google Patents

Abstract

本公开提供一种对数据流进行处理的方法，该方法可以实现在计算装置中，其中计算装置可以包括在组合处理装置中，该组合处理装置还可以包括通用互联接口和其他处理装置。所述计算装置与其他处理装置进行交互，共同完成用户指定的计算操作。组合处理装置还可以包括存储装置，该存储装置分别与计算装置和其他处理装置连接，用于计算装置和其他处理装置的数据。

Description

对数据流进行处理的方法和设备

技术领域

本公开涉及计算机领域，更具体地，涉及对数据流进行处理的领域。

背景技术

目前视频结构化***应用广泛，可用在各种场景中，比如智能视频分析、智慧交通、智慧城市、自动驾驶等。视频结构化通常包括目标检测、目标追踪、结构化信息分析等环节，目标检测会从视频帧中得到的行人、车辆等目标的类别、位置等信息，结构化分析是对目标检测后得到的目标进一步分析，获取行人属性、车辆属性、车牌等信息。

但是，视频经过目标检测器后会得到大量待分析的目标，对这些目标全部进行结构化属性分析会导致算力浪费，影响结构化***的整体性能。此外，目标检测后得到的目标质量参差不齐，目标质量的好坏会影响结构化属性分析的准确率，若不进行筛选全部对其进行分析则得不到很好的效果。

发明内容

本公开的至少一个目的在于解决视频和音频结构化时结构化***的性能受到影响的缺陷。

根据本公开的第一方面，提供一种对数据流进行处理的方法，包括：接收经过一级处理的中间数据流，所述中间数据流包括多个中间数据单元；标识所述中间数据单元中的目标内容，以便于对所标识的目标内容进行二级处理。

根据本公开的第二方面，提供一种电子设备，包括：一个或多个处理器；以及存储器，所述存储器中存储有计算机可执行指令，当所述计算机可执行指令由所述一个或多个处理器运行时，使得所述电子设备执行如上所述的方法。

根据本公开第三方面，提供一种计算机可读存储介质，包括计算机可执行指令，当所述计算机可执行指令由一个或多个处理器运行时，执行如上所述的方法。

在本公开中，由于目标通过择优后，得到了质量较高的目标，改善了二级结构化属性分析的效果，同时减少或避免了算力的浪费，大大提高了整体***的处理性能。本公开的附加或其他技术效果还包括：对于特定的场景，可以对符合要求的目标进行属性分析，在自动驾驶、智慧交通等领域都具有广泛的应用价值。

附图说明

通过参考附图阅读下文的详细描述，本披露示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本披露的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：

图1示出了一种对数据流进行结构化处理的***的示意性框图；

图2示出了根据本公开的一个实施方式的对数据流进行处理的方法流程图；

图3示出了根据本公开一个实施方式的对标识所述中间数据单元中的目标内容的操作流程图；

图4示出了根据本公开另一个实施方式的标识中间数据单元中的目标内容的另一个方法流程图；

图5a示出了根据本公开一个实施方式的目标内容的序列；图5b示出了根据本公开一个实施方式的更新最优目标内容池的情形；

图6a示出了根据本另一个实施方式的标识中间数据单元中的目标内容的另一个方法流程图；图6b来举例说明图6a的方法步骤；

图7a至图7b示出了根据本公开一个实施方式的对出现于视频帧中特定区域的特定目标进行检测的示意图；

图8示出了一种组合处理装置；

图9提供了一种示例性的板卡。

具体实施方式

下面将结合本披露实施例中的附图，对本披露实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本披露一部分实施例，而不是全部的实施例。基于本披露中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本披露保护的范围。

应当理解，本披露的权利要求、说明书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。本披露的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本披露说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本披露。如在本披露说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本披露说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

以上对本披露实施例进行了详细介绍，本文中应用了具体个例对本披露的原理及实施方式进行了阐述，以上实施例的说明仅用于帮助理解本披露的方法及其核心思想。同时，本领域技术人员依据本披露的思想，基于本披露的具体实施方式及应用范围上做出的改变或变形之处，都属于本披露保护的范围。综上所述，本说明书内容不应理解为对本披露的限制。

图1示出了一种对数据流进行结构化处理的***的示意性框图。

如图1所示，该***包括一级处理装置和二级处理装置，该***的输入数据可以是视频流、音频流、视频和音频混合的数据流等。一级处理装置通常是将该数据流中的目标对象选择或标识出来，对于视频而言，这些目标例如可以包括车辆、路标、车道线、行人、障碍等等。在这些目标被标识出来之后，可以通过二级处理装置对这些被标识的目标进行进一步的处理，例如识别车辆的颜色、型号、车牌、车轴、行人携带的物品、走向等等。通过这样的结构化处理，能够较为准确地对整个视频流进行处理，以得到期望的信息，并为后续的进一步应用(例如自动驾驶)提供数据支持。另外，对于音频而言，例如对于一个交响乐的音频流，一级处理装置例如可以首先标识出特定频率范围内的音频流，而二级处理装置则可以进一步分析所标识的该音频流所对应的乐器类别、响度、是否合拍等，从而为提供更详实和准确的数据以便于对交响乐的质量进行分析或者便于进行音乐教学管理。

在上面的图1中，将一级处理装置的输出称为中间数据流，本公开的方案主要涉及对中间数据流进行处理。此外，在本公开的上下文中，中间数据流包括视频流和/或音频流；每个中间数据流包括多个数据单元，数据单元可以是视频帧和/或音频帧，多个视频帧和/或组合在一起构成中间数据流。

图2示出了根据本公开的一个实施方式的对数据流进行处理的方法，包括：在操作S210，接收经过一级处理的中间数据流，所述中间数据流包括多个中间数据单元；在操作S230，标识所述中间数据单元中的目标内容，以便于对所标识的目标内容进行二级处理。

更具体而言，在本公开中，每个数据单元中可以包括多个目标内容。具体而言，每个视频帧可以包括多个对象，例如车辆、行人、路标、信号灯、行车线等等。而对于一个音频帧而言，例如一个交响乐团的音频帧，其中可能包括了大号、小号、小提琴、大提琴甚至和歌唱的声音。对于视频而言，目标内容即视频帧中存在的一个或多个对象，而对于音频而言，目标内容即音频帧中存在的多种频率成分。

每个目标内容可以有相应的ID，以表示该目标内容的身份。这些ID可以包括Track_ID和Frame_ID。Track_ID可以表示每个帧中的目标内容，例如车辆ID、行人ID、路标ID、信号灯ID、行车线ID等等；Frame_ID可以表示该目标内容处于哪个帧中。通过这两个ID，可以容易地定位目标内容的具***置。需要理解的是，本文中Track_ID的分配方式可以有多种，可以为不同类型的目标内容规定一个固定的Track_ID，例如车辆的Track_ID为01，行人的Track_ID为02等等；也可以根据目标内容出现的顺序来分配Track_ID，例如在一个视频流中，最先出现的目标内容是一个行人A，那么该行人A的Track_ID就被自动地分配为01，第二个出现的目标内容是一辆汽车，那么该汽车的Track_ID就被自动分配为02，第三个出现的目标内容是一个行人B，那么该行人B的Track_ID就被自动地分配为03等等。

上文所述的“标识”可以有多种含义。例如，当确定了期望的目标内容之后，可以对所期望的目标内容打上标签，而对不期望的目标内容不做任何处理，由此区分开期望的目标内容和不期望的目标内容；还可以将期望的目标内容标识为“有效”，而将不期望的内容标识为“丢弃”或“无效”。因此，在本公开中，任何将期望的目标内容与不期望的目标内容进行区分的操作均可以称为“标识”。根据本公开的一个实施方式，最优目标内容池中可以包括一个数据结构，该数据结构包括了Frame_ID和Track_ID。标识就是改变数据结构中的一个或多个属性，例如改变Track_ID对应的Frame_ID，或者例如改变数据结构中的一个标签。

接下来详细介绍对中间数据单元中的目标内容进行标识的操作。

图3示出了根据本公开一个实施方式的对标识所述中间数据单元中的目标内容的操作流程图。

如图3所示，标识所述中间数据单元中的目标内容可以包括：在操作S2311，接收当前中间数据单元；以及，在操作S2312，响应于所述当前中间数据单元具有符合预设条件的目标内容，对所述中间数据单元中的目标内容进行标识。

在上述实施方式中，可以首先接收一个当前的中间数据单元，例如一个当前的视频帧或音频帧，然后在所接收到的视频帧或者音频帧中检测是否有符合预定条件的内容，例如检测某个视频帧中是否具有大小满足特定条件的车辆，如果该视频帧中存在满足该条件的车辆，则可以对该目标内容进行标识。

需要理解的是，对于一个视频帧而言，每个目标内容可以对应一个Track_ID。

仍然以一个视频帧为例来进行说明，假设该视频帧中存在多个目标内容(相应地，也存在多个Track_ID)，这样的目标内容例如可以包括小汽车(Track_ID＝01)、大卡车(Track_ID＝02)、自行车(Track_ID＝03)、过马路的行人(Track_ID＝04)、公交车(Track_ID＝05)等等，而这些不同的Track_ID可以对应于同一个Frame_ID。而Track_ID的数量和类型可根据实际的需求来进行设定。

预设条件可以人为地设定，也可以利用数据流中的数据来不断地更新这些预设条件。根据本公开的一个实施方式，可以响应于所述当前中间数据单元具有优于预设条件的目标内容，基于所述当前中间数据单元的目标内容来更新所述预设条件。

以上文中车辆(Track_ID＝01)为例来进行说明，可以设像素大小不低于60*100为预设条件，那么所有低于该条件的车辆均可以被丢弃，忽略或被表示为“无效”，而不低于该像素大小的车辆可以被标识或者标识为“有效”以便于进行二级处理。

更进一步地，当接收到的一个视频帧中包含了优于上述预设条件的目标内容时，可以以该当前的目标内容所具有的参数作为新的预设条件，从而不断提升预设条件的阈值，进而使得所筛选出的目标内容具有最佳的品质，以使得更便于进行后续的二级处理。

此外，可以形成一个最优目标内容池，该最优目标内容池中包含了当前最优的目标对象，所有接收到的帧都要与该最优目标内容池中当前最优的目标对象进行比较。如果新接收的帧中包含的目标对象优于当前最优的目标对象，则用新接收的帧中包含的目标对象来更新最优目标内容池，而如果新接收的帧中包含的目标对象不优于当前最优的目标对象，则并不对最优目标内容池进行更新。

图4示出了根据本公开另一个实施方式的标识中间数据单元中的目标内容的另一个方法流程图。

如图4所示，标识中间数据单元中的目标内容可以包括：在操作S2321，形成数据单元队列，所述数据单元队列包括至少一个中间数据单元；在操作S2322，形成最优目标内容池，所述最优目标内容池包括局部最优目标内容；在操作S2323，接收当前中间数据单元，并将所述当前中间数据单元加入所述数据单元队列的队尾；在操作S2324，循环地确定所述数据单元队列中队尾的中间数据单元是否包含优于所述局部最优目标内容的目标内容；以及在操作S2325，如果是，则将局部最优目标内容更新为队尾的中间数据单元中包含的目标内容，并对所述队尾的中间数据单元中的目标内容进行标识。

在图4所示的方案中，与图3所示方案不同之处在于，图3所示的方案与之前接收的目标内容进行比较以确定局部最优的目标内容；而图4所示的方案还与未来接收的目标内容进行比较以确定局部最优的目标内容。需要理解的是，本文所述的“局部最优”或“当前最优”仅仅表示在某个时间段内最优的目标内容，并不表示其在全部时间段内都是绝对最优的，局部最优的目标内容可能会被更优的目标内容所取代由此失去“局部最优”的属性；但是，另一方面，某些目标内容在整个时间段内都是最优的，即随着时间的变化该目标内容始终保持“最优”状态，因此，这些目标内容即使仍然被称为“局部最优”，但其本质上已经成为所有目标中最优的一个。本领域技术人员可以根据上下文的阅读来判断该“局部最优”在不同时段的含义，而不对本公开的技术方案构成任何的限制。

图5a示出了根据本公开一个实施方式的目标内容的序列。

如图5a所示，设本申请采用5个帧的数据单元队列，例如帧00到帧04。该队列采取先入先出的规则，即每接收一个新的帧，则将新接收的帧放入到该队列的队尾，并将该队列队首的帧经过筛选之后发送到下一级以进行二级处理。

为了方便进行对比，还可以形成最优目标内容池，该最优目标内容池中包含了当前最优的一个或多个目标内容，这里可以称为“局部最优目标内容”，每个目标内容具有相应的Track_ID和Frame_ID。初始化时，可以将接收到的第一个帧中(帧00)的目标内容加入到最优目标内容池中。

如图5a所示的最优目标内容池中有四个Track_ID，分别为Track_ID01、02、03和04(他们代表不同的目标内容或者对象)，这四个Track_ID对应的Frame_ID分别为03、02、03和01。由此可见，Track_ID为01的局部最优目标内容处于帧03中，Track_ID为02的局部最优目标内容处于帧02中，Track_ID为03的局部最优目标内容处于帧03中，而Track_ID为04的局部最优目标内容处于帧01中。帧00和帧04中不存在局部最优目标内容。

在此情况下，可以将帧03中的Track_ID为01的目标内容进行标识，将帧02中Track_ID为02的目标内容进行标识，将帧03中Track_ID为03的目标内容进行标识，并且将帧01中Track_ID为04的目标内容进行标识。需要理解的是，这种标识并不是必须的或者只是暂时的。如果当这些帧移动到队首的时候仍然处于最优目标内容池中，则可以将该帧中的目标内容进行标识以便于最终进行二级处理。

需要理解的是，尽管图5a中最优目标内容池中包含的内容为表格形式，但这仅仅是一种示例性表示。还可以将局部最优目标本身(例如车辆的抠图)和局部最优目标的相关信息存放在局部最优目标内容池中。更进一步地，不同的Track_ID可以关联到同一张图片，例如某一张图片中包括Track_ID为01和Track_ID为03为最优目标内容，而这种图片处于帧03中(Frame_ID为03)，则这两个Track_ID均关联到帧03中的相应图片。

图5b示出了根据本公开一个实施方式的更新最优目标内容池的情形。

如图5b所示，此时接收到第6个帧05，则队列中的帧00被输出。帧00被输出可以包括多种方式。

第一种方式是，先将接收到的帧05放在数据单元队列的队尾，同时取出队首的帧00；然后，将新接收的帧05中的目标内容与最优目标内容池中的局部最优目标内容进行比较，如果新接收的帧05中的目标内容优于最优目标内容池中的局部最优目标内容，那么将帧05中的目标内容添加到最优目标内容池中；最后，队首帧00再去与最优目标内容池中的局部最优目标内容进行比较，如果该帧00中的目标内容不在该最优目标内容池中，则可以丢弃该帧00，而如果该帧00中的目标内容在该最优目标内容池中，则可以标识该帧00，或者将帧00标识为有效。

第二种方式是，在将新接收的帧05放在数据单元队列的队尾的同时，将新接收的帧05中的目标内容与最优目标内容池中的局部最优目标内容进行比较，如果新接收的帧05中的目标内容优于最优目标内容池中的局部最优目标内容，那么将帧05中的目标内容添加到最优目标内容池中；接下来，将队首帧00再去与最优目标内容池中的局部最优目标内容进行比较，如果该帧00中的目标内容不在该最优目标内容池中，则可以丢弃该帧00，而如果该帧00中的目标内容在该最优目标内容池中，则可以标识该帧00，或者将帧00标识为有效。

第三种方式是，首先，将新接收的帧05中的目标内容与最优目标内容池中的局部最优目标内容进行比较，如果新接收的帧05中的目标内容优于最优目标内容池中的局部最优目标内容，那么将帧05中的目标内容添加到最优目标内容池中；然后，把接收到的帧05放在数据单元队列的队尾，同时取出队首的帧00；最后，将队首帧00再去与最优目标内容池中的局部最优目标内容进行比较，如果该帧00中的目标内容不在该最优目标内容池中，则可以丢弃该帧00，而如果该帧00中的目标内容在该最优目标内容池中，则可以标识该帧00，或者将帧00标识为有效。

第一种方式至第三种方式的判断结果相同，但三者中操作的顺序有所不同，本公开的技术方案涵盖这三种实施方式。

从图5b中可以看出，由于帧00中并不包含最优目标内容池中的局部最优目标内容，因此帧00或帧00中的目标内容可以被丢弃。需要理解的是，这里所述的“丢弃”仅仅表示在二级处理时不对该帧中的目标内容进行处理，但帧00仍然被正常地传递到负责进行二级处理的装置。

此时可以确定新接收的第6个帧(Frame_ID为05)中是否包含优于最优目标内容池的局部最优目标内容，如果包含，则用新接收的第6个帧的相应目标内容来更新最优目标内容池。

假设第6个帧05中包含了一个Track_ID为04的目标内容，并且该目标内容优于最优目标内容池相应的目标内容，则将该最优目标内容池进行更新。如图5b所示，Track_ID为04的目标内容的Frame_ID被更新为05。在此情况下，原帧01中Track_ID为04的目标内容则不再处于最优目标内容池中。在此情况下，可以将新接收的第6个帧中Track_ID为04的目标内容标识为有效。

图6a示出了根据本另一个实施方式的标识中间数据单元中的目标内容的另一个方法流程图。

如图6a所示，本公开的方法进一步包括：在操作S2326，循环地确定所述数据单元队列队首的中间数据单元中的目标内容是否存在于所述最优目标内容池中；以及，在操作S2327，如果是，则对所述数据单元队列队首的中间单元数据进行标识，以便于对所标识的目标内容进行二级处理。

操作S2321至操作S2325已经在上文中结合图5a和图5b进行了详细的示例性说明，下面结合图6b来举例说明图6a的方法步骤。

可以理解的是，当帧00离开该数据单元队列后，此时帧01处于该数据单元队的队首。

接下来，当接收到第7个帧06时，可以根据上面提到的第一种方式至第三种方式来执行。例如，可以先把帧06放置于数据单元队列的队尾，再把帧06与最优目标内容池的局部最优目标内容比较，以确定是否要更新最优目标内容池；或者，可以先将帧06与最优目标内容池的局部最优目标内容比较，以确定是否要更新最优目标内容池，然后再将帧06放置于数据单元队列的队尾；或者，可以如第二种方式那样并行执行两个动作。需要理解的是，为了简化描述，并不总是将以上三种方式均重新描述一遍，而是可以选择其中的一种或多种方式来进行描述。

确认帧01中的目标内容是否包含在最优目标内容池中时，如果帧01中的目标内容未包含在最优目标内容池中，则意味着帧01中的目标内容已经不是当前最优的目标内容了，因此帧01可以被标记为丢弃；而如果帧01的目标内容仍然在最优目标内容池中，则帧01被进行标识并且被进行二级处理。

由此可见，在目标内容队列中，虽然帧01在进入队列时由于包含局部最优的目标内容而被标识了一次，但这种标识仅仅是临时的，只有当这个帧前进到目标队列的队首并且仍然包含最优目标内容池中的某些目标内容时，该帧中相应的目标内容才被会标识以便于进行二级处理。而如果处于队首的帧中未包含最优目标内容池中的任何目标内容，则意味着该队首的帧中的目标内容已经不是局部最优的目标内容了，由此这样的目标内容将不被进行二级处理。

通过图4到图6b所示的方案和示例可以看出，本实施方式中采用数据单元队列的方式来选择局部最优的目标内容，这种方式下，进行二级处理的目标内容不但与之前的一个或多个目标内容进行比较，还与未来的目标内容进行比较，这有利于提高目标质量，同时减少二级处理的数据量，从而提升处理效率。

一方面，最优目标内容池中的局部最优目标内容可以被不断地替代或者更新，其存在时间可以不受限制。另一方面，最优目标池中的局部最优目标也可以被清除，以减少目标内容池中局部最优目标内容占用的空间。

根据本公开的一个实施方式，可以为每个目标池中的局部最优目标内容设置生存周期，当该周期结束时，则将该局部最优目标内容从最优目标池中清除。例如，设Track_ID为01的目标内容的生存周期为10，如果在该生存周期内最优目标池中该Track_ID为01的目标内容被更新，那么其生存周期也被更新为10，并重新计数。在该目标内容没有被更新的情况下，那么每当接收一个新的帧，则可以将最优目标内容池中的该目标内容的生命周期减去1。当该生命周期减为0时，则可以将该局部最优目标内容从最优目标内容池中清除。每个Track_ID的生命周期可以相同也可以不同，用户可以根据实际的需要来进行调整。

上文中所述的预设条件可以包括多种，根据本公开的一个实施方式，标识所述中间数据单元中的目标内容，以便于对所标识的目标内容进行二级处理包括：标识所述中间数据单元中类型与所述二级处理的要求相匹配的目标内容。

在此实施方式中，需要首先确定二级处理的要求以及所能支持的类型，如果二级处理本身并不支持对特定目标类型的处理，则并不对该相应的目标进行标识。例如，如果二级处理并不支持对卡车进行处理，那么将不会对中间数据单元中存在的任何“卡车”目标内容进行标识。

根据本公开的一个实施方式，标识所述中间数据单元中的目标内容，以便于对所标识的目标内容进行二级处理可以包括：标识所述中间数据单元中占比超过第一阈值的目标内容，优选地，标识所述中间数据单元中占比最大的目标内容。

在自动驾驶领域，当对行人、车辆的属性进行分析时，目标的尺寸大小会在很大程度上影响分析的结果，若目标尺寸过小，通常会无法得到满意的分析结果或分析结果不具有参考价值。因此需要对目标大小进行过滤，可以通过设置目标尺寸的阈值来决定是否进行目标进行分析。

此外，对于自动驾驶领域，目标的尺寸较小也可能意味着距离当前车辆的距离较远，还处于安全距离之中，因此也无需对这样的目标进行分析。

对于音频信号而言，例如对于交响乐团的音频信号，当某些频率成分的响度低于一个特定阈值时，则不再对该频率成分进行分析，因为该频率成分中可能包含了较多的噪声而使得分析结果并不准确。

因此，可以仅对大小超过一定比例的目标内容进行分析，优选情况下，需要对最大的目标进行分析，这将更容易带来较好的二级处理效果。

根据本公开的一个实施方式，标识所述中间数据单元中的目标内容，以便于对所标识的目标内容进行二级处理可以包括：标识所述中间数据单元中完整性超过第二阈值的目标内容，优选地，标识所述中间数据单元中最完整的目标内容。

对于自动驾驶而言，目标的完整性至关重要，例如，对于车牌识别而言，车牌上号码的完整性是最重要的；而对于***的检测而言，则车牌与车型这二者的完整性更加重要。对于音乐而言，一段连续旋律的完整性相比较于不完整的两段频率的组合更加重要，这也更加有助于进行识别和辨认。

通常，对于图片而言，处于图片角落里或边角处的图像更容易产生不完整，而处于遮挡物后方(例如树叶)的图像也更加不完整。还需要理解的是，这里所述的完整性，并不单纯只是目标的大小，更重要的只是关键部位的完整性，例如对于车牌识别而言，如果第一张图片中车牌被稍微遮挡以致无法准确判断该车牌的准确数字或符号，而第二张图片中的车辆被大面积遮挡，则此时认为第一张图片的完整性要差于第二张图片的完整性。

根据本公开的一个实施方式，标识所述中间数据单元中的目标内容，以便于对所标识的目标内容进行二级处理可以包括：标识所述中间数据单元中处于增量趋势的目标内容。

对于自动驾驶的车辆而言，如果某个连续的视频帧中存在具有处于增量趋势的目标内容，例如当前车辆前方的另一个车辆处于增大趋势，则意味着当期车辆正在迫近前方车辆，此时有发生碰撞的风险，因此这样的前方的目标内容更加重要，需要及时进行二级处理以判断碰撞的风险；又例如当前车辆后方的另一个车辆处于增大趋势，则意味着后方车辆正在迫近当前车辆，当前车辆有被追尾的风险，因此这样的后方的目标内容更加重要。

在此实施方式中，则上文中的“预定条件”是指连续视频帧中后一张视频帧中目标内容要大于前一张视频帧的目标内容。

根据本公开的一个实施方式，标识所述中间数据单元中的目标内容，以便于对所标识的目标内容进行二级处理可以包括：标识所述中间数据单元中清晰度超过第三阈值的目标内容；优选地，标识所述中间数据单元中清晰度最高的目标内容。

为了对目标内容的细节进行识别，清晰度是一个重要的因素，清晰度意味着目标内容与周围的图像具有明显的区别，能够通过边缘检测等算法轻易地识别出来，还意味着图片在放大之后能够清晰地展现更多的细节。对于音乐而言，清晰度意味着某个频率相较于其他声音或者背景音乐更加突出，也跟容易与其他声音区分开。

根据本公开的一个实施方式，标识所述中间数据单元中的目标内容，以便于对所标识的目标内容进行二级处理可以包括：标识所述中间数据单元中强度超过第四阈值的目标内容；优选地，标识所述中间数据单元中强度最高的目标内容。

强度较高往往意味着有较高的信噪比以及较高的辨识度，对于视频帧而言，亮度较高的图片更有利于后续进行二级处理；而对于音频帧而言，声强较高的信号更便于与背景声音区分开来，也更有利于后续进行二级处理。

根据本公开的一个实施方式，标识所述中间数据单元中的目标内容，以便于对所标识的目标内容进行二级处理可以包括：标识所述中间数据单元中特定部分所存在的目标内容。

在该实施方式中，例如可以对视频帧中特定区域是否存在特定的目标进行检测。

图7a至图7b示出了根据本公开一个实施方式的对出现于视频帧中特定区域的特定目标进行检测的示意图。

如图7a所示，在一个视频帧中存在一个“禁止停车”的区域，在该区域内，禁止车辆停放或者禁止车辆停放的时间超过预定时间长度。

如图7b所示，在另外一个视频帧中，检测到该禁止停车的区域内出现一个目标，并且经检测之后确定该目标为一辆汽车。由此，可以认为在该视频帧的特定部分中出现了感兴趣的目标内容。在该实施方式中，可以将该视频帧中的目标车辆进行标识，以便于进行二级处理。二级处理将对该车辆的车牌等信息进行进一步的识别。

另一方面，对于某些区域而言，可能在某一段时间内禁止车辆停放，此时可将视频帧加上时间戳，如果在该时间戳标定的时间之内在该特定区域内出现了感兴趣的目标，则对该目标进行标识，而其他时间则不进行标识。

此外，对于禁止车辆停放的时间超过预定时间长度的应用，可以选择该预定时间长度内的多个视频帧，以确定该多个视频帧中是否均存在特定的目标，如果是，则标识该目标内容并将其进行进一步的二级处理，例如检测该车辆的车牌，该预定时间长度内是否为同一个车牌等等。

更进一步地，当该特定区域内出现其他目标，例如人物、动物、儿童车辆时，则由于并不属于感兴趣的目标内容，因此可以不进行标识。

对于音频帧而言，例如野外动物监测的应用中，可以查看音频帧中是否出现特定的声音信号(例如某种动物特定的叫声)，以监测附近是否具有感兴趣的动物出现，这种应用将有利于帮助监测珍稀濒危动物以及其出现的时间或规律。

根据本公开的一个实施方式，标识所述中间数据单元中的目标内容，以便于对所标识的目标内容进行二级处理可以包括：标识所述中间数据单元中变化率超出预定范围的目标内容。

以道路监控的应用作为示例，例如车辆超速或超低速拍摄，则可以监测多个视频帧中是否出现行驶速度超出预定范围的车辆，如果出现，则可以认为存在超速行为或者存在蜗行行为。

需要理解的是，上文中的各种应用仅仅是一种示例，本领域技术人员可以将以上技术方案应用于各种其他领域中。

本公开还提供一种电子设备，包括：一个或多个处理器；以及存储器，所述存储器中存储有计算机可执行指令，当所述计算机可执行指令由所述一个或多个处理器运行时，使得所述电子设备执行如上所述的方法。

本公开还提供一种计算机可读存储介质，包括计算机可执行指令，当所述计算机可执行指令由一个或多个处理器运行时，执行如上所述的方法。

本公开的技术方案可应用于人工智能领域，实现为或者实现在人工智能芯片中。该芯片可以单独存在，也可以包含在计算装置中。

图8示出了一种组合处理装置800，其包括上述的计算装置802，通用互联接口804，和其他处理装置806。根据本公开的计算装置与其他处理装置进行交互，共同完成用户指定的操作。图8为组合处理装置的示意图。

其他处理装置，包括中央处理器CPU、图形处理器GPU、神经网络处理器等通用/专用处理器中的一种或以上的处理器类型。其他处理装置所包括的处理器数量不做限制。其他处理装置作为机器学习运算装置与外部数据和控制的接口，包括数据搬运，完成对本机器学习运算装置的开启、停止等基本控制；其他处理装置也可以和机器学习运算装置协作共同完成运算任务。

通用互联接口，用于在计算装置(包括例如机器学习运算装置)与其他处理装置间传输数据和控制指令。该计算装置从其他处理装置中获取所需的输入数据，写入该计算装置片上的存储装置；可以从其他处理装置中获取控制指令，写入计算装置片上的控制缓存；也可以读取计算装置的存储模块中的数据并传输给其他处理装置。

可选的，该结构还可以包括存储装置808，存储装置分别与所述计算装置和所述其他处理装置连接。存储装置用于保存在所述计算装置和所述其他处理装置的数据，尤其适用于所需要运算的数据在本计算装置或其他处理装置的内部存储中无法全部保存的数据。

该组合处理装置可以作为手机、机器人、无人机、视频监控设备等设备的SOC片上***，有效降低控制部分的核心面积，提高处理速度，降低整体功耗。此情况时，该组合处理装置的通用互联接口与设备的某些部件相连接。某些部件譬如摄像头，显示器，鼠标，键盘，网卡，wifi接口。

在一些实施例里，本披露还公开了一种芯片封装结构，其包括了上述芯片。

在一些实施例里，本披露还公开了一种板卡，其包括了上述芯片封装结构。参阅图9，其提供了一种示例性的板卡，上述板卡除了包括上述芯片902以外，还可以包括其他的配套部件，该配套部件包括但不限于：存储器件904、接口装置906和控制器件908。

所述存储器件与所述芯片封装结构内的芯片通过总线连接，用于存储数据。所述存储器件可以包括多组存储单元910。每一组所述存储单元与所述芯片通过总线连接。可以理解，每一组所述存储单元可以是DDR SDRAM(英文：Double Data Rate SDRAM，双倍速率同步动态随机存储器)。

DDR不需要提高时钟频率就能加倍提高SDRAM的速度。DDR允许在时钟脉冲的上升沿和下降沿读出数据。DDR的速度是标准SDRAM的两倍。在一个实施例中，所述存储装置可以包括4组所述存储单元。每一组所述存储单元可以包括多个DDR4颗粒(芯片)。在一个实施例中，所述芯片内部可以包括4个72位DDR4控制器，上述72位DDR4控制器中64bit用于传输数据，8bit用于ECC校验。在一个实施例中，每一组所述存储单元包括多个并联设置的双倍速率同步动态随机存储器。DDR在一个时钟周期内可以传输两次数据。在所述芯片中设置控制DDR的控制器，用于对每个所述存储单元的数据传输与数据存储的控制。

所述接口装置与所述芯片封装结构内的芯片电连接。所述接口装置用于实现所述芯片与外部设备912(例如服务器或计算机)之间的数据传输。例如在一个实施例中，所述接口装置可以为标准PCIE接口。比如，待处理的数据由服务器通过标准PCIE接口传递至所述芯片，实现数据转移。在另一个实施例中，所述接口装置还可以是其他的接口，本披露并不限制上述其他的接口的具体表现形式，所述接口单元能够实现转接功能即可。另外，所述芯片的计算结果仍由所述接口装置传送回外部设备(例如服务器)。

所述控制器件与所述芯片电连接。所述控制器件用于对所述芯片的状态进行监控。具体的，所述芯片与所述控制器件可以通过SPI接口电连接。所述控制器件可以包括单片机(Micro Controller Unit，MCU)。如所述芯片可以包括多个处理芯片、多个处理核或多个处理电路，可以带动多个负载。因此，所述芯片可以处于多负载和轻负载等不同的工作状态。通过所述控制装置可以实现对所述芯片中多个处理芯片、多个处理和/或多个处理电路的工作状态的调控。

在一些实施例里，本披露还公开了一种电子设备或装置，其包括了上述板卡。

电子设备或装置包括数据处理装置、机器人、电脑、打印机、扫描仪、平板电脑、智能终端、手机、行车记录仪、导航仪、传感器、摄像头、服务器、云端服务器、相机、摄像机、投影仪、手表、耳机、移动存储、可穿戴设备、交通工具、家用电器、和/或医疗设备。

所述交通工具包括飞机、轮船和/或车辆；所述家用电器包括电视、空调、微波炉、冰箱、电饭煲、加湿器、洗衣机、电灯、燃气灶、油烟机；所述医疗设备包括核磁共振仪、B超仪和/或心电图仪。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本披露并不受所描述的动作顺序的限制，因为依据本披露，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本披露所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本披露所提供的几个实施例中，应该理解到，所披露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、光学、声学、磁性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本披露各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。

所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，当本披露的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本披露各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上对本披露实施例进行了详细介绍，本文中应用了具体个例对本披露的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本披露的方法及其核心思想；同时，对于本领域的一般技术人员，依据本披露的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本披露的限制。

Claims (16)

1.一种对数据流进行处理的方法，包括：

接收经过一级处理的中间数据流，所述中间数据流包括多个中间数据单元；

标识所述中间数据单元中的目标内容，以便于对所标识的目标内容进行二级处理。

2.根据权利要求1所述的方法，其中，标识所述中间数据单元中的目标内容包括：

接收当前中间数据单元；

响应于所述当前中间数据单元具有符合预设条件的目标内容，对所述中间数据单元中的目标内容进行标识。

3.根据权利要求2所述的方法，进一步包括：

响应于所述当前中间数据单元具有优于预设条件的目标内容，基于所述当前中间数据单元的目标内容来更新所述预设条件。

4.根据权利要求1所述的方法，其中，标识所述中间数据单元中的目标内容包括：

形成数据单元队列，所述数据单元队列包括至少一个中间数据单元；

形成最优目标内容池，所述最优目标内容池包括局部最优目标内容；

接收当前中间数据单元，并将所述当前中间数据单元加入所述数据单元队列的队尾；

循环地确定所述数据单元队列中队尾的中间数据单元是否包含优于所述局部最优目标内容的目标内容，

如果是，则将局部最优目标内容更新为队尾的中间数据单元中包含的目标内容，并对所述队尾的中间数据单元中的目标内容进行标识。

5.根据权利要求4所述的方法，进一步包括：

循环地确定所述数据单元队列队首的中间数据单元中的目标内容是否存在于所述最优目标内容池中；

如果是，则对所述数据单元队列队首的中间单元数据进行标识，以便于对所标识的目标内容进行二级处理。

6.根据权利要求1-5中任意一项所述的方法，其中，标识所述中间数据单元中的目标内容，以便于对所标识的目标内容进行二级处理包括：标识所述中间数据单元中类型与所述二级处理的要求相匹配的目标内容。

7.根据权利要求1-6中任意一项所述的方法，其中，标识所述中间数据单元中的目标内容，以便于对所标识的目标内容进行二级处理包括：标识所述中间数据单元中占比超过第一阈值的目标内容，优选地，标识所述中间数据单元中占比最大的目标内容。

8.根据权利要求1-7中任意一项所述的方法，其中，标识所述中间数据单元中的目标内容，以便于对所标识的目标内容进行二级处理包括：标识所述中间数据单元中完整性超过第二阈值的目标内容，优选地，标识所述中间数据单元中最完整的目标内容。

9.根据权利要求1-8中任意一项所述的方法，其中，标识所述中间数据单元中的目标内容，以便于对所标识的目标内容进行二级处理包括：标识所述中间数据单元中处于增量趋势的目标内容。

10.根据权利要求1-9中任意一项所述的方法，其中，标识所述中间数据单元中的目标内容，以便于对所标识的目标内容进行二级处理包括：标识所述中间数据单元中清晰度超过第三阈值的目标内容；优选地，标识所述中间数据单元中清晰度最高的目标内容。

11.根据权利要求1-10中任意一项所述的方法，其中，标识所述中间数据单元中的目标内容，以便于对所标识的目标内容进行二级处理包括：标识所述中间数据单元中强度超过第四阈值的目标内容；优选地，标识所述中间数据单元中强度最高的目标内容。

12.根据权利要求1-11中任意一项所述的方法，其中，标识所述中间数据单元中的目标内容，以便于对所标识的目标内容进行二级处理包括：标识所述中间数据单元中特定部分所存在的目标内容。

13.根据权利要求1-12中任意一项所述的方法，其中，标识所述中间数据单元中的目标内容，以便于对所标识的目标内容进行二级处理包括：标识所述中间数据单元中变化率超出预定范围的目标内容。

14.根据权利要求1-12中任意一项所述的方法，其中，所述数据流为视频流和/或音频流；所述数据单元为视频帧和/或音频帧。

15.一种电子设备，包括：

一个或多个处理器；以及

存储器，所述存储器中存储有计算机可执行指令，当所述计算机可执行指令由所述一个或多个处理器运行时，使得所述电子设备执行如权利要求1-14中任意一项所述的方法。

16.一种计算机可读存储介质，包括计算机可执行指令，当所述计算机可执行指令由一个或多个处理器运行时，执行如权利要求1-14中任意一项所述的方法。

Images