CN113361458A - 基于视频的目标对象识别方法、装置、车辆及路侧设备 - Google Patents
基于视频的目标对象识别方法、装置、车辆及路侧设备 Download PDFInfo
- Publication number
- CN113361458A CN113361458A CN202110725126.5A CN202110725126A CN113361458A CN 113361458 A CN113361458 A CN 113361458A CN 202110725126 A CN202110725126 A CN 202110725126A CN 113361458 A CN113361458 A CN 113361458A
- Authority
- CN
- China
- Prior art keywords
- image
- frame
- initial image
- initial
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000000605 extraction Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 16
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种基于视频的目标对象识别方法、装置、车辆及路侧设备，涉及人工智能领域，具体涉及计算机视觉和深度学习技术，具体可用于智慧城市和智能交通场景下。方法包括：获取视频中的多帧初始图像，根据每帧初始图像中的各目标对象，对多帧初始图像进行图像拼接，得到拼接图像，对拼接图像进行特征提取，得到图像特征，并根据图像特征识别多帧初始图像中的各目标对象的属性信息，通过在特征提取之前，对各帧初始图像进行拼接，以便在特征提取时，对拼接得到的拼接图像进行特征提取即可，无需对各帧初始图像分别进行特征提取的操作，避免了特征提取的冗余，节约了用于特征提取的资源和时间，且提高了识别的效率的技术效果。
Description
技术领域
本公开涉及人工智能领域，具体涉及计算机视觉和深度学习技术，尤其涉及一种基于视频的目标对象识别方法、装置、车辆及路侧设备，具体可用于智慧城市和智能交通场景下。
背景技术
人工智能已经在无人驾驶、人脸识别、医学图像处理等应用场景得到了广泛的应用，而在这些应用场景中，可以利用目标检测技术检测视频监控中出现的目标对象，如车辆等。
在现有技术中，基于视频的目标对象识别方法包括：获取待检测视频中的每一帧图像，对每一帧图像进行特征提取，得到每一帧图像的图像特征，并将各图像特征输入至预先训练的对象识别模型，对象识别模型用于根据各图像特征识别得到目标对象的属性信息。
然而，采用上述方法，对每一帧图像均需要进行特征提取，容易造成过程繁琐，资源消耗偏高的技术问题。
发明内容
本公开提供了一种用于减少资源消耗的基于视频的目标对象识别方法、装置、车辆及路侧设备。
根据本公开的第一方面，提供了一种基于视频的目标对象识别方法，包括：
获取视频中的多帧初始图像，其中，每帧所述初始图像中包括至少一个目标对象；
根据每帧所述初始图像中的各目标对象，对所述多帧初始图像进行图像拼接，得到拼接图像，其中，所述拼接图像中包括各帧所述初始图像中的各目标对象；
对所述拼接图像进行特征提取，得到图像特征，并根据所述图像特征识别所述多帧初始图像中的各目标对象的属性信息。
根据本公开的第二方面，提供了一种基于视频的目标对象识别装置，包括：
获取单元，用于获取视频中的多帧初始图像，其中，每帧所述初始图像中包括至少一个目标对象；
拼接单元，用于根据每帧所述初始图像中的各目标对象，对所述多帧初始图像进行图像拼接，得到拼接图像，其中，所述拼接图像中包括各帧所述初始图像中的各目标对象；
特征提取单元，用于对所述拼接图像进行特征提取，得到图像特征；
识别单元，用于根据所述图像特征识别所述多帧初始图像中的各目标对象的属性信息。
根据本公开的第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。
根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面所述的方法。
根据本公开的第五方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。
根据本公开的第六方面，提供了一种车辆，包括：
图像采集装置，用于采集视频；
如上第二方面所述的装置。
根据本公开的第七方面，提供了一种路侧设备，包括：如上第二方面所述的装置。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是可以实现本公开实施例的基于视频的目标对象识别方法的场景图；
图2是根据本公开第一实施例的示意图；
图3是根据本公开第二实施例的示意图；
图4是根据本公开的一个实施例的图像拼接的原理示意图；
图5是根据本公开的另一实施例的图像拼接的原理示意图；
图6是根据本公开第三实施例的示意图；
图7是根据本公开第四实施例的示意图；
图8是本公开实施例的基于视频的目标对象识别方法的原理示意图；
图9是根据本公开第五实施例的示意图；
图10是根据本公开第六实施例的示意图；
图11是用来实现本公开实施例的基于视频的目标对象识别方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本实施例的基于视频的目标对象识别方法可以应用于智慧城市和智能交通等场景下。例如，当本实施例的基于视频的目标对象识别方法用于智慧城市场景下时，具体可以应用于人脸识别，如公共场所下的人脸识别。又如，当本实施例的基于视频的目标对象识别方法应用于智能交通场景下时，具体可以应用于无人驾驶中对障碍物(如车辆、行人、红绿灯等)的识别。
示例性地，当本实施例的基于视频的目标对象识别方法应用于智能交通场景下时，应用场景的示意图可以参阅图1。
如图1所示，第一车辆101和第二车辆102行驶于道路103，第一车辆101上设置有图像采集装置(如前视摄像头、后视摄像头、以及俯视摄像头等，图中未示出)，当然，第二车辆102上也可以设置有图像采集装置。
道路103的至少一侧可以设置有指示牌104(具体可以为限速指示牌，也可以为方向指示牌等)。
第一车辆101可以通过执行本实施例的基于视频的目标对象识别方法，得到如图1中所示的第二车辆102的属性信息，也可以得到如图1中所示的指示牌104的属性信息。
在相关技术中，结合图1为例，第一车辆识别得到目标对象(如第二车辆和指示牌)的属性信息的方法包括：图像采集装置将采集到的视频发送给第一车辆的处理器，视频中包括多帧图像，第一车辆的处理器对每一帧图像均进行特征提取，得到每一帧图像的图像特征，并根据所有的图像特征进行识别处理，从而得到目标对象的属性信息。
然而，采用相关技术中的方法，第一车辆的处理器需要对每一帧图像均进行特征提取，使得特征提取的过程较为冗余，导致第一车辆的处理器用于特征提取的资源消耗较高，且使得整个识别过程的效率偏低的技术问题。
为了避免上述技术问题，本公开的发明人经过创造性地劳动，得到了本公开的发明构思：对多帧图像进行拼接处理，得到一帧图像，并对一帧图像进行特征提取处理，得到图像特征，并基于图像特征识别得到对象信息。
本公开提供一种基于视频的目标对象识别方法、装置、车辆及路侧设备，应用于人工智能领域，具体涉及计算机视觉和深度学习技术，具体可用于智慧城市和智能交通场景下，以达到节约资源，提高识别效率。
图2是根据本公开第一实施例的示意图，如图2所示，本公开实施例提供的基于视频的目标对象识别方法，包括：
S201：获取视频中的多帧初始图像。
其中，每帧初始图像中包括至少一个目标对象。
示例性地，本实施例的执行主体可以为基于视频的目标对象识别装置(下文简称识别装置)，识别装置可以为服务器(包括本地服务器和云端服务器，服务器可以为云控平台、车路协同管理平台、中心子***、边缘计算平台、云计算平台等)，也可以为车辆(可以为车辆中设置的车载装置，也可以为车辆中的车联网芯片等)，也可以为路侧设备，也可以为终端设备，也可以为处理器，还可以为芯片，等等，本实施例不做限定。
其中，路侧设备例如有计算功能的路侧感知设备、与路侧感知设备相连接的路侧计算设备，在智能交通车路协同的***架构中，路侧设备包括路侧感知设备和路侧计算设备，路侧感知设备(例如路侧相机)连接到路侧计算设备(例如路侧计算单元RSCU)，路侧计算设备连接到服务器，服务器可以通过各种方式与自动驾驶或辅助驾驶车辆通信；或者，路侧感知设备自身包括计算功能，则路侧感知设备直接连接到服务器。以上连接可以是有线或是无线。
应该理解地是，本实施例中的初始图像中的“初始”用于与后文中的拼接图像进行区分，而不能理解为对初始图像的限定。
目标对象是指初始图像中包括的对象。例如，当本实施例的方法应用于如图1所示的应用场景时，目标对象可以为如图1中所示的第二车辆，也可以为如图1中所示的指示牌。
示例性地，识别装置实现获取视频中的多帧初始图像的方式，可以采用下述示例。
一个示例中，识别装置可以与视频采集装置连接，并接收由视频采集装置发送的视频，且从视频中提取各帧初始图像。
例如，当本实施例的方法应用于如图1所示的应用场景时，识别装置可以为如图1中所示的第一车辆的处理器，第一车辆的处理器与设置于第一车辆的图像采集装置连接，图像采集装置可以采集视频，并将采集到的视频发送给第一车辆的处理器，第一车辆的处理器接收由图像采集装置发送的视频，并从视频中提取每一帧初始图像。
另一个示例中，识别装置可以提供载入视频的工具，用户可以通过该载入视频的工具将视频传输至识别装置，识别装置提取获取到的视频中的各帧图像。
其中，载入视频的工具可以为用于与外接设备连接的接口，如用于与其他存储设备连接的接口，通过该接口获取外接设备传输的视频；载入视频的工具也可以为显示装置，如识别装置可以在显示装置上输入载入视频功能的界面，用户可以通过该界面将视频导入至识别装置，识别装置获取导入的视频中的各帧初始图像。
S202：根据每帧初始图像中的各目标对象，对多帧初始图像进行图像拼接，得到拼接图像。
其中，拼接图像中包括各帧初始图像中的各目标对象。
例如，若多帧初始图像的数量为n帧，则根据n帧初始图像中每一帧初始图像的目标对象，对n帧初始图像进行拼接，拼接后得到一帧图像(即拼接图像)，在该拼接图像中，包括n帧初始图像中每一帧初始图像中的每一个目标对象，以避免目标对象的遗漏，从而确保目标对象的完整性和全面性。
S203：对拼接图像进行特征提取，得到图像特征，并根据图像特征识别多帧初始图像中的各目标对象的属性信息。
值得说明地是，在本实施例中，识别装置仅需对一帧图像(即拼接图像)进行特征提取，可以避免相关技术中，对每一帧初始图像均进行特征提取造成的特征提取冗余繁琐，资源消耗偏高的弊端，实现了节约资源的技术效果。
基于上述分析可知，本公开实施例提供了一种基于视频的目标对象识别方法，包括：获取视频中的多帧初始图像，其中，每帧初始图像中包括至少一个目标对象，根据每帧初始图像中的各目标对象，对多帧初始图像进行图像拼接，得到拼接图像，其中，拼接图像中包括各帧初始图像中的各目标对象，对拼接图像进行特征提取，得到图像特征，并根据图像特征识别多帧初始图像中的各目标对象的属性信息，在本实施例中，引入了：对多帧初始图像进行拼接，得到拼接图像，并对拼接图像进行特征提取，得到图像特征，以便基于图像特征识别别的各目标对象的属性信息的技术特征，通过在特征提取之前，对各帧初始图像进行拼接，以便在特征提取时，对拼接得到的拼接图像进行特征提取即可，无需对各帧初始图像分别进行特征提取的操作，避免了特征提取的冗余，节约了用于特征提取的资源，且节约了用于特征提取的时间，从而提高了识别的效率的技术效果。
图3是根据本公开第二实施例的示意图，如图3所示，本公开实施例提供的基于视频的目标对象识别方法，包括：
S301：获取视频中的多帧初始图像。
其中，每帧初始图像中包括至少一个目标对象。
示例性地，关于S301的实现原理，可以参见第一实施例，此处不再赘述。
S302：确定每一初始图像中各目标对象的各目标像素点的属性信息。
其中，目标像素点的属性信息用于表征目标像素点的特征，如表征目标像素点的时间维度的特征，又如，表征目标像素点的坐标维度的特征。
示例性地，目标像素点的属性信息包括：目标像素点的时间信息和/或目标像素点的坐标信息。
其中，目标像素点的坐标信息为横坐标信息或者纵坐标信息。
值得说明地是，通过从时间维度和坐标维度对目标像素点的属性信息进行表征，可以使得目标像素点的属性信息具有完全性和全面性，从而当后续基于目标像素点的属性信息拼接得到拼接图像时，可以使得拼接图像可以完整且准确的表征各初始图像的特征，进而提高识别的准确性和可靠性的技术效果。
S303：根据每一目标像素点的属性信息，对多帧初始图像进行图像拼接，得到拼接图像。
值得说明地是，在本实施例中，由于目标像素点的属性信息可以用于表征目标像素点的特征，因此，在本实施例中，通过基于每一目标像素点的属性信息，对多帧初始图像进行图像拼接，可以使得图像拼接充分考虑各目标像素点的特征，从而使得得到的拼接图像可以表征各帧初始图像的特征，从而使得拼接图像具有较高的准确性和可靠性的技术效果。
在一些实施例中，多帧初始图像的帧数为N，N为大于1的正整数，i的初始值为1，i为大于等于1、且小于等于N的正整数，S303可以包括：
重复以下步骤，直至i的取值为N：
以第i帧初始图像为基础图像，根据多帧初始图像中的第i帧初始图像中各目标对象的每一目标像素点的属性信息、第i+1帧初始图像中各目标对象的每一目标像素点的属性信息，将第i+1帧初始图像拼接至第i帧初始图像上，得到调整图像；将调整图像作为新的第i+1帧初始图像，将i累加1；
其中，在i的取值为N时，所得到的调整图像为拼接图像。
例如，当i取值为1时，则根据第一帧初始图像的每一目标像素点的属性信息、第二帧初始图像中各目标对象的每一目标像素点的属性信息，将第二帧初始图像拼接至第一帧图像，得到调整图像，根据调整图像的每一目标像素点的属性信息、第三帧初始图像中各目标对象的每一目标像素点的属性信息，将第三帧初始图像拼接至调整图像，依次类推，直至将N帧初始图像完整图像拼接，从而得到拼接图像。
值得说明地是，第一帧初始图像和第二帧图像均可以为多帧初始图像中的任意帧初始图像。
在本实施例中，通过采用上述方法得到拼接图像，可以避免遗漏初始图像，使得拼接图像可以完整且全面的包括各帧初始图像的特征，且对各帧初始图像的拼接次序并无固定要求，可以实现拼接的灵活性和多样性的技术效果。
示例性地，可以采用下述示例确定调整图像：
一个示例中，根据多帧初始图像中的第i帧初始图像中各目标对象的每一目标像素点的属性信息、第i+1帧初始图像中各目标对象的每一目标像素点的属性信息，确定所述第i+1帧初始图像与第i帧初始图像中的不相同目标像素点；以第i帧初始图像为基础图像，根据不相同目标像素点，将第i+1帧初始图像拼接至第i帧初始图像上，得到调整图像。
例如，以第i帧初始图像为第1帧初始图像，第i+1帧初始图像为第2帧初始图像为例，该示例可以理解为：
根据第1帧初始图像中各目标对象的每一目标像素点的属性信息、根据第2帧初始图像中各目标对象的每一目标像素点的属性信息，确定第2帧初始图像与第1帧初始图像中不相同目标像素点，并将不相同目标像素点拼接至第一帧初始图像中，从而得到调整图像。
示例性地，基于上述分析可知，可以基于横坐标对第i+1帧初始图像和第i帧初始图像进行图像拼接处理。如图4所示，第i帧初始图像的横坐标为X1至X3，第i+1帧初始图像的横坐标为X2至X4，得到的调整图像的横坐标为X1至X4，且如图4所示，调整图像中包括第i帧图像和第i+1帧图像中的各目标对象。
经过上述拼接处理，使得调整图像中既包括第一帧初始图像中的各目标像素点，也包括第帧初始图像的目标像素点，可以使得调整图像全面且完整的表征第一帧初始图像和第二帧初始图像的特征，从而可以实现当基于拼接图像进行识别时，使得识别具有较高的准确性和可靠性的技术效果。
另一个示例中，将第i+1帧初始图像叠加至第i帧初始图像上，得到叠加图像；根据多帧初始图像中的第i帧初始图像中各目标对象的每一目标像素点的属性信息、第i+1帧初始图像中各目标对象的每一目标像素点的属性信息，确定第i+1帧初始图像与第i帧初始图像的相同目标像素点，并在所述叠加图像中对相同目标像素点进行去冗余处理，得到拼接图像。
例如，以第i帧初始图像为第1帧初始图像，第i+1帧初始图像为第2帧初始图像为例，该示例可以理解为：
将第2帧初始图像叠加至第1帧初始图像，得到叠加图像，确定第2帧初始图像与第1帧初始图像中相同目标像素点，并从叠加图像中剔除相同目标像素点，从而得到调整图像。
例如，如图5所示，将第i+1帧初始图像提叠加至第i帧初始图像，并将叠加图像中，剔除第i+1帧初始图像与第i帧初始图像的相同目标像素点，从而得到如图5中所示的调整图像。
同理，经过上述拼接处理，使得调整图像中既包括第一帧初始图像中的各目标像素点，也包括第帧初始图像的目标像素点，可以使得调整图像全面且完整的表征第一帧初始图像和第二帧初始图像的特征，从而可以实现当基于拼接图像进行识别时，使得识别具有较高的准确性和可靠性的技术效果。
S304：对拼接图像进行特征提取，得到图像特征，并根据图像特征识别多帧初始图像中的各目标对象的属性信息。
示例性地，关于S304的实现原理，可以参见第一实施例，此处不再赘述。
图6是根据本公开第三实施例的示意图，如图6所示，本公开实施例提供的基于视频的目标对象识别方法，包括：
S601：获取视频中的多帧初始图像。
其中，每帧初始图像中包括至少一个目标对象。
示例性地，关于S601的实现原理，可以参见第一实施例，此处不再赘述。
S602：根据每帧初始图像中的各目标对象，对多帧初始图像进行图像拼接，得到拼接图像。
其中，拼接图像中包括各帧初始图像中的各目标对象。
示例性地，关于S602的实现原理，可以参见第一实施例，也可以参见第二实施例，此处不再赘述。
S603：确定多帧初始图像的位置编码，位置编码用于表征：每一帧初始图像相对于视频的整体时长的时间信息、每一帧初始图像相对于视频的整***置的位置信息。
在一些实施例中，S603可以包括如下步骤：
第一步骤：获取每一帧初始图像上的每一目标对象的各目标像素点的目标像素坐标，并获取每一帧初始图像的形成时间。
第二步骤：针对任意帧初始图像，确定任意帧初始图像的各目标像素坐标相对于各帧初始图像的各目标像素坐标的位置信息，并确定任意帧初始图像相对于各帧所述初始图像的形成时间的时间信息。
第三步骤：根据任意帧初始图像的各目标像素坐标相对于各帧初始图像的各目标像素坐标的位置信息、任意帧初始图像相对于各帧初始图像的形成时间的时间信息，确定位置编码。
该实施例可以理解为：可以确定各目标像素点的目标像素坐标，根据各目标像素坐标可以确定各帧初始图像之间的相对位置；同理，可以确定各帧初始图像的形成时间，根据各帧初始图像的形成使劲可以确定各帧初始图像之间的相对时间；相应地，可以根据相对位置和相对时间，确定位置编码。
通过从时间维度和空间维度表征位置编码，可以使得位置编码可以丰富的表征各帧初始图像之间的关联关系，可以使得识别充分考虑各帧初始图像之间的关联关系，提高识别的准确性和可靠性的技术效果。
S604：根据图像特征和位置编码识别多帧初始图像中的各目标对象的属性信息。
在本实施例中，位置编码可以从两个维度进行表征，一个维度为时间维度(即每一帧初始图像相对于视频的整体时长的时间信息)，一个维度为空间维度(即每一帧初始图像相对于视频的整***置的位置信息)。
其中，时间维度可以用于表征各帧初始图像在时间上的关联关系，空间维度可以用于表征各帧初始图像在位置上的关联关系，提高了各帧初始图像在处理过程中，对各帧初始图像在时间维度和空间维度的关联性耦合，因此，当结合位置编码确定各目标对象的属性信息时，可以提高识别的准确性和可靠性的技术效果。
图7是根据本公开第四实施例的示意图，如图7所示，本公开实施例提供的基于视频的目标对象识别方法，包括：
S701：获取视频中的多帧初始图像。
其中，每帧初始图像中包括至少一个目标对象。
示例性地，关于S701的实现原理，可以参见第一实施例，此处不再赘述。
S702：根据每帧初始图像中的各目标对象，对多帧初始图像进行图像拼接，得到拼接图像。
其中，拼接图像中包括各帧初始图像中的各目标对象。
示例性地，关于S702的实现原理，可以参见第一实施例，也可以参见第二实施例，此处不再赘述。
S703：将拼接图像输入至预先训练的backbone模型中，得到拼接图像的图像特征。
其中，backbone模型用于对输入的图像进行特征提取。
可以理解地是，用于特征提取的模型可以为backbone模型中的任意一种，如，可以为Resnet系列的模型(具体地，可以为resnet34，resnet50，resent101等)，也可以为darknet系列的模型(具体地，可以为darkNet19，也可以为darknet53等)。
具体地，可以根据应用场景从backbone模型中选择用于特征提取的模型。例如，可以根据应用场景选择轻量级的结构的backbone模型，如resnet18，resnet34，darknet19等；或者，中型量级的结构的backbone模型如resnet50，resneXt50，darknet53等，或者，重型结构量级的结构的backbone模型如resent101，resneXt152等。
S704：将图像特征和确定出的位置编码输入至预先训练的transformer模型，由transformer模型根据图像特征和位置编码，识别得到各目标对象的属性信息。
例如，本实施例的实现原理可以参阅图8，如图8所示：
backbone模型对输入的拼接图像进行特征提取处理，得到拼接图像的图像特征。
如图8所示，transformer模型包括：编码器、解码器，识别器。其中，由编码器对图像特征和位置编码进行编码处理，得到编码向量，并将编码向量传输给解码器；解码器对编码向量进行解码处理，得到解码向量，并将解码向量传输给识别器；识别器基于解码向量进行识别处理，得到目标对象的属性信息。
其中，目标对象的属性信息可以为目标对象的类别，如图1中所示的车辆和指示牌等；目标对象的属性信息也可以为目标对象的颜色信息，如目标对象为红绿灯，目标对象的属性信息为绿灯等。
图9是根据本公开第五实施例的示意图，如图9所示，本公开实施例提供的基于视频的目标对象识别装置900，包括：
获取单元901，用于获取视频中的多帧初始图像，其中，每帧初始图像中包括至少一个目标对象。
拼接单元902，用于根据每帧初始图像中的各目标对象，对多帧初始图像进行图像拼接，得到拼接图像，其中，拼接图像中包括各帧初始图像中的各目标对象。
特征提取单元903，用于对拼接图像进行特征提取，得到图像特征。
识别单元904，用于根据图像特征识别多帧初始图像中的各目标对象的属性信息。
图10是根据本公开第六实施例的示意图，如图10所示，本公开实施例提供的基于视频的目标对象识别装置1000，包括：
获取单元1001，用于获取视频中的多帧初始图像，其中，每帧初始图像中包括至少一个目标对象。
拼接单元1002，用于根据每帧初始图像中的各目标对象，对多帧初始图像进行图像拼接，得到拼接图像，其中，拼接图像中包括各帧初始图像中的各目标对象。
结合图10可知，在一些实施例中，拼接单元1002，包括：
第一确定子单元10021，用于确定每一初始图像中各目标对象的各目标像素点的属性信息。
拼接子单元10022，用于根据每一目标像素点的属性信息，对多帧初始图像进行图像拼接，得到拼接图像。
在一些实施例中，多帧初始图像的帧数为N，N为大于1的正整数，i的初始值为1，i为大于等于1、且小于等于N的正整数；拼接子单元10022用于，重复以下步骤，直至i的取值为N：
以第i帧初始图像为基础图像，根据多帧初始图像中的第i帧初始图像中各目标对象的每一目标像素点的属性信息、第i+1帧初始图像中各目标对象的每一目标像素点的属性信息，将第i+1帧初始图像拼接至第i帧初始图像上，得到调整图像；将调整图像作为新的第i+1帧初始图像，将i累加1；
其中，在i的取值为N时，所得到的调整图像为所述拼接图像。
在一些实施例中，拼接子单元10022用于，根据所述多帧初始图像中的第i帧初始图像中各目标对象的每一目标像素点的属性信息、第i+1帧初始图像中各目标对象的每一目标像素点的属性信息，确定所述第i+1帧初始图像与所述第i帧初始图像中的不相同目标像素点，并以所述第i帧初始图像为基础图像，根据所述不相同目标像素点，将所述第i+1帧初始图像拼接至第i帧初始图像上，得到调整图像。
在一些实施例中，拼接子单元10022用于，将第i+1帧初始图像叠加至第i帧初始图像上，得到叠加图像，并根据多帧初始图像中的第i帧初始图像中各目标对象的每一目标像素点的属性信息、第i+1帧初始图像中各目标对象的每一目标像素点的属性信息，确定第i+1帧初始图像与第i帧初始图像的相同目标像素点，并在叠加图像中对所述相同目标像素点进行去冗余处理，得到拼接图像。
在一些实施例中，目标像素点的属性信息包括：目标像素点的时间信息和/或目标像素点的坐标信息。
在一些实施例中，目标像素点的坐标信息为横坐标信息或者纵坐标信息。
特征提取单元1003，用于对拼接图像进行特征提取，得到图像特征。
识别单元1004，用于根据图像特征识别多帧初始图像中的各目标对象的属性信息。
结合图10可知，在一些实施例中，识别单元1004，包括：
第二确定子单元10041，用于确定多帧初始图像的位置编码，位置编码用于表征：每一帧初始图像相对于视频的整体时长的时间信息、每一帧初始图像相对于视频的整***置的位置信息。
在一些实施例中，第二确定子单元10041，包括：
获取模块，用于获取每一帧初始图像上的每一目标对象的各目标像素点的目标像素坐标，并获取每一帧初始图像的形成时间。
第一确定模块，用于针对任意帧初始图像，确定任意帧初始图像的各目标像素坐标相对于各帧初始图像的各目标像素坐标的位置信息，并确定任意帧初始图像相对于各帧初始图像的形成时间的时间信息。
第二确定模块，用于根据任意帧初始图像的各目标像素坐标相对于各帧初始图像的各目标像素坐标的位置信息、任意帧初始图像相对于各帧初始图像的形成时间的时间信息，确定位置编码。
识别子单元10042，用于根据图像特征和位置编码识别多帧初始图像中的各目标对象的属性信息。
在一些实施例中，拼接单元1002用于，将拼接图像输入至预先训练的backbone模型中，得到拼接图像的图像特征，backbone模型用于对输入的图像进行特征提取。
识别单元1004，用于将图像特征输入至预先训练的transformer模型，由transformer模型根据图像特征识别得到各目标对象的属性信息。
根据本公开的实施例，本公开还提供了一种电子设备和一种可读存储介质。
根据本公开的实施例，本公开还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
图11示出了可以用来实施本公开的实施例的示例电子设备1100的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图11所示，电子设备1100包括计算单元1101，其可以根据存储在只读存储器(ROM)1102中的计算机程序或者从存储单元1108加载到随机访问存储器(RAM)1103中的计算机程序，来执行各种适当的动作和处理。在RAM 1103中，还可存储设备1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。
设备1100中的多个部件连接至I/O接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如基于视频的目标对象识别方法。例如，在一些实施例中，基于视频的目标对象识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1102和/或通信单元1109而被载入和/或安装到设备1100上。当计算机程序加载到RAM 1103并由计算单元1101执行时，可以执行上文描述的基于视频的目标对象识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行基于视频的目标对象识别方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式***的服务器，或者是结合了区块链的服务器。
根据本公开实施例的另一个方面，本公开实施例还提供了车辆，包括：
图像采集装置，用于采集视频。
如上任一实施例所述的基于视频的目标对象识别装置。
例如，当本实施例的基于视频的目标对象识别方法应用于如图1所示的应用场景时，如图1中所示的第一车辆可以包括图像采集装置，如设置于第一车辆上的摄像头，第一车辆还可以包括如上任一实施例所述的基于视频的目标对象识别装置。
示例性地，第一车辆的图像采集装置对视频进行采集，并将采集到的视频发送给第一车辆的基于视频的目标对象识别装置，第一车辆的基于视频的目标对象识别装置用于识别得到目标对象的属性信息，如识别得到如图1中所示的第二车辆的类别(即车辆)等。
在一些实施例中，第一车辆还可以包括策略调整装置。
其中，第一车辆的基于视频的目标对象识别装置将识别得到目标对象的属性信息，发送给策略调整装置，策略调整装置可以根据目标对象的属性信息对第一车辆当前的行驶策略进行调整，如调整第一车辆的行驶速度，又如，调整第一车辆的行驶方向等，从而提高第一车辆行驶的安全性和可靠性的技术效果。
应该理解地是，策略调整装置可以与基于视频的目标对象识别装置一体集成，也可以为两个相互独立的装置，本实施例不做限定。
根据本公开实施例的另一个方面，本公开实施例还提供了路侧设备，包括：如上任一实施例所述的基于视频的目标对象识别装置。
其中，路侧设备设置与道路的至少一侧，道路上还设置有图像采集装置(如摄像头)，路侧设备可以与图像采集装置连接。
其中，图像采集装置用于采集视频，并将采集到的视频发送给路侧设备。
路侧设备中的基于视频的目标对象识别装置识别得到目标对象的属性信息。
其中，行驶于道路的车辆可以与路侧设备连接，并可以从路侧设备中获取目标对象的属性信息。
或者，路侧设备可以根据目标对象的属性信息生成并向接入至路侧设备的车辆输出提示信息，如用于提示道路存在障碍物的提示信息，又如，用于提示绕道行驶的提示信息等。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开提供的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (25)
1.一种基于视频的目标对象识别方法，包括：
获取视频中的多帧初始图像，其中，每帧所述初始图像中包括至少一个目标对象；
根据每帧所述初始图像中的各目标对象，对所述多帧初始图像进行图像拼接，得到拼接图像，其中，所述拼接图像中包括各帧所述初始图像中的各目标对象；
对所述拼接图像进行特征提取，得到图像特征，并根据所述图像特征识别所述多帧初始图像中的各目标对象的属性信息。
2.根据权利要求1所述的方法，其中，根据每帧所述初始图像中的各目标对象，对所述多帧初始图像进行图像拼接，得到拼接图像，包括：
确定每一所述初始图像中各目标对象的各目标像素点的属性信息；
根据每一所述目标像素点的属性信息，对所述多帧初始图像进行图像拼接，得到所述拼接图像。
3.根据权利要求2所述的方法，其中，所述多帧初始图像的帧数为N，N为大于1的正整数，i的初始值为1，i为大于等于1、且小于等于N的正整数；根据每一所述目标像素点的属性信息，对所述多帧初始图像进行图像拼接，得到所述拼接图像，包括：
重复以下步骤，直至i的取值为N：
以第i帧初始图像为基础图像，根据所述多帧初始图像中的第i帧初始图像中各目标对象的每一目标像素点的属性信息、第i+1帧初始图像中各目标对象的每一目标像素点的属性信息，将所述第i+1帧初始图像拼接至第i帧初始图像上，得到调整图像；将所述调整图像作为新的第i+1帧初始图像，将i累加1；
其中，在i的取值为N时，所得到的调整图像为所述拼接图像。
4.根据权利要求3所述的方法，其中，以所述第i帧初始图像为基础图像，根据所述多帧初始图像中的第i帧初始图像中各目标对象的每一目标像素点的属性信息、第i+1帧初始图像中各目标对象的每一目标像素点的属性信息，将所述第i+1帧初始图像拼接至第i帧初始图像上，得到调整图像，包括：
根据所述多帧初始图像中的第i帧初始图像中各目标对象的每一目标像素点的属性信息、第i+1帧初始图像中各目标对象的每一目标像素点的属性信息，确定所述第i+1帧初始图像与所述第i帧初始图像中的不相同目标像素点；
以所述第i帧初始图像为基础图像，根据所述不相同目标像素点，将所述第i+1帧初始图像拼接至第i帧初始图像上，得到调整图像。
5.根据权利要求3所述的方法，其中，以所述第i帧初始图像为基础图像，根据所述多帧初始图像中的第i帧初始图像中各目标对象的每一目标像素点的属性信息、第i+1帧初始图像中各目标对象的每一目标像素点的属性信息，将所述第i+1帧初始图像拼接至第i帧初始图像上，得到调整图像，包括：
将所述第i+1帧初始图像叠加至第i帧初始图像上，得到叠加图像；
根据所述多帧初始图像中的第i帧初始图像中各目标对象的每一目标像素点的属性信息、第i+1帧初始图像中各目标对象的每一目标像素点的属性信息，确定所述第i+1帧初始图像与第i帧初始图像的相同目标像素点，并在所述叠加图像中对所述相同目标像素点进行去冗余处理，得到所述拼接图像。
6.根据权利要求2至5中任一项所述的方法，其中，目标像素点的属性信息包括：目标像素点的时间信息和/或目标像素点的坐标信息。
7.根据权利要求6所述的方法，其中，所述目标像素点的坐标信息为横坐标信息或者纵坐标信息。
8.根据权利要求1至7中任一项所述的方法，其中，根据所述图像特征识别所述多帧初始图像中的各目标对象的属性信息，包括：
确定多帧所述初始图像的位置编码，所述位置编码用于表征：每一帧所述初始图像相对于所述视频的整体时长的时间信息、每一帧所述初始图像相对于所述视频的整***置的位置信息；
根据所述图像特征和所述位置编码识别所述多帧初始图像中的各目标对象的属性信息。
9.根据权利要求8所述的方法，其中，确定多帧所述初始图像的位置编码，包括：
获取每一帧所述初始图像上的每一目标对象的各目标像素点的目标像素坐标，并获取每一帧所述初始图像的形成时间；
针对任意帧初始图像，确定所述任意帧初始图像的各目标像素坐标相对于各帧所述初始图像的各目标像素坐标的位置信息，并确定所述任意帧初始图像相对于各帧所述初始图像的形成时间的时间信息；
根据所述任意帧初始图像的各目标像素坐标相对于各帧所述初始图像的各目标像素坐标的位置信息、所述任意帧初始图像相对于各帧所述初始图像的形成时间的时间信息，确定所述位置编码。
10.根据权利要求1至9中任一项所述的方法，其中，对所述拼接图像进行特征提取，得到图像特征，并根据所述图像特征识别所述多帧初始图像中的各目标对象的属性信息，包括：
将所述拼接图像输入至预先训练的backbone模型中，得到所述拼接图像的图像特征，所述backbone模型用于对输入的图像进行特征提取；
将所述图像特征输入至预先训练的transformer模型，由transformer模型根据所述图像特征识别得到各所述目标对象的属性信息。
11.一种基于视频的目标对象识别装置，包括：
获取单元，用于获取视频中的多帧初始图像，其中，每帧所述初始图像中包括至少一个目标对象；
拼接单元，用于根据每帧所述初始图像中的各目标对象，对所述多帧初始图像进行图像拼接，得到拼接图像，其中，所述拼接图像中包括各帧所述初始图像中的各目标对象；
特征提取单元，用于对所述拼接图像进行特征提取，得到图像特征；
识别单元，用于根据所述图像特征识别所述多帧初始图像中的各目标对象的属性信息。
12.根据权利要求11所述的装置，其中，所述拼接单元，包括：
第一确定子单元，用于确定每一所述初始图像中各目标对象的各目标像素点的属性信息；
拼接子单元，用于根据每一所述目标像素点的属性信息，对所述多帧初始图像进行图像拼接，得到所述拼接图像。
13.根据权利要求12所述的装置，其中，所述多帧初始图像的帧数为N，N为大于1的正整数，i的初始值为1，i为大于等于1、且小于等于N的正整数；所述拼接子单元用于，重复以下步骤，直至i的取值为N：
以第i帧初始图像为基础图像，根据所述多帧初始图像中的第i帧初始图像中各目标对象的每一目标像素点的属性信息、第i+1帧初始图像中各目标对象的每一目标像素点的属性信息，将所述第i+1帧初始图像拼接至第i帧初始图像上，得到调整图像；将所述调整图像作为新的第i+1帧初始图像，将i累加1；
其中，在i的取值为N时，所得到的调整图像为所述拼接图像。
14.根据权利要求13所述的装置，其中，所述拼接子单元用于，根据所述多帧初始图像中的第i帧初始图像中各目标对象的每一目标像素点的属性信息、第i+1帧初始图像中各目标对象的每一目标像素点的属性信息，确定所述第i+1帧初始图像与所述第i帧初始图像中的不相同目标像素点，并以所述第i帧初始图像为基础图像，根据所述不相同目标像素点，将所述第i+1帧初始图像拼接至第i帧初始图像上，得到调整图像。
15.根据权利要求13所述的装置法，其中，所述拼接子单元用于，将所述第i+1帧初始图像叠加至第i帧初始图像上，得到叠加图像，并根据所述多帧初始图像中的第i帧初始图像中各目标对象的每一目标像素点的属性信息、第i+1帧初始图像中各目标对象的每一目标像素点的属性信息，确定所述第i+1帧初始图像与第i帧初始图像的相同目标像素点，并在所述叠加图像中对所述相同目标像素点进行去冗余处理，得到所述拼接图像。
16.根据权利要求12至15中任一项所述的装置，其中，目标像素点的属性信息包括：目标像素点的时间信息和/或目标像素点的坐标信息。
17.根据权利要求16所述的装置，其中，所述目标像素点的坐标信息为横坐标信息或者纵坐标信息。
18.根据权利要求11至17中任一项所述的装置，其中，所述识别单元，包括：
第二确定子单元，用于确定多帧所述初始图像的位置编码，所述位置编码用于表征：每一帧所述初始图像相对于所述视频的整体时长的时间信息、每一帧所述初始图像相对于所述视频的整***置的位置信息；
识别子单元，用于根据所述图像特征和所述位置编码识别所述多帧初始图像中的各目标对象的属性信息。
19.根据权利要求18所述的装置，其中，所述第二确定子单元，包括：
获取模块，用于获取每一帧所述初始图像上的每一目标对象的各目标像素点的目标像素坐标，并获取每一帧所述初始图像的形成时间；
第一确定模块，用于针对任意帧初始图像，确定所述任意帧初始图像的各目标像素坐标相对于各帧所述初始图像的各目标像素坐标的位置信息，并确定所述任意帧初始图像相对于各帧所述初始图像的形成时间的时间信息；
第二确定模块，用于根据所述任意帧初始图像的各目标像素坐标相对于各帧所述初始图像的各目标像素坐标的位置信息、所述任意帧初始图像相对于各帧所述初始图像的形成时间的时间信息，确定所述位置编码。
20.根据权利要求11至19中任一项所述的装置，其中，所述拼接单元用于，将所述拼接图像输入至预先训练的backbone模型中，得到所述拼接图像的图像特征，所述backbone模型用于对输入的图像进行特征提取；
所述识别单元，用于将所述图像特征输入至预先训练的transformer模型，由transformer模型根据所述图像特征识别得到各所述目标对象的属性信息。
21.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至10中任一项所述的方法。
22.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1至10中任一项所述的方法。
23.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至10中任一项所述的方法。
24.一种车辆，包括：
图像采集装置，用于采集视频；
如权利要求11至20中任一项所述的装置。
25.一种路侧设备，包括：如权利要求11至20中任一项所述的装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110725126.5A CN113361458A (zh) | 2021-06-29 | 2021-06-29 | 基于视频的目标对象识别方法、装置、车辆及路侧设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110725126.5A CN113361458A (zh) | 2021-06-29 | 2021-06-29 | 基于视频的目标对象识别方法、装置、车辆及路侧设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113361458A true CN113361458A (zh) | 2021-09-07 |
Family
ID=77536949
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110725126.5A Pending CN113361458A (zh) | 2021-06-29 | 2021-06-29 | 基于视频的目标对象识别方法、装置、车辆及路侧设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113361458A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113837305A (zh) * | 2021-09-29 | 2021-12-24 | 北京百度网讯科技有限公司 | 目标检测及模型训练方法、装置、设备和存储介质 |
| CN114399718A (zh) * | 2022-03-21 | 2022-04-26 | 北京网之晴科技有限公司 | 一种视频播放过程中的图像内容识别方法及装置 |
| CN114513681A (zh) * | 2022-01-25 | 2022-05-17 | 武汉工程大学 | 一种视频处理***、方法、装置、电子设备和存储介质 |
| CN115002196A (zh) * | 2022-05-25 | 2022-09-02 | 国汽智图(北京)科技有限公司 | 一种数据处理方法、装置、车端采集设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107992780A (zh) * | 2017-10-31 | 2018-05-04 | 维沃移动通信有限公司 | 一种编码识别方法及移动终端 |
| CN110532990A (zh) * | 2019-09-04 | 2019-12-03 | 上海眼控科技股份有限公司 | 转向灯使用状态识别方法、装置、计算机设备及存储介质 |
| CN110533925A (zh) * | 2019-09-04 | 2019-12-03 | 上海眼控科技股份有限公司 | 车辆违法视频的处理方法、装置、计算机设备及存储介质 |
| CN111325769A (zh) * | 2018-12-13 | 2020-06-23 | 北京嘀嘀无限科技发展有限公司 | 一种目标对象检测方法及装置 |
| CN112017441A (zh) * | 2019-05-28 | 2020-12-01 | 浙江宇视科技有限公司 | 车辆交通行为检测方法、装置、设备及存储介质 |
| CN112101305A (zh) * | 2020-05-12 | 2020-12-18 | 杭州宇泛智能科技有限公司 | 多路图像处理方法、装置及电子设备 |
| CN112116068A (zh) * | 2020-08-27 | 2020-12-22 | 济南浪潮高新科技投资发展有限公司 | 一种环视图像拼接方法、设备及介质 |
| CN112132113A (zh) * | 2020-10-20 | 2020-12-25 | 北京百度网讯科技有限公司 | 车辆再识别的方法、装置、训练方法以及电子设备 |
| WO2021087773A1 (zh) * | 2019-11-05 | 2021-05-14 | 深圳市欢太科技有限公司 | 识别方法、装置、电子设备及存储介质 |
| CN112818165A (zh) * | 2021-01-18 | 2021-05-18 | 长沙海信智能***研究院有限公司 | 数据处理方法、装置、设备及存储介质 |
| CN112966599A (zh) * | 2021-03-04 | 2021-06-15 | 北京百度网讯科技有限公司 | 关键点识别模型的训练方法、关键点识别方法及装置 |
-
2021
- 2021-06-29 CN CN202110725126.5A patent/CN113361458A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107992780A (zh) * | 2017-10-31 | 2018-05-04 | 维沃移动通信有限公司 | 一种编码识别方法及移动终端 |
| CN111325769A (zh) * | 2018-12-13 | 2020-06-23 | 北京嘀嘀无限科技发展有限公司 | 一种目标对象检测方法及装置 |
| CN112017441A (zh) * | 2019-05-28 | 2020-12-01 | 浙江宇视科技有限公司 | 车辆交通行为检测方法、装置、设备及存储介质 |
| CN110532990A (zh) * | 2019-09-04 | 2019-12-03 | 上海眼控科技股份有限公司 | 转向灯使用状态识别方法、装置、计算机设备及存储介质 |
| CN110533925A (zh) * | 2019-09-04 | 2019-12-03 | 上海眼控科技股份有限公司 | 车辆违法视频的处理方法、装置、计算机设备及存储介质 |
| WO2021087773A1 (zh) * | 2019-11-05 | 2021-05-14 | 深圳市欢太科技有限公司 | 识别方法、装置、电子设备及存储介质 |
| CN112101305A (zh) * | 2020-05-12 | 2020-12-18 | 杭州宇泛智能科技有限公司 | 多路图像处理方法、装置及电子设备 |
| CN112116068A (zh) * | 2020-08-27 | 2020-12-22 | 济南浪潮高新科技投资发展有限公司 | 一种环视图像拼接方法、设备及介质 |
| CN112132113A (zh) * | 2020-10-20 | 2020-12-25 | 北京百度网讯科技有限公司 | 车辆再识别的方法、装置、训练方法以及电子设备 |
| CN112818165A (zh) * | 2021-01-18 | 2021-05-18 | 长沙海信智能***研究院有限公司 | 数据处理方法、装置、设备及存储介质 |
| CN112966599A (zh) * | 2021-03-04 | 2021-06-15 | 北京百度网讯科技有限公司 | 关键点识别模型的训练方法、关键点识别方法及装置 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113837305A (zh) * | 2021-09-29 | 2021-12-24 | 北京百度网讯科技有限公司 | 目标检测及模型训练方法、装置、设备和存储介质 |
| US11823437B2 (en) | 2021-09-29 | 2023-11-21 | Beijing Baidu Netcom Science Technology Co., Ltd. | Target detection and model training method and apparatus, device and storage medium |
| CN114513681A (zh) * | 2022-01-25 | 2022-05-17 | 武汉工程大学 | 一种视频处理***、方法、装置、电子设备和存储介质 |
| CN114399718A (zh) * | 2022-03-21 | 2022-04-26 | 北京网之晴科技有限公司 | 一种视频播放过程中的图像内容识别方法及装置 |
| CN114399718B (zh) * | 2022-03-21 | 2022-08-16 | 北京网之晴科技有限公司 | 一种视频播放过程中的图像内容识别方法及装置 |
| CN115002196A (zh) * | 2022-05-25 | 2022-09-02 | 国汽智图(北京)科技有限公司 | 一种数据处理方法、装置、车端采集设备 |
| CN115002196B (zh) * | 2022-05-25 | 2024-01-26 | 国汽智图(北京)科技有限公司 | 一种数据处理方法、装置、车端采集设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113361458A (zh) | 基于视频的目标对象识别方法、装置、车辆及路侧设备 | |
| CN113920307A (zh) | 模型的训练方法、装置、设备、存储介质及图像检测方法 | |
| US11967132B2 (en) | Lane marking detecting method, apparatus, electronic device, storage medium, and vehicle | |
| CN112966599B (zh) | 关键点识别模型的训练方法、关键点识别方法及装置 | |
| CN112634343A (zh) | 图像深度估计模型的训练方法、图像深度信息的处理方法 | |
| CN113901911B (zh) | 图像识别、模型训练方法、装置、电子设备及存储介质 | |
| CN112702660B (zh) | 多媒体数据的传输方法、装置、自动驾驶车辆及云服务器 | |
| EP4080479A2 (en) | Method for identifying traffic light, device, cloud control platform and vehicle-road coordination system | |
| CN113361468A (zh) | 一种业务质检方法、装置、设备及存储介质 | |
| CN113326773A (zh) | 识别模型训练方法、识别方法、装置、设备及存储介质 | |
| CN113378605B (zh) | 多源信息融合方法及装置、电子设备和存储介质 | |
| CN113392794A (zh) | 车辆跨线识别方法、装置、电子设备和存储介质 | |
| CN113591580B (zh) | 图像标注方法、装置、电子设备和存储介质 | |
| CN113052047B (zh) | 交通事件的检测方法、路侧设备、云控平台及*** | |
| CN114005098A (zh) | 高精地图车道线信息的检测方法、装置和电子设备 | |
| CN113920158A (zh) | 跟踪模型的训练与交通对象跟踪方法、装置 | |
| CN113378836A (zh) | 图像识别方法、装置、设备、介质及程序产品 | |
| CN112699754A (zh) | 信号灯识别方法、装置、设备以及存储介质 | |
| CN114429631B (zh) | 三维对象检测方法、装置、设备以及存储介质 | |
| CN113989300A (zh) | 车道线分割的方法、装置、电子设备和存储介质 | |
| CN114596708B (zh) | 智能调度***、方法、装置及计算机程序产品 | |
| CN113361388B (zh) | 图像数据修正方法、装置、电子设备及自动驾驶车辆 | |
| CN112700657B (zh) | 用于生成检测信息的方法、装置、路侧设备和云控平台 | |
| CN113591847B (zh) | 一种车辆定位方法、装置、电子设备及存储介质 | |
| CN113408530B (zh) | 一种图像识别方法、装置、设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |