CN114915787B - 视频流和ai模型的调度管理***、方法、装置及存储介质 - Google Patents
视频流和ai模型的调度管理***、方法、装置及存储介质 Download PDFInfo
- Publication number
- CN114915787B CN114915787B CN202210550236.7A CN202210550236A CN114915787B CN 114915787 B CN114915787 B CN 114915787B CN 202210550236 A CN202210550236 A CN 202210550236A CN 114915787 B CN114915787 B CN 114915787B
- Authority
- CN
- China
- Prior art keywords
- model
- video stream
- reasoning
- video
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000007726 management method Methods 0.000 claims description 50
- 230000008569 process Effects 0.000 claims description 12
- 230000007717 exclusion Effects 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 23
- 238000004891 communication Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000002955 isolation Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明提出的一种视频流和AI模型的调度管理***、方法、装置及存储介质，所述***包括：视频流解码模块、调度引擎模块和推送展示模块；所述视频流解码模块，用于通过解码芯片对视频流进行解码；所述调度引擎模块，用于将每路视频的图像数据与所用的模型算法进行隔离，根据预设模型配置信息确定需要处理的视频，并到对应的视频数据位置获取图片，在调用模型算法进行推理；所述推送展示模块，用于根据推理结果保存相应的类别识别框，把每个模型所生成类别识别框汇总到原始视频流，以生成推送结果并推送到相应的展示位置或告警位置。本发明通过解码芯片解码、内存区域管理及多线程同步组合使用，来实现视频流解码，图像数据快速存取及AI模型推理调度，完成批量视频流及批量AI模型的调度管理。
Description
技术领域
本发明涉及计算机技术领域，更具体的说是涉及一种视频流和AI模型的调度管理***、方法、装置及存储介质。
背景技术
近几年伴随人工智能技术的发展，特别是深度学习领域，越来越多的新技术开应用于人们的生产、生活中。目前，AI已经在金融、医疗、工业制造及安防等多个领域实现了技术落地，而且应用场景也越来越丰富，引发了各个行业的深刻变革。未来AI的发展将是技术与产业的结合，实现AI技术赋能各行各业，解决痛点、创造价值、降本增效。
当前人工智能的大爆发正是由深度学习引起的。深度学习就是用深度神经网络来自动学习对象特征，然后让深度神经网络具备识别对象的能力。而图像识别作为深度学习应用(如CNN，RNN)的重要方向，应用已越来越广泛。在智能驾驶、人脸识别、医学影像识别，工业质检等领域也都有较成熟的应用。
现实生产中，现场部署需要接入大量的视频流数据，并调用大量AI模型进行推理计算。
目前大多数AI视频处理都是一对一或者一对多，当出现批量视频流及AI模型处理时(如金融场景下，200路视频流对应54个算法模型)，***调度要么不能处理，要么处理时间让人无法忍受。
基于上述原因，在处理AI视频推理过程中，视频流及AI模型的调度策略显得尤为重要。当策略调度失当时，就会造成视频流处理时间过长不能满足业务需求或者算力资源的浪费。
发明内容
针对以上问题，本发明的目的在于提供一种视频流和AI模型的调度管理***、方法、装置及存储介质，通过解码芯片解码、内存区域管理及多线程同步组合使用，来实现视频流解码，图像数据快速存取及AI模型推理调度，完成批量视频流和AI模型的调度管理。
本发明为实现上述目的，通过以下技术方案实现：一种视频流和AI模型的调度管理***，包括：视频流解码模块、调度引擎模块和推送展示模块；
所述视频流解码模块，用于通过解码芯片对视频流进行解码；
所述调度引擎模块，用于将每路视频的图像数据与所用的模型算法进行隔离，根据预设模型配置信息确定需要处理的视频，并到对应的视频数据位置获取图片，在调用模型算法进行推理；
所述推送展示模块，用于根据推理结果保存相应的类别识别框，把每个模型所生成类别识别框汇总到原始视频流，以生成推送结果并推送到相应的展示位置或告警位置。
进一步，所述调度引擎模块包括视频流线程组和AI模型推理线程组；
所述视频流线程组，用于每路视频图像的读取及存储；
所述AI模型推理线程组，用于从内存中获取图像数据，并调用模型算法进行推理，将推理结果传送给推送展示模块。
进一步，所述视频流线程组，具体用于：
对解码后的图片进行存储，判断对应的图片存储内存位置是否已经上锁，如已上锁，证明此时有AI模型推理线程正在读取图片，则直接返回，等待下一帧图片的到来；如没有上锁，则改变该内存区域为独占状态，存储实时图片到其中，然后返回并释放该位置。
进一步，所述AI模型推理线程组，具体用于：
依据配置文件信息，在每次推理开始前到相应的内存位置区域读取图片信息；当对应位置区域被锁时，则直接返回，等待下一次的读取；如果没被占用，则改变该内存区域为独占，然后复制该内存数据图片，返回并释放该位置。
相应的，本发明还公开了一种视频流和AI模型的调度管理方法，包括：调用解码芯片指令对摄像头传输的视频流进行硬解码；
通过视频流管理线程组对解码后的图像进行读取和存储；
通过AI模型推理线程组对解码后的图像进行推理，并生成推理结果；
根据推理结果保存相应的类别识别框，把每个模型所生成类别识别框汇总到原始视频流，以生成推送结果并推送到相应的展示位置或告警位置。
进一步，所述通过AI模型推理线程组对解码后的图像进行推理，并生成推理结果，包括：
依据文件配置信息利用AI模型推理线程组到对应图像内存位置获取最新图片；获取图像信息后，调用模型算法和GPU资源进行推理；
推理完成后输出推理结果到对应存储位置。
进一步，所述视频流管理线程组和AI模型推理线程组之间通过互斥机制进行数据同步。
进一步，所述互斥机制包括：
将图像存储在内存连续的区域内，同时对图像的每张图片进行独立存储；
为每张图片的独立区域单独设置一个互斥量，用于标注数据的锁定状态，以使单张图片的存取，不影响相邻位置的数据；
当视频流管理线程组或AI模型推理线程组发现对应片存储位置被其他线程锁定时立即返回，进行下一个视频流图片位置的访问读取，以进行图片的扫描循环。
相应的，本发明公开了一种视频流和AI模型的调度管理装置，包括：
存储器，用于存储视频流和AI模型的调度管理程序；
处理器，用于执行所述视频流和AI模型的调度管理程序时实现如上文任一项所述视频流和AI模型的调度管理方法的步骤。
相应的，本发明公开了一种可读存储介质，所述可读存储介质上存储有视频流和AI模型的调度管理程序，所述视频流和AI模型的调度管理程序被处理器执行时实现如上文任一项所述视频流和AI模型的调度管理方法的步骤。
对比现有技术，本发明有益效果在于：本发明公开了一种视频流和AI模型的调度管理***、方法、装置及可读存储介质，通过结合视频流硬解码、线程组组合调度与内存区块管理等的方法有效结合，有效解决在批量视频流与多AI模型的调度推理的大延迟问题及推理结果展示问题。
本发明使用解码视频图像与推理过程的剥离，结合线程及内存数据管理的策略，使各视频流的推理过程快速实现，减少由于视频图片的调度等待时间的耗费。实现视频流的快速及时处理。同时在推理结果展示环节，只获取推理结果框图位置信息，与原始视频流合并，大幅减少巨量图片的内存复制，减少资源占用，提高整体推理性能。利用本发明可以快速部署视频及AI模型，针对批量视频及模型可实现快速的推理，大幅降低硬件算力成本。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
附图1是本发明具体实施方式的***结构图。
附图2是本发明具体实施方式的方法流程图。
图中，1为视频流解码模块；2为调度引擎模块；3为推送展示模块；21为视频流线程组；22为AI模型推理线程组。
具体实施方式
本发明的核心是提供一种视频流和AI模型的调度管理方法，现有技术中，多数的视频推理中一般一个应用推理几路视频，视频解析后的图像直接关联相关模型处理，但是随着更多场景的加入，需要同时处理的视频及模型越来越庞大，当前调度策略则不再适用。如在金融场景中，当待处理视频路数多到几百甚至上千路，对应模型数量多达几十个时，视频及模型的调度策略就显得尤为重要。
而本发明提供的视频流和AI模型的调度管理方法，利用不同线程组来实现批量视频流的读取与批量AI模型推理的隔离，二者通过有效的内存区块管理来实现快速的数据交互，从而实现批量视频流与批量AI的快速调度推理，大幅提高视频处理路数及推理效率，有效降低硬件成本。同时对推理结果展示部分，只获取推理框的位置信息，同步于原始视频流中，以缓解批量视频及算法乘数效应造成的巨量展示需求，提升性能及效果。最终以解决目前批量视频处理中大幅延迟及硬件成本高昂的问题。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
如图1所示，本实施例提供了一种视频流和AI模型的调度管理***，包括：视频流解码模块1、调度引擎模块2和推送展示模块3。
视频流解码模块1，用于通过解码芯片对视频流进行解码。
调度引擎模块2，用于将每路视频的图像数据与所用的模型算法进行隔离，根据预设模型配置信息确定需要处理的视频，并到对应的视频数据位置获取图片，在调用模型算法进行推理。
推送展示模块3，用于根据推理结果保存相应的类别识别框，把每个模型所生成类别识别框汇总到原始视频流，以生成推送结果并推送到相应的展示位置或告警位置。
具体的，调度引擎模块2包括视频流线程组21和AI模型推理线程组22。
视频流线程组21，用于每路视频图像的读取及存储；
AI模型推理线程组22，用于从内存中获取图像数据，并调用模型算法进行推理，将推理结果传送给推送展示模块3。
作为示例的，调度引擎模块2具体用于：通过视频流线程组21对解码后的图片进行存储，判断对应的图片存储内存位置是否已经上锁，如已上锁这直接返回(证明此时有AI推理线程正在读取图片)，等待下一帧图片的到来。如没有上锁改变该内存区域为独占状态，存储实时图片到其中，然后返回并释放该位置。同时AI模型推理线程组22会依据配置文件信息，每次推理开始前到相应的内存位置区域读取图片信息。当对应位置区域被锁时，则直接返回，等待下一次的读取。如果没被占用，则改变该内存区域为独占，然后复制该内存数据图片，返回并释放该位置。
具体的，调度引擎模块2能够对每路视频的图像数据做到与模型及算法的隔离，每路视频图像数据不再专属于某一模型，当模型配置信息中确定需要处理哪路视频时，自动到对应视频数据位置获取图片，再进行推理。这样如视频流数据1，可用于任意的模型处理，只需在配置文件指定即可。假设调度引擎模块2中的AI模型推理线程组22包括：模型A及相应的算法A、模型B及相应的算法B、模型X及相应的算法X处理结果，可以是1A,1B,1X等任何组合处理方式。
本实施例提供了一种视频流和AI模型的调度管理***，通过解码芯片解码、内存区域管理及多线程同步组合使用，来实现视频流解码，图像数据快速存取及AI模型推理调度，完成批量视频流和AI模型的调度管理。
实施例二：
基于实施例一，如图2所示，本发明还公开了一种视频流和AI模型的调度管理方法，包括如下步骤：
S1：调用解码芯片指令对摄像头传输的视频流进行硬解码。
S2：通过视频流管理线程组对解码后的图像进行读取和存储。
其中，视频流管理线程组能够对解码后的图片进行存储，判断对应的图片存储内存位置是否已经上锁，如已上锁这直接返回(证明此时有AI推理线程正在读取图片)，等待下一帧图片的到来。如没有上锁改变该内存区域为独占状态，存储实时图片到其中，然后返回并释放该位置。
S3：通过AI模型推理线程组对解码后的图像进行推理，并生成推理结果。
首先，依据文件配置信息利用AI模型推理线程组到对应图像内存位置获取最新图片。获取图像信息后，调用模型算法和GPU资源进行推理。推理完成后输出推理结果到对应存储位置。
其中，AI模型推理线程组会依据配置文件信息，每次推理开始前到相应的内存位置区域读取图片信息。当对应位置区域被锁时，则直接返回，等待下一次的读取。如果没被占用，则改变该内存区域为独占，然后复制该内存数据图片，返回并释放该位置。
S4：根据推理结果保存相应的类别识别框，把每个模型所生成类别识别框汇总到原始视频流，以生成推送结果并推送到相应的展示位置或告警位置。
上述几个步骤会一直处理无限循环中，检测到有的数据输入，就会进行处理，然后等待下一帧数据的输入。
需要特别说明的是，在本方法中，视频流管理线程组和AI模型推理线程组之间通过互斥机制进行数据同步。
具体的，互斥机制包括：
将图像存储在内存连续的区域内，同时对图像的每张图片进行独立存储；为每张图片的独立区域单独设置一个互斥量，用于标注数据的锁定状态，以使单张图片的存取，不影响相邻位置的数据；当视频流管理线程组或AI模型推理线程组发现对应片存储位置被其他线程锁定时立即返回，进行下一个视频流图片位置的访问读取，以进行图片的扫描循环。
可见，各线程及线程组之间的数据同步通过互斥锁进行。此处的处理方式为图片存储放在内存连续的区域内，方便查找，同时每张图片又是一个独立的个体，方便存取。同时改变连续内存区域使用一个互斥量的弊端，为每个独立区域单独加锁，任何图片存取，不影响相邻位置的数据，在推理循环过程中，当线程发现对应图像存储位置被其他线程锁定时立即返回，进行下一个视频流图片位置的访问读取，不进行等待，以此进行快速的扫描循环。
本实施例提供了一种视频流和AI模型的调度管理方法，利用不同线程组来实现批量视频流的读取与批量AI模型推理的隔离，二者通过有效的内存区块管理来实现快速的数据交互，从而实现批量视频流与批量AI的快速调度推理，大幅提高视频处理路数及推理效率，有效降低硬件成本。同时对推理结果展示部分，只获取推理框的位置信息，同步于原始视频流中，以缓解批量视频及算法乘数效应造成的巨量展示需求，提升性能及效果。最终以解决目前批量视频处理中大幅延迟及硬件成本高昂的问题。
实施例三：
本实施例公开了一种视频流和AI模型的调度管理装置，包括处理器和存储器；其中，所述处理器执行所述存储器中保存的视频流和AI模型的调度管理程序时实现以下步骤：
1、调用解码芯片指令对摄像头传输的视频流进行硬解码。
2、通过视频流管理线程组对解码后的图像进行读取和存储。
3、通过AI模型推理线程组对解码后的图像进行推理，并生成推理结果。
4、根据推理结果保存相应的类别识别框，把每个模型所生成类别识别框汇总到原始视频流，以生成推送结果并推送到相应的展示位置或告警位置。
进一步的，本实施例中的视频流和AI模型的调度管理装置，还可以包括：
输入接口，用于获取外界导入的视频流和AI模型的调度管理程序，并将获取到的视频流和AI模型的调度管理程序保存至所述存储器中，还可以用于获取外界终端设备传输的各种指令和参数，并传输至处理器中，以便处理器利用上述各种指令和参数展开相应的处理。本实施例中，所述输入接口具体可以包括但不限于USB接口、串行接口、语音输入接口、指纹输入接口、硬盘读取接口等。
输出接口，用于将处理器产生的各种数据输出至与其相连的终端设备，以便于与输出接口相连的其他终端设备能够获取到处理器产生的各种数据。本实施例中，所述输出接口具体可以包括但不限于USB接口、串行接口等。
通讯单元，用于在视频流和AI模型的调度管理装置和外部服务器之间建立远程通讯连接，以便于视频流和AI模型的调度管理装置能够将镜像文件挂载到外部服务器中。本实施例中，通讯单元具体可以包括但不限于基于无线通讯技术或有线通讯技术的远程通讯单元。
键盘，用于获取用户通过实时敲击键帽而输入的各种参数数据或指令。
显示器，用于运行服务器供电线路短路定位过程的相关信息进行实时显示。
鼠标，可以用于协助用户输入数据并简化用户的操作。
本实施例提供了一种视频流和AI模型的调度管理装置，通过结合视频流硬解码、线程组组合调度与内存区块管理等的方法有效结合，有效解决在批量视频流与多AI模型的调度推理的大延迟问题及推理结果展示问题。
实施例四：
本实施例还公开了一种可读存储介质，这里所说的可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动硬盘、CD-ROM或技术领域内所公知的任意其他形式的存储介质。可读存储介质中存储有视频流和AI模型的调度管理程序，所述视频流和AI模型的调度管理程序被处理器执行时实现以下步骤：
1、调用解码芯片指令对摄像头传输的视频流进行硬解码。
2、通过视频流管理线程组对解码后的图像进行读取和存储。
3、通过AI模型推理线程组对解码后的图像进行推理，并生成推理结果。
4、用于根据推理结果保存相应的类别识别框，把每个模型所生成类别识别框汇总到原始视频流，以生成推送结果并推送到相应的展示位置或告警位置。
本实施例提供了一种可读存储介质，使用解码视频图像与推理过程的剥离，结合线程及内存数据管理的策略，使各视频流的推理过程快速实现，减少由于视频图片的调度等待时间的耗费。实现视频流的快速及时处理。同时在推理结果展示环节，只获取推理结果框图位置信息，与原始视频流合并，大幅减少巨量图片的内存复制，减少资源占用，提高整体推理性能。
综上所述，本发明利用不同线程组来实现批量视频流的读取与批量AI模型推理的隔离，二者通过有效的内存区块管理来实现快速的数据交互，从而实现批量视频流与批量AI的快速调度推理，大幅提高视频处理路数及推理效率，有效降低硬件成本。同时对推理结果展示部分，只获取推理框的位置信息，同步于原始视频流中，以缓解批量视频及算法乘数效应造成的巨量展示需求，提升性能及效果。最终以解决目前批量视频处理中大幅延迟及硬件成本高昂的问题。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的方法而言，由于其与实施例公开的***相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的***、***和方法，可以通过其它的方式实现。例如，以上所描述的***实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，***或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。
同理，在本发明各个实施例中的各处理单元可以集成在一个功能模块中，也可以是各个处理单元物理存在，也可以两个或两个以上处理单元集成在一个功能模块中。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的视频流和AI模型的调度管理方法、***、装置及可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (4)
1.一种视频流和AI模型的调度管理***，其特征在于，包括：视频流解码模块、调度引擎模块和推送展示模块；
所述视频流解码模块，用于通过解码芯片对视频流进行解码；
所述调度引擎模块，用于将每路视频的图像数据与所用的模型算法进行隔离，根据预设模型配置信息确定需要处理的视频，并到对应的视频数据位置获取图片，在调用模型算法进行推理；
所述推送展示模块，用于根据推理结果保存相应的类别识别框，把每个模型所生成类别识别框汇总到原始视频流，以生成推送结果并推送到相应的展示位置或告警位置；
所述调度引擎模块包括视频流线程组和AI模型推理线程组；
所述视频流线程组，用于每路视频图像的读取及存储；
所述AI模型推理线程组，用于从内存中获取图像数据，并调用模型算法进行推理，将推理结果传送给推送展示模块；
所述视频流线程组，具体用于：
对解码后的图片进行存储，判断对应的图片存储内存位置是否已经上锁，如已上锁，证明此时有AI模型推理线程正在读取图片，则直接返回，等待下一帧图片的到来；如没有上锁，则改变所述图片存储内存位置对应的内存区域为独占状态，存储实时图片到其中，然后返回并释放该位置；
所述AI模型推理线程组，具体用于：
依据配置文件信息，在每次推理开始前到相应的内存位置区域读取图片信息；
当对应位置区域被锁时，则直接返回，等待下一次的读取；如果没被占用，则改变该内存区域为独占，然后复制所述内存位置区域内存储的数据图片，返回并释放该位置。
2.一种视频流和AI模型的调度管理方法，其特征在于，包括：
调用解码芯片指令对摄像头传输的视频流进行硬解码；
通过视频流管理线程组对解码后的图像进行读取和存储；
通过AI模型推理线程组对解码后的图像进行推理，并生成推理结果；
根据推理结果保存相应的类别识别框，把每个模型所生成类别识别框汇总到原始视频流，以生成推送结果并推送到相应的展示位置或告警位置；
所述通过AI模型推理线程组对解码后的图像进行推理，并生成推理结果，包括：
依据文件配置信息利用AI模型推理线程组到对应图像内存位置获取最新图片；
获取图像信息后，调用模型算法和GPU资源进行推理；
推理完成后输出推理结果到对应存储位置；
所述视频流管理线程组和AI模型推理线程组之间通过互斥机制进行数据同步；
所述互斥机制包括：
将图像存储在内存连续的区域内，同时对图像的每张图片进行独立存储；
为每张图片的独立区域单独设置一个互斥量，用于标注数据的锁定状态，以使单张图片的存取，不影响相邻位置的数据；
当视频流管理线程组或AI模型推理线程组发现对应片存储位置被其他线程锁定时立即返回，进行下一个视频流图片位置的访问读取，以进行图片的扫描循环。
3.一种视频流和AI模型的调度管理装置，其特征在于，包括：
存储器，用于存储视频流和AI模型的调度管理程序；
处理器，用于执行所述视频流和AI模型的调度管理程序时实现如权利要求2所述的视频流和AI模型的调度管理方法的步骤。
4.一种可读存储介质，其特征在于：所述可读存储介质上存储有视频流和AI模型的调度管理程序，所述视频流和AI模型的调度管理程序被处理器执行时实现如权利要求2所述的视频流和AI模型的调度管理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210550236.7A CN114915787B (zh) | 2022-05-20 | 2022-05-20 | 视频流和ai模型的调度管理***、方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210550236.7A CN114915787B (zh) | 2022-05-20 | 2022-05-20 | 视频流和ai模型的调度管理***、方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114915787A CN114915787A (zh) | 2022-08-16 |
| CN114915787B true CN114915787B (zh) | 2024-06-14 |
Family
ID=82768501
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210550236.7A Active CN114915787B (zh) | 2022-05-20 | 2022-05-20 | 视频流和ai模型的调度管理***、方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114915787B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103546726A (zh) * | 2013-10-28 | 2014-01-29 | 东南大学 | 违章用地的自动发现方法 |
| CN112052804A (zh) * | 2020-09-10 | 2020-12-08 | 公安部第三研究所 | 实现安全管理的视频智能分析及报警***及其方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6234660B2 (ja) * | 2012-04-27 | 2017-11-22 | 富士通株式会社 | 動画像復号装置 |
| US9451231B1 (en) * | 2013-03-15 | 2016-09-20 | Tribune Broadcasting Company, Llc | Systems and methods for switching between multiple software video players linked to a single output |
| CN113221706B (zh) * | 2021-04-30 | 2024-03-22 | 西安聚全网络科技有限公司 | 基于多进程的多路视频流的ai分析方法及*** |
| CN113869125A (zh) * | 2021-08-30 | 2021-12-31 | 浪潮软件科技有限公司 | 一种视频流的分析处理方法、装置、设备及可读存储介质 |
-
2022
- 2022-05-20 CN CN202210550236.7A patent/CN114915787B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103546726A (zh) * | 2013-10-28 | 2014-01-29 | 东南大学 | 违章用地的自动发现方法 |
| CN112052804A (zh) * | 2020-09-10 | 2020-12-08 | 公安部第三研究所 | 实现安全管理的视频智能分析及报警***及其方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114915787A (zh) | 2022-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111400008B (zh) | 计算资源调度方法、装置及电子设备 | |
| CN112181657B (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN111614769A (zh) | 一种深度学习技术的行为智能分析引擎***及控制方法 | |
| CN109922319A (zh) | 基于多核cpu的rtsp协议多视频流并行预处理方法 | |
| CN110427824B (zh) | 一种人工智能虚拟场景的安防自动测试方法及*** | |
| CN110555334B (zh) | 人脸特征确定方法、装置、存储介质及电子设备 | |
| CN111935663B (zh) | 传感器数据流的处理方法、装置、介质及电子设备 | |
| CN109450747A (zh) | 一种唤醒智能家居设备的方法、装置及计算机存储介质 | |
| CN116011562A (zh) | 算子处理方法及算子处理装置、电子设备和可读存储介质 | |
| CN117193992B (zh) | 模型训练方法、任务调度方法、装置以及计算机存储介质 | |
| CN114915787B (zh) | 视频流和ai模型的调度管理***、方法、装置及存储介质 | |
| CN103593239B (zh) | Linux***中应用进程命令处理的方法及装置 | |
| CN115527100B (zh) | 用于关联数据库的标识分析***及方法 | |
| CN116582646A (zh) | 一种自循环监控*** | |
| WO2023202006A1 (en) | Systems and methods for task execution | |
| CN111901561B (zh) | 监控***中的视频数据处理方法、装置、***及存储介质 | |
| CN112527497B (zh) | 一种序列化多线程数据处理*** | |
| Yin Albert et al. | Identifying and Monitoring Students’ Classroom Learning Behavior Based on Multisource Information | |
| CN114565773A (zh) | 语义分割图像的方法、装置、电子设备以及存储介质 | |
| CN112835625A (zh) | 流水线配置方法、装置、可读存储介质和电子设备 | |
| JP2002140717A (ja) | 画像処理方法及び装置、コンピュータプログラム | |
| CN117993509A (zh) | 图像推理方法、装置、***、电子设备及存储介质 | |
| CN117762602B (zh) | 面向边缘异构硬件的深度学习级联任务调度方法及装置 | |
| CN116980615A (zh) | 视频编解码方法、装置、计算机设备和存储介质 | |
| CN113688868B (zh) | 一种多线程的图像处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |