CN112712124A - 一种基于深度学习的多模块协同物体识别***及方法 - Google Patents

一种基于深度学习的多模块协同物体识别***及方法 Download PDF

Info

Publication number
CN112712124A
CN112712124A CN202011641665.2A CN202011641665A CN112712124A CN 112712124 A CN112712124 A CN 112712124A CN 202011641665 A CN202011641665 A CN 202011641665A CN 112712124 A CN112712124 A CN 112712124A
Authority
CN
China
Prior art keywords
video
module
data
neural network
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011641665.2A
Other languages
English (en)
Other versions
CN112712124B (zh
Inventor
奚照明
杨哲
邵强
梁昭
蔡达
张辉
马琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Aubang Transportation Facilities Engineering Co ltd
Original Assignee
Shandong Aubang Transportation Facilities Engineering Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Aubang Transportation Facilities Engineering Co ltd filed Critical Shandong Aubang Transportation Facilities Engineering Co ltd
Priority to CN202011641665.2A priority Critical patent/CN112712124B/zh
Publication of CN112712124A publication Critical patent/CN112712124A/zh
Application granted granted Critical
Publication of CN112712124B publication Critical patent/CN112712124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于深度学习技术领域，提供了一种基于深度学习的多模块协同物体识别***及方法。其中，该***包括集成于一体且协同工作的视频输入模块、视频处理子***模块、智能视频引擎模块、神经网络加速引擎模块、视频图形子***模块和视频输出模块。其利用多模块协同，实现物体的实时识别，解决了现在需将摄像头图像上传至服务器进行识别处理的问题，避免了网络延迟或网络带宽的限制造成的时间延迟，实现了真正的实时识别。

Description

一种基于深度学习的多模块协同物体识别***及方法
技术领域
本发明属于深度学习技术领域，尤其涉及一种基于深度学习的多模块协同物体识别***及方法。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
视觉信息处理是基于外部感知数据构建模拟人类视觉能力的智能***并对目标进行判断和识别，其中，物体识别是视觉信息处理技术的基础。随着计算机与智能终端的普及和互联网的迅猛发展，图像视频大数据应用领域的迅速延伸对物体识别技术提出了挑战。现在的物体识别技术应具有高效率、高性能甚至智能化的特点。
鉴于效率和性能的权衡以及智能化等需求，深度学习凭借强大的建模和数据表征能力迅速成为计算机视觉的研究热点。深度学习通过低层信号到高层特征的函数映射，来建立学习数据内部隐含关系的逻辑层次模型，以模仿人脑的视觉认知推理过程，从而使习的特征具有更强的泛化能力和表达能力。
然而，发明人发现，随着视频图像质量的增加，现有的5G网络基础建设并未覆盖全面，4G网络带宽无法满足高质量视频图像的真正意义上的实时传输，由计算机接收现场传回的数据再进行进一步的计算机视觉处理物体识别，更加无法保证物体识别的实时性。
发明内容
为了解决上述背景技术中存在的至少一项技术问题，本发明提供一种基于深度学习的多模块协同物体识别***及方法，其利用多模块协同能够实现物体的实时识别。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种基于深度学习的多模块协同物体识别***。
一种基于深度学习的多模块协同物体识别***，包括集成于一体且协同工作的视频输入模块、视频处理子***模块、智能视频引擎模块、神经网络加速引擎模块、视频图形子***模块和视频输出模块；
视频输入模块，用于接收实时视频数据并将其存入指定的内存区域；
视频处理子***模块，用于调取内存区域的原始视频数据并将其分解为基础视频数据和扩展视频数据；
智能视频引擎模块，用于将当前扩展视频数据中的图像帧数据转化为神经网络模型相匹配的图像格式的帧数据；
神经网络加速引擎模块，用于获取格式转化后的帧数据，通过神经网络模型识别得到物体的类别与轮廓四点坐标位置信息；
视频图形子***模块，用于获取基础视频数据，再基于物体的类别及轮廓四点坐标位置信息，在基础视频数据中勾画出识别物体的轮廓框；
视频输出模块，用于输出带有识别物体轮廓框的视频图像数据。
作为一种实施方式，基础视频数据保持原始视频数据的分辨率。
上述技术方案的优点在于，这样能够保障与原始数据数据一致，能够更准确地将后期识别出的物体轮廓框还原至原始视频数据中。
作为一种实施方式，扩展视频数据的分辨率与神经网络加速引擎模块内的神经网络模型相匹配。
上述技术方案的优点在于，这样能够与神经网络模型相匹配，为神经网络模型提供数据基础。
作为一种实施方式，视频输入模块、视频处理子***模块、智能视频引擎模块、神经网络加速引擎模块、视频图形子***模块和视频输出模块均在接收启动命令后启动并同时均进行初始化操作。
上述技术方案的优点在于，对上述模块进行初始化，能够保障后期数据处理的准确性。
作为一种实施方式，在初始化操作过程中，神经网络加速引擎模块的初始化包括加载特定格式的已经训练好的神经网络模型。
上述技术方案的优点在于，这样在加载前，需要提前将计算机中训练好的神经网络模型进行格式转化，转化为神经网络加速引擎模块可加载的特定格式，提高了视频图像数据处理的效率。
作为一种实施方式，所述视频处理子***模块、智能视频引擎模块、神经网络加速引擎模块、视频图形子***模块和视频输出模块间进行多线程并行操作；其中，视频处理子***模块、神经网络加速引擎模块、视频图形子***模块和视频输出模块间进行VitoVo线程操作；智能视频引擎模块和神经网络加速引擎模块之间进行detect线程操作。
上述技术方案的优点在于，并行线程操作，能够提高视频数据的处理效率，保障物体识别的实时性。
作为一种实施方式，在VitoVo线程操作中，从扩展视频帧数据提取帧数据，放入帧数据链表中；在detect线程操作中，从帧数据链表按顺序取出帧数据，判断该帧数据是否进行识别，并根据是否进行识别的结果定义标志位，将标志位与帧号存入标志位链表中。
作为一种实施方式，在VitoVo线程操作中，从识别结果链表中按顺序取出帧数据的物体识别结果与帧号，帧数据的物体识别结果与帧号是在识别detect线程中由神经网络加速引擎模块识别得到并被存入识别结果链表中的。
上述技术方案的优点在于，利用标志位检测相应线程，保障相应线程中视频图像处理的顺序，避免视频图像的遗漏。
本发明的第二个方面提供一种基于深度学习的多模块协同物体识别方法。
一种基于深度学习的多模块协同物体识别***的识别方法，包括：
接收启动命令并初始化视频输入模块、视频处理子***模块、智能视频引擎模块、神经网络加速引擎模块、视频图形子***模块和视频输出模块；
利用视频输入模块接收实时视频数据并将其存入指定的内存区域；
利用视频处理子***模块调取内存区域的原始视频数据并将其分解为基础视频数据和扩展视频数据；
利用智能视频引擎模将当前扩展视频数据中的图像帧数据转化为神经网络模型相匹配的图像格式的帧数据；
利用神经网络加速引擎模块获取格式转化后的帧数据，通过神经网络模型识别得到物体的类别与轮廓四点坐标位置信息；
利用视频图形子***模块获取基础视频数据，再基于物体的类别及轮廓四点坐标位置信息，在基础视频数据中勾画出识别物体的轮廓框；
利用视频输出模块输出带有识别物体轮廓框的视频图像数据。
作为一种实施方式，所述基于深度学习的多模块协同物体识别***的识别方法还包括识别detect线程与VitoVo线程，这两个线程并行执行。
与现有技术相比，本发明的有益效果在于：
本发明利用多模块协同，实现物体的实时识别，解决了现在需将摄像头图像上传至服务器进行识别处理的问题，避免了网络延迟或网络带宽的限制造成的时间延迟，实现了真正的实时识别；
本发明的视频处理子***模块、智能视频引擎模块、神经网络加速引擎模块、视频图形子***模块和视频输出模块间进行多线程并行操作，而且采用智能视频引擎模块将输入图像格式转化为模型所需图像格式，降低了CPU使用率，缩短了图像处理时间，保障了图像中物体识别的实时性。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例的基于深度学习的多模块协同物体识别***结构示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
术语解释：
VitoVo线程：输入到输出线程。
detect线程：物体识别检测线程。
实施例一
参照图1，本实施例的基于深度学习的多模块协同物体识别***，包括集成于一体且协同工作的视频输入模块、视频处理子***模块、智能视频引擎模块、神经网络加速引擎模块、视频图形子***模块和视频输出模块。
在具体实施中，为了保障后期数据处理的准确性，视频输入模块、视频处理子***模块、智能视频引擎模块、神经网络加速引擎模块、视频图形子***模块和视频输出模块均在接收启动命令后启动并同时均进行初始化操作。
在初始化操作过程中，神经网络加速引擎模块的初始化包括加载特定格式的已经训练好的神经网络模型。在加载前，需要提前将计算机中训练好的神经网络模型进行格式转化，转化为神经网络加速引擎模块可加载的特定格式，提高了视频图像数据处理的效率。
作为一种具体实施方式，神经网络模型的训练过程为：
采集不同场景下的包含待检测物体的图片，将图片进行统一化处理，对待检测物体类别进行标注，形成样本集；样本集分为训练集与测试集；
选择训练集合的一个样本(Ai Bi)；其中，Bi为数据，Ai为标签；
送入网络，计算网络的实际输出Y；此时网络中的权重都是随机的；
计算误差D＝Bi-Y(预测值Bi与实际值Y的差)；
根据误差D调整权值矩阵W；
对每个样本重复上述过程，直到对整个训练集来说，误差不超过规定范围。
在本实施例中，场景包括但不限于白天、夜晚、雨天、雪天、雾天等。
本实施例中采用yolov3神经网络模型。Caffe框架进行模型训练。与前端芯片支持深度学习框架caffe一致，并将其转化为神经网络加速引擎模块能够支持的格式。
此处需要说明的是，神经网络模型也可为其他现有的网络结构，本领域技术人员可根据实际情况来具体选择，此处不再详述。
具体地，视频输入模块用于接收实时视频数据并将其存入指定的内存区域。
例如：视频输入模块通过MIPI(Mobile Industry Processor Interface，移动产业处理器接口)接收摄像头拍摄的实时视频数据，对接收到的原始视频图像数据进行处理，实现视频数据的采集；视频输入模块将接收到的数据存入到指定的内存区域。
具体地，视频处理子***模块用于调取内存区域的原始视频数据并将其分解为基础视频数据和扩展视频数据。
其中，基础视频数据保持原始视频数据的分辨率。扩展视频数据的分辨率与神经网络加速引擎模块内的神经网络模型相匹配。
这样能够保障与原始数据数据一致，能够更准确地将后期识别出的物体轮廓框还原至原始视频数据中，扩展视频数据的分辨率能够与神经网络模型相匹配，为神经网络模型提供数据基础。
具体地，智能视频引擎模块用于将当前扩展视频数据中的图像帧数据转化为神经网络模型相匹配的图像格式的帧数据。
在本实施例中，当前扩展视频数据中的图像帧数据为yuv格式，本实施例的神经网络模型相匹配的图像格式为rgb格式。
具体地，神经网络加速引擎模块用于获取格式转化后的帧数据，通过神经网络模型识别得到物体的类别与轮廓四点坐标位置信息。
具体地，视频图形子***模块用于获取基础视频数据，再基于物体的类别及轮廓四点坐标位置信息，在基础视频数据中勾画出识别物体的轮廓框。
具体地，视频输出模块，用于输出带有识别物体轮廓框的视频图像数据。
在具体实施中，所述视频处理子***模块、智能视频引擎模块、神经网络加速引擎模块、视频图形子***模块和视频输出模块间进行多线程并行操作；其中，视频处理子***模块、神经网络加速引擎模块、视频图形子***模块和视频输出模块间进行VitoVo线程操作；智能视频引擎模块和神经网络加速引擎模块之间进行detect线程操作。其中，并行线程操作，能够提高视频数据的处理效率，保障物体识别的实时性。
在VitoVo线程中：
视频处理子***模块将视频输入模块采集的视频数据分解为基础视频数据和扩展视频数据后，从扩展视频帧数据提取帧数据，放入帧数据链表中；
从标志位链表中按顺序取出帧数据的标志位与帧号，帧数据的标志位是在识别detect线程中被存入标志位链表中的；
标志位代表着该帧数据是否用于物体识别；因为在神经网络加速引擎模块中的物体识别帧率小于视频输入模块对视频数据的采样帧率，在本实施例中采用抽帧识别的方式，用标志位标记帧数据是否被用于物体识别；
从识别结果链表中按顺序取出帧数据的物体识别结果与帧号，帧数据的物体识别结果与帧号是在识别detect线程中由神经网络加速引擎模块识别得到并被存入识别结果链表中的；识别结果包括物体类别与轮廓四点坐标位置信息；
视频图形子***模块获取基础视频数据，在基础视频数据中根据神经网络加速引擎模块得到的轮廓四点坐标位置信息画出识别物体的轮廓框；
视频输出模块输出带有识别物体轮廓框的视频图像数据。
识别detect线程中：
从帧数据链表按顺序取出帧数据，判断该帧数据是否进行识别，并根据是否进行识别的结果定义标志位，将标志位与帧号存入标志位链表中；
采用智能视频引擎模块将输入图像格式的帧数据转化为模型所需图像格式的帧数据，
采用神经网络加速引擎模块获取格式转化后的帧数据，通过神经网络模型识别得到物体的类别与轮廓四点坐标位置信息；将物体的类别与轮廓四点坐标位置信息与帧号存入识别结果链表中。
本实施例利用标志位检测相应线程，保障相应线程中视频图像处理的顺序，避免视频图像的遗漏。
本实施例利用多模块协同，实现物体的实时识别，解决了现在需将摄像头图像上传至服务器进行识别处理的问题，避免了网络延迟或网络带宽的限制造成的时间延迟，实现了真正的实时识别。
本实施例的基于深度学习的多模块协同物体识别***的识别方法，包括：
S101：接收启动命令并初始化视频输入模块、视频处理子***模块、智能视频引擎模块、神经网络加速引擎模块、视频图形子***模块和视频输出模块；
S102：利用视频输入模块接收实时视频数据并将其存入指定的内存区域；
S103：利用视频处理子***模块调取内存区域的原始视频数据并将其分解为基础视频数据和扩展视频数据；
S104：利用智能视频引擎模将当前扩展视频数据中的图像帧数据转化为神经网络模型相匹配的图像格式的帧数据；
S105：利用神经网络加速引擎模块获取格式转化后的帧数据，通过神经网络模型识别得到物体的类别与轮廓四点坐标位置信息；
S106：利用视频图形子***模块获取基础视频数据，再基于物体的类别及轮廓四点坐标位置信息，在基础视频数据中勾画出识别物体的轮廓框；
S107：利用视频输出模块输出带有识别物体轮廓框的视频图像数据。
在一些实施例中，所述基于深度学习的多模块协同物体识别***的识别方法还包括识别detect线程与VitoVo线程，这两个线程并行执行。
本实施例的视频处理子***模块、智能视频引擎模块、神经网络加速引擎模块、视频图形子***模块和视频输出模块间进行多线程并行操作，而且采用智能视频引擎模块将输入图像格式转化为模型所需图像格式，降低了CPU使用率，缩短了图像处理时间，保障了图像中物体识别的实时性。
此外，需要说明的是，本实施例不仅可以实现动态视频中的物体识别，同样可以进行静态图像的识别，输入图像(图片/视频)静态图像/动态图像。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的多模块协同物体识别***，其特征在于，包括集成于一体且协同工作的视频输入模块、视频处理子***模块、智能视频引擎模块、神经网络加速引擎模块、视频图形子***模块和视频输出模块；
视频输入模块，用于接收实时视频数据并将其存入指定的内存区域；
视频处理子***模块，用于调取内存区域的原始视频数据并将其分解为基础视频数据和扩展视频数据；
智能视频引擎模块，用于将当前扩展视频数据中的图像帧数据转化为神经网络模型相匹配的图像格式的帧数据；
神经网络加速引擎模块，用于获取格式转化后的帧数据，通过神经网络模型识别得到物体的类别与轮廓四点坐标位置信息；
视频图形子***模块，用于获取基础视频数据，再基于物体的类别及轮廓四点坐标位置信息，在基础视频数据中勾画出识别物体的轮廓框；
视频输出模块，用于输出带有识别物体轮廓框的视频图像数据。
2.如权利要求1所述的基于深度学习的多模块协同物体识别***，其特征在于，基础视频数据保持原始视频数据的分辨率。
3.如权利要求1所述的基于深度学习的多模块协同物体识别***，其特征在于，扩展视频数据的分辨率与神经网络加速引擎模块内的神经网络模型相匹配。
4.如权利要求1所述的基于深度学习的多模块协同物体识别***，其特征在于，视频输入模块、视频处理子***模块、智能视频引擎模块、神经网络加速引擎模块、视频图形子***模块和视频输出模块均在接收启动命令后启动并同时均进行初始化操作。
5.如权利要求4所述的基于深度学习的多模块协同物体识别***，其特征在于，在初始化操作过程中，神经网络加速引擎模块的初始化包括加载特定格式的已经训练好的神经网络模型。
6.如权利要求1所述的基于深度学习的多模块协同物体识别***，其特征在于，所述视频处理子***模块、智能视频引擎模块、神经网络加速引擎模块、视频图形子***模块和视频输出模块间进行多线程并行操作；其中，视频处理子***模块、神经网络加速引擎模块、视频图形子***模块和视频输出模块间进行VitoVo线程操作；智能视频引擎模块和神经网络加速引擎模块之间进行detect线程操作。
7.如权利要求6所述的基于深度学习的多模块协同物体识别***，其特征在于，在VitoVo线程操作中，从扩展视频帧数据提取帧数据，放入帧数据链表中；在detect线程操作中，从帧数据链表按顺序取出帧数据，判断该帧数据是否进行识别，并根据是否进行识别的结果定义标志位，将标志位与帧号存入标志位链表中。
8.如权利要求6所述的基于深度学习的多模块协同物体识别***，其特征在于，在VitoVo线程操作中，从识别结果链表中按顺序取出帧数据的物体识别结果与帧号，帧数据的物体识别结果与帧号是在识别detect线程中由神经网络加速引擎模块识别得到并被存入识别结果链表中的。
9.一种如权利要求1-8中任一项所述的基于深度学习的多模块协同物体识别***的识别方法，其特征在于，包括：
接收启动命令并初始化视频输入模块、视频处理子***模块、智能视频引擎模块、神经网络加速引擎模块、视频图形子***模块和视频输出模块；
利用视频输入模块接收实时视频数据并将其存入指定的内存区域；
利用视频处理子***模块调取内存区域的原始视频数据并将其分解为基础视频数据和扩展视频数据；
利用智能视频引擎模将当前扩展视频数据中的图像帧数据转化为神经网络模型相匹配的图像格式的帧数据；
利用神经网络加速引擎模块获取格式转化后的帧数据，通过神经网络模型识别得到物体的类别与轮廓四点坐标位置信息；
利用视频图形子***模块获取基础视频数据，再基于物体的类别及轮廓四点坐标位置信息，在基础视频数据中勾画出识别物体的轮廓框；
利用视频输出模块输出带有识别物体轮廓框的视频图像数据。
10.如权利要求9所述的识别方法，其特征在于，还包括识别detect线程与VitoVo线程，这两个线程并行执行。
CN202011641665.2A 2020-12-31 2020-12-31 一种基于深度学习的多模块协同物体识别***及方法 Active CN112712124B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011641665.2A CN112712124B (zh) 2020-12-31 2020-12-31 一种基于深度学习的多模块协同物体识别***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011641665.2A CN112712124B (zh) 2020-12-31 2020-12-31 一种基于深度学习的多模块协同物体识别***及方法

Publications (2)

Publication Number Publication Date
CN112712124A true CN112712124A (zh) 2021-04-27
CN112712124B CN112712124B (zh) 2021-12-10

Family

ID=75548036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011641665.2A Active CN112712124B (zh) 2020-12-31 2020-12-31 一种基于深度学习的多模块协同物体识别***及方法

Country Status (1)

Country Link
CN (1) CN112712124B (zh)

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101425137A (zh) * 2008-11-10 2009-05-06 北方工业大学 基于拉普拉斯金字塔的人脸图像融合方法
WO2009058978A1 (en) * 2007-10-30 2009-05-07 Schlumberger Technology Corporation Chromatography data processing method and system
CN103955691A (zh) * 2014-05-08 2014-07-30 中南大学 一种多分辨率lbp的纹理特征提取方法
CN105551036A (zh) * 2015-12-10 2016-05-04 中国科学院深圳先进技术研究院 一种深度学习网络的训练方法和装置
CN106355573A (zh) * 2016-08-24 2017-01-25 北京小米移动软件有限公司 图片中目标物的定位方法及装置
CN106778773A (zh) * 2016-11-23 2017-05-31 北京小米移动软件有限公司 图片中目标物的定位方法及装置
CN107016344A (zh) * 2017-03-08 2017-08-04 上海极链网络科技有限公司 视频中品牌识别***及其实现方法
CN107368886A (zh) * 2017-02-23 2017-11-21 奥瞳***科技有限公司 基于重复使用小规模卷积神经网络模块的神经网络***
CN108038544A (zh) * 2017-12-04 2018-05-15 华南师范大学 基于大数据和深度学习的神经网络深度学习方法和***
CN108319968A (zh) * 2017-12-27 2018-07-24 中国农业大学 一种基于模型融合的果蔬图像分类识别方法及***
CN108898086A (zh) * 2018-06-20 2018-11-27 腾讯科技（深圳）有限公司 视频图像处理方法及装置、计算机可读介质和电子设备
CN109165662A (zh) * 2018-07-03 2019-01-08 哈尔滨工业大学（威海） 基于深度学习的消化道内壁病变类型智能识别方法及装置
CN109376637A (zh) * 2018-10-15 2019-02-22 齐鲁工业大学 基于视频监控图像处理的人数统计***
CN109726751A (zh) * 2018-12-21 2019-05-07 北京工业大学 基于深度卷积神经网络识别脑电成像图的方法
CN110021014A (zh) * 2019-03-29 2019-07-16 无锡祥生医疗科技股份有限公司 基于神经网络的神经组织识别方法、***及存储介质
CN110287875A (zh) * 2019-06-25 2019-09-27 腾讯科技（深圳）有限公司 视频目标的检测方法、装置、电子设备和存储介质
CN110619747A (zh) * 2019-09-27 2019-12-27 山东奥邦交通设施工程有限公司 一种高速公路道路智能监控方法及***
US20200097773A1 (en) * 2016-11-23 2020-03-26 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
US20200106930A1 (en) * 2017-06-15 2020-04-02 Sharp Kabushiki Kaisha Video processing device, display device, video processing method, and control computer-readable storage medium
CN111339990A (zh) * 2020-03-13 2020-06-26 乐鑫信息科技（上海）股份有限公司 一种基于人脸特征动态更新的人脸识别***和方法
CN111553213A (zh) * 2020-04-17 2020-08-18 大连理工大学 移动边缘云中实时分布式的身份感知行人属性识别方法
CN111709306A (zh) * 2020-05-22 2020-09-25 江南大学 一种基于多层次时空特征融合增强的双流网络行为识别方法

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009058978A1 (en) * 2007-10-30 2009-05-07 Schlumberger Technology Corporation Chromatography data processing method and system
CN101425137A (zh) * 2008-11-10 2009-05-06 北方工业大学 基于拉普拉斯金字塔的人脸图像融合方法
CN103955691A (zh) * 2014-05-08 2014-07-30 中南大学 一种多分辨率lbp的纹理特征提取方法
CN105551036A (zh) * 2015-12-10 2016-05-04 中国科学院深圳先进技术研究院 一种深度学习网络的训练方法和装置
CN106355573A (zh) * 2016-08-24 2017-01-25 北京小米移动软件有限公司 图片中目标物的定位方法及装置
US20200097773A1 (en) * 2016-11-23 2020-03-26 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
CN106778773A (zh) * 2016-11-23 2017-05-31 北京小米移动软件有限公司 图片中目标物的定位方法及装置
CN107368886A (zh) * 2017-02-23 2017-11-21 奥瞳***科技有限公司 基于重复使用小规模卷积神经网络模块的神经网络***
CN107016344A (zh) * 2017-03-08 2017-08-04 上海极链网络科技有限公司 视频中品牌识别***及其实现方法
US20200106930A1 (en) * 2017-06-15 2020-04-02 Sharp Kabushiki Kaisha Video processing device, display device, video processing method, and control computer-readable storage medium
CN108038544A (zh) * 2017-12-04 2018-05-15 华南师范大学 基于大数据和深度学习的神经网络深度学习方法和***
CN108319968A (zh) * 2017-12-27 2018-07-24 中国农业大学 一种基于模型融合的果蔬图像分类识别方法及***
CN108898086A (zh) * 2018-06-20 2018-11-27 腾讯科技（深圳）有限公司 视频图像处理方法及装置、计算机可读介质和电子设备
CN109165662A (zh) * 2018-07-03 2019-01-08 哈尔滨工业大学（威海） 基于深度学习的消化道内壁病变类型智能识别方法及装置
CN109376637A (zh) * 2018-10-15 2019-02-22 齐鲁工业大学 基于视频监控图像处理的人数统计***
CN109726751A (zh) * 2018-12-21 2019-05-07 北京工业大学 基于深度卷积神经网络识别脑电成像图的方法
CN110021014A (zh) * 2019-03-29 2019-07-16 无锡祥生医疗科技股份有限公司 基于神经网络的神经组织识别方法、***及存储介质
CN110287875A (zh) * 2019-06-25 2019-09-27 腾讯科技（深圳）有限公司 视频目标的检测方法、装置、电子设备和存储介质
CN110619747A (zh) * 2019-09-27 2019-12-27 山东奥邦交通设施工程有限公司 一种高速公路道路智能监控方法及***
CN111339990A (zh) * 2020-03-13 2020-06-26 乐鑫信息科技（上海）股份有限公司 一种基于人脸特征动态更新的人脸识别***和方法
CN111553213A (zh) * 2020-04-17 2020-08-18 大连理工大学 移动边缘云中实时分布式的身份感知行人属性识别方法
CN111709306A (zh) * 2020-05-22 2020-09-25 江南大学 一种基于多层次时空特征融合增强的双流网络行为识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAMDI AGUIR等: "Parameter identification of an elastoplastic behavior using artificial neural networks-genetic algorithm method", 《MATERIALS AND DESIGN》 *
于海彬: "智能监控***的运动目标检测跟踪算法研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
CN112712124B (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
CN111784685A (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
CN109711407B (zh) 一种车牌识别的方法及相关装置
CN110930296B (zh) 图像处理方法、装置、设备及存储介质
CN112183482A (zh) 危险驾驶行为识别方法、装置、***及可读存储介质
CN110929795B (zh) 高速焊线机焊点快速识别与定位方法
CN110689539A (zh) 一种基于深度学习的工件表面缺陷检测方法
CN106845434B (zh) 一种基于支持向量机的图像型机房漏水监测方法
CN110807775A (zh) 基于人工智能的中医舌像分割装置、方法及存储介质
CN111414916A (zh) 图像中文本内容提取生成方法、装置及可读存储介质
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN112950642A (zh) 点云实例分割模型的训练方法、装置、电子设备和介质
CN116524195B (zh) 语义分割方法、装置、电子设备及存储介质
CN111046746A (zh) 一种车牌检测方法及装置
CN108900895B (zh) 一种对视频流的目标区域的屏蔽方法及其装置
CN112686314B (zh) 基于远距离拍摄场景的目标检测方法、装置及存储介质
US9311523B1 (en) Method and apparatus for supporting object recognition
CN113052295B (zh) 一种神经网络的训练方法、物体检测方法、装置及设备
CN108877030A (zh) 图像处理方法、装置、终端和计算机可读存储介质
CN112712124B (zh) 一种基于深度学习的多模块协同物体识别***及方法
CN117437186A (zh) 一种基于深度学习算法的透明件表面缺陷检测方法及***
CN112037255A (zh) 目标跟踪方法和装置
CN115063348A (zh) 一种零件表面缺陷检测方法、装置、设备及介质
CN110427920B (zh) 一种面向监控环境的实时行人解析方法
CN114037646A (zh) 基于物联网的智能图像检测方法、***、可读介质、设备
CN113052176A (zh) 一种字符识别模型训练方法、装置及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Xi Zhaoming

Inventor after: Yang Zhe

Inventor after: Shao Qiang

Inventor after: Liang Zhao

Inventor after: Cai Da

Inventor after: Zhang Hui

Inventor after: Ma Lin

Inventor before: Xi Zhaoming

Inventor before: Yang Zhe

Inventor before: Shao Qiang

Inventor before: Liang Zhao

Inventor before: Cai Da

Inventor before: Zhang Hui

Inventor before: Ma Lin

CB03 Change of inventor or designer information