CN112541531A - 一种道路视频数据的采集处理***及方法 - Google Patents
一种道路视频数据的采集处理***及方法 Download PDFInfo
- Publication number
- CN112541531A CN112541531A CN202011411634.8A CN202011411634A CN112541531A CN 112541531 A CN112541531 A CN 112541531A CN 202011411634 A CN202011411634 A CN 202011411634A CN 112541531 A CN112541531 A CN 112541531A
- Authority
- CN
- China
- Prior art keywords
- target
- picture
- marking
- road
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 title claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 55
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 238000012790 confirmation Methods 0.000 claims abstract description 11
- 238000013135 deep learning Methods 0.000 claims abstract description 10
- 238000009432 framing Methods 0.000 claims description 16
- 238000012216 screening Methods 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims description 3
- 238000012552 review Methods 0.000 claims description 3
- 239000003550 marker Substances 0.000 description 6
- 238000013136 deep learning model Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种道路视频数据的采集处理***及方法,该采集处理***中,目标检测模型对道路视频数据包含的图片帧进行实时的道路目标检测并打标;目标检测提醒模块实时显示检测到的道路目标的类型进行提醒;用户命令接收模块接收用户发出的确认命令后,记录保存对应的图片帧的打标信息;图片抽取模块对道路视频数据转换成的图片帧进行图片抽取;利用深度学习技术辅助人工打标,检测到目标时将识别到目标的图像和目标框显示在电脑屏幕上,车上人员通过观察电脑显示器上出现的目标和车外实景判断识别是否正确,正确则自动记录打点记录相应信息,可以减少打标人员走神漏标和误标的情况的发生,提高了打标正确率,减少了漏标率。
Description
技术领域
本发明涉及数据采集领域,尤其涉及一种道路视频数据的采集处理***及方法。
背景技术
采集数据作为训练自动驾驶的重要数据来源之一,当前自动驾驶技术更是通过摄像头实时判断目标和场景信息,随着自动驾驶等级的提高,为了让摄像头更加精准的识别到特定目标,对训练数据集图片的要求同样也会迎来数量级的调高,此时就需要更加高效和便捷的方法高效率的获取大量训练图片和对应的打标文件。
传统方法为实车采集,打标人员在副驾驶标记目标类型和时间戳,之后再将采集的视频和打点信息存储在硬盘中寄回后人工对视频中的目标进行筛选、打标,走行过程中走行人员存在遗漏或误标现象,且走行过程中可能遇到堵车、红灯,造成采集到大量重复的场景图片不利于模型的训练,增加人工筛掉重复图片的人力。
发明内容
本发明针对现有技术中存在的技术问题,提供一种道路视频数据的采集处理***及方法,解决现有技术中问题。
本发明解决上述技术问题的技术方案如下:一种道路视频数据的采集处理***,包括:目标检测模型、目标检测提醒模块、用户命令接收模块和图片抽取模块;
所述目标检测模型基于深度学习训练得到,对道路视频数据包含的图片帧进行实时的道路目标检测并打标,并在检测到道路目标时将检测到的道路目标的类型发送给所述目标检测提醒模块;
所述目标检测提醒模块包括显示模块,所述显示模块实时显示检测到的道路目标的类型进行提醒;
所述用户命令接收模块接收用户发出的确认命令后,记录保存对应的所述图片帧的打标信息,发出图片抽取命令给所述图片抽取模块;
所述图片抽取模块在收到图片抽取命令后根据所述打标信息对所述道路视频数据转换成的图片帧对进行图片抽取。
一种道路视频数据的采集处理方法,包括:
步骤1,基于深度学习训练得到目标检测模型,通过所述目标检测模型对道路视频数据包含的图片帧进行实时的道路目标检测并打标;
步骤2,通过显示模块实时显示检测到的道路目标的类型对用户进行提醒;
步骤3,接收用户发出的确认命令后,记录保存对应的所述图片帧的打标信息;
步骤4,根据所述打标信息对所述道路视频数据转换成的图片帧对进行图片抽取。
本发明的有益效果是:本发明提出一种道路视频数据的采集处理***及方法,利用深度学习技术辅助人工打标,其中包含车线、障碍物、信号灯、特殊车辆类型、交通标志牌、道路类型等实时识别打标功能,检测到目标时将识别到目标的图像和目标框显示在电脑屏幕上,车上人员通过观察电脑显示器上出现的目标和车外实景判断识别是否正确,正确则自动记录打点记录相应信息,可以减少打标人员走神漏标和误标的情况的发生,提高了打标正确率,减少了漏标率;同时最终获取的图片,可用于目标检测模型的再训练,不断提升***的识别能力。
在上述技术方案的基础上,本发明还可以做如下改进。
进一步,所述图片帧的打标信息包括图片帧对应的速度、经纬度信息、时间戳、道路目标的类型和打框位置,所述打标信息以xml文件进行存储;
所述图片帧对应的速度和经纬度信息从所述道路视频数据来源车辆的GPS模块获取;所述图片帧的时间戳、道路目标的类型和目标的打框位置通过所述目标检测模型获取。
进一步,所述目标检测提醒模块还包括语音播报模块,所述语音播报模块存储有与所述道路目标的类型对应的语音信息;
在收到所述目标检测模型发送的所述道路目标的类型后播放对应的语音信息。
进一步,所述采集处理***还包括人工打标模块;所述人工打标模块接收用户通过打点工具记录的时间戳和目标类型存入该图片帧对应的打标信息中,并发出图片抽取命令给所述图片抽取模块。
进一步,所述图片抽取模块进行图片抽取的过程包括:将道路视频转换成图片帧,根据所述打标信息中的时间进行图片抽取,根据所述打标信息将经纬度一致且速度为0对应的重复图片帧筛掉只保留单张。
进一步,所述图片抽取模块根据所述打标信息中的时间戳进行图片抽取的过程中:
对于所述用户命令接收模块发出的图片抽取命令,抽取时间戳对应的图片;
对于所述人工打标模块发送的图片抽取命令,抽取打点时间前后设定时间范围内的图片,人工筛选剔除不包含道路目标的图片。
进一步,所述采集处理***还包括标注修正工具;
所述标注修正工具接受用户输入的命令根据所述图片帧和打标信息对所述打标信息那个的目标类型和打框位置进行复审和修正。
进一步,所述图片帧的打标信息包括图片帧对应的速度、经纬度信息、时间戳、道路目标的类型和打框位置,所述打标信息以xml文件进行存储;
所述步骤1之前还包括:从所述道路视频数据来源车辆的GPS模块获取所述图片帧对应的速度和经纬度信息存入所述图片帧对应的xml文件中;
所述步骤1还包括:获取所述图片帧的时间戳、道路目标的类型和目标的打框位置存入所述图片帧对应的xml文件中。
进一步,所述步骤4之前还包括:接收用户通过打点工具记录的时间戳和目标类型存入该图片帧对应的打标信息中;
所述步骤4进行图片抽取的过程包括:将道路视频转换成图片帧;
对于所述用户命令接收模块发出的图片抽取命令,抽取时间戳对应的图片;
对于所述人工打标模块发送的图片抽取命令,抽取打点时间前后设定时间范围内的图片,人工筛选剔除不包含道路目标的图片;
根据所述打标信息中的时间进行图片抽取,根据所述打标信息将经纬度一致且速度为0对应的重复图片帧筛掉只保留单张。
采用上述进一步方案的有益效果是:检测到目标时,触发对应类型标志物的语音播报提示,同时显示模块的屏幕弹出目标画面和框,提示车上打标人员通过显示模块进行确认;融合GPS数据中的位置和速度信息,能够自动化的抽取多样性场景的图片信息,减少在筛选去除重复场景和相似度极高图片上人力的花费,使采集到的场景图片更加多样化;通过标注修正工具接受用户输入的命令根据图片帧和打标信息对打标信息那个的目标类型和打框位置进行复审和修正。
附图说明
图1为本发明提供的一种道路视频数据的采集处理***的实施例的结构框图;
图2为本发明提供的一种道路视频数据的采集处理方法的实施例的流程图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
如图1所示为本发明提供的一种道路视频数据的采集处理***的实施例的结构框图,由图1可知,该采集处理***包括:目标检测模型、目标检测提醒模块、用户命令接收模块和图片抽取模块。
目标检测模型基于深度学习训练得到,对道路视频数据包含的图片帧进行实时的道路目标检测并打标,并在检测到道路目标时将检测到的道路目标的类型发送给目标检测提醒模块。
该道路目标为道路上的一些标志信息,例如包括:车道线、障碍物、特殊类型、车辆和交通标志牌。
该模型检测模块为训练好的对道路目标进行自动标注的深度学习模型,例如yolov3识别模型,根据公共数据集及公司项目路试采集的图片进行打标。
目标检测提醒模块包括显示模块,显示模块实时显示检测到的道路目标的类型进行提醒。
用户命令接收模块接收用户发出的确认命令后,记录保存对应的图片帧的打标信息,发出图片抽取命令给图片抽取模块。
显示模块向通过显示模块向用户显示目标检测模型自动检测到的道路目标及其类型,用户进行确认是否正确,在用户判断正确后,向用户命令接收模块发出确认命令。
图片抽取模块在收到图片抽取命令后根据打标信息对道路视频数据转换成的图片帧对进行图片抽取。
本发明提出一种道路视频数据的采集处理***,利用深度学习技术辅助人工打标,其中包含车线、障碍物、信号灯、特殊车辆类型、交通标志牌、道路类型等实时识别打标功能,检测到目标时将识别到目标的图像和目标框显示在电脑屏幕上,车上人员通过观察电脑显示器上出现的目标和车外实景判断识别是否正确,正确则自动记录打点记录相应信息,可以减少打标人员走神漏标和误标的情况的发生,提高了打标正确率,减少了漏标率;同时最终获取的图片,可用于目标检测模型的再训练,不断提升***的识别能力。
实施例1
本发明提供的实施例1为本发明提供的一种道路视频数据的采集处理***的实施例,结合图1可知,该采集处理***的实施例包括:目标检测模型、目标检测提醒模块、用户命令接收模块、人工打标模块、图片抽取模块和标注修正工具。
目标检测模型基于深度学习训练得到,对道路视频数据包含的图片帧进行实时的道路目标检测并打标,并在检测到道路目标时将检测到的道路目标的类型发送给目标检测提醒模块。
该模型检测模块为训练好的对道路目标进行自动标注的深度学习模型,本发明实施例中以yolov3识别模型进行说明。
目标检测提醒模块包括显示模块,显示模块实时显示检测到的道路目标的类型进行提醒。
优选的,该目标检测提醒模块还包括语音播报模块,语音播报模块存储有与道路目标的类型对应的语音信息。
在收到目标检测模型发送的道路目标的类型后播放对应的语音信息。
检测到目标时,触发对应类型标志物的语音播报提示,同时显示模块的屏幕弹出目标画面和框,提示车上打标人员通过显示模块进行确认。
用户命令接收模块接收用户发出的确认命令后,记录保存对应的图片帧的打标信息,发出图片抽取命令给图片抽取模块。
优选的,图片帧的打标信息包括图片帧对应的速度、经纬度信息、时间戳、道路目标的类型和打框位置,打标信息以xml文件进行存储。
图片帧对应的速度和经纬度信息从道路视频数据来源车辆的GPS模块获取;图片帧的时间戳、道路目标的类型和目标的打框位置通过目标检测模型获取。
具体实施过程中,前端的数据采集***主要包含车载摄像头、车载GPS模块和高性能笔记本电脑,摄像头和GPS模块连接电脑,将画面实时传入训练好的yoloV3识别模型中进行识别。
该道路视频数据的采集处理***连接道路视频数据来源车辆的摄像头模块和GPS模块到电脑,开始采集。人工和训练好的yolov3识别模型同时对前方道路景象进行监控。
通过电脑读取GPS模块自动记录每帧图片对应的速度和经纬度信息到xml文件,同时将每帧图片传入yolov3识别模型进行检测,检测到目标时提醒工作人员,人工确认识别正确后,记录时间戳、目标类型和打框位置添加到xml文件中。
融合GPS数据中的位置和速度信息,能够自动化的抽取多样性场景的图片信息,减少在筛选去除重复场景和相似度极高图片上人力的花费,使采集到的场景图片更加多样化。
人工打标模块接收用户通过打点工具记录的时间戳和目标类型存入该图片帧对应的打标信息中,并发出图片抽取命令给图片抽取模块。
即具体实施中,目标检测模型未检测到道路目标或检测错误且人工观察到该道路目标或发现该检测错误时,使用人工打点工具记录时间戳和目标类型存入该张图片的对应的xml文件。
图片抽取模块在收到图片抽取命令后根据打标信息对道路视频数据转换成的图片帧对进行图片抽取。
具体的,图片抽取模块进行图片抽取的过程包括:将道路视频转换成图片帧,根据打标信息中的时间进行图片抽取,根据打标信息将经纬度一致且速度为0对应的重复图片帧筛掉只保留单张。
具体实施中,将经纬度一致且速度为0的xml文件对应的图片帧筛掉只保留单张,获得含有道路标志的图片帧和对应的xml文件。
优选的,图片抽取模块根据打标信息中的时间戳进行图片抽取的过程中:
对于用户命令接收模块发出的图片抽取命令,抽取时间戳对应的图片。
即对于自动打点生成的打标信息的xml文件,直接抽取相应帧数时间戳对应的图片。
对于人工打标模块发送的图片抽取命令,抽取打点时间前后设定时间范围内的图片,人工筛选剔除不包含道路目标的图片。
该设定时间范围例如为打点前8秒后3秒内。
即对于人工打点生成的打标信息的xml文件,抽取打点前8秒后3秒内的图片,人工筛选剔除不含道路目标的图片。
完成上述抽取过程后,根据每张图片xml文件中的GPS信息的经纬度和速度自动剔除掉速度为0且经纬度一致的重复图片只保留单张。
标注修正工具接受用户输入的命令根据图片帧和打标信息对打标信息那个的目标类型和打框位置进行复审和修正。
通过标注修正工具读取自动打点并自动剔除重复场景后的图片和xml文件,将目标框的位置显示在图片中,人工使用工具根据图片标志物位置,增加框删除框,调整框大小,移动框位置修改后将框的位置,更新xml文件中目标框的位置信息。
实施例2
本发明提供的实施例2为本发明提供的一种道路视频数据的采集处理方法的实施例,如图2所示为本发明提供的一种道路视频数据的采集处理方法的实施例的流程图,结合图2可知,该采集处理方法的实施例包括:
从道路视频数据来源车辆的GPS模块获取道路视频数据的图片帧对应的速度和经纬度信息存入该图片帧对应的xml文件中。
步骤1,基于深度学习训练得到目标检测模型,通过目标检测模型对道路视频数据包含的图片帧进行实时的道路目标检测并打标。
进一步的,该步骤1还包括获取图片帧的时间戳、道路目标的类型和目标的打框位置存入图片帧对应的xml文件中。
该道路目标为道路上的一些标志信息,例如包括:车道线、障碍物、特殊类型、车辆和交通标志牌。
该模型检测模块为训练好的对道路目标进行自动标注的深度学习模型,例如yolov3识别模型,根据公共数据集及公司项目路试采集的图片进行打标。
步骤2,通过显示模块实时显示检测到的道路目标的类型对用户进行提醒。
优选的,步骤2还包括:语音播放检测到的道路目标的类型对用户进行提醒。
步骤3,接收用户发出的确认命令后,记录保存对应的图片帧的打标信息。
打标信息包括图片帧对应的速度、经纬度信息、时间戳、道路目标的类型和打框位置,打标信息以xml文件进行存储。
显示模块向通过显示模块向用户显示目标检测模型自动检测到的道路目标及其类型,用户进行确认是否正确,在用户判断正确后,向用户命令接收模块发出确认命令。
进一步的,接收用户通过打点工具记录的时间戳和目标类型存入该图片帧对应的打标信息中。
步骤4,根据打标信息对道路视频数据转换成的图片帧对进行图片抽取。
具体的,进行图片抽取的过程包括:
将道路视频转换成图片帧。
对于用户命令接收模块发出的图片抽取命令,抽取时间戳对应的图片。
对于人工打标模块发送的图片抽取命令,抽取打点时间前后设定时间范围内的图片,人工筛选剔除不包含道路目标的图片。
根据打标信息中的时间进行图片抽取,根据打标信息将经纬度一致且速度为0对应的重复图片帧筛掉只保留单张。
优选的,用户还可以通过标注修正工具输入命令根据图片帧和打标信息对打标信息那个的目标类型和打框位置进行复审和修正。
本发明提供的一种道路视频数据的采集处理方法,实时记录下GPS模块中车辆经纬度位置和速度信息写入excel文件中进行保存,打标人员观察前方道路情况是否存在打标点,若发现打点目标,在电脑上按下打点工具上对应不同目标按钮记录的按钮记录下标志物类型和时间点写入xml文件,若目标是持续的则记录开始和结束的打点。同时yoloV3模型也在实时对摄像头的每帧图片进行识别判断,如果发现目标会进行语音提示前方出现的目标类型并在电脑上显示目标画面和目标框,提示打标人员前方存在需要打标的目标,打点人员确认识别正确后,模型会自动对该目标进行打标记录同时记录目标框在画面中的位置生成对应的xml文件进行保存。
以上仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种道路视频数据的采集处理***,其特征在于,所述采集处理***包括:目标检测模型、目标检测提醒模块、用户命令接收模块和图片抽取模块;
所述目标检测模型基于深度学习训练得到,对道路视频数据包含的图片帧进行实时的道路目标检测并打标,并在检测到道路目标时将检测到的道路目标的类型发送给所述目标检测提醒模块;
所述目标检测提醒模块包括显示模块,所述显示模块实时显示检测到的道路目标的类型进行提醒;
所述用户命令接收模块接收用户发出的确认命令后,记录保存对应的所述图片帧的打标信息,发出图片抽取命令给所述图片抽取模块;
所述图片抽取模块在收到图片抽取命令后根据所述打标信息对所述道路视频数据转换成的图片帧对进行图片抽取。
2.根据权利要求1所述的采集处理***,其特征在于,所述图片帧的打标信息包括图片帧对应的速度、经纬度信息、时间戳、道路目标的类型和打框位置,所述打标信息以xml文件进行存储;
所述图片帧对应的速度和经纬度信息从所述道路视频数据来源车辆的GPS模块获取;所述图片帧的时间戳、道路目标的类型和目标的打框位置通过所述目标检测模型获取。
3.根据权利要求1所述的方法,其特征在于,所述目标检测提醒模块还包括语音播报模块,所述语音播报模块存储有与所述道路目标的类型对应的语音信息;
在收到所述目标检测模型发送的所述道路目标的类型后播放对应的语音信息。
4.根据权利要求1所述的采集处理***,其特征在于,所述采集处理***还包括人工打标模块;所述人工打标模块接收用户通过打点工具记录的时间戳和目标类型存入该图片帧对应的打标信息中,并发出图片抽取命令给所述图片抽取模块。
5.根据权利要求4所述的采集处理***,其特征在于,所述图片抽取模块进行图片抽取的过程包括:将道路视频转换成图片帧,根据所述打标信息中的时间进行图片抽取,根据所述打标信息将经纬度一致且速度为0对应的重复图片帧筛掉只保留单张。
6.根据权利要求5所述的采集处理***,其特征在于,所述图片抽取模块根据所述打标信息中的时间戳进行图片抽取的过程中:
对于所述用户命令接收模块发出的图片抽取命令,抽取时间戳对应的图片;
对于所述人工打标模块发送的图片抽取命令,抽取打点时间前后设定时间范围内的图片,人工筛选剔除不包含道路目标的图片。
7.根据权利要求1所述的采集处理***,其特征在于,所述采集处理***还包括标注修正工具;
所述标注修正工具接受用户输入的命令根据所述图片帧和打标信息对所述打标信息那个的目标类型和打框位置进行复审和修正。
8.一种道路视频数据的采集处理方法,其特征在于,所述方法包括:
步骤1,基于深度学习训练得到目标检测模型,通过所述目标检测模型对道路视频数据包含的图片帧进行实时的道路目标检测并打标;
步骤2,通过显示模块实时显示检测到的道路目标的类型对用户进行提醒;
步骤3,接收用户发出的确认命令后,记录保存对应的所述图片帧的打标信息;
步骤4,根据所述打标信息对所述道路视频数据转换成的图片帧对进行图片抽取。
9.根据权利要求8所述的采集处理方法,其特征在于,所述图片帧的打标信息包括图片帧对应的速度、经纬度信息、时间戳、道路目标的类型和打框位置,所述打标信息以xml文件进行存储;
所述步骤1之前还包括:从所述道路视频数据来源车辆的GPS模块获取所述图片帧对应的速度和经纬度信息存入所述图片帧对应的xml文件中;
所述步骤1还包括:获取所述图片帧的时间戳、道路目标的类型和目标的打框位置存入所述图片帧对应的xml文件中。
10.根据权利要求9所述的采集处理方法,其特征在于,所述步骤4之前还包括:接收用户通过打点工具记录的时间戳和目标类型存入该图片帧对应的打标信息中;
所述步骤4进行图片抽取的过程包括:将道路视频转换成图片帧;
对于所述用户命令接收模块发出的图片抽取命令,抽取时间戳对应的图片;
对于所述人工打标模块发送的图片抽取命令,抽取打点时间前后设定时间范围内的图片,人工筛选剔除不包含道路目标的图片;
根据所述打标信息中的时间进行图片抽取,根据所述打标信息将经纬度一致且速度为0对应的重复图片帧筛掉只保留单张。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011411634.8A CN112541531A (zh) | 2020-12-02 | 2020-12-02 | 一种道路视频数据的采集处理***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011411634.8A CN112541531A (zh) | 2020-12-02 | 2020-12-02 | 一种道路视频数据的采集处理***及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112541531A true CN112541531A (zh) | 2021-03-23 |
Family
ID=75016051
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011411634.8A Pending CN112541531A (zh) | 2020-12-02 | 2020-12-02 | 一种道路视频数据的采集处理***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112541531A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113792600A (zh) * | 2021-08-10 | 2021-12-14 | 武汉光庭信息技术股份有限公司 | 一种基于深度学习的视频抽帧方法和*** |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101339044A (zh) * | 2008-08-12 | 2009-01-07 | 凯立德欣技术(深圳)有限公司 | 一种导航***及导航***语音提示方法 |
US20100088031A1 (en) * | 2008-10-02 | 2010-04-08 | Certusview Technologies, Llc | Methods and apparatus for generating an electronic record of environmental landmarks based on marking device actuations |
CN107277103A (zh) * | 2017-04-27 | 2017-10-20 | 华晓燕 | 一种基于精确推送的通勤服务***及实现方法 |
CN108363044A (zh) * | 2018-02-12 | 2018-08-03 | 安徽江淮汽车集团股份有限公司 | 一种bsd场景构建的数据采集及分析*** |
CN108681690A (zh) * | 2018-04-04 | 2018-10-19 | 浙江大学 | 一种基于深度学习的流水线人员规范操作检测*** |
CN109017554A (zh) * | 2018-07-27 | 2018-12-18 | 北京小米移动软件有限公司 | 行驶提醒方法、装置及计算机可读存储介质 |
CN109785633A (zh) * | 2019-03-14 | 2019-05-21 | 百度在线网络技术(北京)有限公司 | 危险路况提醒方法、装置、车载终端、服务器及介质 |
CN109974734A (zh) * | 2019-04-02 | 2019-07-05 | 百度在线网络技术(北京)有限公司 | 一种用于ar导航的事件上报方法、装置、终端及存储介质 |
CN110717433A (zh) * | 2019-09-30 | 2020-01-21 | 华中科技大学 | 一种基于深度学习的交通违规分析方法及装置 |
CN111080620A (zh) * | 2019-12-13 | 2020-04-28 | 中远海运科技股份有限公司 | 一种基于深度学习的道路病害检测方法 |
CN111241343A (zh) * | 2020-01-07 | 2020-06-05 | 西安电子科技大学 | 一种道路信息监控与分析检测方法、智慧交通控制*** |
WO2020192122A1 (zh) * | 2019-03-27 | 2020-10-01 | 江苏智通交通科技有限公司 | 一种闯红灯车辆的非现场执法图片智能审核方法和*** |
CN111967450A (zh) * | 2020-10-21 | 2020-11-20 | 宁波均联智行科技有限公司 | 自动驾驶模型用样本获取方法、训练方法、装置及*** |
-
2020
- 2020-12-02 CN CN202011411634.8A patent/CN112541531A/zh active Pending
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101339044A (zh) * | 2008-08-12 | 2009-01-07 | 凯立德欣技术(深圳)有限公司 | 一种导航***及导航***语音提示方法 |
US20100088031A1 (en) * | 2008-10-02 | 2010-04-08 | Certusview Technologies, Llc | Methods and apparatus for generating an electronic record of environmental landmarks based on marking device actuations |
CN107277103A (zh) * | 2017-04-27 | 2017-10-20 | 华晓燕 | 一种基于精确推送的通勤服务***及实现方法 |
CN108363044A (zh) * | 2018-02-12 | 2018-08-03 | 安徽江淮汽车集团股份有限公司 | 一种bsd场景构建的数据采集及分析*** |
CN108681690A (zh) * | 2018-04-04 | 2018-10-19 | 浙江大学 | 一种基于深度学习的流水线人员规范操作检测*** |
CN109017554A (zh) * | 2018-07-27 | 2018-12-18 | 北京小米移动软件有限公司 | 行驶提醒方法、装置及计算机可读存储介质 |
CN109785633A (zh) * | 2019-03-14 | 2019-05-21 | 百度在线网络技术(北京)有限公司 | 危险路况提醒方法、装置、车载终端、服务器及介质 |
WO2020192122A1 (zh) * | 2019-03-27 | 2020-10-01 | 江苏智通交通科技有限公司 | 一种闯红灯车辆的非现场执法图片智能审核方法和*** |
CN109974734A (zh) * | 2019-04-02 | 2019-07-05 | 百度在线网络技术(北京)有限公司 | 一种用于ar导航的事件上报方法、装置、终端及存储介质 |
CN110717433A (zh) * | 2019-09-30 | 2020-01-21 | 华中科技大学 | 一种基于深度学习的交通违规分析方法及装置 |
CN111080620A (zh) * | 2019-12-13 | 2020-04-28 | 中远海运科技股份有限公司 | 一种基于深度学习的道路病害检测方法 |
CN111241343A (zh) * | 2020-01-07 | 2020-06-05 | 西安电子科技大学 | 一种道路信息监控与分析检测方法、智慧交通控制*** |
CN111967450A (zh) * | 2020-10-21 | 2020-11-20 | 宁波均联智行科技有限公司 | 自动驾驶模型用样本获取方法、训练方法、装置及*** |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113792600A (zh) * | 2021-08-10 | 2021-12-14 | 武汉光庭信息技术股份有限公司 | 一种基于深度学习的视频抽帧方法和*** |
CN113792600B (zh) * | 2021-08-10 | 2023-07-18 | 武汉光庭信息技术股份有限公司 | 一种基于深度学习的视频抽帧方法和*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6823084B2 (en) | Method and apparatus for portably recognizing text in an image sequence of scene imagery | |
TWI502558B (zh) | Traffic Accident Monitoring and Tracking System | |
US20030202683A1 (en) | Vehicle navigation system that automatically translates roadside signs and objects | |
US8301363B2 (en) | System and method for detection of average speed of vehicles for traffic control | |
CN111767798B (zh) | 一种面向室内联网视频监控的智能导播方法及*** | |
CN110856039A (zh) | 视频处理方法及装置、存储介质 | |
TWI430664B (zh) | Intelligent Image Monitoring System Object Track Tracking System | |
CN111881320A (zh) | 一种视频查询方法、装置、设备及可读存储介质 | |
CN112541531A (zh) | 一种道路视频数据的采集处理***及方法 | |
CN110288629B (zh) | 基于移动物体检测的目标检测自动标注方法及装置 | |
SG195504A1 (en) | Vehicle behavior analysis system, vehicle behavior analysis device, and vehicle behavior analysis program | |
CN105869406A (zh) | 车辆辨识侦测***、车辆信息搜集方法、车辆信息侦测记录方法以及车辆信息查询方法 | |
KR20090035798A (ko) | 차량 번호판의 영상 저장 시스템 및 그 방법 | |
CN109655073B (zh) | 一种在无或弱信号区域中的地图绘制方法、装置及车辆 | |
CN115394089A (zh) | 一种车辆信息融合展示的方法、无感通行***及存储介质 | |
JPH09163276A (ja) | マーキング機能を有する情報記録再生装置 | |
CN107577995A (zh) | 图像数据的处理方法及装置 | |
JP2003284061A (ja) | 映像記録装置 | |
CN114494986A (zh) | 道路场景识别方法及其装置 | |
US20240142267A1 (en) | Vehicular sensing system | |
CN111833469B (zh) | 应用于收费站点的车辆计费方法及*** | |
CN115472014B (zh) | 一种交通追溯方法、***、服务器及计算机存储介质 | |
CN112819965B (zh) | 一种车辆信息的显示方法、装置以及电子设备 | |
AU2021107425A4 (en) | Obstacle detection system in hybrid classification of heterogeneous environment using data mining techniques and method thereof | |
JP2023104485A (ja) | 情報処理装置および情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210323 |
|
RJ01 | Rejection of invention patent application after publication |