CN113205068A - 洒水车喷头监控方法、电子设备及车辆 - Google Patents

洒水车喷头监控方法、电子设备及车辆 Download PDF

Info

Publication number
CN113205068A
CN113205068A CN202110583156.7A CN202110583156A CN113205068A CN 113205068 A CN113205068 A CN 113205068A CN 202110583156 A CN202110583156 A CN 202110583156A CN 113205068 A CN113205068 A CN 113205068A
Authority
CN
China
Prior art keywords
head
spray head
semantic segmentation
side line
center point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110583156.7A
Other languages
English (en)
Other versions
CN113205068B (zh
Inventor
袁施薇
虞正华
张如高
李发成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Moshi Intelligent Technology Co ltd
Original Assignee
Suzhou Moshi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Moshi Intelligent Technology Co ltd filed Critical Suzhou Moshi Intelligent Technology Co ltd
Priority to CN202110583156.7A priority Critical patent/CN113205068B/zh
Publication of CN113205068A publication Critical patent/CN113205068A/zh
Application granted granted Critical
Publication of CN113205068B publication Critical patent/CN113205068B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种洒水车喷头监控方法、电子设备及车辆，提出了一种基于视觉的洒水车喷头监控方案，不需要改变喷头的内部结构，只需相应的安装一个摄像头即可，安装方便、成本低，并且可应用于后装市场。

Description

洒水车喷头监控方法、电子设备及车辆
技术领域
本发明属于喷头监控技术领域，尤其涉及一种洒水车喷头状态监控方法、电子设备及车辆。
背景技术
洒水车是否可以正常作业，对于道路安全非常重要，也越来越引起政府和人民的重视，洒水车在路面作业时喷头正常使用的监管也在逐步落实。
目前，对喷头的监控方式，需要在喷头内加装一个压力传感器，通过压力传感器判断喷头的状态，进而根据喷头的状态对喷头进行监管，这样的方式，需要改变喷头的内部结构，比较不方便，并且不适合后装市场。
发明内容
基于此，针对上述技术问题，提供一种洒水车喷头监控方法、电子设备及车辆。
本发明采用的技术方案如下：
一方面，提供一种洒水车喷头监控方法，其特征在于，包括：
S101、根据预设的频率采集喷头图片；
S102、检测每帧图片中喷头的状态：
从当前喷头图片中识别出喷头；
识别喷头的方向；
以喷头的头部为起点，沿所述方向截取预定尺寸的框图；
从所截取框图中识别出喷头的状态：有水流或者无水流；
S103、根据多帧图片中喷头的状态，对喷头状态进行监测预警。
另一方面，提供一种电子设备，包括存储模块，所述存储模块包括由处理器加载并执行的指令，所述指令在被执行时使所述处理器执行上述的一种洒水车喷头监控方法。
再一方面，提供一种车辆，该车辆具有上述一种电子设备。
本发明提出了一种基于视觉的洒水车喷头监控方案，不需要改变喷头的内部结构，只需相应的安装一个摄像头即可，安装方便、成本低，并且可应用于后装市场。
附图说明
下面结合附图和具体实施方式对本发明进行详细说明：
图1为本发明的流程图；
图2为本发明的步骤S102的流程图；
图3为本发明的截取框图示意图。
具体实施方式
如图1所示，本说明书实施例提供一种洒水车喷头监控方法，包括：
S101、根据预设的频率采集喷头图片。
由安装在喷头边上的摄像头对喷头图片进行采集，摄像头固定在车辆上，且保证喷头及水流处于在所采集图片的中心位置，可以以1秒5帧频率采集喷头图片。
S102、检测每帧图片中喷头的状态，参见图2：
a、从当前喷头图片中识别出喷头。由于不同洒水车喷头类型不同，相机安装角度不同，喷头在上述相机画面中的光线、遮挡、形状、角度都有所不同，故为了提高检测能力，本实施例采用神经网络模型，具体过程如下：
将当前喷头图片输入预训练的神经网络模型，神经网络模型通过三个输出通道分别输出喷头头部边线中心点的语义分割图、喷头尾部边线中心点的语义分割图以及喷头的语义分割图。
预训练即离线训练，用于在实际场合使用模型之前，对模型的参数进行优化。
训练上述神经网络模型时，将包含喷头的样本图片以及相应的语义分割标注输入该神经网络模型，并通过均方差损失函数以及梯度反向传导方式优化模型的参数。
对于喷头头部边线中心点的语义分割学习，样本图片的语义分割标注为头部边线中心点标注1，其余点标注0，对于喷头尾部边线中心点的语义分割，样本图片的语义分割标注为尾部边线中心点标注1，其余点标注0，训练时，将各点的语义分割目标值与模型输出的相应点的分割值输入均方差损失函数，语义分割目标值通过如下渲染函数计算得到：
Figure BDA0003086870560000031
其中，r为以中心点作为圆心的圆形范围的半径,
Figure BDA0003086870560000032
σ2表示高斯渲染函数的方差。
由于中心点是一个单独的点，不好训练，故这里通过上述渲染函数将以中心点作为圆心的圆形范围内的点也进行赋值(值在0-1之间)。
对于喷头的语义分割学习，样本图片的语义分割标注为喷头区域的点标注1，其余点标注0，这里，语义分割目标值就是标注值。
b、识别喷头的方向。具体过程如下：
通过如下公式分别计算喷头头部边线中心点的坐标pc1和喷头尾部边线中心点的坐标pc2：
Figure BDA0003086870560000033
其中，s i(x，y)代表模型第i个输出通道输出的分割图中坐标(x，y)的点的分割值，这里，s1代表喷头头部边线中心点的语义分割图，s1代表喷头尾部边线中心点的语义分割图，s3代表喷头的语义分割图。
将喷头头部边线中心点的语义分割图、喷头尾部边线中心点的语义分割图以及喷头的语义分割图重合，根据喷头头部边线中心点的坐标pc1和喷头尾部边线中心点的坐标pc2，确定喷头的方向。
较佳地，为了防止误检，判断喷头头部边线中心点与喷头尾部边线中心点的连线是否经过喷头的语义分割图区域，若否，则代表发生了误检，此时直接跳至下一帧重新开始步骤S102。
c、以喷头的头部为起点，沿上述方向截取预定尺寸的框图。
在本实施例中，如图3所示，框图为矩形框图，具体截取过程如下：将喷头头部边线中心点作为矩形框图的后侧边缘(图3中的左侧边缘)的中点，沿上述方向截取矩形框图，并进行旋转调整，使上述方向指向矩形框图的正前方(图3中的正右方)。
对于720p的原图，框图的尺寸长＝400,宽＝150。
d、从所截取框图中识别出喷头的状态：有水流或者无水流。
可以通过分类器从所截取框图中识别出喷头的状态。在本实施例中，可以使用svm或者神经网络分类器进行分类，从而识别出有水流或者无水流。
以使用神经网络分类器为例，其通过卷积层和全连接层进行分类训练和推理，输入是上述框图，输出是0-1之间的类别概率值，如果有水流的概率大于一定阈值(例如阈值取0.5)，则表示有水流，否则就是无水流。
在训练时，由于水流会随着光线、喷头安装高度和角度，发生颜色变化，需要加入颜色变化等数据增强。
S103、根据多帧图片中喷头的状态，对喷头进行监管预警：
若连续多帧图片中，从预设数量帧的图片中检测到的喷头状态与预警***中的喷头状态不同，则对预警***中的喷头状态进行切换。如预警***中的喷头状态为有水流时，如果连续100帧图片中有90％的图片识别出无水流，则将预警***中的喷头状态切换为无水流；反之，预警***中的喷头状态为无水流时，如果连续100帧图片中有90％的图片识别出有水流，则将预警***中的喷头状态切换为有水流。
若在预设时间段内，预警***中的喷头状态与喷头阀门状态不对应，则对驾驶员进行喷头状态预警，如在一段时间内，预警***中的喷头状态为有水流，而喷头阀门状态为关闭，则说明喷头有问题，此时需要预警，这样就可以确保洒水车在需要洒水的时候喷头喷水，不需要洒水的时候不喷水。
若步骤S102发生了误检，本步骤需要忽略掉相应图片。
基于同一发明构思，本说明书实施例还提供一种电子设备，包括存储模块，存储模块包括由处理器加载并执行的指令，指令在被执行时使处理器执行本说明书上述一种洒水车喷头监控方法部分中描述的根据本发明各种示例性实施方式的步骤。
其中，存储模块可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)和/或高速缓存存储单元，还可以进一步包括只读存储单元(ROM)。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
基于同一发明构思，本说明书实施例还提供一种车辆，该车辆具有上述一种电子设备，此处不再具体赘述。
但是，本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。

Claims (10)

1.一种洒水车喷头监控方法，其特征在于，包括：
S101、根据预设的频率采集喷头图片；
S102、检测每帧图片中喷头的状态：
从当前喷头图片中识别出喷头；
识别喷头的方向；
以喷头的头部为起点，沿所述方向截取预定尺寸的框图；
从所截取框图中识别出喷头的状态：有水流或者无水流；
S103、根据多帧图片中喷头的状态，对喷头状态进行监测预警。
2.根据权利要求1所述的一种洒水车喷头监控方法，其特征在于，所述从当前喷头图片中识别出喷头，进一步包括：
将当前喷头图片输入预训练的神经网络模型，所述神经网络模型通过三个输出通道分别输出喷头头部边线中心点的语义分割图、喷头尾部边线中心点的语义分割图以及喷头的语义分割图。
3.根据权利要求2所述的一种洒水车喷头监控方法，其特征在于，训练所述神经网络模型时，将包含喷头的样本图片以及相应的语义分割标注输入所述神经网络模型，并通过均方差损失函数以及梯度反向传导方式优化模型的参数：
对于喷头头部边线中心点的语义分割学习，样本图片的语义分割标注为头部边线中心点标注1，其余点标注0，对于喷头尾部边线中心点的语义分割，样本图片的语义分割标注为尾部边线中心点标注1，其余点标注0，训练时，将各点的语义分割目标值与模型输出的相应点的分割值输入均方差损失函数，所述语义分割目标值通过如下渲染函数计算得到：
Figure FDA0003086870550000011
其中，r为以中心点作为圆心的圆的半径,
Figure FDA0003086870550000012
σ2表示高斯渲染函数的方差；
对于喷头的语义分割学习，样本图片的语义分割标注为喷头区域的点标注1，其余点标注0。
4.根据权利要求3所述的一种洒水车喷头监控方法，其特征在于，所述识别喷头的方向，进一步包括：
通过如下公式分别计算喷头头部边线中心点的坐标pc1和喷头尾部边线中心点的坐标pc2：
Figure FDA0003086870550000021
其中，si(x，y)代表模型第i个输出通道输出的分割图中坐标(x，y)的点的分割值；
将喷头头部边线中心点的语义分割图、喷头尾部边线中心点的语义分割图以及喷头的语义分割图重合，根据喷头头部边线中心点的坐标pc1和喷头尾部边线中心点的坐标pc2，确定喷头的方向。
5.根据权利要求4所述的一种洒水车喷头监控方法，其特征在于，判断喷头头部边线中心点与喷头尾部边线中心点的连线是否经过喷头的语义分割图区域，若否，则代表发生了误检。
6.根据权利要求5所述的一种洒水车喷头监控方法，其特征在于，所述以喷头的头部为起点，沿所述方向截取预定形状和尺寸的框图，进一步包括：
所述框图为矩形框图，将喷头头部边线中心点作为矩形框图的后侧边缘的中点，沿所述方向截取矩形框图，并进行旋转调整，使所述方向指向矩形框图的正前方。
7.根据权利要求6所述的一种洒水车喷头监控方法，其特征在于，通过分类器从所截取框图中识别出喷头的状态。
8.根据权利要求1或7所述的一种洒水车喷头监控方法，其特征在于，所述步骤S103进一步包括：
若连续多帧图片中，从预设数量帧的图片中检测到的喷头状态与预警***中的喷头状态不同，则对预警***中的喷头状态进行切换；
若在预设时间段内，预警***中的喷头状态与喷头阀门状态不对应，则对驾驶员进行喷头状态预警。
9.一种电子设备，其特征在于，包括存储模块，所述存储模块包括由处理器加载并执行的指令,所述指令在被执行时使所述处理器执行根据权利要求1-8任一项所述的一种洒水车喷头监控方法。
10.一种车辆，其特征在于，具有根据权利要求9所述的一种电子设备。
CN202110583156.7A 2021-05-27 2021-05-27 洒水车喷头监控方法、电子设备及车辆 Active CN113205068B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110583156.7A CN113205068B (zh) 2021-05-27 2021-05-27 洒水车喷头监控方法、电子设备及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110583156.7A CN113205068B (zh) 2021-05-27 2021-05-27 洒水车喷头监控方法、电子设备及车辆

Publications (2)

Publication Number Publication Date
CN113205068A true CN113205068A (zh) 2021-08-03
CN113205068B CN113205068B (zh) 2024-06-14

Family

ID=77023435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110583156.7A Active CN113205068B (zh) 2021-05-27 2021-05-27 洒水车喷头监控方法、电子设备及车辆

Country Status (1)

Country Link
CN (1) CN113205068B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538523A (zh) * 2021-09-17 2021-10-22 魔视智能科技(上海)有限公司 车位检测跟踪方法、电子设备及车辆

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090060270A1 (en) * 2007-08-29 2009-03-05 Micro-Star Int'l Co., Ltd. Image Detection Method
CN104573627A (zh) * 2014-11-19 2015-04-29 湖南大学 基于二值图像的车道线保留与检测算法
US20160371348A1 (en) * 2015-06-22 2016-12-22 Samsung Electronics Co., Ltd. Method and electronic device for displaying related information of parsed data
CN207209441U (zh) * 2017-07-31 2018-04-10 重庆拉瑞永固混凝土有限公司 一种混凝土搅拌站卸料口监控***
US20180181803A1 (en) * 2016-12-27 2018-06-28 Shenzhen University Pedestrian head identification method and system
CN109919008A (zh) * 2019-01-23 2019-06-21 平安科技（深圳）有限公司 运动目标检测方法、装置、计算机设备及存储介质
CN111105135A (zh) * 2019-11-11 2020-05-05 杭州鸿泉物联网技术股份有限公司 智能城市清扫车作业监视方法和装置
JP2021003900A (ja) * 2020-10-14 2021-01-14 カシオ計算機株式会社 印刷装置
CN112395961A (zh) * 2020-10-31 2021-02-23 太原理工大学 一种洒水车的视觉主动行人避让及水压自适应控制方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090060270A1 (en) * 2007-08-29 2009-03-05 Micro-Star Int'l Co., Ltd. Image Detection Method
CN104573627A (zh) * 2014-11-19 2015-04-29 湖南大学 基于二值图像的车道线保留与检测算法
US20160371348A1 (en) * 2015-06-22 2016-12-22 Samsung Electronics Co., Ltd. Method and electronic device for displaying related information of parsed data
US20180181803A1 (en) * 2016-12-27 2018-06-28 Shenzhen University Pedestrian head identification method and system
CN207209441U (zh) * 2017-07-31 2018-04-10 重庆拉瑞永固混凝土有限公司 一种混凝土搅拌站卸料口监控***
CN109919008A (zh) * 2019-01-23 2019-06-21 平安科技（深圳）有限公司 运动目标检测方法、装置、计算机设备及存储介质
CN111105135A (zh) * 2019-11-11 2020-05-05 杭州鸿泉物联网技术股份有限公司 智能城市清扫车作业监视方法和装置
JP2021003900A (ja) * 2020-10-14 2021-01-14 カシオ計算機株式会社 印刷装置
CN112395961A (zh) * 2020-10-31 2021-02-23 太原理工大学 一种洒水车的视觉主动行人避让及水压自适应控制方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538523A (zh) * 2021-09-17 2021-10-22 魔视智能科技(上海)有限公司 车位检测跟踪方法、电子设备及车辆

Also Published As

Publication number Publication date
CN113205068B (zh) 2024-06-14

Similar Documents

Publication Publication Date Title
WO2020038091A1 (zh) 智能驾驶控制方法与装置、电子设备、程序和介质
US9791857B2 (en) System and method for monitoring and alerting vehicle occupant to operating efficiencies of autonomous driving assistance systems
KR20210013216A (ko) 멀티 레벨 타겟 분류 및 교통 표지 검출 방법 및 장치, 기기, 매체
CN110837800A (zh) 一种面向港口恶劣天气的目标检测和识别的方法
CN107031623A (zh) 一种基于车载盲区相机的道路预警方法
CN110738081B (zh) 异常路况检测方法及装置
Yang et al. All in one network for driver attention monitoring
KR20210080459A (ko) 차선 검출방법, 장치, 전자장치 및 가독 저장 매체
JP6962604B2 (ja) 極限状況でフォールトトレランス及びフラクチュエーションロバスト性のある、自動車間通信基盤の協業的なブラインドスポット警報方法及び装置
US10860865B2 (en) Predictive security camera system
Llorca et al. Traffic data collection for floating car data enhancement in V2I networks
CN111753623B (zh) 一种运动物体的检测方法、装置、设备及存储介质
US20230419688A1 (en) Ambiguous Lane Detection Event Miner
CN113205068A (zh) 洒水车喷头监控方法、电子设备及车辆
WO2023017317A1 (en) Environmentally aware prediction of human behaviors
CN115691223A (zh) 一种基于云边端协同的碰撞预警方法及***
CN113361299B (zh) 一种异常停车的检测方法、装置、存储介质及电子设备
CN109886100A (zh) 一种基于区域生成网络的行人检测***
CN113822119A (zh) 车内空气质量的调节方法、装置和存储介质及电子设备
CN117392638A (zh) 一种服务于机器人场景的开放物体类别感知方法及装置
US20220383510A1 (en) Method For Training A Neural Network For Semantic Image Segmentation
CN113942503B (zh) 一种车道保持方法和装置
Nalavde et al. Driver assistant services using ubiquitous smartphone
US20200089993A1 (en) Method for detection of temporal pattern anomalies in video streams
CN112172801A (zh) 应用大数据处理的安全距离调整方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant