CN110139082A - 通过视频处理算法对设备工况的识别装置 - Google Patents

通过视频处理算法对设备工况的识别装置 Download PDF

Info

Publication number
CN110139082A
CN110139082A CN201910520945.9A CN201910520945A CN110139082A CN 110139082 A CN110139082 A CN 110139082A CN 201910520945 A CN201910520945 A CN 201910520945A CN 110139082 A CN110139082 A CN 110139082A
Authority
CN
China
Prior art keywords
camera
data
module
data processing
working condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910520945.9A
Other languages
English (en)
Inventor
张丹锋
佟帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunzhi Technology (Tianjin) Co.,Ltd.
Original Assignee
Beijing Xinda Zhonglian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xinda Zhonglian Technology Co Ltd filed Critical Beijing Xinda Zhonglian Technology Co Ltd
Priority to CN201910520945.9A priority Critical patent/CN110139082A/zh
Publication of CN110139082A publication Critical patent/CN110139082A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种通过视频处理算法对设备工况的识别装置，包括摄像头数据采集模块和与其相连接的数据处理***模块，所述摄像头数据采集模块，安装在工程机械车辆司机前挡风玻璃处，包括camera sensor、镜头、DSP处理器、总线，镜头采集现场数据，镜头中设置有采用CMOS传感器的camera sensor，现场数据通过camera sensor转换为图像电信号，然后通过总线传输至DSP处理器，进行数据处理。本发明对于智能施工提供了坚实计划，同时，可以识别出工况场景，避免施工破坏重要设施；机主也可以远程查看施工工况，确保自己的设备施工工况是正常的。

Description

通过视频处理算法对设备工况的识别装置
技术领域
本发明涉及一种摄像头***，尤其是涉及一种通过视频处理算法对设备工况的识别装置。
背景技术
目前，我国的基建行业蓬勃发展，国家层面在基建、高铁、大型工程领域投入了大量的人力物力财力，几乎所有的施工场景都需要用到机械设备，这些工程机械设备的管理运营还都处于粗放管理阶段，工程设备的施工，都需要人的参与，有的施工场景很危险，环境很恶劣，会对人本身的安全产生巨大威胁，目前通过视频算法处理技术，智能分析施工现场工况，对于工程设备的无人智能驾驶提供了坚实基础，同时，机主(拥有工程机械设备的个人或单位)也不同担心自己的设备干活的场景与实际协议的不同(因为工程机械设备干活收费，也是与施工场景有关系的)，或者施工过程中，防止损坏其他设备或物体，本技术方案正好能解决上述问题。
发明内容
本发明提供了一种通过视频处理算法对设备工况的识别装置，主要用摄像头采集数据流，然后通过智能分析，判断工程机械设备施工工况。解决了工程机械设备施工过程中对于施工工况的智能识别，其技术方案如下所述：
一种通过视频处理算法对设备工况的识别装置，包括摄像头数据采集模块和与其相连接的数据处理***模块，所述摄像头数据采集模块，安装在工程机械车辆司机前挡风玻璃处，包括camera sensor、镜头、DSP处理器、总线，镜头采集现场数据，镜头中设置有采用CMOS传感器的camera sensor，现场数据通过camera sensor转换为图像电信号，然后通过总线传输至DSP处理器，进行数据处理。
摄像头数据采集模块通过MIPI接口的数据线与数据处理***模块相连接。
DSP处理器用于进行图像的压缩处理，将RAW data压缩为YUV，同时要编码为H.265传输，采用MIPI接口与数据处理***模块连接。
数据处理***模块包括主处理器和与其分别相连接的4G模块、陀螺仪、机构执行模块。
机构执行模块与执行装置相连接，所述执行装置为工程机械车辆上的各种机械操作装置。
本发明对于智能施工提供了坚实计划，同时，可以识别出工况场景，避免施工破坏重要设施；机主也可以远程查看施工工况，确保自己的设备施工工况是正常的。
附图说明
图1是所述通过视频处理算法对设备工况的识别装置的结构示意图。
具体实施方式
如图1所示，本发明包括摄像头数据采集模块和数据处理***模块。摄像头数据采集模块通过MIPI接口的数据线与数据处理***模块相连接。
所述摄像头数据采集模块，安装在工程机械车辆司机前挡风玻璃处，充当司机“眼睛”。摄像头数据采集模块主要负责采集现场情况画面，传输至数据处理***，供分析工况。
数据处理***模块，主要是处理摄像头***采集回来的现场视频，经过人工智能学习，识别出现场工况；数据处理***在识别之前要进行施工场景标定，进行大量的施工场景学习。
摄像头数据采集模块：
摄像头数据采集模块主要包括camera sensor(摄像机传感器)、镜头、DSP处理器、总线，镜头采集现场数据，镜头中设置有采用CMOS传感器的camera sensor，现场数据通过camera sensor转换为图像电信号，然后通过总线传输至DSP处理器，进行数据处理。
DSP处理器进行图像的压缩处理，将RAW data压缩为YUV，同时要编码为H.265传输，采用MIPI接口与数据处理***模块连接。
数据处理***模块：
数据处理***模块包括主处理器和与其分别相连接的4G模块、陀螺仪、机构执行模块。
主处理器处理摄像头数据采集模块发送来的数据，进行计算，然后发送指令到机构执行模块，机构执行模块根据指令控制执行装置执行响应的动作，4G模块负责和后台交互数据，陀螺仪负责采集工程机械车辆的姿态数据。
机构执行模块包括工程机械车辆上的各种机械操作装置的电路控制开关。
机构执行模块与执行装置相连接，所述执行装置为工程机械车辆上的各种机械操作装置，机械操作装置是工程车上进行工程工作的机械部件，比如工程车中的挖掘机，其包括的转盘、挖掘臂；或者工程车中的吊车，其包括的回转机构、臂架。
这些机械操作装置通过电路控制，电路上有信号开关，其操作通过主处理器的处理，实现开启或者关闭，才能够进行操作，否则处于操作无效状态。
本发明应用的处理算法用于识别场景，算法的标定需要对数据处理模块进行大量的场景学习标定，以便于数据处理模块能进行各种场景的识别。
场景的识别：数据处理***模块需要对场景进行识别，并判别当前施工工况场景，如土方，石方，石子等施工场景。并需要判断工程机械设备执行什么操作。如工程车的前进，施工中(装挖)，旋转等。
数据处理***模块的工作具体步骤如下：
1、摄像模块捕获施工现场画面；
2、摄像模块的人工智能模块，识别画面中的场景，对场景画面进行智能分析，a.判断施工场景类型，土方，石方；b.识别施工场景画面中，是否有人，是否有不可破坏的东西，如果有，马上停止工作，并通知施工控制人员；
3、如果识别到施工场景施工类型，通知机主，以便做响应的处理；如果识别出施工范围内有人或者有不可破坏的东西，则停止施工，通知施工控制人员。
通知包括警告，指示灯，短信通知等，可用于智能驾驶的场景识别。
本发明中，处理器方案性能强劲，识别算法采用***开源框架，较为成熟；摄像头采集图像更清晰，能准确色识别出施工场景。

Claims (5)

1.一种通过视频处理算法对设备工况的识别装置，其特征在于：包括摄像头数据采集模块和与其相连接的数据处理***模块，所述摄像头数据采集模块，安装在工程机械车辆司机前挡风玻璃处，包括camera sensor、镜头、DSP处理器、总线，镜头采集现场数据，镜头中设置有采用CMOS传感器的camera sensor，现场数据通过camera sensor转换为图像电信号，然后通过总线传输至DSP处理器，进行数据处理。
2.根据权利要求1所述的通过视频处理算法对设备工况的识别装置，其特征在于：摄像头数据采集模块通过MIPI接口的数据线与数据处理***模块相连接。
3.根据权利要求1所述的通过视频处理算法对设备工况的识别装置，其特征在于：DSP处理器用于进行图像的压缩处理，将RAW data压缩为YUV，同时要编码为H.265传输，采用MIPI接口与数据处理***模块连接。
4.根据权利要求1所述的通过视频处理算法对设备工况的识别装置，其特征在于：数据处理***模块包括主处理器和与其分别相连接的4G模块、陀螺仪、机构执行模块。
5.根据权利要求4所述的通过视频处理算法对设备工况的识别装置，其特征在于：机构执行模块与执行装置相连接，所述执行装置为工程机械车辆上的各种机械操作装置。
CN201910520945.9A 2019-06-17 2019-06-17 通过视频处理算法对设备工况的识别装置 Pending CN110139082A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910520945.9A CN110139082A (zh) 2019-06-17 2019-06-17 通过视频处理算法对设备工况的识别装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910520945.9A CN110139082A (zh) 2019-06-17 2019-06-17 通过视频处理算法对设备工况的识别装置

Publications (1)

Publication Number Publication Date
CN110139082A true CN110139082A (zh) 2019-08-16

Family

ID=67577535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910520945.9A Pending CN110139082A (zh) 2019-06-17 2019-06-17 通过视频处理算法对设备工况的识别装置

Country Status (1)

Country Link
CN (1) CN110139082A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110830782A (zh) * 2019-11-20 2020-02-21 南通嘉骏信息科技有限公司 一种基于fpga实现mipi csi-2的raw到yuv的转换方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040178945A1 (en) * 2001-06-23 2004-09-16 Buchanan Alastair James Object location system for a road vehicle
CN102145688A (zh) * 2010-02-08 2011-08-10 鸿富锦精密工业（深圳）有限公司 车辆防撞监控***及方法
CN202856898U (zh) * 2012-08-02 2013-04-03 李建华 3g远程视频一体机
WO2014146809A1 (de) * 2013-03-22 2014-09-25 Mts Maschinentechnik Schrode Ag Mobiles baustellenvermessungsgerät, sowie gerät zur bereitstellung von informationen, insbesondere zur erzeugung von handlungsanweisungen, für einen baumaschinenführer
CN104469314A (zh) * 2014-12-12 2015-03-25 国家电网公司 一种电力施工现场的视频监控***及方法
CN105989682A (zh) * 2015-02-05 2016-10-05 国家电网公司 一种输电线路线下施工机械安全预警监控***及监控方法
CN106454250A (zh) * 2016-11-02 2017-02-22 北京弘恒科技有限公司 智能识别及预警处理的信息平台
CN108978769A (zh) * 2018-07-03 2018-12-11 柳州柳工挖掘机有限公司 挖掘机工况识别计时方法及***和挖掘机
CN109445363A (zh) * 2018-12-21 2019-03-08 杭州睿兴栋宇建筑科技有限公司 一种基于异常检测算法的施工现场动态安全监测***
CN109542105A (zh) * 2018-12-28 2019-03-29 北京龙马智行科技有限公司 一种路基路面智能无人碾压***
CN209949292U (zh) * 2019-06-17 2020-01-14 北京信达众联科技有限公司 通过视频处理算法对设备工况的识别装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040178945A1 (en) * 2001-06-23 2004-09-16 Buchanan Alastair James Object location system for a road vehicle
CN102145688A (zh) * 2010-02-08 2011-08-10 鸿富锦精密工业（深圳）有限公司 车辆防撞监控***及方法
CN202856898U (zh) * 2012-08-02 2013-04-03 李建华 3g远程视频一体机
WO2014146809A1 (de) * 2013-03-22 2014-09-25 Mts Maschinentechnik Schrode Ag Mobiles baustellenvermessungsgerät, sowie gerät zur bereitstellung von informationen, insbesondere zur erzeugung von handlungsanweisungen, für einen baumaschinenführer
CN104469314A (zh) * 2014-12-12 2015-03-25 国家电网公司 一种电力施工现场的视频监控***及方法
CN105989682A (zh) * 2015-02-05 2016-10-05 国家电网公司 一种输电线路线下施工机械安全预警监控***及监控方法
CN106454250A (zh) * 2016-11-02 2017-02-22 北京弘恒科技有限公司 智能识别及预警处理的信息平台
CN108978769A (zh) * 2018-07-03 2018-12-11 柳州柳工挖掘机有限公司 挖掘机工况识别计时方法及***和挖掘机
CN109445363A (zh) * 2018-12-21 2019-03-08 杭州睿兴栋宇建筑科技有限公司 一种基于异常检测算法的施工现场动态安全监测***
CN109542105A (zh) * 2018-12-28 2019-03-29 北京龙马智行科技有限公司 一种路基路面智能无人碾压***
CN209949292U (zh) * 2019-06-17 2020-01-14 北京信达众联科技有限公司 通过视频处理算法对设备工况的识别装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110830782A (zh) * 2019-11-20 2020-02-21 南通嘉骏信息科技有限公司 一种基于fpga实现mipi csi-2的raw到yuv的转换方法

Similar Documents

Publication Publication Date Title
CN206023052U (zh) 一种高压输电线路巡检机器人
CN108590664B (zh) 基于三目视觉识别技术的多功能无人操作智能巷道采掘装备***
CN103395694A (zh) 塔式起重机一体化监控***
CN103235562A (zh) 变电站基于巡检机器人的综合参数检测***及巡检方法
CN109291035A (zh) 小型巡检机器人及小型巡检机器人***
CN103085084A (zh) 一种用于高压带电作业机器人的视觉***及工作方法
CN107765854A (zh) 一种基于增强现实的输电线路巡检方法
CN106251567A (zh) 一种智能火灾预警***
CN111186771A (zh) 一种远程塔机智能控制***
CN110139082A (zh) 通过视频处理算法对设备工况的识别装置
CN112052785A (zh) 一种巡检机器人智能监测***
CN209949292U (zh) 通过视频处理算法对设备工况的识别装置
CN113858194A (zh) 一种用于施工现场辅助管理的旁站机器人
CN206075460U (zh) 基于双光同轴图像融合的输电线路外力破坏监测预警***
CN108098763A (zh) 一种智能机器人
CN111731979A (zh) 一种基于计算机视觉的自动扶梯乘降人员跌倒识别***
CN207645648U (zh) 智能化起重机控制***
CN108975165B (zh) 塔机监控***和方法及塔机
CN108009502A (zh) 无人值守的智能无人机管理***
CN110255381A (zh) 一种基于物联网技术的塔吊辅助驾驶***
CN115690687A (zh) 一种基于深度学习技术的安全穿戴规范检测***
CN208560504U (zh) 压缩车自动控制***
CN204168421U (zh) 一种一体化接触网安全巡检***装置
CN109856662B (zh) 放射源探测搬移机器人
CN105923545A (zh) 脚踏操控起重机械盲区显示辅助装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220111

Address after: 300350 Haitang space-s-308-09, Zone D, Haitang Zhongchuang street, xianshuigu Town, Jinnan District, Tianjin

Applicant after: Yunzhi Technology (Tianjin) Co.,Ltd.

Address before: Room 402, south of the fourth floor, building 16, Zhixin village, Haidian District, Beijing 100083

Applicant before: BEIJING XINDA ZHONGLIAN TECHNOLOGY Co.,Ltd.

RJ01 Rejection of invention patent application after publication

Application publication date: 20190816