CN110139082A - 通过视频处理算法对设备工况的识别装置 - Google Patents
通过视频处理算法对设备工况的识别装置 Download PDFInfo
- Publication number
- CN110139082A CN110139082A CN201910520945.9A CN201910520945A CN110139082A CN 110139082 A CN110139082 A CN 110139082A CN 201910520945 A CN201910520945 A CN 201910520945A CN 110139082 A CN110139082 A CN 110139082A
- Authority
- CN
- China
- Prior art keywords
- camera
- data
- module
- data processing
- working condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 abstract description 29
- 239000007787 solid Substances 0.000 abstract description 3
- 238000009434 installation Methods 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 3
- 239000004575 stone Substances 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
- G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Vascular Medicine (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种通过视频处理算法对设备工况的识别装置,包括摄像头数据采集模块和与其相连接的数据处理***模块,所述摄像头数据采集模块,安装在工程机械车辆司机前挡风玻璃处,包括camera sensor、镜头、DSP处理器、总线,镜头采集现场数据,镜头中设置有采用CMOS传感器的camera sensor,现场数据通过camera sensor转换为图像电信号,然后通过总线传输至DSP处理器,进行数据处理。本发明对于智能施工提供了坚实计划,同时,可以识别出工况场景,避免施工破坏重要设施;机主也可以远程查看施工工况,确保自己的设备施工工况是正常的。
Description
技术领域
本发明涉及一种摄像头***,尤其是涉及一种通过视频处理算法对设备工况的识别装置。
背景技术
目前,我国的基建行业蓬勃发展,国家层面在基建、高铁、大型工程领域投入了大量的人力物力财力,几乎所有的施工场景都需要用到机械设备,这些工程机械设备的管理运营还都处于粗放管理阶段,工程设备的施工,都需要人的参与,有的施工场景很危险,环境很恶劣,会对人本身的安全产生巨大威胁,目前通过视频算法处理技术,智能分析施工现场工况,对于工程设备的无人智能驾驶提供了坚实基础,同时,机主(拥有工程机械设备的个人或单位)也不同担心自己的设备干活的场景与实际协议的不同(因为工程机械设备干活收费,也是与施工场景有关系的),或者施工过程中,防止损坏其他设备或物体,本技术方案正好能解决上述问题。
发明内容
本发明提供了一种通过视频处理算法对设备工况的识别装置,主要用摄像头采集数据流,然后通过智能分析,判断工程机械设备施工工况。解决了工程机械设备施工过程中对于施工工况的智能识别,其技术方案如下所述:
一种通过视频处理算法对设备工况的识别装置,包括摄像头数据采集模块和与其相连接的数据处理***模块,所述摄像头数据采集模块,安装在工程机械车辆司机前挡风玻璃处,包括camera sensor、镜头、DSP处理器、总线,镜头采集现场数据,镜头中设置有采用CMOS传感器的camera sensor,现场数据通过camera sensor转换为图像电信号,然后通过总线传输至DSP处理器,进行数据处理。
摄像头数据采集模块通过MIPI接口的数据线与数据处理***模块相连接。
DSP处理器用于进行图像的压缩处理,将RAW data压缩为YUV,同时要编码为H.265传输,采用MIPI接口与数据处理***模块连接。
数据处理***模块包括主处理器和与其分别相连接的4G模块、陀螺仪、机构执行模块。
机构执行模块与执行装置相连接,所述执行装置为工程机械车辆上的各种机械操作装置。
本发明对于智能施工提供了坚实计划,同时,可以识别出工况场景,避免施工破坏重要设施;机主也可以远程查看施工工况,确保自己的设备施工工况是正常的。
附图说明
图1是所述通过视频处理算法对设备工况的识别装置的结构示意图。
具体实施方式
如图1所示,本发明包括摄像头数据采集模块和数据处理***模块。摄像头数据采集模块通过MIPI接口的数据线与数据处理***模块相连接。
所述摄像头数据采集模块,安装在工程机械车辆司机前挡风玻璃处,充当司机“眼睛”。摄像头数据采集模块主要负责采集现场情况画面,传输至数据处理***,供分析工况。
数据处理***模块,主要是处理摄像头***采集回来的现场视频,经过人工智能学习,识别出现场工况;数据处理***在识别之前要进行施工场景标定,进行大量的施工场景学习。
摄像头数据采集模块:
摄像头数据采集模块主要包括camera sensor(摄像机传感器)、镜头、DSP处理器、总线,镜头采集现场数据,镜头中设置有采用CMOS传感器的camera sensor,现场数据通过camera sensor转换为图像电信号,然后通过总线传输至DSP处理器,进行数据处理。
DSP处理器进行图像的压缩处理,将RAW data压缩为YUV,同时要编码为H.265传输,采用MIPI接口与数据处理***模块连接。
数据处理***模块:
数据处理***模块包括主处理器和与其分别相连接的4G模块、陀螺仪、机构执行模块。
主处理器处理摄像头数据采集模块发送来的数据,进行计算,然后发送指令到机构执行模块,机构执行模块根据指令控制执行装置执行响应的动作,4G模块负责和后台交互数据,陀螺仪负责采集工程机械车辆的姿态数据。
机构执行模块包括工程机械车辆上的各种机械操作装置的电路控制开关。
机构执行模块与执行装置相连接,所述执行装置为工程机械车辆上的各种机械操作装置,机械操作装置是工程车上进行工程工作的机械部件,比如工程车中的挖掘机,其包括的转盘、挖掘臂;或者工程车中的吊车,其包括的回转机构、臂架。
这些机械操作装置通过电路控制,电路上有信号开关,其操作通过主处理器的处理,实现开启或者关闭,才能够进行操作,否则处于操作无效状态。
本发明应用的处理算法用于识别场景,算法的标定需要对数据处理模块进行大量的场景学习标定,以便于数据处理模块能进行各种场景的识别。
场景的识别:数据处理***模块需要对场景进行识别,并判别当前施工工况场景,如土方,石方,石子等施工场景。并需要判断工程机械设备执行什么操作。如工程车的前进,施工中(装挖),旋转等。
数据处理***模块的工作具体步骤如下:
1、摄像模块捕获施工现场画面;
2、摄像模块的人工智能模块,识别画面中的场景,对场景画面进行智能分析,a.判断施工场景类型,土方,石方;b.识别施工场景画面中,是否有人,是否有不可破坏的东西,如果有,马上停止工作,并通知施工控制人员;
3、如果识别到施工场景施工类型,通知机主,以便做响应的处理;如果识别出施工范围内有人或者有不可破坏的东西,则停止施工,通知施工控制人员。
通知包括警告,指示灯,短信通知等,可用于智能驾驶的场景识别。
本发明中,处理器方案性能强劲,识别算法采用***开源框架,较为成熟;摄像头采集图像更清晰,能准确色识别出施工场景。
Claims (5)
1.一种通过视频处理算法对设备工况的识别装置,其特征在于:包括摄像头数据采集模块和与其相连接的数据处理***模块,所述摄像头数据采集模块,安装在工程机械车辆司机前挡风玻璃处,包括camera sensor、镜头、DSP处理器、总线,镜头采集现场数据,镜头中设置有采用CMOS传感器的camera sensor,现场数据通过camera sensor转换为图像电信号,然后通过总线传输至DSP处理器,进行数据处理。
2.根据权利要求1所述的通过视频处理算法对设备工况的识别装置,其特征在于:摄像头数据采集模块通过MIPI接口的数据线与数据处理***模块相连接。
3.根据权利要求1所述的通过视频处理算法对设备工况的识别装置,其特征在于:DSP处理器用于进行图像的压缩处理,将RAW data压缩为YUV,同时要编码为H.265传输,采用MIPI接口与数据处理***模块连接。
4.根据权利要求1所述的通过视频处理算法对设备工况的识别装置,其特征在于:数据处理***模块包括主处理器和与其分别相连接的4G模块、陀螺仪、机构执行模块。
5.根据权利要求4所述的通过视频处理算法对设备工况的识别装置,其特征在于:机构执行模块与执行装置相连接,所述执行装置为工程机械车辆上的各种机械操作装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910520945.9A CN110139082A (zh) | 2019-06-17 | 2019-06-17 | 通过视频处理算法对设备工况的识别装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910520945.9A CN110139082A (zh) | 2019-06-17 | 2019-06-17 | 通过视频处理算法对设备工况的识别装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110139082A true CN110139082A (zh) | 2019-08-16 |
Family
ID=67577535
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910520945.9A Pending CN110139082A (zh) | 2019-06-17 | 2019-06-17 | 通过视频处理算法对设备工况的识别装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110139082A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110830782A (zh) * | 2019-11-20 | 2020-02-21 | 南通嘉骏信息科技有限公司 | 一种基于fpga实现mipi csi-2的raw到yuv的转换方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040178945A1 (en) * | 2001-06-23 | 2004-09-16 | Buchanan Alastair James | Object location system for a road vehicle |
CN102145688A (zh) * | 2010-02-08 | 2011-08-10 | 鸿富锦精密工业(深圳)有限公司 | 车辆防撞监控***及方法 |
CN202856898U (zh) * | 2012-08-02 | 2013-04-03 | 李建华 | 3g远程视频一体机 |
WO2014146809A1 (de) * | 2013-03-22 | 2014-09-25 | Mts Maschinentechnik Schrode Ag | Mobiles baustellenvermessungsgerät, sowie gerät zur bereitstellung von informationen, insbesondere zur erzeugung von handlungsanweisungen, für einen baumaschinenführer |
CN104469314A (zh) * | 2014-12-12 | 2015-03-25 | 国家电网公司 | 一种电力施工现场的视频监控***及方法 |
CN105989682A (zh) * | 2015-02-05 | 2016-10-05 | 国家电网公司 | 一种输电线路线下施工机械安全预警监控***及监控方法 |
CN106454250A (zh) * | 2016-11-02 | 2017-02-22 | 北京弘恒科技有限公司 | 智能识别及预警处理的信息平台 |
CN108978769A (zh) * | 2018-07-03 | 2018-12-11 | 柳州柳工挖掘机有限公司 | 挖掘机工况识别计时方法及***和挖掘机 |
CN109445363A (zh) * | 2018-12-21 | 2019-03-08 | 杭州睿兴栋宇建筑科技有限公司 | 一种基于异常检测算法的施工现场动态安全监测*** |
CN109542105A (zh) * | 2018-12-28 | 2019-03-29 | 北京龙马智行科技有限公司 | 一种路基路面智能无人碾压*** |
CN209949292U (zh) * | 2019-06-17 | 2020-01-14 | 北京信达众联科技有限公司 | 通过视频处理算法对设备工况的识别装置 |
-
2019
- 2019-06-17 CN CN201910520945.9A patent/CN110139082A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040178945A1 (en) * | 2001-06-23 | 2004-09-16 | Buchanan Alastair James | Object location system for a road vehicle |
CN102145688A (zh) * | 2010-02-08 | 2011-08-10 | 鸿富锦精密工业(深圳)有限公司 | 车辆防撞监控***及方法 |
CN202856898U (zh) * | 2012-08-02 | 2013-04-03 | 李建华 | 3g远程视频一体机 |
WO2014146809A1 (de) * | 2013-03-22 | 2014-09-25 | Mts Maschinentechnik Schrode Ag | Mobiles baustellenvermessungsgerät, sowie gerät zur bereitstellung von informationen, insbesondere zur erzeugung von handlungsanweisungen, für einen baumaschinenführer |
CN104469314A (zh) * | 2014-12-12 | 2015-03-25 | 国家电网公司 | 一种电力施工现场的视频监控***及方法 |
CN105989682A (zh) * | 2015-02-05 | 2016-10-05 | 国家电网公司 | 一种输电线路线下施工机械安全预警监控***及监控方法 |
CN106454250A (zh) * | 2016-11-02 | 2017-02-22 | 北京弘恒科技有限公司 | 智能识别及预警处理的信息平台 |
CN108978769A (zh) * | 2018-07-03 | 2018-12-11 | 柳州柳工挖掘机有限公司 | 挖掘机工况识别计时方法及***和挖掘机 |
CN109445363A (zh) * | 2018-12-21 | 2019-03-08 | 杭州睿兴栋宇建筑科技有限公司 | 一种基于异常检测算法的施工现场动态安全监测*** |
CN109542105A (zh) * | 2018-12-28 | 2019-03-29 | 北京龙马智行科技有限公司 | 一种路基路面智能无人碾压*** |
CN209949292U (zh) * | 2019-06-17 | 2020-01-14 | 北京信达众联科技有限公司 | 通过视频处理算法对设备工况的识别装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110830782A (zh) * | 2019-11-20 | 2020-02-21 | 南通嘉骏信息科技有限公司 | 一种基于fpga实现mipi csi-2的raw到yuv的转换方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN206023052U (zh) | 一种高压输电线路巡检机器人 | |
CN108590664B (zh) | 基于三目视觉识别技术的多功能无人操作智能巷道采掘装备*** | |
CN103395694A (zh) | 塔式起重机一体化监控*** | |
CN103235562A (zh) | 变电站基于巡检机器人的综合参数检测***及巡检方法 | |
CN109291035A (zh) | 小型巡检机器人及小型巡检机器人*** | |
CN103085084A (zh) | 一种用于高压带电作业机器人的视觉***及工作方法 | |
CN107765854A (zh) | 一种基于增强现实的输电线路巡检方法 | |
CN106251567A (zh) | 一种智能火灾预警*** | |
CN111186771A (zh) | 一种远程塔机智能控制*** | |
CN110139082A (zh) | 通过视频处理算法对设备工况的识别装置 | |
CN112052785A (zh) | 一种巡检机器人智能监测*** | |
CN209949292U (zh) | 通过视频处理算法对设备工况的识别装置 | |
CN113858194A (zh) | 一种用于施工现场辅助管理的旁站机器人 | |
CN206075460U (zh) | 基于双光同轴图像融合的输电线路外力破坏监测预警*** | |
CN108098763A (zh) | 一种智能机器人 | |
CN111731979A (zh) | 一种基于计算机视觉的自动扶梯乘降人员跌倒识别*** | |
CN207645648U (zh) | 智能化起重机控制*** | |
CN108975165B (zh) | 塔机监控***和方法及塔机 | |
CN108009502A (zh) | 无人值守的智能无人机管理*** | |
CN110255381A (zh) | 一种基于物联网技术的塔吊辅助驾驶*** | |
CN115690687A (zh) | 一种基于深度学习技术的安全穿戴规范检测*** | |
CN208560504U (zh) | 压缩车自动控制*** | |
CN204168421U (zh) | 一种一体化接触网安全巡检***装置 | |
CN109856662B (zh) | 放射源探测搬移机器人 | |
CN105923545A (zh) | 脚踏操控起重机械盲区显示辅助装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220111 Address after: 300350 Haitang space-s-308-09, Zone D, Haitang Zhongchuang street, xianshuigu Town, Jinnan District, Tianjin Applicant after: Yunzhi Technology (Tianjin) Co.,Ltd. Address before: Room 402, south of the fourth floor, building 16, Zhixin village, Haidian District, Beijing 100083 Applicant before: BEIJING XINDA ZHONGLIAN TECHNOLOGY Co.,Ltd. |
|
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190816 |