CN113631779A - 挖土机及施工*** - Google Patents

挖土机及施工*** Download PDF

Info

Publication number
CN113631779A
CN113631779A CN202080024901.8A CN202080024901A CN113631779A CN 113631779 A CN113631779 A CN 113631779A CN 202080024901 A CN202080024901 A CN 202080024901A CN 113631779 A CN113631779 A CN 113631779A
Authority
CN
China
Prior art keywords
information
image
shovel
construction
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080024901.8A
Other languages
English (en)
Other versions
CN113631779B (zh
Inventor
西贵志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo SHI Construction Machinery Co Ltd
Original Assignee
Sumitomo SHI Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo SHI Construction Machinery Co Ltd filed Critical Sumitomo SHI Construction Machinery Co Ltd
Publication of CN113631779A publication Critical patent/CN113631779A/zh
Application granted granted Critical
Publication of CN113631779B publication Critical patent/CN113631779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36Component parts
    • E02F3/42Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/08Superstructures; Supports for superstructures
    • E02F9/10Supports for movable superstructures mounted on travelling or walking gears or on other superstructures
    • E02F9/12Slewing or traversing gears
    • E02F9/121Turntables, i.e. structure rotatable about 360°
    • E02F9/123Drives or control devices specially adapted therefor
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/2033Limiting the movement of frames or implements, e.g. to avoid collision between implements and the cabin
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/22Hydraulic or pneumatic drives
    • E02F9/226Safety arrangements, e.g. hydraulic driven fans, preventing cavitation, leakage, overheating
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24Safety devices, e.g. for preventing overload
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2431Multiple classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Mechanical Engineering (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

挖土机(100)具备:下部行走体(1);上部回转体(3);非易失性存储装置(NM);信息获取装置(E1),获取与施工相关的信息;及控制器(30),控制声音输出装置(D2)。并且,控制器(30)构成为,根据信息获取装置(E1)所获取的信息来判定危险状况。挖土机(100)也可以构成为,在显示装置上显示与判定为发生的危险状况相关的信息。

Description

挖土机及施工***
技术领域
本发明涉及一种挖土机及施工***。
背景技术
以往,已知有一种挖土机,其构成为根据安装在上部回转体上的摄像机所获取的图像,能够检测在周围存在的人(参考专利文献1。)。
以往技术文献
专利文献
专利文献1:日本特开2014-183500号公报
发明内容
发明要解决的技术课题
然而,上述挖土机虽然能够检测进入到设置在挖土机周围的规定的范围内的人,但是仅对挖土机与进入的人的相对位置关系简单地进行比较,没有掌握作业现场的状况。
因此,优选提供一种能够掌握作业现场的状况的机器或***。
用于解决技术课题的手段
本发明的实施方式所涉及的挖土机具备:下部行走体;上部回转体,可回转地搭载于所述下部行走体;存储装置,设置在所述上部回转体上;信息获取装置,获取与施工相关的信息;及控制装置,控制通知装置,所述控制装置根据所述信息获取装置所获取的信息来判定危险状况。
发明效果
上述挖土机能够事先防止发生危险状况。
附图说明
图1是本发明的实施方式所涉及的挖土机的侧视图。
图2是图1的挖土机的俯视图。
图3是表示搭载于图1的挖土机的基本***的结构例的图。
图4是表示危险判定部与危险信息数据库的关系的一例的示意图。
图5是表示输入图像的显示例的图。
图6是表示输入图像的另一显示例的图。
图7是挖掘洞的挖土机的俯视图。
图8是表示输入图像的又一显示例的图。
图9是表示输入图像的又一显示例的图。
图10是表示挖土机支援***的结构例的图。
图11是表示施工***的结构例的图。
图12是表示危险判定部与危险信息数据库的关系的另一例的示意图。
图13是表示挖土机支援***的结构例的图。
图14是表示基于判定部的判定处理的一例的示意图。
图15是表示挖土机支援***的动作的一例的时序图。
图16是表示基于判定部的判定处理的另一例的示意图。
图17是表示基于判定部的判定处理的又一例的示意图。
图18是表示挖土机支援***的另一结构例的图。
图19是表示显示装置的图像显示部及操作部的结构例的图。
图20是表示施工***的一例的概略图。
图21是表示施工***的另一例的概略图。
具体实施方式
首先,参考图1~图3对作为本发明的实施方式所涉及的挖掘机的挖土机100进行说明。图1是挖土机100的侧视图。图2是挖土机100的俯视图。图3示出搭载于图1的挖土机100的基本***的结构例。
在本实施方式中,挖土机100的下部行走体1包括履带1C。履带1C由搭载于下部行走体1的作为行走致动器的行走液压马达2M驱动。具体而言,如图2所示,履带1C包括左履带1CL及右履带1CR,行走液压马达2M包括左行走液压马达2ML及右行走液压马达2MR。左履带1CL由左行走液压马达2ML驱动,右履带1CR由右行走液压马达2MR驱动。
下部行走体1上经由回转机构2可回转地搭载有上部回转体3。回转机构2由搭载于上部回转体3的作为回转致动器的回转液压马达2A驱动。但是,回转致动器也可以是作为电动致动器的回转电动发电机。
上部回转体3上安装有动臂4。动臂4的前端安装有斗杆5,斗杆5的前端安装有作为端接附件的铲斗6。动臂4、斗杆5及铲斗6构成作为附件的一例的挖掘附件AT。动臂4由动臂缸7驱动,斗杆5由斗杆缸8驱动,铲斗6由铲斗缸9驱动。
动臂4相对于上部回转体3以可上下转动的方式被支承。并且,动臂4上安装有动臂角度传感器S1。动臂角度传感器S1能够检测作为动臂4的转动角度的动臂角度θ1。动臂角度θ1例如为自将动臂4降低到最低位置的状态起的上升角度。因此,动臂角度θ1在将动臂4提升到最高位置时成为最大。
斗杆5相对于动臂4以可转动的方式被支承。并且,斗杆5上安装有斗杆角度传感器S2。斗杆角度传感器S2能够检测作为斗杆5的转动角度的斗杆角度θ2。斗杆角度θ2例如为自最大限度地闭合斗杆5的状态起的打开角度。因此,斗杆角度θ2在最大限度地打开斗杆5时成为最大。
铲斗6相对于斗杆5以可转动的方式被支承。并且,铲斗6上安装有铲斗角度传感器S3。铲斗角度传感器S3能够检测作为铲斗6的转动角度的铲斗角度θ3。铲斗角度θ3为自最大限度地闭合铲斗6的状态起的打开角度。因此,铲斗角度θ3在最大限度地打开铲斗6时成为最大。
在图1的实施方式中,动臂角度传感器S1、斗杆角度传感器S2及铲斗角度传感器S3分别由加速度传感器和陀螺仪传感器的组合构成。但是,也可以仅由加速度传感器构成。并且,动臂角度传感器S1可以是安装在动臂缸7上的行程传感器,也可以是旋转编码器、电位差计或惯性测量装置等。这也同样地适用于斗杆角度传感器S2及铲斗角度传感器S3。
上部回转体3上设置有作为驾驶室的驾驶舱10,且搭载有发动机11等动力源。并且,上部回转体3上安装有空间识别装置70、朝向检测装置71、定位装置73、机身倾斜度传感器S4及回转角速度传感器S5等。驾驶舱10的内部设置有操作装置26、操作压力传感器29、控制器30、信息输入装置72、显示装置D1及声音输出装置D2等。另外,在本说明书中,为了方便,将上部回转体3中安装有挖掘附件AT的一侧(+X侧)设为前侧,将安装有配重的一侧设为(-X侧)后侧。
操作装置26是操作者为了操作致动器而使用的装置。操作装置26例如包括操作杆及操作踏板。致动器包括液压致动器及电动致动器中的至少一个。在本实施方式中,如图3所示,操作装置26构成为能够经由先导管路向控制阀17内的对应的控制阀的先导端口供给先导泵15吐出的工作油。向各先导端口供给的工作油的压力(先导压)为对应于与各液压致动器对应的操作装置26的操作方向及操作量的压力。但是,操作装置26也可以是电动控制式,而不是这种先导压式。此时,控制阀17内的控制阀可以是电磁螺线管式滑阀。
具体而言,如图2所示,操作装置26包括左操作杆及右操作杆。左操作杆用于回转操作及斗杆5的操作。右操作杆用于动臂4的操作及铲斗6的操作。
操作压力传感器29构成为能够检测操作者对操作装置26进行的操作的内容。在本实施方式中,操作压力传感器29以压力(操作压力)的形式检测与各致动器对应的操作装置26的操作方向及操作量,并对控制器30输出检测出的值。操作装置26的操作内容也可以使用操作压力传感器以外的其他传感器来检测。
具体而言,操作压力传感器29包括左操作压力传感器及右操作压力传感器。左操作压力传感器以压力的形式分别检测操作者对左操作杆进行的向前后方向的操作的内容及操作者对左操作杆进行的向左右方向的操作的内容,并将所检测到的值输出到控制器30。操作内容例如为杆操作方向及杆操作量(杆操作角度)等。这也同样地适用于右操作杆。
空间识别装置70构成为,获取与挖土机100周围的三维空间相关的信息。并且,空间识别装置70可以构成为,计算从空间识别装置70或挖土机100到由空间识别装置70识别的物体为止的距离。空间识别装置70例如是超声波传感器、毫米波雷达、单眼摄像机、立体摄像机、LIDAR、距离图像传感器或红外线传感器等。在本实施方式中,空间识别装置70包括安装在驾驶舱10的上表面前端的前置摄像机70F、安装在上部回转体3的上表面后端的后置摄像机70B、安装在上部回转体3的上表面左端的左侧摄像机70L及安装在上部回转体3的上表面右端的右侧摄像机70R。也可以省略前置摄像机70F。
空间识别装置70例如是具有CCD或CMOS等成像元件的单眼摄像机,将拍摄到的图像输出到显示装置D1。空间识别装置70不仅利用所拍摄的图像,在作为空间识别装置70利用LIDAR、毫米波雷达、超声波传感器或激光雷达等的情况下,也可以通过向物体发送多个信号(激光等),并接收其反射信号,从而根据反射信号检测物体的距离及方向。
空间识别装置70也可以构成为检测存在于挖土机100周围的物体。物体例如是地形形状(倾斜或洞等)、电线、电线杆、人、动物、车辆、施工机械、建筑物、壁、头盔、安全马甲、作业服或头盔中的规定的标记等。空间识别装置70也可以构成为,能够辨认物体的种类、位置及形状等中的至少一个。空间识别装置70也可以构成为能够区分人与人以外的物体。
朝向检测装置71构成为检测与上部回转体3的朝向和下部行走体1的朝向之间的相对关系相关的信息。朝向检测装置71例如可以由安装在下部行走体1上的地磁传感器和安装在上部回转体3上的地磁传感器的组合构成。或者,朝向检测装置71可以由安装在下部行走体1上的GNSS接收机和安装在上部回转体3上的GNSS接收机的组合构成。朝向检测装置71也可以是旋转编码器或旋转位置传感器等。在通过回转电动发电机回转驱动上部回转体3的结构中,朝向检测装置71也可以由分解器构成。朝向检测装置71例如也可以安装在和实现下部行走体1与上部回转体3之间的相对旋转的回转机构2相关联地设置的中心接头部上。
朝向检测装置71也可以由安装在上部回转体3上的摄像机构成。此时,朝向检测装置71通过对安装在上部回转体3上的摄像机获取到的图像(输入图像)实施已知的图像处理来检测输入图像中所包括的下部行走体1的图像。然后,朝向检测装置71通过使用已知的图像识别技术来检测下部行走体1的图像,确定下部行走体1的长度方向。并且,朝向检测装置71导出形成在上部回转体3的前后轴的方向与下部行走体1的长度方向之间的角度。上部回转体3的前后轴的方向从输入图像导出。这是因为,已知摄像机的光轴的方向与上部回转体3的前后轴的方向的关系。履带1C从上部回转体3突出,因此朝向检测装置71能够通过检测履带1C的图像来确定下部行走体1的长度方向。朝向检测装置71可以合并到控制器30中。
信息输入装置72构成为,挖土机的操作者能够对控制器30输入信息。在本实施方式中,信息输入装置72为设置在显示装置D1的图像显示部41的附近的开关面板。但是,信息输入装置72可以是配置在显示装置D1的图像显示部41上的触摸面板,也可以是设置在操作杆的前端的控制盘或十字按钮等,也可以是配置在驾驶舱10内的麦克风等语音输入装置。并且,信息输入装置72也可以是通信装置。此时,操作者能够经由智能手机等通信终端向控制器30输入信息。
定位装置73构成为测定当前位置。在本实施方式中,定位装置73为GNSS接收机,其检测上部回转体3的位置,并对控制器30输出检测值。定位装置73也可以是GNSS罗盘。此时,定位装置73能够检测上部回转体3的位置及朝向。
机身倾斜度传感器S4检测上部回转体3相对于规定平面的倾斜度。在本实施方式中,机身倾斜度传感器S4为检测上部回转体3相对于水平面绕前后轴的倾斜角(滚转角)及绕左右轴的倾斜角(倾角)的加速度传感器。上部回转体3的前后轴及左右轴分别通过例如作为挖土机100的回转轴上的一点的挖土机中心点,且彼此正交。
回转角速度传感器S5检测上部回转体3的回转角速度。在本实施方式中,其为陀螺仪传感器。回转角速度传感器S5也可以是分解器、旋转编码器等。回转角速度传感器S5也可以检测回转速度。回转速度可以由回转角速度计算。
以下,将动臂角度传感器S1、斗杆角度传感器S2、铲斗角度传感器S3、机身倾斜度传感器S4及回转角速度传感器S5中的至少一个还称为姿势检测装置。挖掘附件AT的姿势例如根据动臂角度传感器S1、斗杆角度传感器S2及铲斗角度传感器S3各自的输出来检测。
显示装置D1是通知装置的一例,且构成为能够显示各种信息。在本实施方式中,显示装置D1为设置在驾驶舱10内的液晶显示器。但是,显示装置D1也可以是智能手机等通信终端的显示器。
声音输出装置D2是通知装置的另一例,且构成为能够输出声音。声音输出装置D2包括向驾驶舱10内的操作者输出声音的装置及向驾驶舱10外的作业人员输出声音的装置中的至少一个。声音输出装置D2也可以是附属于通信终端的扬声器。
控制器30为用于控制挖土机100的控制装置。在本实施方式中,控制器30由具备CPU、易失性存储装置VM(参考图3。)及非易失性存储装置NM(参考图3。)等的计算机构成。并且,控制器30从非易失性存储装置NM读取与各功能对应的程序而将其加载到易失性存储装置VM中,并使CPU执行对应的处理。各功能例如包括引导(guide)操作者进行的挖土机100的手动操作的设备引导功能及支援操作者进行的挖土机100的手动操作或使挖土机100自动或自主地动作的设备控制功能。
另外,控制器30也可以具有为了避免存在于挖土机100周围的监视区域内的物体与挖土机100的接触,使挖土机100自动或自主地动作或停止的接触避免功能。挖土机100周围的物体的监视不仅可以在监视区域内执行,还可以在监视区域外执行。此时,控制器30也可以构成为检测物体的种类和物体的位置。
接着,参考图3对搭载于图1的挖土机100的基本***进行说明。在图3中,机械动力传递管路用双重线表示,工作油管路用粗实线表示,先导管路用虚线表示,电力管路用细实线表示,电气控制管路用单点划线表示。
基本***主要包括发动机11、主泵14、先导泵15、控制阀17、操作装置26、操作压力传感器29、控制器30、切换阀35、发动机控制装置74、发动机转速调整控制盘75、蓄电池80、显示装置D1、声音输出装置D2及信息获取装置E1等。
发动机11是采用了不管负载的增减如何都恒定地维持发动机转速的同步控制的柴油发动机。发动机11中的燃料喷射量、燃料喷射定时、增压压力等由发动机控制装置74控制。
发动机11的旋转轴与作为液压泵的主泵14及先导泵15各自的旋转轴连结。主泵14经由工作油管路与控制阀17连接。先导泵15经由先导管路与操作装置26连接。但是,也可以省略先导泵15。此时,先导泵15所担负的功能可以通过主泵14来实现。即,除向控制阀17供给工作油的功能以外,主泵14还可以具备在通过节流器等降低工作油的压力之后向操作装置26等供给工作油的功能。
控制阀17是进行挖土机100的液压***的控制的液压控制装置。控制阀17与左行走液压马达2ML、右行走液压马达2MR、动臂缸7、斗杆缸8、铲斗缸9及回转液压马达2A等液压致动器连接。
具体而言,控制阀17包括与各液压致动器对应的多个滑阀。各滑阀构成为能够根据先导压进行位移,以能够增减PC端口的开口面积及CT端口的开口面积。PC端口是构成连接主泵14与液压致动器的油路的一部分的端口。CT端口是构成连接液压致动器与工作油箱的油路的一部分的端口。
切换阀35构成为,能够切换操作装置26的有效状态和无效状态。操作装置26的有效状态是操作者能够使用操作装置26操作液压致动器的状态。操作装置26的无效状态是操作者无法使用操作装置26操作液压致动器的状态。在本实施方式中,切换阀35是构成为根据来自控制器30的指令进行动作的作为电磁阀的门锁阀。具体而言,切换阀35配置在连接先导泵15与操作装置26的先导管路中,且构成为能够根据来自控制器30的指令来切换先导管路的切断/开通。操作装置26例如在未图示的门锁杆被提起而门锁阀被打开时成为有效状态,在门锁杆被下压而门锁阀被关闭时成为无效状态。
显示装置D1具有控制部40、图像显示部41及作为输入部的操作部42。控制部40构成为,能够控制显示在图像显示部41上的图像。在本实施方式中,控制部40由具备CPU、易失性存储装置及非易失性存储装置等的计算机构成。此时,控制部40从非易失性存储装置读取与各功能要件对应的程序而将其加载到易失性存储装置中,并使CPU执行对应的处理。但是,各功能要件可以由硬件构成,也可以由软件和硬件的组合构成。并且,显示在图像显示部41上的图像也可以由控制器30或空间识别装置70控制。
在图3所示的例子中,操作部42是包括硬件开关的面板。操作部42也可以是触摸面板。显示装置D1从蓄电池80接收电力的供给而进行动作。蓄电池80例如由交流发电机11a产生的电力充电。蓄电池80的电力也供给到控制器30等。例如,发动机11的启动装置11b由来自蓄电池80的电力驱动,启动发动机11。
发动机控制装置74向控制器30发送冷却水温等与发动机11的状态相关的数据。主泵14的调节器14a向控制器30发送与斜板偏转角相关的数据。吐出压力传感器14b向控制器30发送与主泵14的吐出压力相关的数据。设置在工作油箱与主泵14之间的油路的油温传感器14c向控制器30发送与在该油路中流动的工作油的温度相关的数据。控制器30能够在易失性存储装置VM中累积这些数据,在必要时发送到显示装置D1。
发动机转速调整控制盘75是用于调整发动机11的转速的控制盘。发动机转速调整控制盘75向控制器30发送与发动机转速的设定状态相关的数据。发动机转速调整控制盘75构成为,能够以SP模式、H模式、A模式及IDLE模式这4个阶段切换发动机转速。SP模式是在想要优先作业量的情况下选择的转速模式,利用最高的发动机转速。H模式是在想要兼顾作业量和油耗率的情况下选择的转速模式,利用第二高的发动机转速。A模式是在想要优先油耗率的同时使挖土机100以低噪音运转的情况下选择的转速模式,利用第三高的发动机转速。IDLE模式是在想要使发动机11成为怠速状态的情况下选择的转速模式,利用最低的发动机转速。发动机11被控制成以与由发动机转速调整控制盘75设定的转速模式对应的发动机转速恒定。
声音输出装置D2构成为,能够唤起与挖土机100的作业相关的人的注意。声音输出装置D2例如可以由室内警报装置及室外警报装置的组合构成。室内警报装置是用于唤起位于驾驶舱10内的挖土机100的操作者的注意的装置,例如包括设置在驾驶舱10内的扬声器、振动发生装置及发光装置中的至少一个。室内警报装置也可以是作为通知装置的一例的显示装置D1。室外警报装置是用于唤起在挖土机100的周围进行作业的作业人员的注意的装置,例如包括设置在驾驶舱10外的扬声器及发光装置中的至少一个。作为室外警报装置的扬声器例如包括安装在上部回转体3的底面的行走警报器装置。并且,室外警报装置也可以是设置在上部回转体3上的发光装置。但是,也可以省略室外警报装置。声音输出装置D2例如也可以在作为物体检测装置发挥作用的空间识别装置70检测到规定物体的情况下,向与挖土机100的作业相关的人通知该内容。并且,室外警报装置也可以是位于驾驶舱10外的作业人员携带的便携式信息终端装置。便携式信息终端装置例如是智能手机、平板终端、智能手表或带扬声器的头盔等。
通知装置也可以设置在挖土机100的外部。通知装置例如也可以安装在设置于作业现场的柱或铁塔等。
在图3的例子中,控制器30构成为,接收信息获取装置E1中的至少一个输出的信号,执行各种运算,能够向显示装置D1及声音输出装置D2等中的至少一个输出控制指令。
信息获取装置E1构成为能够获取与施工相关的信息。在本实施方式中,信息获取装置E1包括动臂角度传感器S1、斗杆角度传感器S2、铲斗角度传感器S3、机身倾斜传感器S4、回转角速度传感器S5、动臂杆压力传感器、动臂缸底压力传感器、斗杆杆压力传感器、斗杆缸底压力传感器、铲斗杆压力传感器、铲斗缸底压力传感器、动臂缸行程传感器、斗杆缸行程传感器、铲斗缸行程传感器、吐出压力传感器、操作压力传感器29、空间识别装置70、朝向检测装置71、信息输入装置72、定位装置73及通信装置中的至少一个。信息获取装置E1例如获取动臂角度、斗杆角度、铲斗角度、机身倾斜角度、回转角速度、动臂杆压力、动臂缸底压力、斗杆杆压力、斗杆缸底压力、铲斗杆压力、铲斗缸底压力、动臂行程量、斗杆行程量、铲斗行程量、主泵14的吐出压力、操作装置26的操作压力、与挖土机100周围的三维空间相关的信息、与上部回转体3的朝向和下部行走体1的朝向的相对关系相关的信息、对控制器30输入的信息及与当前位置相关的信息等中的至少一个作为与挖土机100相关的信息。并且,信息获取装置E1也可以从其他施工机械或飞行器等中获得信息。飞行器例如是获取与作业现场相关的信息的多轴飞行器或飞行船等。而且,信息获取装置E1也可以获取作业环境信息。作业环境信息例如是与沙土特性、天气及高度等中的至少一个相关的信息。
控制器30主要具有危险判定部30A作为功能要件。危险判定部30A可以由硬件构成,也可以由软件构成。具体而言,危险判定部30A构成为,根据信息获取装置E1所获取的信息和存储在危险信息数据库DB中的信息,能够判定是否发生危险状况。危险信息数据库DB例如存储在控制器30中的非易失性存储装置NM中。作为另一例,危险信息数据库DB也可以构成为,设置在后述的管理装置200中,能够经由通信网与挖土机100进行通信。
危险信息数据库DB是以能够搜索与有可能在作业现场发生的危险状况相关的信息的方式***地构成的信息的集合体。危险信息数据库DB例如存储与由挖土机100挖掘的洞的位置和埋设在该洞中的侧槽块的临时放置位置带来的危险状况相关的信息。具体而言,危险信息数据库DB使用挖土机100挖掘的洞的深度、侧槽块的体积及从洞的边缘到侧槽块的距离等,确定危险状况的条件及危险程度等中的至少一个。
具体而言,例如,如图4所示,危险判定部30A导出挖土机100挖掘的洞及侧槽块等多个物体之间的相对位置关系作为输入信息。图4是表示危险判定部30A与危险信息数据库DB的关系的一例的示意图。危险判定部30A将所导出的输入信息和存储在危险信息数据库DB中的与该输入信息对应的参考信息进行核对。在该例子中,与输入信息对应的参考信息例如是多个参考信息中的与挖土机100挖掘的洞和侧槽块建立对应关联的参考信息。并且,危险判定部30A在判定为由输入信息表示的状况与由参考信息表示的状况吻合或类似的情况下,判定为发生危险状况。
更具体而言,危险判定部30A根据信息获取装置E1所获取的信息,导出挖土机100在挖掘的洞的深度、侧槽块的体积及从洞的边缘到侧槽块的距离等作为输入信息。并且,危险判定部30A将所导出的输入信息和存储在危险信息数据库DB中的表示危险状况的参考信息进行核对。并且,危险判定部30A在判定为由输入信息表示的状况与由参考信息表示的状况吻合或类似的情况下,判定为发生危险状况。另外,危险判定部30A也可以在将输入信息和表示不危险的状况的参考信息进行核对,在判定为由输入信息表示的状况与由参考信息表示的状况不吻合或不类似的情况下,判定为发生危险状况。而且,危险判定部30A也可以使用与沙土特性相关的信息或与天气相关的信息之类的作业环境信息来判定是否发生危险状况。
例如,危险判定部30A在根据作为信息获取装置E1的一例的前置摄像机70F所获取的输入图像,识别出图5所示的位置关系的情况下,判定为发生危险状况。
图5示出显示在显示装置D1上并由前置摄像机70F获取的输入图像的一例。所显示的输入图像包括消息窗口G0、斗杆5的图像G1、铲斗6的图像G2、由挖土机100挖掘的洞的图像G3、临时放置在洞的附近的侧槽块的图像G4及包围图像G4的框图像G4F。消息窗口G0表示当前的危险程度是级别4,其原因是“块倾覆的危险”。
危险判定部30A通过对输入图像实施图像处理,识别出存在侧槽块及存在由挖土机100挖掘的洞,且导出侧槽块与洞的边缘之间的距离。并且,危险判定部30A在判定为侧槽块与洞的边缘之间的距离小于存储在危险信息数据库DB中的阈值的情况下,判定为发生危险状况。
在判定为发生危险状况的情况下,危险判定部30A使通知装置工作,向外部通知有可能发生危险状况的内容。在本实施方式中,危险判定部30A使显示装置D1及室内警报装置工作,向挖土机100的操作者通知该内容。并且,危险判定部30A也可以使室外警报装置工作,向在挖土机100的周围进行作业的作业人员通知该内容。此时,是否发生危险状况的判定结果有时还根据侧槽块的重心位置、侧槽块的尺寸(宽度、高度、长度)及洞的大小(宽度、高度、长度)等中的至少一个而发生变化。因此,危险判定部30A也可以使危险程度(不安全的状况的程度)阶段性地不同。
危险判定部30A也可以通知危险状况的内容。例如,危险判定部30A也可以使声音输出装置D2输出“洞的边缘有可能崩塌”之类的传递有可能发生的状况的内容的语音消息或使显示装置D1显示传递有可能发生的状况的内容的文本消息。
图6示出显示在显示装置D1上并由前置摄像机70F获取的输入图像的另一例。所显示的输入图像包括消息窗口G0、斗杆5的图像G1、铲斗6的图像G2、由挖土机100挖掘的洞的图像G3、临时放置在洞的附近的侧槽块的图像G4、包围图像G4的框图像G4F、进入洞中的作业人员的图像G5及包围图像G5的框图像G5F。消息窗口G0表示当前的危险程度是级别5,其原因是“重大事故的危险”。
危险判定部30A通过对输入图像实施图像处理,识别出存在侧槽块、存在由挖土机100挖掘的洞及作业人员在洞中。此外,危险判定部30A导出侧槽块与洞的边缘之间的距离及侧槽块与作业人员之间的距离。并且,危险判定部30A在判定为侧槽块与洞的边缘之间的距离小于存储在危险信息数据库DB中的第1阈值,且侧槽块与作业人员之间的距离小于存储在危险信息数据库DB中的第2阈值的情况下,判定为发生危险状况。此时,即使是相同的位置关系,若侧槽块的尺寸或洞的大小不同,则有时是否发生危险状况的判定结果发生变化。因此,危险判定部30A也可以根据侧槽块的尺寸或洞的大小、以及作业环境信息来变更第1阈值及第2阈值中的至少一者。
在判定为发生危险状况的情况下,危险判定部30A以与在图5所示的状况下使通知装置工作时不同的方式使通知装置工作。这是因为,在图5所示的状况下,作业人员与危险状况无关,而在图6所示的状况下,作业人员与危险状况有关。具体而言,危险判定部30A使通知装置工作,以使能够更可靠地唤起挖土机100的操作者及作业人员各自的注意。
危险判定部30A也可以构成为,根据信息获取装置E1所获取的信息,推算出经过规定时间后的施工状况,根据与所推算出的施工状况相关的信息和存储在危险信息数据库DB中的信息,能够判定是否在经过规定时间后发生危险状况。
具体而言,如图7所示,危险判定部30A根据挖土机100挖掘的洞TR的形状,推算出经过规定时间后的洞TR的形状。图7是挖土机100所处的作业现场的俯视图。图7的假想虚线表示危险判定部30A推算出的经过规定时间后的洞TR的形状,即未挖掘的洞TRx的形状。
此外,危险判定部30A导出未挖掘的洞TRx与侧槽块BL之间的相对位置关系作为输入信息。另外,危险判定部30A根据左侧摄像机70L所获取的输入图像,识别出侧槽块BL的位置。并且,危险判定部30A将所导出的输入信息和存储在危险信息数据库DB中的与输入信息对应的参考信息进行核对。并且,危险判定部30A在判定为由输入信息表示的状况与由参考信息表示的状况吻合或类似的情况下,判定为在经过规定时间后有可能发生危险状况。
更具体而言,危险判定部30A根据信息获取装置E1所获取的信息,导出挖土机100挖掘的洞TR的当前的形状。并且,危险判定部30A根据挖土机100挖掘的洞TR的当前的形状,推算出经过规定时间后的洞TRx的形状。然后,危险判定部30A导出从经过规定时间后的洞TRx的边缘到侧槽块BL的距离X1等作为输入信息。并且,危险判定部30A将所导出的输入信息和存储在危险信息数据库DB中的表示危险状况的参考信息进行核对。并且,危险判定部30A在判定为由输入信息表示的状况与由参考信息表示的状况吻合或类似的情况下,判定为在经过规定时间后有可能发生危险状况。
或者,危险判定部30A也可以构成为,在由挖土机100挖掘洞之前,能够判定将来是否发生危险状况。
具体而言,危险判定部30A也可以在如图8所示临时放置侧槽块BL的时刻,判定将来是否有可能发生危险状况。或者,危险判定部30A也可以在如图8所示临时放置的侧槽块BL的附近开始洞的挖掘的时刻,判定为将来有可能发生危险状况。
图8示出显示在显示装置D1上并由前置摄像机70F获取的输入图像的又一例。所显示的输入图像包括消息窗口G0、斗杆5的图像G1、铲斗6的图像G2、临时放置的侧槽块BL的图像G4、包围图像G4的框图像G4F及表示要由挖土机100挖掘的未挖掘的洞的形状的图像G6。消息窗口G0表示当前的危险程度是级别4,其原因是“块倾覆的危险”。
在图8的例子中,图像G6根据预先存储在控制器30所具有的非易失性存储装置NM中的设计数据等与施工计划相关的信息来生成。但是,图像G6也可以根据与当前时刻的挖掘附件的姿势相关的数据及与上部回转体3的朝向相关的数据等来生成。
危险判定部30A通过对输入图像实施图像处理,识别出存在侧槽块BL,且导出将来挖掘的洞的边缘与侧槽块BL之间的距离。并且,危险判定部30A在判定为未挖掘的洞的边缘与侧槽块BL之间的距离小于存储在危险信息数据库DB中的阈值的情况下,判定为将来有可能发生危险状况。
或者,危险判定部30A也可以通过对输入图像实施图像处理,识别出在作为侧槽块BL的临时放置处而设定的区域以外的位置存在侧槽块BL。此时,危险判定部30A也可以根据设计数据来确定作为侧槽块BL的临时放置处设定的区域。并且,危险判定部30A也可以根据在作为临时放置处设定的区域以外的位置临时放置侧槽块BL的事实,判定为将来有可能发生危险状况。如此,危险判定部30A也可以根据与侧槽块BL等材料的配置相关的信息,判定将来是否有可能发生危险状况。
或者,危险判定部30A也可以通过对输入图像实施图像处理,识别出存在由挖土机100挖掘的洞,且导出侧槽块等材料的临时放置处与洞的边缘之间的距离。并且,危险判定部30A也可以在判定为尚未临时放置材料的临时放置处与洞的边缘之间的距离小于存储在危险信息数据库DB中的阈值的情况下,判定为将来有可能发生危险状况。这是因为,在挖掘洞之后,在按照施工计划将材料临时放置在临时放置处的情况下,洞的边缘有可能崩塌。
危险判定部30A也可以在根据作为信息获取装置E1的一例的前置摄像机70F所获取的输入图像,识别出图9所示的位置关系的情况下,判定为发生危险状况。
图9示出显示在显示装置D1上并由前置摄像机70F获取的输入图像的又一例。所显示的输入图像包括消息窗口G0、斗杆5的图像G1、铲斗6的图像G2、自卸车的图像G7、装载在自卸车的车厢中的铁板的图像G8、包围图像G8的框图像G8F及用于起吊作为吊起物的铁板的起重机缆绳(钢丝绳)的图像G9。消息窗口G0表示当前的危险程度是级别4,其原因是“载荷失衡的危险”。
危险判定部30A通过对输入图像实施图像处理,识别出存在装载铁板的自卸车及存在由以起重机模式进行动作的挖土机100起吊的铁板,且导出起吊的铁板的形状、吊点的数量及位置以及铁板的重心与吊点的中心之间的水平距离等。并且,危险判定部30A例如在判定为起吊的铁板的形状与吊点的数量及位置的关系与存储在危险信息数据库DB中的关系吻合或类似的情况下,判定为发生危险状况。或者,危险判定部30A也可以在判定为铁板的重心与多个吊点的中心之间的水平距离为存储在危险信息数据库DB中的阈值以上的情况下,判定为发生危险状况。
在判定为发生危险状况的情况下,危险判定部30A使通知装置工作,向外部通知有可能发生危险状况的内容。在本实施方式中,危险判定部30A使显示装置D1及室内警报装置工作,向挖土机100的操作者通知该内容。并且,危险判定部30A也可以使室外警报装置工作,向在挖土机100的周围进行作业的作业人员通知该内容。
危险判定部30A也可以通知有可能发生危险状况的内容。例如,危险判定部30A也可以输出“吊起物有可能摇晃”之类的传递有可能发生的状况的内容的语音消息及文本消息。
在上述实施方式中,危险判定部30A作为搭载于挖土机100的控制器30的功能要件来实现,但也可以设置在挖土机100的外部。此时,危险判定部30A也可以在由于吊点的位置不适当而预测为产生铁板的倾斜的情况下,在作业人员进入到预测为产生铁板的倾斜的地方时提高危险程度。
具体而言,如图10所示,危险判定部30A也可以作为设置在位于挖土机100的外部的管理中心等的管理装置200的功能要件来实现。图10是表示挖土机支援***的结构例的图。挖土机支援***主要由1台或多台挖土机100、1台或多台管理装置200、1台或多台支援装置300及1台或多台定点摄像机70X构成。图10的挖土机支援***由1台挖土机100、1台管理装置200、1台支援装置300及3台定点摄像机70X构成。支援装置300是作业人员WK所携带的智能手机或平板PC等移动终端。
挖土机100、管理装置200、支援装置300及定点摄像机70X分别经由移动电话通信网、卫星通信网及无线LAN通信网等中的至少一个可彼此通信地连接。
3台定点摄像机70X分别安装在设置于作业现场的柱或铁塔等结构物PL上,以能够将作业现场的整个区域包含在拍摄范围内的方式彼此分离地配置。
在图10的例子中,危险判定部30A构成为,根据安装在挖土机100或结构物PL等的信息获取装置E1所获取的信息和存储在危险信息数据库DB中的信息,能够判定是否发生危险状况。信息获取装置E1包括定点摄像机70X。危险信息数据库DB存储在管理装置200所具有的非易失性存储装置NM中。
具体而言,危险判定部30A例如在根据作为信息获取装置E1的一例的定点摄像机70X所获取的输入图像,识别出如图5~图8所示的位置关系的情况下,判定为有可能发生危险状况。
另外,危险判定部30A及危险信息数据库DB可以搭载于支援装置300,也可以分别搭载于挖土机100、管理装置200及支援装置300中的两个上。
危险判定部30A也可以构成为,能够在施工计划的阶段判定是否有可能发生危险状况。此时,危险判定部30A典型地搭载于管理装置200或支援装置300,构成支援施工计划的制作的施工***。
图11是表示施工***的结构例的图。施工***例如是设置在管理中心等的计算机***,主要由显示装置MD1、声音输出装置MD2、信息输入装置MD3及控制器MD4构成。
显示装置MD1是通知装置的一例,且构成为能够显示各种信息。在图11的例子中,显示装置MD1是设置在管理中心内的液晶显示器。
声音输出装置MD2是通知装置的另一例,且构成为能够输出声音。在图11的例子中,声音输出装置MD2是向利用施工***的管理者输出声音的扬声器。
信息输入装置MD3构成为,制作施工计划的管理者能够对控制器MD4输入信息。在图11的例子中,信息输入装置MD3是配置在显示装置MD1的图像显示部上的触摸面板。但是,信息输入装置MD3也可以是数字化转换器、触针、鼠标或轨迹球等。
控制器MD4是用于控制施工***的控制装置。在图11的例子中,控制器MD4由具备CPU、易失性存储装置VM及非易失性存储装置NM等的计算机构成。并且,控制器MD4从非易失性存储装置NM读取与各功能对应的程序而将其加载到易失性存储装置VM中,并使CPU执行对应的处理。危险判定部30A作为控制器MD4的功能要件来实现。
在图11的显示装置MD1的图像显示部上显示有管理者制作与侧槽块的埋设施工相关的施工计划时所显示的图像。具体而言,所显示的图像包括表示挖掘用于埋设侧槽块的洞的范围的图像G10、表示通常的侧槽块的图像G11、表示转角用侧槽块的图像G12、表示光标的图像G13、表示所选择的(进行拖动操作的)侧槽块的图像G14及表示包含文本消息的弹出窗口的图像G15。
管理者例如通过将图像G10以所期望的大小及所期望的形状配置在所期望的位置,能够确定形成用于埋设侧槽块的洞的范围。另外,图像G10所示的范围表示由挖土机100挖掘的范围。例如,管理者能够通过使用数字化转换器等指定图像显示部中的所期望的范围来确定图像G10的形状及大小。
并且,管理者通过图像G11的拖放操作,使显示在材料显示区域R1中的图像G11或其副本移动到作业现场显示区域R2的所期望的位置,由此能够确定通常的侧槽块的临时放置位置。这也同样地适用于转角用侧槽块。材料显示区域是以管理者能够选择的方式显示表示在施工***中确定临时放置位置的多个材料各自的种类的图像的区域。作业现场显示区域R2是显示作业现场的俯视图的区域。
图11表示在如图像G10所示那样设定了埋设侧槽块的范围之后,通过拖动操作使图像G11的副本移动到图像G10的附近,且通过放下操作配置在图像G10的附近的状态。另外,管理者可以以在由挖土机100实际挖掘洞之前将侧槽块临时放置在所期望的位置的方式制作施工计划(材料临时放置计划),也可以以在由挖土机100实际挖掘洞之后将侧槽块临时放置在所期望的位置的方式制作施工计划(材料临时放置计划)。
危险判定部30A根据作为信息获取装置E1的信息输入装置MD3所获取的信息,导出从计划挖掘的洞的边缘到临时放置的侧槽块的距离等作为输入信息。
信息输入装置MD3所获取的信息例如包括由图像G10表示的与计划挖掘的洞的位置相关的信息及由图像G14表示的与临时放置的侧槽块的位置相关的信息等。与计划挖掘的洞的位置相关的信息是规定时间后的预定信息的一例。
并且,危险判定部30A将所导出的输入信息和存储在危险信息数据库DB中的表示危险状况的参考信息进行核对。并且,危险判定部30A在判定为由输入信息表示的状况与由参考信息表示的状况吻合或类似的情况下,判定为将来有可能发生危险状况。
在判定为将来有可能发生危险状况的情况下,危险判定部30A使通知装置工作,并向管理者通知该内容。在图11的例子中,危险判定部30A在显示装置MD1的图像显示部显示包含警告消息“过于接近沟槽”的图像G15以唤起管理者的注意。这是因为,在按照这种施工计划执行作业的情况下,洞的边缘有可能因侧槽块的重量而崩塌。另外,危险判定部30A也可以从声音输出装置MD2输出语音消息来唤起管理者的注意。
通过该结构,施工***能够防止由管理者制作将来有可能发生危险状况的施工计划。
危险判定部30A也可以构成为,无需定量地导出挖土机100挖掘的洞及侧槽块等多个特定的物体之间的相对位置关系,而在识别出由一个或多个特定的物体的存在与否等表示的输入场景之后,判定该识别出的输入场景是否为表示危险状况的场景。
输入场景例如是仅存在挖土机100挖掘的洞的场景、存在挖土机100挖掘的洞和侧槽块的场景或存在挖土机100挖掘的洞、侧槽块及作业人员的场景等。
图12是表示危险判定部30A与危险信息数据库DB的关系的另一例的示意图。在图12的例子中,危险判定部30A将所识别的输入场景和存储在危险信息数据库DB中的表示危险状况的参考场景进行核对。并且,危险判定部30A在判定为输入场景与参考场景吻合或类似的情况下,判定为发生危险状况。
表示危险状况的参考场景例如是根据累积的过去的事故事例等而生成的信息,例如包含基于即将发生事故之前的作业现场的图像的信息。
具体而言,危险判定部30A无需导出挖土机100在挖掘的洞的深度、侧槽块的体积及从洞的边缘到侧槽块的距离等的数值,而通过使用神经网络确定一个或多个物体来识别输入场景。此外,危险判定部30A使用神经网络来判定所识别的输入场景是否为表示危险状况的参考场景。危险判定部30A也可以通过使用神经网络的图像分类技术,判别输入场景是否与危险程度不同的多个参考场景中的哪一个吻合或类似。
在此,参考图13~图15对使用神经网络的挖土机支援***进行说明。图13是表示挖土机支援***的结构例的图。在图13的例子中,挖土机100包括控制器30、记录装置32及判定装置34。
控制器30在通过判定装置34在挖土机100周围的规定的监视区域内(例如,距挖土机100为5米以内的作业区域)检测到监视对象的物体(例如,人、卡车、其他施工机械、电线杆、吊起物、塔架、建筑物等)的情况下,判断监视对象的物体的种类,根据其种类进行避免物体与挖土机100抵接等的控制(以下,称为“抵接避免控制”)。控制器30例如作为通过在CPU上执行存储在ROM或辅助存储装置等中的一个以上的程序来实现的与抵接避免控制相关的功能部,包括通知部302和动作控制部304。
并且,即使在挖土机100的监视区域内存在物体,也可以根据该物体的种类而不执行避免控制。例如,在起重机模式的情况下,即使钢丝绳存在于铲斗6的背面附近,由于钢丝绳是作业工具的一部分,因此不对钢丝绳执行避免控制。如此,根据物体的位置和场所来判断避免控制是否可行。
而且,即使控制器30检测到临时放置的沙土堆,在该沙土堆是装载对象的沙土堆的情况下,在装载作业时不对沙土堆执行避免控制,允许挖掘动作。然而,在行走作业时,若挖土机爬上沙土堆,则变得不稳定,因此对沙土堆执行避免控制。如此,也可以根据物体的位置、场所及作业内容等来判断避免控制(避免动作)是否可行。并且,不仅判断避免控制是否可行,还可以根据物体的位置、场所及作业内容等来判断动作内容是否可行。
记录装置32在规定的定时记录作为空间识别装置70的摄像机所获取的图像(输入图像)。记录装置32可以由任意的硬件或任意的硬件及软件的组合来实现。例如,记录装置32可以以与控制器30相同的计算机为中心构成。记录装置32例如作为通过在CPU上执行存储在ROM或辅助存储装置中的一个以上的程序来实现的功能部,包括记录控制部322。并且,记录装置32包括作为在内部存储器中限定的存储区域的存储部324。
判定装置34根据输入图像进行与挖土机100周围的物体相关的判定(例如,物体的检测判定或物体的分类判定等)。判定装置34可以由任意的硬件或任意的硬件及软件的组合来实现。例如,判定装置34可以以与控制器30等相同的结构,即除了CPU、RAM、ROM、辅助存储装置及各种输入输出接口等以外,还包括与CPU中的处理联动而进行基于并列处理的高速运算的图像处理用运算器件的计算机为中心构成。以下,对于后述的管理装置200的控制装置210也具有相同的结构。图像处理用运算器件可以包含GPU(Graphics ProcessingUnit:图形处理单元)、FPGA(Field-Programmable Gate Array:现场可编程门阵列)、ASIC(Application Specific Integrated Circuit:专用集成电路)。判定装置34例如作为通过在CPU上执行存储在ROM或辅助存储装置等中的一个以上的程序来实现的功能部,包括显示控制部342和判定部344。并且,判定装置34包括作为在非易失性的内部存储器中限定的存储区域的存储部346。另外,控制器30、记录装置32及判定装置34的一部分或全部也可以合并为一个。
显示装置D1在基于判定装置34(显示控制部342)的控制下,显示表示基于输入图像的挖土机100周围的状态的图像。具体而言,显示装置D1显示输入图像。并且,显示装置D1显示由判定装置34(显示控制部342)生成的对输入图像实施规定的转换处理(例如,视点转换处理)等的转换图像。转换图像例如可以是将从挖土机100的正上方观察的俯瞰图像和从挖土机100在水平方向上观察远方的水平图像进行组合的视点转换图像。并且,视点转换图像也可以是将前置摄像机70F、后置摄像机70B、左侧摄像机70L及右侧摄像机70R分别获取的图像转换为基于俯瞰图像及水平图像的视点转换图像的基础上进行合成的合成图像。
通信设备90是与通信网络连接并与管理装置200等的外部进行通信的任意的器件。通信设备90例如可以是与LTE(Long Term Evolution:长期演进)、4G(4th Generation:***)、5G(5th Generation:第五代)等规定的移动体通信标准对应的移动体通信模块。
通知部302在通过判定装置34(判定部344)在挖土机100周围的监视区域内检测到监视对象的物体的情况下,向操作者等通知该内容。由此,在监视对象的物体侵入到挖土机100周围的比较近的范围的情况下,即使该物体从驾驶舱10观察时位于死角,操作者等也能够识别出侵入,实现中止对操作装置26的操作等安全确保。
例如,通知部302通过向声音输出装置D2输出控制信号,向操作者等通知在接近挖土机100的监视区域内检测到监视对象的物体。另外,也可以通过显示装置D1进行表示由判定装置34在挖土机100周围的监视区域内检测到监视对象的物体的通知。
在通过判定装置34(判定部344)在挖土机100周围的监视区域内检测到监视对象的物体的情况下,动作控制部304限制挖土机100的动作。由此,动作控制部304在监视对象的物体侵入到接近挖土机100的监视区域内的情况下,限制挖土机100的动作,能够降低挖土机100与监视对象的物体接触等的可能性。此时,挖土机100的动作的限制可以包括使作为针对操作装置26中的操作者等的操作内容(操作量)的输出的挖土机100的各种动作要件的动作减慢的情况。并且,挖土机100的动作的限制也可以包括不依赖操作装置26的操作内容而使挖土机100的动作要件的动作停止的情况。并且,作为挖土机100的动作的限制对象的挖土机100的动作要件可以是能够通过操作装置26进行操作的所有动作要件,也可以是为了避免挖土机100与监视对象的物体的接触所需的一部分动作要件。
例如,动作控制部304可以向设置在操作装置26的二次侧的先导管路的减压阀输出控制信号,对与操作者等对操作装置26的操作内容对应的先导压进行减压。并且,在操作装置26为电动式的情况下,动作控制部304也可以通过向电磁阀发送被限制为比与从操作装置26输入的信号对应的操作内容(操作量)小的操作量的信号来控制电磁阀,对从电磁阀作用于控制阀的先导压进行减压。由此,对作用于控制向液压致动器供给的工作油的控制阀的与对操作装置26的操作内容对应的先导压进行减压,能够限制各种动作要件的动作。
记录控制部322(记录部的一例)在规定的定时(以下,称为“记录定时”)将摄像机(前置摄像机70F、后置摄像机70B、左侧摄像机70L及右侧摄像机70R)所获取的图像记录在存储部324中。由此,在存储部324的容量有限的情况下,能够预先限定必要的定时,将输入图像记录在存储部324中。并且,如后所述,能够抑制存储部324的输入图像被发送到管理装置200时的发送容量,抑制通信成本。具体而言,记录控制部322例如在到达记录定时的情况下,包括过去的部分,获取在RAM等中限定的环形缓冲器内的输入图像中的与该记录定时对应的输入图像,并记录在存储部324中。
记录定时例如可以是预先限定的周期性定时。并且,记录定时也可以是在基于输入图像的判定装置34(判定部344)进行与挖土机100周围的物体相关的判定时产生了容易产生误判定的挖土机100的状态时。具体而言,记录定时可以是挖土机100的行走时或回转时。并且,记录定时也可以是判定部344判定在挖土机100周围的监视区域检测到物体时的时刻。并且,记录开始定时可以在控制器接通(ON)时开始,也可以在门锁杆解除时开始,也可以在操作杆接通(ON)时开始。
另外,在图13中,判定部344的判定结果被输入到记录装置32(记录控制部322),但在记录定时不依赖于判定部344的判定结果而被限定的情况下,判定部344的判定结果也可以不输入到记录装置32。
在从挖土机100启动后的初始处理完成后到挖土机100停止的期间,在基于记录控制部322的控制下,输入图像IM1记录在存储部324中。记录在存储部324中的一个或多个输入图像IM1在规定的定时(以下,称为“图像发送定时”)通过通信设备90(环境信息发送部的一例)发送到管理装置200。
图像发送定时例如可以是进行了挖土机100的停止操作时。并且,发送定时也可以是存储部324的空闲容量小于规定阈值时。这是因为,在从挖土机100的启动到停止的期间,有时记录在存储部324中的输入图像IM1的总容量相对增多。并且,图像发送定时例如也可以是挖土机100启动后的初始处理完成后。此时,存储部324是在非易失性的内部存储器中限定的存储区域,可以是将从上次挖土机100的启动到停止的期间记录的输入图像IM1发送到管理装置200的方式。
另外,也可以是每当输入图像IM1被记录在存储部324中时,依次通过通信设备90发送到管理装置200的方式。
显示控制部342使显示装置D1显示表示挖土机100周围的状态的图像(以下,称为“挖土机周围图像”)。
例如,显示控制部342使输入图像作为挖土机周围图像显示在显示装置D1上。具体而言,显示控制部342可以将从前置摄像机70F、后置摄像机70B、左侧摄像机70L及右侧摄像机70R中选择的一部分摄像机的输入图像显示在显示装置D1上。此时,显示控制部342可以是根据操作者等进行的规定的操作,切换与在显示装置D1上显示的输入图像对应的摄像机的方式。并且,显示控制部342也可以使前置摄像机70F、后置摄像机70B、左侧摄像机70L及右侧摄像机70R的所有输入图像显示在显示装置D1上。
并且,例如,显示控制部342生成对输入图像实施规定的转换处理的转换图像作为挖土机周围图像,并使所生成的转换图像显示在显示装置D1上。该转换图像例如可以是将从挖土机100的正上方观察的俯瞰图像和从挖土机100在水平方向上观察远方的水平图像进行组合的视点转换图像。并且,该视点转换图像也可以是将前置摄像机70F、后置摄像机70B、左侧摄像机70L及右侧摄像机70R各自的输入图像转换为基于俯瞰图像及水平图像的组合的视点转换图像之后,通过规定的方法合成的合成图像(以下,称为“视点转换合成图像”)。
并且,显示控制部342在通过判定部344在挖土机100周围的规定的监视区域内检测到监视对象的物体的情况下,重叠显示强调挖土机周围图像上的与检测到的物体相对应的区域(以下,称为“检测物体区域”)的图像。由此,操作者等能够在挖土机周围图像上容易地确认检测到的物体。
判定部344使用存储在存储部346中的已进行机器学习的学习完毕模型LM,根据输入图像,进行与挖土机100周围的物体相关的判定。具体而言,判定部344将学习完毕模型LM从存储部346加载到RAM等主存储装置中(路径344A),并使CPU执行,由此根据输入图像,进行与挖土机100周围的物体相关的判定。例如,如上所述,判定部344在挖土机100周围的监视区域内,判定有无监视对象的物体的同时,检测监视对象的物体。并且,例如,判定部344判定(确定)所检测到的监视对象的物体的种类,即在预先限定的监视对象的分类列表(以下,称为“监视对象列表”)中对检测到的监视对象的物体进行分类。监视对象列表可以包含人、卡车、其他施工机械、电线杆、吊起物、塔架及建筑物等。
例如,如图14所示,学习完毕模型LM以神经网络(Neural Network)401为中心构成。
在本例中,神经网络401是在输入层及输出层之间具有一层以上的中间层(隐藏层)的所谓的深度神经网络。在神经网络401中,对构成各个中间层的多个神经元中的每一个限定有表示与下位层之间的连接强度的加权参数。并且,神经网络401以如下方式构成,即,各层的神经元通过阈值函数,将来自上位层的多个神经元的输入值的每一个乘以针对每个上位层的神经元限定的加权参数而得的值的总和输出到下位层的神经元。
如后所述,以神经网络401为对象,通过管理装置200(学习部2103)进行机器学习,具体而言,进行深层学习(深度学习:Deep Learning),实现上述加权参数的最佳化。由此,例如,如图14所示,神经网络401中输入输入图像作为输入信号x,能够输出存在与预先限定的监视对象列表(在本例中,“场景1(例如,挖掘块附近的场景(状况))及其危险度”、“场景2(例如,在块附近挖掘时人进入洞中的场景(状况))及其危险度”、……)对应的每个物体种类的物体的概率(预测概率)、基于它们的位置关系等的场景(状况)及此时的危险度作为输出信号y。神经网络401例如是卷积神经网络(CNN:Convolutional Neural Network)。CNN是适用了现有的图像处理技术(卷积处理及池化处理)的神经网络。具体而言,CNN通过反复进行对输入图像的卷积处理及池化处理的组合来提取尺寸小于输入图像的特征量数据(特征映射图)。并且,所提取的特征映射图的各像素的像素值输入到由多个全结合层构成的神经网络,神经网络的输出层例如能够输出存在每个物体种类的物体(也包括地形形状等。)的预测概率。并且,神经网络401能够输出根据每个物体种类的位置关系及位置关系的变化设想的场景的预测概率。然后,神经网络401能够输出预测概率高的场景和该场景的危险度。
如此,神经网络401也可以是能够输入输入图像作为输入信号x,输出输入图像中的物体的位置及大小(即,输入图像上的物体的占有区域)及该物体的种类作为输出信号y的结构。即,神经网络401也可以是进行输入图像上的物体的检测(判定输入图像上的物体的占有区域部分)和该物体的分类的判定的结构。并且,此时,输出信号y也可以以对作为输入信号x的输入图像重叠地附加了与物体的占有区域及其分类相关的信息的图像数据形式构成。由此,判定部344能够根据从学习完毕模型LM(神经网络401)输出的输入图像中的物体的占有区域的位置及大小来确定该物体相对于挖土机100的相对位置(距离及方向)。并且,判定部344能够确定存在该物体的场景。场景也可以根据物体的位置变化及大小变化来确定。这是因为,摄像机(前置摄像机70F、后置摄像机70B、左侧摄像机70L及右侧摄像机70R)固定在上部回转体3上,摄像范围(画角)被预先限定(固定)。并且,判定部344在通过学习完毕模型LM检测到的物体的位置在监视区域内,且被分类为监视对象列表的物体的情况下,能够判定为在监视区域内检测到监视对象的物体。例如,神经网络401可以是具有与提取存在输入图像中的物体的占有区域(窗口)的处理及确定所提取的区域的物体的种类的处理分别相对应的神经网络的结构。即,神经网络401可以是阶段性地进行物体的检测和物体的分类的结构。并且,例如,神经网络401也可以是具有与对输入图像的所有区域被划分为规定数的部分区域的每个网格单元限定物体的分类和物体的占有区域(边界框:Bounding box)的处理、根据每个网格单元的物体的分类,结合每个种类的物体的占有区域,确定最终的物体的占有区域的处理分别对应的神经网络的结构。即,神经网络401可以是并行进行物体的检测和物体的分类的结构。
基于判定部344的判定结果例如通过显示控制部342显示在显示装置D1上。
例如,如图5所示,在显示装置D1上显示主画面41V,在主画面41V中的摄像机图像显示区域显示输入图像。在本例中,在摄像机图像显示区域显示后置摄像机70B的输入图像,在该输入图像中拍摄到设置在挖土机100的前方的侧槽块和已经挖掘的侧槽。
如上所述,判定部344通过将后置摄像机70B的输入图像的图像数据输入到学习完毕模型LM(神经网络401)中,获取从学习完毕模型LM输出的输入图像中的物体的占有区域,判别该占有区域的物体的种类和位置关系。并且,根据所判别的物体的种类和位置关系,能够导出场景的种类。而且,根据所导出的场景的种类来计算危险度。因此,在本例中,将从学习完毕模型LM输出的包围被分类为“侧槽块”的物体(块)的占有区域的方式的框图标501及表示所检测(分类)的物体为侧槽块的文字信息图标502重叠显示在输入图像上。并且,将从学习完毕模型LM输出的包围被分类为“挖掘槽”的物体(沟槽)的占有区域的方式的框图标503及表示所检测(分类)的物体为地形形状之一的沟槽的文字信息图标504重叠显示在输入图像上。由此,操作者等能够容易地识别出检测到的物体,并且能够容易地识别出检测到的物体的种类。并且,在显示装置D1的摄像机图像显示区域中,也可以一并显示在基于判定部344的判定时使用的上述预测概率,具体而言,存在“侧槽块”的预测概率或存在“挖掘槽”的预测概率。并且,判定部344根据这些物体的种类和位置关系及从从学习完毕模型LM获取的场景,作为存在挖土机100的场景分类为“挖掘块附近的场景”。此时,在显示装置D1的摄像机图像显示区域中,也可以一并显示被分类为“挖掘块附近的场景”的预测概率。而且,也可以显示表示危险度的级别显示(例如5个阶段)。由此,挖土机100的操作者能够容易地确认判定为危险场景的分类和其原因,能够迅速地进行用于降低危险度的作业。而且,判定部344还能够判定场景的种类中的作业内容。例如,当识别出图像内的任意的位置的自卸车的图像,且识别出图像内的其他位置的临时放置的沙土的图像时,判定部344根据自卸车与其位置,进一步根据临时放置的沙土与其位置,能够判别该场景中的作业内容是装载作业。在图9中,判定部344根据所识别的钢丝绳的图像的位置和所识别的铲斗6的图像的位置,能够判别该场景中的作业内容是起重机作业。如此,判定部344能够通过学习模型,根据所识别的对象物和其位置来判别作业内容。作为学习完毕模型LM,除了神经网络401以外,也可以适用支持向量机(Support Vector Machine:SVM)等。
另外,在显示装置D1上也可以显示基于输入图像的转换图像(例如,上述合成视点转换图像)。此时,可以在与转换图像上的物体的占有区域相对应的部分重叠显示框图标或文字信息图标。
在存储部346中保存有学习完毕模型LM。存储部346的学习完毕模型LM在通过通信设备90从管理装置200接收到更新版的学习完毕模型,即如后所述,进行了追加学习的学习完毕模型(以下,称为“追加学习完毕模型”)的情况下,被更新为所接收的追加学习完毕模型。由此,判定部344能够利用在管理装置200中追加学习的追加学习完毕模型,因此根据学习完毕模型的更新,能够提高与挖土机100周围的物体相关的判定精度。
管理装置200包括控制装置210、通信设备220、显示装置230、输入装置240、计算机图形图像生成装置250(以下,称为“CG(Computer Graphics)图像生成装置”)250。
控制装置210控制管理装置200的各种动作。控制装置210例如作为通过在CPU上执行存储在ROM或非易失性的辅助存储装置中的一个以上的程序来实现的功能部,包括判定部2101、教学数据生成部2102及学习部2103。并且,控制装置210例如包括作为在辅助存储装置等非易失性的内部存储器等中限定的存储区域的存储部2104、2105。
通信设备220是与通信网络连接并与多个挖土机100等的外部进行通信的任意的器件。
显示装置230例如是液晶显示器或有机EL显示器,在控制装置210的控制下显示各种信息图像。
输入装置240接收来自用户的操作输入。输入装置240例如包括安装在液晶显示器或有机EL显示器上的触摸面板。并且,输入装置240也可以包括触摸板、键盘、鼠标、轨迹球等。与输入装置240的操作状态相关的信息被取入到控制装置210中。
判定部2101使用存储在存储部2105中的由学习部2103已进行机器学习的学习完毕模型LM,根据从多个挖土机100接收到的输入图像IM1,即从存储部2104读取的输入图像IM1(路径2101A),进行与挖土机100周围的物体相关的判定。具体而言,判定部2101将学习完毕模型LM从存储部2105加载到RAM等主存储装置中(路径2101B),并使CPU执行,由此根据从存储部2104读取的输入图像IM1,进行与挖土机100周围的物体相关的判定。更具体而言,判定部2101将存储在存储部2104中的多个输入图像IM1依次输入到学习完毕模型LM中,进行与挖土机100周围的物体相关的判定。判定部2101的判定结果2101D被输入到教学数据生成部2102。此时,判定结果2101D可以按每个输入图像IM1依次输入到教学数据生成部2102,例如也可以通过列表化等进行汇总之后,输入到教学数据生成部2102。
教学数据生成部2102(教学信息生成部的一例)根据从多个挖土机100接收到的多个输入图像IM1,生成用于学习部2103使学习模型进行机器学习的教学数据(教学信息的一例)。教学数据表示任意的输入图像IM1和将该输入图像IM1作为学习模型的输入时的学习模型应该输出的正确答案的组合。并且,学习模型是机器学习的对象,理所当然,以与学习完毕模型LM相同的结构,例如上述神经网络401为中心构成。
例如,教学数据生成部2102从存储部2104读取从多个挖土机100接收到的输入图像IM1(路径2102A),显示在显示装置D1上,并且显示用于管理装置200的管理者或作业人员等制作教学数据的GUI(Graphical User Interface:图形用户界面)(以下,称为“教学数据制作用GUI”)。并且,管理者或作业人员等使用输入装置240操作教学数据制作用GUI,指示与各个输入图像IM1对应的正确答案,由此制作按照学习模型的算法的形式的教学数据。换言之,教学数据生成部2102根据以多个输入图像IM1为对象的管理者或作业人员等进行的操作(作业),能够生成多个教学数据(教学数据集)。
并且,教学数据生成部2102根据从多个挖土机100接收到的多个输入图像IM1,生成用于学习部2103使学习完毕模型LM进行追加学习的教学数据。
例如,教学数据生成部2102从存储部2104读取多个输入图像IM1(路径2102A),将各个输入图像IM1和与该输入图像IM1对应的判定部2101的判定结果(输出结果)2101D排列显示在显示装置230上。由此,管理装置200的管理者或操作者等能够通过输入装置240从显示在显示装置230上的输入图像IM1和对应的判定结果的组合中选择与误判定对应的组合。并且,管理者或作业人员等能够使用输入装置240操作教学数据制作用GUI,能够制作追加学习用教学数据,该追加学习用教学数据表示与误判定对应的组合的输入图像IM1,即,使学习完毕模型LM进行误判定的输入图像IM1和在将该输入图像IM1作为输入时学习完毕模型LM应该输出的正确答案的组合。换言之,教学数据生成部2102能够根据从多个输入图像IM1中选择的以与学习完毕模型LM中的误判定对应的输入图像IM1为对象的管理者或作业人员等进行的操作(作业),生成用于追加学习的多个教学数据(教学数据集)。
即,教学数据生成部2102根据从多个挖土机100接收到的多个输入图像IM1生成用于生成最初的学习完毕模型LM的教学数据。并且,教学数据生成部2102根据输入图像IM1生成追加学习用教学数据,该输入图像IM1为在每个规定的定时(以下,称为“追加学习定时”),在最近的学习完毕模型LM安装在多个挖土机100之后从多个挖土机100接收到的输入图像IM1中选择且学习完毕模型LM进行误判定的输入图像。
另外,从多个挖土机100分别接收的输入图像IM1的一部分也可以用作学习完毕模型LM的验证用数据集的基础。即,从多个挖土机100分别接收的输入图像IM1也可以分配为教学数据生成用输入图像IM1和验证用数据集生成用输入图像IM1。
追加学习定时可以是定期性地限定的定时,例如从上次机器学习(追加学习)起经过1个月时。并且,追加学习的定时例如也可以是输入图像IM1的张数超出规定阈值时,即收集了进行基于学习部2103的追加学习所需的张数的输入图像IM1的定时。
学习部2103根据由教学数据生成部2102生成的教学数据2102B(教学数据集),使学习模型进行机器学习,生成学习完毕模型LM。并且,所生成的学习完毕模型LM使用预先准备的验证用数据集,实施精度验证之后,存储在存储部2105中(路径2103B)。
并且,学习部2103根据由教学数据生成部2102生成的教学数据(教学数据集),使从存储部2105读取的学习完毕模型LM(路径2103A)进行追加学习,由此生成追加学习完毕模型。并且,追加学习完毕模型使用预先准备的验证用数据集,实施精度验证之后,存储部2105的学习完毕模型LM被实施精度验证的追加学习完毕模型更新(路径2103B)。
例如,如上所述,在学习模型以神经网络401为中心构成的情况下,学习部2103通过适用误差反向传播法(反向传播)等已知的算法,进行加权参数的最佳化,以使学习模型的输出与教学数据的误差减小,从而生成学习完毕模型LM。这也同样地适用于追加学习完毕模型的生成。
另外,从学习模型生成的最初的学习完毕模型LM也可以由与管理装置200不同的外部装置生成。此时,可以是如下结构,即,教学数据生成部2102仅生成追加学习用教学数据,学习部2103仅进行追加学习完毕模型的生成。
在存储部2104中存储(保存)通过通信设备220从多个挖土机100分别接收的输入图像IM1。
另外,在基于教学数据生成部2102的教学数据的生成中已利用的输入图像IM1也可以保存在与存储部2104不同的存储装置中。
在存储部2105中存储(保存)学习完毕模型LM。被由学习部2103生成的追加学习完毕模型更新的学习完毕模型LM在规定的定时(以下,称为“模型发送定时”)通过通信设备220(模型发送部的一例)分别发送到多个挖土机100。由此,能够在多个挖土机100之间共享更新后的相同的学习完毕模型LM,即追加学习完毕模型。
模型发送定时可以是存储部2105的学习完毕模型LM被更新时,即学习完毕模型LM刚更新后的定时或在更新后经过了规定时间的定时等。并且,模型发送定时例如也可以是在学习完毕模型LM更新后,由通信设备220接收到通过通信设备220发送到多个挖土机100的针对学习完毕模型LM的更新的通知的确认的回复时。
接着,参考图15对挖土机支援***的具体的动作进行说明。图15是表示挖土机支援***的动作的一例的时序图。
在步骤S10中,多个挖土机100的通信设备90在各自的图像发送定时向管理装置200发送输入图像IM1。由此,管理装置200通过通信设备220从多个挖土机100分别接收输入图像IM1,以累积的方式存储在存储部2104中。
在步骤S12中,管理装置200的判定部2101将从多个挖土机100接收并存储在存储部2104中的多个输入图像IM1输入到学习完毕模型LM,进行判定处理。
在步骤S14中,管理装置200的管理者或作业人员等验证基于学习完毕模型LM的判定结果,通过输入装置240从多个输入图像IM中指定(选择)用学习完毕模型LM进行误判定的输入图像IM。
在步骤S16中,管理装置200的教学数据生成部2102根据管理者或作业人员等进行的通过输入装置240的教学数据制作用GUI的操作,生成追加学习用教学数据集。
在步骤S18中,管理装置200的学习部2103使用追加学习用教学数据集进行学习完毕模型LM的追加学习,生成追加学习完毕模型,用追加学习完毕模型来更新存储部2104的学习完毕模型LM。
在步骤S20中,管理装置200的通信设备220将更新版的学习完毕模型LM分别发送到多个挖土机100。
另外,如上所述,更新版的学习完毕模型LM被发送到挖土机100的定时(模型发送定时)也可以按多个挖土机100的每一个而不同。
在步骤S22中,多个挖土机100分别将存储部346的学习完毕模型LM更新为从管理装置200接收到的更新版的学习完毕模型。
CG图像生成装置250根据管理装置200的作业人员等进行的操作,生成表示作业现场中的挖土机100周围的状态的计算机图形图像(以下,称为“CG图像”)IM3。例如,CG图像生成装置250例如以包括CPU、RAM、ROM、辅助存储装置及各种输入输出接口等的计算机为中心构成,预先安装作业人员等能够制作CG图像IM3的应用软件。并且,作业人员等通过规定的输入装置在CG图像生成装置250的显示画面上制作CG图像IM3。由此,CG图像生成装置250根据管理装置200的作业人员等进行的作业(操作),能够生成表示作业现场中的挖土机100周围的状态的CG图像IM3。并且,CG图像生成装置250也能够根据实际的挖土机100周围的图像(例如,输入图像IM1)生成与对应于摄像图像的气象条件、与日照条件不同的气象条件、日照条件下的作业环境等对应的CG图像IM3。由CG图像生成装置250生成的CG图像IM3被取入到控制装置210中。
另外,CG图像IM3也可以在管理装置200的外部生成(制作)。
控制装置210与上述一例同样地,包括判定部2101、教学数据生成部2102、学习部2103及存储部2104、2105。
判定部2101使用存储在存储部2105中的由学习部2103已进行机器学习的学习完毕模型LM,根据从存储部2104读取的多个输入图像IM1(路径2101A)及CG图像IM3(路径2101C),进行与挖土机100周围的物体相关的判定。具体而言,判定部2101将学习完毕模型LM从存储部346加载到RAM等主存储装置中(路径2101B),并使CPU执行,由此根据从存储部2104读取的输入图像IM1及CG图像IM3,进行与挖土机100周围的物体相关的判定。更具体而言,判定部2101将存储在存储部2104中的多个输入图像IM1及CG图像IM3依次输入到学习完毕模型LM中,进行与挖土机100周围的物体相关的判定。判定部2101的判定结果2101D被输入到教学数据生成部2102。此时,判定结果2101D可以按多个输入图像IM1及CG图像IM3的每一个依次输入到教学数据生成部2102,例如也可以通过列表化等进行汇总之后,输入到教学数据生成部2102。
教学数据生成部2102根据从多个挖土机100接收到的多个输入图像IM1及由CG图像生成装置250生成的(存储在存储部2104中的)CG图像IM3,生成用于学习部2103使学习模型进行机器学习的教学数据。
例如,教学数据生成部2102从存储部2104读取从多个挖土机100接收到的输入图像IM1及由CG图像生成装置250所生成的CG图像IM3(路径2102A、2102C),显示在显示装置D1上,并且显示教学数据制作用GUI。并且,管理者或作业人员等使用输入装置240操作教学数据制作用GUI,指示与各个输入图像IM1或CG图像IM3对应的正确答案,由此制作按照学习模型的算法的形式的教学数据。换言之,教学数据生成部2102根据以多个输入图像IM1及CG图像IM3为对象的管理者或作业人员等进行的操作(作业),能够生成多个教学数据(教学数据集)。
并且,教学数据生成部2102根据从多个挖土机100接收到的多个输入图像IM1及由CG图像生成装置250生成的(存储在存储部2104中的)CG图像IM3,生成用于学习部2103使学习完毕模型LM进行追加学习的教学数据。
教学数据生成部2102从存储部2104读取多个输入图像IM1及CG图像IM3(路径2102A、2102C),将各个输入图像IM1或CG图像IM3和与该输入图像IM1或CG图像IM3对应的判定部2101(学习完毕模型LM)的判定结果(输出结果)排列显示在显示装置230上。由此,管理装置200的管理者或操作者等能够通过输入装置240从显示在显示装置230上的输入图像IM1或CG图像IM3和对应的学习完毕模型LM的判定结果的组合中选择与误判定对应的组合。并且,管理者或作业人员等使用输入装置240操作教学数据制作用GUI,能够制作追加学习用教学数据,该追加学习用教学数据表示与误判定的组合对应的输入图像IM1或CG图像IM3和在将该输入图像IM1或CG图像IM3作为输入时学习完毕模型LM应该输出的正确答案的组合。换言之,教学数据生成部2102根据从多个输入图像IM1及CG图像IM3中选择的以与学习完毕模型LM中的误判定对应的输入图像IM1及CG图像IM3中的至少一个为对象的管理者或作业人员等进行的操作(作业),能够生成用于追加学习的多个教学数据(教学数据集)。由此,除了从多个挖土机100收集的输入图像IM1以外,还能够利用CG图像IM3生成教学数据,因此能够实现教学数据的充实化。尤其,在CG图像IM3中,能够虚拟地且自由地制作各种各样的作业现场的状况,即各种各样的环境条件。因此,通过利用CG图像IM3生成教学数据集,学习完毕模型LM能够在更早的定时实现与各种各样的作业现场对应的相对高的判定精度。
另外,由CG图像生成装置250生成的CG图像IM3被人为地制作,因此CG图像IM3中的人、卡车、塔架、电线杆等监视对象的有无或其位置等是已知的,即,将CG图像IM3作为输入时的学习完毕模型LM应该输出的正确答案是已知的。因此,CG图像生成装置250能够将与在将CG图像IM3作为输入时学习完毕模型LM应该输出的正确答案相关的数据(以下,称为“正确答案数据”)和CG图像IM3一起输出到控制装置210。因此,控制装置210(教学数据生成部2102)能够根据从CG图像生成装置250输入的正确答案数据,自动提取基于将CG图像IM3作为输入的学习完毕模型LM(判定部2101)的判定处理中的误判定,自动生成表示与所提取的误判定对应的CG图像IM3和在将CG图像IM3作为输入时学习完毕模型LM应该输出的正确答案的组合的用于追加学习的多个教学数据(教学数据集)。并且,学习部2103根据由教学数据生成部2102自动生成的教学数据,能够进行学习完毕模型LM的追加学习,例如上述误差反向传播法(反向传播)等。即,控制装置210也能够根据由CG图像生成装置250生成的CG图像IM3及正确答案数据自动生成追加学习完毕模型。
接着,参考图16对基于判定部2101的判定处理的另一例进行说明。图16是表示基于判定部2101的判定处理的另一例的示意图。在图16所示的例子中,学习完毕模型LM主要由第1神经网络401A及第2神经网络401B构成。
第1神经网络401A中输入输入图像作为输入信号x,能够输出存在预先限定的监视对象列表中的每个物体种类的物体的概率(预测概率)和该物体的位置信息作为输出信号y。在图16所示的例子中,输入图像是前置摄像机70F拍摄到的摄像图像,在监视对象列表中的物体中包括陶土管及洞等。
例如,当输入如图16所示的摄像图像作为输入信号x时,第1神经网络401A以高概率推算出存在陶土管。并且,第1神经网络401A根据与前置摄像机70F的位置相关的信息来导出该陶土管的位置(例如纬度、经度及高度)。与前置摄像机70F的位置相关的信息例如是前置摄像机70F的纬度、经度及高度,根据定位装置73的输出而导出。具体而言,第1神经网络401A能够根据摄像图像中的陶土管图像的位置及大小等来导出陶土管的位置。在图16所示的例子中,第1神经网络401A输出存在位于东经e1、北纬n1、高度h1的陶土管的推算结果作为输出信号y。
并且,第1神经网络401A能够根据与施工计划相关的信息,输出存在预先限定的监视对象列表中的每个物体种类的物体的概率(预测概率)和该物体的位置信息。在图16所示的例子中,第1神经网络401A根据如图11所示的与挖掘用于埋设侧槽块的洞的范围相关的信息来导出该洞的位置(例如纬度、经度及高度)。具体而言,第1神经网络401A能够根据设计数据中所包含的与位置相关的信息来导出洞的位置。在图16所示的例子中,第1神经网络401A输出计划在东经e2、北纬n2、高度h2形成的洞的识别结果作为输出信号y。
第2神经网络401B能够输入第1神经网络401A的输出信号y作为输入信号y,且输出与基于通过第1神经网络401A推算或识别其存在的各物体的位置关系等的各场景(状况)相关的此时的危险度作为输出信号z。
接着,参考图17对基于判定部2101的判定处理的另一例进行说明。图17是表示基于判定部2101的判定处理的另一例的示意图。在图17所示的例子中,学习完毕模型LM主要由第1神经网络401A及第3神经网络401C构成。
在图17所示的例子中,判定自卸车停止在挖土机100的前方时的危险度。自卸车停止在挖土机100的前方,以使挖土机100能够将沙土装载到自卸车的车厢中。然而,在图17所示的例子中,由于自卸车没有适当地适用侧制动器,因此与自卸车的驾驶员的意图相反,向远离挖土机100的方向移动。另外,自卸车的车厢中尚未装载沙土。
在图17所示的例子中,当在时刻t1输入如图17所示的摄像图像作为输入信号x时,第1神经网络401A识别自卸车。并且,第1神经网络401A根据与前置摄像机70F的位置相关的信息来导出该自卸车的位置(例如纬度、经度及高度)。在图17所示的例子中,第1神经网络401A在时刻t1输出位于东经e1、北纬n1、高度h1的自卸车的识别结果作为输出信号y。
并且,当在时刻t2输入如图17所示的摄像图像作为输入信号x时,第1神经网络401A识别位于比时刻t1时更远离挖土机100的位置的自卸车。并且,第1神经网络401A根据与前置摄像机70F的位置相关的信息来导出该自卸车的位置(例如纬度、经度及高度)。在图17所示的例子中,第1神经网络401A在时刻t2输出位于东经e2、北纬n2、高度h2的自卸车的识别结果作为输出信号y。
而且,当在时刻t3输入如图17所示的摄像图像作为输入信号x时,第1神经网络401A识别位于比时刻t2时更远离挖土机100的位置的自卸车。并且,第1神经网络401A根据与前置摄像机70F的位置相关的信息来导出该自卸车的位置(例如纬度、经度及高度)。在图17所示的例子中,第1神经网络401A在时刻t3输出位于东经e3、北纬n3、高度h3的自卸车的识别结果作为输出信号y。
第3神经网络401C能够输入过去的规定时刻的第1神经网络401A的输出信号y和当前时刻的第1神经网络401A的输出信号y作为输入信号y,且输出与基于由第1神经网络401A识别的各时刻的物体的位置关系等的各场景(状况)相关的当前时刻的危险度作为输出信号z。
在图17所示的例子中,在时刻t2,第3神经网络401C被输入在时刻t1的第1神经网络401A的输出信号y和在时刻t2的第1神经网络401A的输出信号y。并且,第3神经网络401C能够输出由第1神经网络401A识别的与基于在时刻t1的自卸车的位置和在时刻t2的自卸车的位置的各场景(状况)相关的在时刻t2的危险度。
在图17所示的例子中,场景1例如是没有适当地适用侧制动器的自卸车前进的场景(状况),场景2例如是没有适当地适用侧制动器的自卸车后退的场景(状况)。并且,第3神经网络401C根据由第1神经网络401A识别的在时刻t1的自卸车的位置和在时刻t2的自卸车的位置,判定为自卸车在前进,能够较高地输出场景1的危险度。
并且,在时刻t3,第3神经网络401C被输入在时刻t2的第1神经网络401A的输出信号y和在时刻t3的第1神经网络401A的输出信号y。并且,第3神经网络401C能够输出由第1神经网络401A识别的与基于时刻t2的自卸车的位置和时刻t3的自卸车的位置的各场景(状况)相关的时刻t3的危险度。
并且,第3神经网络401C根据由第1神经网络401A识别的在时刻t2的自卸车的位置和在时刻t3的自卸车的位置,判定为自卸车在前进,能够更高地输出场景1的危险度。
接着,参考图18对使用神经网络的挖土机支援***的另一结构例进行说明。图18是表示挖土机支援***的另一结构例的图,且与图13对应。
并且,图18示出3台挖土机100(挖土机100A、挖土机100B及挖土机100C)分别经由通信设备90与管理装置200的通信设备220无线连接的结构。并且,图18示出具备显示部310、输入部320及通信部330的支援装置300经由通信部330与管理装置200的通信设备220无线连接的结构。
构成图18所示的挖土机支援***的管理装置200与图13所示的管理装置200的不同点主要在于,控制装置210具有动作控制指令生成部2106。并且,图18所示的挖土机100的每一个与图13所示的挖土机100的不同点主要在于,省略了判定装置34。
具体而言,在图18所示的例子中,作为管理装置200中的控制装置210的一个功能的动作控制指令生成部2106与作为图13所示的挖土机100中的判定装置34的一个功能的判定部344同样地发挥作用。具体而言,动作控制指令生成部2106能够根据判定部2101的判定结果2101E,生成对作为搭载于挖土机100的控制器30的一个功能的动作控制部304的动作控制指令。另外,判定结果2101E例如与判定结果2101D相同。
因此,在图18所示的例子中,管理装置200中的动作控制指令生成部2106能够经由无线通信使分别搭载于多个挖土机100(挖土机100A、挖土机100B及挖土机100C)的控制器30中的动作控制部304单独发挥作用。
并且,管理装置200中的动作控制指令生成部2106例如能够根据经由支援装置300中的输入部320的利用支援装置300的操作者的输入,在支援装置300中的显示部310上显示挖土机周围图像。并且,动作控制指令生成部2106能够将基于判定部2101的判定结果显示在显示部310上。
接着,参考图19对显示装置D1的图像显示部41及操作部42的另一结构例进行说明。图19是表示显示装置D1的图像显示部41及操作部42的另一结构例的图。在图19所示的例子中,示出在图像显示部41显示图5的输入图像的状态。
首先,对图像显示部41进行说明。如图19所示,图像显示部41包括日期时间显示区域41a、行走模式显示区域41b、附件显示区域41c、油耗率显示区域41d、发动机控制状态显示区域41e、发动机运转时间显示区域41f、冷却水温显示区域41g、燃料余量显示区域41h、转速模式显示区域41i、尿素水余量显示区域41j、工作油温显示区域41k、空调运转状态显示区域41m、图像显示区域41n及菜单显示区域41p。
行走模式显示区域41b、附件显示区域41c、发动机控制状态显示区域41e、转速模式显示区域41i及空调运转状态显示区域41m是显示与挖土机100的设定状态相关的信息即设定状态信息的区域。油耗率显示区域41d、发动机运转时间显示区域41f、冷却水温显示区域41g、燃料余量显示区域41h、尿素水余量显示区域41j及工作油温显示区域41k是显示与挖土机100的运转状态相关的信息即运转状态信息的区域。
具体而言,日期时间显示区域41a是显示当前的日期时间的区域。行走模式显示区域41b是显示当前的行走模式的区域。附件显示区域41c是显示表示当前安装的附件的图像的区域。油耗率显示区域41d是显示由控制器30计算出的油耗率信息的区域。油耗率显示区域41d包括显示寿命平均油耗率或区间平均油耗率的平均油耗率显示区域41d1、显示瞬间油耗率的瞬间油耗率显示区域41d2。
发动机控制状态显示区域41e是显示发动机11的控制状态的区域。发动机运转时间显示区域41f是显示发动机11的累计运转时间的区域。冷却水温显示区域41g是显示当前的发动机冷却水的温度状态的区域。燃料余量显示区域41h是显示储存在燃料箱中的燃料的余量状态的区域。转速模式显示区域41i是用图像显示由发动机转速调整控制盘75设定的当前的转速模式的区域。尿素水余量显示区域41j是用图像显示储存在尿素水箱中的尿素水的余量状态的区域。工作油温显示区域41k是显示工作油箱内的工作油的温度状态的区域。
空调运转状态显示区域41m包括显示当前的排出口的位置的排出口显示区域41m1、显示当前的运转模式的运转模式显示区域41m2、显示当前的设定温度的温度显示区域41m3及显示当前的设定风量的风量显示区域41m4。
图像显示区域41n是显示空间识别装置70等输出的图像的区域。在图19所示的例子中,图像显示区域41n显示前置摄像机拍摄到的图像。在图像显示区域41n也可以显示俯瞰图像或后方图像。俯瞰图像例如是由控制部40生成的假想视点图像,根据后置摄像机70B、左侧摄像机70L及右侧摄像机70R分别获取的图像而生成。并且,也可以在俯瞰图像的中央部分配置与挖土机100对应的挖土机图形。这是为了使操作者直观地掌握挖土机100与存在于挖土机100周围的物体的位置关系。后方图像是拍摄出挖土机100的后方空间的图像,包括配重的图像。后方图像例如是由控制部40生成的实际视点图像,根据后置摄像机70B所获取的图像而生成。另外,在图19所示的例子中,图像显示区域41n是纵长的区域,但图像显示区域41n也可以是横长的区域。
菜单显示区域41p具有标签41p1~41p7。在图19所示的例子中,在图像显示部41的最下部,标签41p1~41p7左右彼此隔着间隔而配置。在标签41p1~41p7上显示用于显示各种信息的图标。
在标签41p1上显示用于显示菜单详细项目的菜单详细项目图标。当由操作者选择标签41p1时,显示在标签41p2~41p7上的图标切换为与菜单详细项目建立对应关联的图标。
在标签41p4上显示用于显示与数字水平仪相关的信息的图标。当由操作者选择标签41p4时,当前显示的图像切换为表示与数字水平仪相关的信息的画面。但是,也可以通过与当前显示的图像重叠,或缩小当前显示的图像来显示表示与数字水平仪相关的信息的画面。
在标签41p6上显示用于显示与信息化施工相关的信息的图标。当由操作者选择标签41p6时,当前显示的图像切换为表示与信息化施工相关的信息的画面。但是,也可以通过与当前显示的图像重叠,或缩小当前显示的图像来显示表示与信息化施工相关的信息的画面。
在标签41p7上显示用于显示与起重机模式相关的信息的图标。当由操作者选择标签41p7时,当前显示的图像切换为表示与起重机模式相关的信息的画面。但是,也可以通过与当前显示的图像重叠,或缩小当前显示的图像来显示表示与起重机模式相关的信息的画面。
在标签41p2、41p3、41p5没有显示图标。因此,即使由操作者操作标签41p2、41p3、41p5,显示在图像显示部41上的图像也不会发生变化。
另外,显示在标签41p1~41p7上的图标并不限定于上述例子,也可以显示用于显示其他信息的图标。
接着,对操作部42进行说明。如图19所示,操作部42由进行操作者进行的标签41p1~41p7的选择、设定输入等的一个或多个按钮式开关构成。在图19所示的例子中,操作部42包括配置在上层的7个开关42a1~42a7和配置在下层的7个开关42b1~42b7。开关42b1~42b7分别配置在开关42a1~42a7的下方。但是,操作部42的开关的数量、方式及配置并不限定于上述例子,例如,可以是通过滚轮或点动开关等将多个按钮式开关的功能汇总为一个的方式,操作部42也可以与显示装置D1分开设置。并且,也可以是在图像显示部41和操作部42成为一体的触摸面板上直接操作标签41p1~41p7的方式。
开关42a1~42a7分别与标签41p1~41p7对应地配置在标签41p1~41p7的下方,作为分别选择标签41p1~41p7的开关发挥作用。开关42a1~42a7分别与标签41p1~41p7对应地配置在标签41p1~41p7的下方,因此操作者能够直观地选择标签41p1~41p7。在图19所示的例子中,例如,当操作开关42a1时,选择标签41p1,菜单显示区域41p从一层显示变更为两层显示,在标签41p2~41p7上显示与第1菜单对应的图标。并且,与菜单显示区域41p从一层显示变更为两层显示对应地,当前显示的图像的大小缩小。此时,俯瞰图像的大小保持不变,因此操作者确认挖土机100的周围时的辨识性不会变差。
开关42b1是切换显示在图像显示区域41n中的摄像图像的开关。其构成为,每当操作开关42b1时,在图像显示区域41n中显示的摄像图像例如在后方图像、左侧图像、右侧图像及俯瞰图像之间切换。
开关42b2、42b3是调节空调的风量的开关。在图4的例子中构成为,当操作开关42b2时,空调的风量减小,当操作开关42b3时,空调的风量增大。
开关42b4是切换制冷/制热功能的开(ON)/关(OFF)的开关。在图4的例子中构成为,每当操作开关42b4时,切换制冷/制热功能的开(ON)/关(OFF)。
开关42b5、42b6是调节空调的设定温度的开关。在图4的例子中构成为,当操作开关42b5时,设定温度下降,当操作开关42b6时,设定温度升高。
开关42b7是能够切换发动机运转时间显示区域41f的显示的开关。
并且,开关42a2~42a6、42b2~42b6构成为,能够输入在各个开关或开关附近显示的数字。并且,开关42a3、42a4、42a5、42b4构成为,在菜单画面上显示光标时,能够使光标分别向左、上、右、下移动。
另外,赋予到开关42a1~42a7、42b1~42b7的功能是一例,也可以构成为能够执行其他功能。
如以上说明,当在图像显示区域41n中显示规定的图像的状态下选择标签41p1时,在显示该规定的图像的状态下在标签41p2~41p7中显示第1菜单详细项目。因此,操作者能够在确认该规定的图像的同时,确认第1菜单详细项目。
并且,在图像显示区域41n中,在选择标签41p1的前后不变更大小地显示俯瞰图像。操作者确认挖土机100的周围时的辨识性不会变差。
接着,参考图20对施工***SYS进行说明。图20是表示施工***SYS的一例的概略图。如图20所示,施工***SYS包括挖土机100、管理装置200及支援装置300。施工***SYS构成为能够支援基于1台或多台挖土机100的施工。
挖土机100获取的信息也可以通过施工***SYS与管理者及其他挖土机的操作者等共享。构成施工***SYS的挖土机100、管理装置200及支援装置300分别可以是1台,也可以是多台。在图20所示的例子中,施工***SYS包括1台挖土机100、1台管理装置200及1台支援装置300。
管理装置200典型为固定终端装置,例如是设置在施工现场外的管理中心等的服务器计算机(所谓的云服务器)。并且,管理装置200例如也可以是设定在施工现场的边缘服务器。并且,管理装置200也可以是便携式终端装置(例如,膝上型计算机终端、平板终端或智能手机等移动终端)。
支援装置300典型为移动终端装置,例如是位于施工现场的作业人员等所携带的膝上型计算机终端、平板终端或者智能手机等。支援装置300也可以是挖土机100的操作者所携带的移动终端。支援装置300也可以是固定终端装置。
管理装置200及支援装置300中的至少一个也可以具备监视器和远程操作用操作装置。此时,利用管理装置200或支援装置300的操作者也可以使用远程操作用操作装置来操作挖土机100。远程操作用操作装置例如通过近距离无线通信网、移动电话通信网或卫星通信网等无线通信网,以能够与搭载于挖土机100的控制器30进行通信的方式连接。
并且,在设置在驾驶舱10内的显示装置D1上显示的各种信息图像(例如,表示挖土机100周围的状态的图像信息或各种设定画面等)也可以在与管理装置200及支援装置300中的至少一个连接的显示装置上显示。表示挖土机100周围的状态的图像信息可以根据摄像装置(例如作为空间识别装置70的摄像装置)的摄像图像来生成。由此,利用管理装置200的管理者或者利用支援装置300的作业人员等能够在确认挖土机100周围的状态的同时进行挖土机100的远程操作,或进行与挖土机100相关的各种设定。
例如,在施工***SYS中,挖土机100的控制器30也可以将与按下用于开始自主动作的规定的开关时的时刻及场所、使挖土机100自主地动作时所利用的目标轨道、以及自主动作时规定部位实际上遵循的轨迹等中的至少一个相关的信息发送到管理装置200及支援装置300中的至少一个。此时,控制器30也可以将空间识别装置70拍摄到的图像发送到管理装置200及支援装置300中的至少一个。图像也可以是自主动作时拍摄到的多个图像。而且,控制器30也可以将和与自主动作中的挖土机100的动作内容相关的数据、与挖土机100的姿势相关的数据及与挖掘附件的姿势相关的数据等中的至少一个相关的信息发送到管理装置200及支援装置300中的至少一个。由此,利用管理装置200的管理者或利用支援装置300的作业人员能够获得与自主动作时的挖土机100相关的信息。
如此,在管理装置200或支援装置300中,在挖土机100的监视区域外的监视对象的种类及位置按照时间顺序存储在存储部中。
如此,施工***SYS能够与管理者及其他挖土机的操作者等共享与挖土机100相关的信息。
另外,如图20所示,搭载于挖土机100的通信装置也可以构成为经由无线通信在与设置在远程操作室RC的通信装置T2之间收发信息。在图20所示的例子中,搭载于挖土机100的通信装置与通信装置T2构成为经由第5代移动通信线路(5G线路)、LTE线路或卫星线路等收发信息。
在远程操作室RC内设置有远程控制器30R、声音输出装置A2、室内摄像装置C2、显示装置RP及通信装置T2等。并且,在远程操作室RC内设置有供远程操作挖土机100的操作者OP就座的驾驶座DS。
远程控制器30R是执行各种运算的运算装置。在图20所示的例子中,与控制器30同样地,远程控制器30R由包括CPU及存储器的微型计算机构成。并且,远程控制器30R的各种功能通过由CPU执行存储在存储器中的程序来实现。
声音输出装置A2构成为输出声音。在图20所示的例子中,声音输出装置A2是扬声器,且构成为播放安装在挖土机100上的集音装置(未图示。)收集到的声音。
室内摄像装置C2构成为拍摄远程操作室RC内。在图20所示的例子中,室内摄像装置C2是设置在远程操作室RC的内部的摄像机,且构成为拍摄坐在驾驶座DS上的操作者OP。
通信装置T2构成为控制与安装在挖土机100上的通信装置的无线通信。
在图20所示的例子中,驾驶座DS具有与设置在通常的挖土机的驾驶舱内的驾驶座相同的结构。具体而言,在驾驶座DS的左侧配置有左操纵箱,在驾驶座DS的右侧配置有右操纵箱。并且,在左操纵箱的上表面前端配置有左操作杆,在右操纵箱的上表面前端配置有右操作杆。并且,在驾驶座DS的前方配置有行走杆及行走踏板。而且,在右操纵箱的上表面中央部配置有发动机转速调整控制盘75。左操作杆、右操作杆、行走杆、行走踏板及发动机转速调整控制盘75分别构成操作装置26A。
在操作装置26A上设置有用于检测操作装置26A的操作内容的操作传感器29A。操作传感器29A例如是检测操作杆的倾斜角度的倾斜传感器或检测绕操作杆的摆动轴的摆动角度的角度传感器等。操作传感器29A也可以由压力传感器、电流传感器、电压传感器或距离传感器等其他传感器构成。操作传感器29A将与所检测到的操作装置26A的操作内容相关的信息输出到远程控制器30R。远程控制器30R根据所接收到的信息生成操作信号,将所生成的操作信号发送到挖土机100。操作传感器29A也可以构成为生成操作信号。此时,操作传感器29A也可以不经由远程控制器30R将操作信号输出到通信装置T2。
显示装置RP构成为显示与挖土机100周围的状况相关的信息。在图20所示的例子中,显示装置RP是由纵3段、横3列的9个监视器构成的多功能显示器,且构成为能够显示挖土机100的前方、左侧及右侧的空间的状态。各监视器是液晶监视器或有机EL监视器等。但是,显示装置RP可以由1个或多个曲面监视器构成,也可以由投影仪构成。
显示装置RP也可以是操作者OP能够佩戴的显示装置。例如,显示装置RP是头戴式显示器,也可以构成为能够通过无线通信在与远程控制器30R之间收发信息。头戴式显示器也可以与远程控制器有线连接。头戴式显示器可以是透射型头戴式显示器,也可以是非透射型头戴式显示器。头戴式显示器可以是单眼型头戴式显示器,也可以是双眼型头戴式显示器。
显示装置RP构成为显示使在远程操作室RC内的操作者OP能够辨识挖土机100的周围的图像。即,显示装置RP显示图像,以使尽管操作者在远程操作室RC内,但如同在挖土机100的驾驶舱10内那样,能够确认挖土机100周围的状况。
接着,参考图21对施工***SYS的另一结构例进行说明。在图21所示的例子中,施工***SYS构成为支援基于挖土机100的施工。具体而言,施工***SYS具有与挖土机100进行通信的通信装置CD及控制装置CTR。控制装置CTR构成为,根据信息获取装置E1所获取的信息来判定危险状况。
或者,控制装置CTR也可以构成为,根据信息获取装置E1所获取的信息,推算出经过规定时间后的施工状况,根据与所推算出的施工状况相关的信息来判定危险状况。或者,控制装置CTR也可以构成为,根据所推算出的施工状况确定危险程度,在该危险程度超出规定值的情况下,判定为发生危险状况。
或者,控制装置CTR也可以构成为,根据信息获取装置E1所获取的信息,判定施工现场的场景。或者,控制装置CTR也可以构成为,根据规定时间后的预定信息,推算出施工现场的场景。
如上所述,本发明的实施方式所涉及的挖土机100具备:下部行走体1;上部回转体3,可回转地搭载于下部行走体1;非易失性存储装置NM,设置在上部回转体3上;信息获取装置E1,获取与施工相关的信息;及作为控制装置的控制器30,控制作为显示装置D1及声音输出装置D2中的至少一个的通知装置。并且,控制器30构成为,在根据信息获取装置E1所获取的信息和存储在非易失性存储装置NM中的数据库即危险信息数据库DB中的信息,判定为发生危险状况的情况下,使通知装置工作。或者,控制器30也可以构成为,在根据信息获取装置E1所获取的信息,推算出经过规定时间后的施工状况,根据与所推算出的施工状况相关的信息和存储在非易失性存储装置NM中的危险信息数据库DB中的信息,判定为发生危险状况的情况下,使通知装置工作。通过该结构,挖土机100能够事先防止实际发生危险状况。
控制器30也可以构成为,根据所推算出的施工状况和存储在非易失性存储装置NM中的危险信息数据库DB确定危险程度,在该危险程度超出规定值的情况下,判定为发生危险状况。
挖土机100也可以在显示装置D1上显示与判定为发生的危险状况相关的信息。这是为了更准确地向操作者传递有可能发生危险状况的内容。
与施工相关的信息可以包含拍摄挖土机100的周围的图像,也可以包含与施工计划相关的信息,也可以包含与材料配置相关的信息。
并且,本发明的实施方式所涉及的施工***是支援施工计划的制作的施工***,例如,如图11所示,其具备:非易失性存储装置NM;作为信息获取装置E1的信息输入装置MD3,获取与施工相关的信息;及作为控制装置的控制器MD4,控制作为显示装置MD1及声音输出装置MD2中的至少一个的通知装置。并且,控制器MD4构成为,在根据信息输入装置MD3所获取的信息和作为存储在非易失性存储装置NM中的数据库的危险信息数据库DB判定为发生危险状况的情况下,使通知装置工作。通过该结构,施工***能够判定在制作施工计划的阶段是否发生危险状况,能够事先防止实际发生危险状况。
以上,对本发明的优选实施方式进行了详细说明。然而,本发明并不限于上述实施方式。上述实施方式能够在不脱离本发明的范围内适用各种变形、置换等。并且,分开说明的特征只要在技术上不产生矛盾,则能够进行组合。
本申请主张基于2019年3月30日于日本申请的日本专利申请2019-069472号的优先权,该日本专利申请的全部内容通过参考援用于本说明书中。
符号说明
1-下部行走体,1C-履带,1CL-左履带,1CR-右履带,2-回转机构,2A-回转液压马达,2M-行走液压马达,2ML-左行走液压马达,2MR-右行走液压马达,3-上部回转体,4-动臂,5-斗杆,6-铲斗,7-动臂缸,8-斗杆缸,9-铲斗缸,10-驾驶舱,11-发动机,11a-交流发电机,11b-启动装置,14-主泵,14a-调节器,14b-吐出压力传感器,14c-油温传感器,15-先导泵,17-控制阀,26-操作装置,29-操作压力传感器,30-控制器,30A-危险判定部,35-切换阀,40-控制部,41-图像显示部,42-操作部,70-空间识别装置,70B-后置摄像机,70F-前置摄像机,70L-左侧摄像机,70R-右侧摄像机,71-朝向检测装置,72-信息输入装置,73-定位装置,74-发动机控制装置,75-发动机转速调整控制盘,80-蓄电池,100-挖土机,AT-挖掘附件,D1-显示装置,D2-声音输出装置,DB-危险信息数据库,E1-信息获取装置,S1-动臂角度传感器,S2-斗杆角度传感器,S3-铲斗角度传感器,S4-机身倾斜传感器,S5-回转角速度传感器。

Claims (17)

1.一种挖土机,其具备:
下部行走体;
上部回转体,可回转地搭载于所述下部行走体;
存储装置,设置在所述上部回转体上;
信息获取装置,获取与施工相关的信息;及
控制装置,
所述控制装置根据所述信息获取装置所获取的信息来判定危险状况。
2.一种挖土机,其具备:
下部行走体;
上部回转体,可回转地搭载于所述下部行走体;
存储装置,设置在所述上部回转体上;
信息获取装置,获取与施工相关的信息;及
控制装置,
所述控制装置根据所述信息获取装置所获取的信息,推算出经过规定时间后的施工状况,根据与所推算出的施工状况相关的信息来判定危险状况。
3.根据权利要求2所述的挖土机,其中,
所述控制装置根据所推算出的施工状况来确定危险程度,在该危险程度超出规定值的情况下,判定为发生危险状况。
4.根据权利要求1所述的挖土机,其在显示装置上显示与判定为发生的危险状况相关的信息。
5.根据权利要求1所述的挖土机,其中,
所述与施工相关的信息包含挖土机周围的图像。
6.根据权利要求1所述的挖土机,其中,
所述与施工相关的信息包含与施工计划相关的信息。
7.根据权利要求1所述的挖土机,其中,
所述与施工相关的信息包含与材料配置相关的信息。
8.一种施工***,其具备:
存储装置;
信息获取装置,获取与施工相关的信息;及
控制装置,
所述控制装置根据所述信息获取装置所获取的信息来判定危险状况。
9.根据权利要求8所述的施工***,其中,
在显示装置上显示与判定为发生的危险状况相关的信息。
10.根据权利要求8所述的施工***,其中,
所述与施工相关的信息包含挖土机周围的图像。
11.根据权利要求8所述的施工***,其中,
所述与施工相关的信息包含与施工计划相关的信息。
12.根据权利要求8所述的施工***,其中,
所述与施工相关的信息包含与材料配置相关的信息。
13.一种挖土机,其具备:
下部行走体;
上部回转体,可回转地搭载于所述下部行走体;
存储装置,设置在所述上部回转体上;
信息获取装置,获取与施工相关的信息;及
控制装置,
所述控制装置根据所述信息获取装置所获取的信息来判定施工现场的场景。
14.根据权利要求13所述的施工***,其中,
所述控制装置根据规定时间后的预定信息,推算出施工现场的场景。
15.一种施工***,其具备:
存储装置;
信息获取装置,获取与施工相关的信息;及
控制装置,
所述控制装置根据所述信息获取装置所获取的信息来判定施工现场的场景。
16.根据权利要求15所述的施工***,其中,
所述控制装置根据规定时间后的预定信息,推算出施工现场的场景。
17.一种挖土机,其具备:
下部行走体;
上部回转体,可回转地搭载于所述下部行走体;
存储装置,设置在所述上部回转体上;及
控制装置,
所述控制装置根据基于空间识别装置的输出辨认的物体的种类和位置,判断动作内容是否可行。
CN202080024901.8A 2019-03-30 2020-03-30 挖土机及施工*** Active CN113631779B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-069472 2019-03-30
JP2019069472 2019-03-30
PCT/JP2020/014696 WO2020204007A1 (ja) 2019-03-30 2020-03-30 ショベル及び施工システム

Publications (2)

Publication Number Publication Date
CN113631779A true CN113631779A (zh) 2021-11-09
CN113631779B CN113631779B (zh) 2024-06-18

Family

ID=72667854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080024901.8A Active CN113631779B (zh) 2019-03-30 2020-03-30 挖土机及施工***

Country Status (6)

Country Link
US (1) US20220018096A1 (zh)
EP (1) EP3951089A4 (zh)
JP (1) JPWO2020204007A1 (zh)
KR (1) KR20210140737A (zh)
CN (1) CN113631779B (zh)
WO (1) WO2020204007A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3919687A4 (en) * 2019-04-04 2022-11-16 Komatsu Ltd. WORK MACHINE SYSTEM, COMPUTER-EXECUTED METHOD, METHOD OF PRODUCTION FOR TRAINED POSITION ESTIMATION MODELS AND LEARNING DATA
US11504193B2 (en) * 2019-05-21 2022-11-22 Verb Surgical Inc. Proximity sensors for surgical robotic arm manipulation
US11278361B2 (en) 2019-05-21 2022-03-22 Verb Surgical Inc. Sensors for touch-free control of surgical robotic systems
JP7503370B2 (ja) * 2019-07-01 2024-06-20 株式会社小松製作所 学習済みの作業分類推定モデルの製造方法、コンピュータによって実行される方法、および作業機械を含むシステム
WO2021010489A1 (ja) * 2019-07-17 2021-01-21 住友建機株式会社 作業機械及び作業機械による作業を支援する支援装置
JP2023050799A (ja) * 2021-09-30 2023-04-11 株式会社小松製作所 作業機械のための表示システムおよび作業機械のための表示方法
WO2023153722A1 (ko) * 2022-02-08 2023-08-17 현대두산인프라코어(주) 투명 디스플레이 기반의 건설기계 작업 보조 방법 및 장치
US20240018746A1 (en) * 2022-07-12 2024-01-18 Caterpillar Inc. Industrial machine remote operation systems, and associated devices and methods
WO2024075670A1 (ja) * 2022-10-03 2024-04-11 日立建機株式会社 作業機械
JP7365738B1 (ja) * 2023-04-12 2023-10-20 サン・シールド株式会社 クレーン操作シミュレーションシステム、及び、クレーン操作シミュレーション方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008248613A (ja) * 2007-03-30 2008-10-16 Hitachi Constr Mach Co Ltd 作業機械周辺監視装置
CN103180522A (zh) * 2010-10-22 2013-06-26 日立建机株式会社 作业机械的周边监视装置
US20140343820A1 (en) * 2011-12-13 2014-11-20 Volvo Construction Equipment Ab All-round hazard sensing device for construction apparatus
JP2019002242A (ja) * 2017-06-19 2019-01-10 株式会社神戸製鋼所 転倒防止装置及び作業機械

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6662880B2 (en) * 2000-06-09 2003-12-16 Gedalyahu Manor Traveling rolling digger for sequential hole drilling and for producing sequential cultivated spots in soil
JP6545430B2 (ja) 2013-03-19 2019-07-17 住友重機械工業株式会社 ショベル
CA2971748C (en) * 2014-12-24 2022-08-30 Cqms Pty Ltd A system and method of estimating fatigue in a lifting member
KR101762498B1 (ko) 2015-06-16 2017-07-27 백주혁 스마트 종자파종기
US20170073925A1 (en) * 2015-09-11 2017-03-16 Caterpillar Inc. Control System for a Rotating Machine
US10344450B2 (en) * 2015-12-01 2019-07-09 The Charles Machine Works, Inc. Object detection system and method
JP6819462B2 (ja) * 2017-05-30 2021-01-27 コベルコ建機株式会社 作業機械
US20190137991A1 (en) * 2017-11-07 2019-05-09 Stocked Robotics, Inc. Method and system to retrofit industrial lift trucks for automated material handling in supply chain and logistics operations
US10529077B2 (en) * 2017-12-19 2020-01-07 Canon Kabushiki Kaisha System and method for detecting interaction
US10745006B2 (en) * 2018-02-01 2020-08-18 GM Global Technology Operations LLC Managing automated driving complexity of the forward path using perception system measures
US10831213B2 (en) * 2018-03-30 2020-11-10 Deere & Company Targeted loading assistance system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008248613A (ja) * 2007-03-30 2008-10-16 Hitachi Constr Mach Co Ltd 作業機械周辺監視装置
CN103180522A (zh) * 2010-10-22 2013-06-26 日立建机株式会社 作业机械的周边监视装置
US20140343820A1 (en) * 2011-12-13 2014-11-20 Volvo Construction Equipment Ab All-round hazard sensing device for construction apparatus
JP2019002242A (ja) * 2017-06-19 2019-01-10 株式会社神戸製鋼所 転倒防止装置及び作業機械

Also Published As

Publication number Publication date
KR20210140737A (ko) 2021-11-23
JPWO2020204007A1 (zh) 2020-10-08
EP3951089A1 (en) 2022-02-09
CN113631779B (zh) 2024-06-18
US20220018096A1 (en) 2022-01-20
EP3951089A4 (en) 2022-09-14
WO2020204007A1 (ja) 2020-10-08

Similar Documents

Publication Publication Date Title
CN113631779B (zh) 挖土机及施工***
CN112996963B (zh) 挖土机、挖土机支援***
WO2019189203A1 (ja) ショベル
WO2020196874A1 (ja) 建設機械、支援システム
US20220136215A1 (en) Work machine and assist device to assist in work with work machine
CN112955610A (zh) 挖土机、信息处理装置、信息处理方法、信息处理程序、终端装置、显示方法、显示程序
EP4012120A1 (en) Excavator and information processing device
US20240026654A1 (en) Construction machine and support system of construction machine
EP3885495B1 (en) Excavator and excavator control device
US20230009234A1 (en) Information communications system for construction machine and machine learning apparatus
US20230008338A1 (en) Construction machine, construction machine management system, and machine learning apparatus
KR20210141950A (ko) 쇼벨
EP4368781A2 (en) Work machine and information processing device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant