CN117145004A - 作业机械的控制方法、作业机械用控制程序、作业机械用控制***以及作业机械 - Google Patents

Abstract

本发明提供一种操作人员容易直观地掌握监视区域中探测对象物的存在的作业机械的控制方法、作业机械用控制程序、作业机械用控制***以及作业机械。作业机械的控制方法具有如下步骤：取得作业机械周围的监视区域的拍摄图像(Im11、Im12、Im13)；和使包含拍摄图像(Im11、Im12、Im13)以及探测目标(Im10)的显示画面(Dp1)显示于显示装置。作业机械的控制方法还具有如下步骤：无论探测监视区域中的探测对象物的探测部的探测结果，都使探测目标(Im10)显示于显示画面(Dp1)的同一位置如何，并根据探测结果使探测目标(Im10)的显示形态变化。

Description

作业机械的控制方法、作业机械用控制程序、作业机械用控制 ***以及作业机械

技术领域

本发明涉及具有探测周围的监视区域中的探测对象物的功能的作业机械所使用的作业机械的控制方法、作业机械用控制程序、作业机械用控制***以及作业机械。

背景技术

作为相关技术，公知有搭载了监视作业机械周围的作业机械用周边监视***的作业机械(挖掘机)(例如参照专利文献1)。相关技术所涉及的作业机械将使用被安装于作业机械的多个拍摄装置各自的拍摄图像而合成的周边监视图像显示于显示装置的画面，并且相对放大地显示周边监视图像的一部分。这里，当在作业机械周围的监视区域中存在人的情况下，周边监视***在显示画面(输出图像)中的与该人对应的参照点的位置显示作为人探测标记的黄色圆(或红色圆)，并且用黄色(或红色)显示与该位置对应的区域。

专利文献1：日本特开2017-101420号公报

在上述相关技术中，由于显示于显示装置的信息量较多，所以有时操作人员难以直观地掌握监视区域中探测对象物(例如人)的存在。

发明内容

本发明的目的在于提供一种操作人员容易直观地掌握监视区域中探测对象物的存在的作业机械的控制方法、作业机械用控制程序、作业机械用控制***以及作业机械。

本发明的一个形态所涉及的作业机械的控制方法具有如下步骤：取得作业机械周围的监视区域的拍摄图像；使包含上述拍摄图像及探测目标的显示画面显示于显示装置；以及无论探测上述监视区域中的探测对象物的探测部的探测结果如何，都使上述探测目标显示于上述显示画面的同一位置，并根据上述探测结果使上述探测目标的显示形态变化。

本发明的一个形态所涉及的作业机械用控制程序是用于使一个以上的处理器执行上述作业机械的控制方法的程序。

本发明的一个形态所涉及的作业机械用控制***具备图像取得部和显示处理部。上述图像取得部取得作业机械周围的监视区域的拍摄图像。上述显示处理部使包含上述拍摄图像及探测目标的显示画面显示于显示装置。无论探测上述监视区域中的探测对象物的探测部的探测结果如何，上述显示处理部都使上述探测目标显示于上述显示画面的同一位置，并根据上述探测结果使上述探测目标的显示形态变化。

本发明的一个形态所涉及的作业机械具备：上述作业机械用控制***；和搭载上述显示装置的机体。

根据本发明，能够提供一种操作人员容易直观地掌握监视区域中探测对象物的存在的作业机械的控制方法、作业机械用控制程序、作业机械用控制***以及作业机械。

附图说明

图1是表示实施方式1所涉及的作业机械的整体结构的概略立体图。

图2是表示实施方式1所涉及的作业机械的液压回路等的概略图。

图3是示意性地表示从上方观察实施方式1所涉及的作业机械时设定于作业机械周围的监视区域等的概略俯视图。

图4是通过实施方式1所涉及的作业机械用控制***显示显示画面的显示装置的概略外观图。

图5是表示通过实施方式1所涉及的作业机械用控制***显示的显示画面的一个例子的图。

图6是表示通过实施方式1所涉及的作业机械用控制***显示的显示画面中的探测目标的显示形态的一个例子的图。

图7是表示通过实施方式1所涉及的作业机械用控制***显示的显示画面的第二区域的显示例的图。

图8是表示实施方式1所涉及的作业机械用控制***的动作例的流程图。

图9是表示通过实施方式2所涉及的作业机械用控制***显示的显示画面的第二区域的显示例的图。

图10是表示通过实施方式2所涉及的作业机械用控制***显示的显示画面的第二区域的显示例的图。

附图标记说明

1…作业机械用控制***；2…显示装置；3…作业机械；11…显示处理部；14…图像取得部；15…探测部；30…机体；31…行驶部；32…回转部；A1…监视区域；Dp1…显示画面；I2、I3…辅助目标；Im10…探测目标；Im11、Im12、Im13…拍摄图像；Im100…俯瞰图像(拍摄图像)；Ob1…探测对象物。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。以下实施方式是将本发明具体化了的一个例子，并非旨在限定本发明的技术范围。

(实施方式1)

[1]整体结构

如图1所示，本实施方式所涉及的作业机械3在机体30具备行驶部31、回转部32以及作业部33。另外，如图2所示，作业机械3还具备作业机械用控制***1(以下也简称“控制***1”)。此外，机体30还具备显示装置2及操作装置等。

本公开中所谓的“作业机械”是指各种作业用机械，作为一个例子，是反铲挖掘机(包括液压挖掘机、迷你挖掘机等)、轮式装载机以及运载车等作业车辆。作业机械3具备构成为至少能够执行包括起吊作业在内的一个以上的作业的作业部33。作业机械3并不局限于“车辆”，例如也可以是作业用船舶、无人机或多旋翼直升机等作业飞行体等。并且，作业机械3并不局限于工程机械(建设机械)，例如也可以是插秧机、拖拉机或者联合收割机等农业机械(农机)。在本实施方式中，只要没有特别说明，举出如下情况作为例子进行说明：作业机械3是带起吊功能(带起重机功能)的反铲挖掘机，除起吊作业之外，能够执行挖掘作业、平整土地作业、挖沟作业或者装载作业等作为作业。

另外，在本实施方式中，为了方便说明，将作业机械3处于可使用的状态下的铅垂方向定义为上下方向D1。并且，在回转部32的非回转状态下，以从搭乘于作业机械3(的驾驶部321)的使用者(操作人员)观察到的方向为基准，定义前后方向D2及左右方向D3。换言之，本实施方式中使用的各方向均是以作业机械3的机体30为基准而规定的方向，在作业机械3前进时机体30移动的方向为“前方”，在作业机械3后退时机体30移动的方向为“后方”。同样地，在作业机械3右回转时机体30的前端部移动的方向为“右方”，在作业机械3左回转时机体30的前端部移动的方向为“左方”。但是，这些方向并非旨在限定作业机械3的使用方向(使用时的方向)。

作业机械3具备成为动力源的发动机。在作业机械3中，例如通过发动机驱动液压泵41(参照图2)，从液压泵41向机体30各部分的液压致动器(包括液压马达43及液压缸44等)供给工作油，从而机体30驱动。另外，作业机械3例如通过搭乘于机体30的驾驶部321的使用者(操作人员)操作操作装置的操作杆等来控制。

在本实施方式中，如上所述假设作业机械3是乘用型反铲挖掘机的情况，因此作业部33按照搭载于驾驶部321的使用者(操作人员)的操作被驱动，执行挖掘作业等作业。供使用者搭乘的驾驶部321设置于回转部32。

行驶部31具有行驶功能，构成为能够在地面行驶(包括回转)。行驶部31例如具有左右一对履带311及推土铲312等。行驶部31还具有用于驱动履带311的行驶用液压马达43(液压致动器)等。

回转部32位于行驶部31的上方，构成为能够相对于行驶部31以沿着铅垂方向的旋转轴为中心回转。回转部32具有回转用液压马达(液压致动器)等。除驾驶部321之外，在回转部32搭载有发动机及液压泵41等。并且，在回转部32的前端部设置有供作业部33安装的动臂托架322。

作业部33构成为能够执行包括起吊作业在内的作业。作业部33支承于回转部32的动臂托架322，执行作业。作业部33具有铲斗331、动臂332以及斗杆333等。作业部33还具有用于驱动各部分的液压致动器(包括液压缸44及液压马达等)。

铲斗331是安装于作业机械3的机体30的配件(作业工具)的一种，由从多种配件中根据作业内容选择的任意器具构成。作为一个例子，铲斗331相对于机体30可拆卸地安装，根据作业内容进行更换。作为作业机械3用配件，除铲斗331之外，例如有破碎机、螺旋钻、碾碎机、叉齿、叉爪、钢架切割机、沥青切削机、割草机、松土机、覆盖机、倾斜旋转器(日文：チルトローテータ)以及打夯机等各种器具。作业部33利用来自驱动装置的动力驱动铲斗331，从而执行作业。

动臂332由回转部32的动臂托架322支承为能够旋转。具体而言，动臂332由动臂托架322支承为能够以沿着水平方向的旋转轴为中心旋转。动臂332具有从支承于动臂托架322的基端部向上方延伸的形状。斗杆333与动臂332的前端连结。斗杆333支承为能够相对于动臂332以沿着水平方向的旋转轴为中心旋转。在斗杆333的前端安装铲斗331。

作业部33接受来自作为动力源的发动机的动力而进行动作。具体而言，通过发动机驱动液压泵41，从液压泵41向作业部33的液压致动器(液压缸44等)供给工作油，从而作业部33的各部分(铲斗331、动臂332以及斗杆333)进行动作。

在本实施方式中特别的是，作业部33具有动臂332及斗杆333构成为能够分别独立地旋转的多关节式构造。即，通过动臂332及斗杆333各自以沿着水平方向的旋转轴为中心旋转，而例如包括动臂332及斗杆333的多关节式作业部33整体上能够进行伸展、折叠的动作。

关于行驶部31及回转部32，也与作业部33同样地各自接受来自作为动力源的发动机的动力而进行动作。即，从液压泵41向行驶部31的液压马达43及回转部32的液压马达等供给工作油，从而回转部32及行驶部31进行动作。

发动机如上所述作为向各部分供给动力的动力源发挥功能。这里，发动机与液压泵41等一起搭载于回转部32。在本实施方式中，作为一个例子，发动机是柴油发动机。发动机通过从燃料箱被供给燃料(这里为轻油)而进行驱动。

这里，在机体30装备拍摄机体30周边的照相机等用于探测作业机械3周围的监视区域A1(参照图3)中的探测对象物Ob1(参照图3)的各种传感器类(包括照相机)。在本实施方式中，作为一个例子，如图3所示，包括左方照相机341、右方照相机342以及后方照相机343在内的多个(这里为三个)照相机搭载于机体30的回转部32。左方照相机341、右方照相机342以及后方照相机343与控制***1连接，向控制***1输出由各自拍摄到的图像。图3是从上方观察作业机械3而得到的俯视图，示意性地表示设定于作业机械3周围的监视区域A1、探测对象物Ob1以及作业机械3的机体30(包括左方照相机341、右方照相机342以及后方照相机343)。

左方照相机341、右方照相机342以及后方照相机343分别以能够对从搭乘于回转部32的驾驶部321的操作人员观察时成为左方、右方以及后方的监视区域A1进行拍摄的方式，以驾驶部321为基准朝向左方、右方以及后方设置。即，如图3所示，监视区域A1包括多个(这里为三个)小区域A11、A12、A13，左方照相机341对其中的从搭乘于驾驶部321的操作人员观察时成为左方的小区域A11(左方区域)进行拍摄。同样地，右方照相机342对从搭乘于驾驶部321的操作人员观察时成为右方的小区域A12(右方区域)进行拍摄，后方照相机343对从搭乘于驾驶部321的操作人员观察时成为后方的小区域A13(后方区域)进行拍摄。由此，能够用左方照相机341、右方照相机342以及后方照相机343覆盖对于操作人员而言容易成为死角的侧方(左方及右方)以及后方。

在图2中，示意性地示出本实施方式所涉及的作业机械3的液压回路及电气电路(电连接关系)。在图2中，实线为高压的(工作油用)油路、虚线为低压的(先导油用)油路、点划线的箭头表示电信号的路径。

如图2所示，作业机械3除了具备液压泵41、液压马达43(图2中省略图示)以及液压缸44之外，还具备先导泵42、遥控阀45、控制阀46以及方向切换阀(控制阀)47等。

来自由发动机驱动的液压泵41的工作油向行驶部31的液压马达43、回转部32的液压马达以及作业部33的液压缸44等供给。由此，液压马达43及液压缸44等液压致动器被驱动。

在液压马达43及液压缸44等液压致动器设置有能够对来自液压泵41的工作油的方向及流量进行切换的先导式的方向切换阀47。方向切换阀47从先导泵42被供给成为输入指令的先导油而被驱动。

这里，例如在作业部33的液压缸44所对应的方向切换阀47的先导油的供给路径设置有遥控阀45。遥控阀45根据操作杆的操作来输出作业部33的作业操作指令。作业操作指令指示作业部33的展开动作及缩小动作等。另外，在遥控阀45与先导泵42之间***有电磁式的控制阀46(电磁阀)。控制阀46经由截止继电器352及截止开关353而与电源351连接，根据来自电源351的供给电流进行动作。

同样地，在行驶部31的液压马达43所对应的方向切换阀的先导油的供给路径也设置有遥控阀。该遥控阀根据操作杆的操作来输出行驶部31的行驶操作指令。行驶操作指令指示行驶部31的行驶动作(前进或后退等)。并且，在回转部32的液压马达所对应的方向切换阀的先导油的供给路径也设置有遥控阀。该遥控阀根据操作杆的操作来输出回转部32的回转操作指令。回转操作指令指示回转部32的回转动作(左回转或右回转等)。而且，在这些遥控阀与先导泵42之间也***有电磁式的控制阀46(电磁阀)。控制阀46经由截止继电器352及截止开关353而与电源351连接，根据来自电源351的供给电流进行动作。

控制阀46在通电状态、即被供给电流的状态下，开放从先导泵42向遥控阀45的先导油的流路，在非通电状态、即被截断供给电流的状态下，截断先导油的流路。因此，通过截断向控制阀46的供给电流，而遥控阀45所对应的液压致动器变得无法驱动，无论操作杆的操作如何，液压致动器的输出都强制性地停止。

这里，截止继电器352与控制***1连接，根据来自控制***1的控制信号(电信号)来切换接通/断开。截止开关353根据截止杆的操作来切换接通/断开，例如在截止杆被向下方操作了的状态下成为接通。因此，截止继电器352和截止开关353都为接通时，控制阀46成为通电状态，开放从先导泵42向遥控阀45的先导油的流路，因此液压致动器根据操作杆的操作而进行驱动。与此相对地，在截止继电器352和截止开关353中的至少一者为断开的状态下，控制阀46成为非通电状态，先导油的流路被截断，因此液压致动器变得无法驱动。

例如，在同***于回转部32的液压马达所对应的遥控阀与先导泵42之间的控制阀46相连的截止继电器352和截止开关353中的至少一者为断开的状态下，回转部32的液压马达变得无法驱动。该状态下，无论操作杆的操作如何，液压致动器(回转部32的液压马达)的输出都强制性地停止，所以回转部32的回转动作被禁止。

控制***1以具有CPU(Central Processing Unit)等一个以上的处理器、和ROM(Read Only Memory)及RAM(Random Access Memory)等一个以上的存储器的计算机***为主结构，执行各种处理(信息处理)。在本实施方式中，控制***1是进行作业机械3整体的控制的综合控制器，例如由电子控制单元(ECU：Electronic Control Unit)构成。但是，控制***1也可以与综合控制器分开地设置。关于控制***1，详情在“[2]控制***的结构”一栏中进行说明。

显示装置2配置于机体30的驾驶部321，是用于接受由使用者(操作人员)进行的操作输入并向使用者输出各种信息的使用者界面。显示装置2例如通过输出与使用者的操作相应的电信号，来接受由使用者进行的各种操作。由此，使用者(操作人员)能够目视确认显示装置2所显示的显示画面Dp1(参照图4)，另外，能够根据需要来操作显示装置2。

如图2所示，显示装置2具备控制部21、操作部22以及显示部23。显示装置2构成为能够与控制***1通信，能够与控制***1之间收发数据。在本实施方式中，作为一个例子，显示装置2是用于作业机械3的专用器件。

控制部21按照来自控制***1的数据，控制显示装置2。具体而言，控制部21输出与由操作部22接受到的使用者的操作相应的电信号、将由控制***1生成的显示画面Dp1显示于显示部23。

操作部22是用于接受使用者(操作人员)对显示部23所显示的显示画面Dp1进行的操作输入的使用者界面。操作部22例如通过输出与使用者U1(参照图4)的操作相应的电信号，来接受由使用者U1进行的各种操作。在本实施方式中，作为一个例子，如图4所示，操作部22包括机械式的多个(这里为6个)按钮开关221～226。上述多个按钮开关221～226以沿着显示部23的显示区域的周缘的方式接近显示区域(在图4的例子中为下方)地配置。上述多个按钮开关221～226与后述的显示画面Dp1所显示的项目建立对应，通过操作多个按钮开关221～226中的任意一个，来操作(选择)显示画面Dp1中的任意一个项目。

另外，操作部22也可以包括触摸面板及操作拨盘等。该情况下，也通过对操作部22的操作来操作(选择)显示画面Dp1中的任意一个项目。

显示部23是显示各种信息的液晶显示器或有机EL显示器这样的用于向使用者U1(操作人员)提示信息的使用者界面。显示部23通过显示来对使用者提示各种信息。在本实施方式中，作为一个例子，显示部23是带背光的全彩液晶显示器，如图4所示具有横向上较长的“横长”的显示区域。

显示装置2通过显示画面Dp1向操作作业机械3的使用者U1(操作人员)提示各种信息。即，操作作业机械3的使用者U1通过观察显示装置2所显示的显示画面Dp1，而能够通过视觉得到与作业机械3相关的各种信息。作为一个例子，在显示装置2显示冷却水温及工作油温等与作业机械3的运行状态有关的信息，从而使用者U1能够通过显示装置2确认操作作业机械3所需要的与作业机械3的运行状态有关的信息。另外，对于由左方照相机341、右方照相机342以及后方照相机343拍摄的作业机械3的周边图像(监视区域A1的图像)，显示装置2也能够在显示画面Dp1进行显示。由此，使用者U1(操作人员)在操作作业机械3时例如能够通过显示装置2所显示的显示画面Dp1确认从驾驶部321来看容易成为的死角的作业机械3的侧方及后方等的状况。

并且，作业机械3具备对使用者U1(操作人员)输出声音(包含语音)的声音输出部36(参照图2)。声音输出部36包括蜂鸣器或扬声器等，接受电信号而输出声音。声音输出部36与控制***1连接，根据来自控制***1的声音控制信号，输出蜂鸣音或语音等声音。在本实施方式中，声音输出部36与显示装置2同样地设置于机体30的驾驶部321。声音输出部36也可以与显示装置2一体地设置。

另外，机体30除了上述的结构之外，还具备操作杆、截止杆、通信终端、燃料箱以及电池等。并且，在机体30装备有冷却水温传感器、工作油温传感器、计测发动机转速的转速计、以及计测运行时间的计时器等用于监视机体30的运行状态的传感器类。此外，检测截止杆及启动钥匙开关等的状态等的传感器也装备于机体30。

[2]控制***的结构

接下来，参照图2对本实施方式所涉及的控制***1的结构进行说明。控制***1通过控制显示装置2，来使显示装置2显示显示画面Dp1。在本实施方式中，显示装置2如上所述搭载于作业机械3的机体30。控制***1是作业机械3的结构要素，与机体30等一起构成作业机械3。换言之，本实施方式所涉及的作业机械3至少具备：控制***1；和搭载显示装置2的机体30(包括行驶部31、回转部32以及作业部33)。

本公开中所谓的显示画面Dp1等“画面”是指由显示装置2显示的影像(图像)，包括图像、图形、照片、文本以及动态图像等。即，控制***1例如能够使包含表示冷却水温及工作油温等与作业机械3的运行状态有关的信息的图像等的显示画面Dp1显示于显示装置2。这里，在显示画面Dp1包含动态图像等的情况下，显示画面Dp1包含时时刻刻变化的影像，而不是恒定的影像。

如图2所示，控制***1具备显示处理部11、牵制处理部12、切换处理部13、图像取得部14以及探测部15。在本实施方式中，作为一个例子，控制***1将具有一个以上的处理器的计算机***作为主结构，因此通过一个以上的处理器执行作业机械用控制程序，来实现上述多个功能部(显示处理部11等)。控制***1所包含的上述多个功能部可以分散设置于多个壳体，也可以设置于一个壳体。

控制***1构成为能够与设置于机体30各部分的器件通信。即，控制***1至少与显示装置2、声音输出部36、截止继电器352、左方照相机341、右方照相机342以及后方照相机343等连接。由此，控制***1能够控制显示装置2及声音输出部36等，控制截止继电器352来控制控制阀46，取得左方照相机341、右方照相机342以及后方照相机343等的拍摄图像。这里，控制***1也可以与各器件直接地进行各种信息(数据)的收发，也可以经由中继器等间接地进行。

图像取得部14执行取得作业机械3周围的监视区域A1的拍摄图像的图像取得处理。在本实施方式中，图像取得部14从左方照相机341、右方照相机342以及后方照相机343定期或不定期地取得左方照相机341、右方照相机342以及后方照相机343的输出。即，图像取得部14取得作业机械3周围的监视区域A1(各小区域A11、A12、A13)的图像数据(拍摄图像)。由图像取得部14取得的数据例如存储于存储器等。

探测部15探测作业机械3周围的监视区域A1中的探测对象物Ob1。即，探测部15判断监视区域A1中探测对象物Ob1的存在与否(有无)，输出表示在监视区域A1中是否存在探测对象物Ob1的探测结果。在本实施方式中，作为一个例子，探测对象物Ob1是“人”。即，在作业机械3移动或者作业机械3周围的“人”移动而“人”侵入至作业机械3周围的监视区域A1的情况下，探测部15将该“人”作为探测对象物Ob1进行探测。当在监视区域A1中存在多个探测对象物Ob1的情况下，探测部15也可以将探测对象物Ob1的数量(人数)也包含在内地进行探测。

在本实施方式中，探测部15基于左方照相机341、右方照相机342以及后方照相机343的输出(图像数据)，来探测监视区域A1中的探测对象物Ob1。具体而言，探测部15对由图像取得部14取得的图像数据实施图像处理，从而提取图像中的特征量，基于该特征量，来判断在图像中是否映现有探测对象物Ob1(在本实施方式中为“人”)。这里，当在图像中映现有探测对象物Ob1的情况下，探测部15判断在由左方照相机341、右方照相机342以及后方照相机343中的哪一个拍摄到的图像中映现有探测对象物Ob1。即，探测部15区分在由左方照相机341拍摄的小区域A11、由右方照相机342拍摄的小区域A12以及由后方照相机343拍摄的小区域A13中的哪一个中存在探测对象物Ob1，进行探测对象物Ob1的探测。

牵制处理部12基于探测部15的探测结果，来执行牵制作业机械3的动作的牵制处理。在本实施方式中，在探测部15的探测结果是示出在监视区域A1中存在探测对象物Ob1(这里为人)的结果的情况下，牵制处理部12执行牵制处理。本公开中所谓的“牵制处理”是指对作业机械3的动作在进行某些抑制的方向上起作用的处理。作为一个例子，牵制处理包括对操作作业机械3的使用者U1(操作人员)通过声音或光(包括显示)进行警告而间接地牵制作业机械3的动作的处理。并且，牵制处理包括通过控制作业机械3的行驶部31、回转部32以及作业部33等来直接地牵制作业机械3的动作的处理。

在本实施方式中，牵制处理部12包括声音输出处理部121和限制处理部122。

声音输出处理部121当在监视区域A1中存在探测对象物Ob1的情况下，通过控制声音输出部36来从声音输出部36输出报告音。即，在本实施方式中，牵制处理包括输出报告音的声音输出处理。报告音可以是单纯的蜂鸣音，也可以是“请注意”等语音。并且，报告音也可以根据探测部15的探测结果(从机体30到探测对象物Ob1的距离等)而变化。由此，通过对操作作业机械3的使用者U1(操作人员)进行借助报告音的警告，而能够间接地牵制作业机械3的动作，因此作业机械3的操作自由度较高。即，通过使使用者U1注意探测对象物Ob1地操作作业机械3，从而能够一边避免与探测对象物Ob1的接触一边继续作业机械3的动作。

限制处理部122当在监视区域A1中存在探测对象物Ob1的情况下，通过控制截止继电器352来使截止继电器352成为断开。由此，经由截止继电器352而与电源351连接的控制阀46成为非通电状态，控制阀46所对应的液压致动器的输出强制性地停止。即，在本实施方式中，牵制处理包括限制作业机械3的动作的限制处理。本公开中所谓的“限制处理”是指对作业机械3的动作在进行某些限制的方向上起作用的处理。作为一个例子，限制处理包括禁止行驶部31的行驶动作(无法进行行驶动作)的处理、禁止回转部32的回转动作(无法进行回转动作)的处理以及禁止作业部33的动作(无法进行作业)的处理等。由此，无论使用者U1(操作人员)的操作如何，都能够强制性地限制作业机械3的动作。即，能够避免由作业机械3动作导致的机体30与探测对象物Ob1的接触。

这里，限制处理部122所执行的限制处理至少包括限制回转部32的回转动作的处理。具体而言，限制处理部122构成为能够控制同回转部32的液压马达所对应的控制阀46相连的截止继电器352，当在监视区域A1中存在探测对象物Ob1的情况下，使该截止继电器352成为断开。由此，当在监视区域A1中存在探测对象物Ob1的情况下，回转部32的液压马达变得无法驱动，若回转部32在回转动作中，则回转部32紧急停止，若回转部32不在回转动作中，则禁止回转部32的回转动作。即，在本实施方式中，作业机械3具备：行驶部31；和能够相对于行驶部31回转的回转部32。限制处理至少限制回转部32的回转动作。由此，当在成为使用者U1(操作人员)的死角的监视区域A1中存在探测对象物Ob1的情况下，能够避免由回转部32回转导致的机体30与探测对象物Ob1的接触。

切换处理部13对牵制处理部12的有效和无效进行切换。即，切换处理部13对牵制处理相关功能的有效和无效进行切换。总之，牵制处理部12并非总是有效，能够进行有效/无效的切换。若牵制处理部12有效，则当在监视区域A1中存在探测对象物Ob1的情况下，执行牵制处理部12的牵制处理。另一方面，若牵制处理部12无效，则即使在监视区域A1中存在探测对象物Ob1的情况，也不执行牵制处理部12的牵制处理。

在本实施方式中，作为一个例子，牵制处理相关功能(牵制处理部12)的有效与无效的切换通过使用者U1(操作人员)操作显示装置2来进行。即，若使用者U1以使牵制处理相关功能有效的方式操作显示装置2的操作部22，则切换处理部13接受该操作，使牵制处理相关功能有效。另一方面，若使用者U1以使牵制处理相关功能无效的方式操作显示装置2的操作部22，则切换处理部13接受该操作，使牵制处理相关功能无效。

另外，在本实施方式中，牵制处理部12所进行的牵制处理包括：声音输出处理部121所执行的声音输出处理；和限制处理部122所执行的限制处理。这样，牵制处理包括用于牵制作业机械3的动作的多个具体处理(声音输出处理及限制处理等)。这里，牵制处理能够针对每个具体处理分别独立地对有效和无效进行切换。即，切换处理部13能够针对牵制处理部12中的声音输出处理部121和限制处理部122分别独立地对有效和无效进行切换。作为一个例子，能够使声音输出处理部121有效但使限制处理部122无效，或使声音输出处理部121无效但使限制处理部122有效。由此，能够根据状况仅使需要的具体处理有效，牵制处理的自由度提升。

显示处理部11至少执行使显示画面Dp1显示于显示装置2的显示处理。具体而言，显示处理部11基于由图像取得部14取得的数据等来生成显示画面Dp1，通过控制显示装置2来使显示画面Dp1显示于显示装置2的显示部23。并且，显示处理部11根据显示装置2的操作部22所接受到的操作进行动作。显示处理部11例如使由左方照相机341、右方照相机342以及后方照相机343拍摄的拍摄图像Im11、Im12、Im13(参照图5)显示于显示画面Dp1。即，显示处理部11使作业机械3周围的监视区域A1(各小区域A11、A12、A13)的图像显示于显示装置2。

这里，除了拍摄图像Im11、Im12、Im13之外，显示处理部11还将表示探测部15探测监视区域A1中探测对象物Ob1的存在与否(有无)的探测结果的探测目标Im10(参照图5)显示于显示画面Dp1。无论探测部15的探测结果如何，探测目标Im10都显示于显示画面Dp1的同一位置。因此，对于在监视区域A1中存在探测对象物Ob1的情况和不存在的情况，探测目标Im10的显示位置相同。即，无论探测部15的探测结果如何，探测目标Im10都始终显示于显示画面Dp1的固定位置。另一方面，探测目标Im10的显示形态根据探测部15的探测结果而变化。因此，对于在监视区域A1中存在探测对象物Ob1的情况和不存在的情况，探测目标Im10的显示形态不同。

即，显示处理部11使包含拍摄图像Im11、Im12、Im13以及探测目标Im10的显示画面Dp1显示于显示装置2。而且，无论探测监视区域A1中的探测对象物Ob1的探测部15的探测结果如何，显示处理部11都使探测目标Im10显示于显示画面Dp1的同一位置，并根据探测结果使探测目标Im10的显示形态变化。本公开中所谓的探测目标Im10等“目标”包括在显示画面Dp1中显示的标记、图像、图形、照片、文本或者动态图像等、或者他们的组合。另外，本公开中所谓的“显示形态”包括(目标的)显示色、尺寸(包括大小、线条粗细等)、形状、动作状态(包括动画、旋转/静止等)或者显示模式(包括闪烁模式等)等、或者他们的组合。总之，显示处理部11根据探测部15的探测结果使探测目标Im10的显示色等显示形态变化。

并且，在本实施方式中，显示处理部11能够使包含表示牵制处理相关功能是有效还是无效的牵制状态信息I1(参照图5)的显示画面Dp1显示于显示装置2。即，在牵制处理相关功能的有效/无效通过切换处理部13切换时，当前的牵制处理相关功能的状态(有效/无效)作为牵制状态信息I1显示于显示画面Dp1。由此，使用者U1(操作人员)能够在视觉上确认牵制处理相关功能是有效还是无效，能够在了解到牵制处理相关功能是有效还是无效的基础上操作作业机械3。

然而，探测部15并不是控制***1中必要结构。例如，控制***1也可以构成为：取得外部的探测部的探测结果，牵制处理部12基于该探测结果来执行牵制处理。

[3]作业机械的控制方法

以下，参照图5～图8主要对由控制***1执行的作业机械3的控制方法(以下简称为“控制方法”)的一个例子进行说明。

本实施方式所涉及的控制方法由以计算机***为主结构的控制***1执行，换言之，由作业机械用控制程序(以下简称为“控制程序”)具体体现。即，本实施方式所涉及的控制程序是用于使一个以上的处理器执行控制方法所涉及的各处理的计算机程序。这样的控制程序例如也可以由控制***1及显示装置2配合执行。

这里，在进行了用于执行控制程序的预先设定的特定的开始操作的情况下，控制***1执行控制方法所涉及的下述各种处理。开始操作例如是作业机械3的发动机的起动操作等。另一方面，在进行了预先设定的特定的结束操作的情况下，控制***1结束控制方法所涉及的下述各种处理。结束操作例如是作业机械3的发动机的停止操作等。

[3.1]显示画面

这里，首先对通过本实施方式所涉及的控制方法显示于显示装置2的显示部23的显示画面Dp1的结构进行说明。在图5等表示显示装置2的显示部23所显示的显示画面Dp1的附图中，表示区域的点划线、引出线以及附图标记均仅是为了说明而标注的，并非实际显示于显示装置2。

图5所示的显示画面Dp1是通过控制方法最初显示的主画面。主画面是在作业机械3运行中首先显示于显示装置2的基本的显示画面Dp1。显示画面Dp1能够按照对操作部22的操作从主画面向包括菜单画面、起重机画面、模式画面以及PTO画面等在内的各种显示画面Dp1迁移。

如图5所示，显示画面Dp1包括第一区域R1、第二区域R2、第三区域R3、第四区域R4、第五区域R5、第六区域R6、第七区域R7、第八区域R8、第九区域R9以及第十区域R10。在本实施方式所涉及的控制方法中，作为一个例子，在占据显示画面Dp1的大部分的第二区域R2显示监视区域A1(各小区域A11、A12、A13)的拍摄图像Im11、Im12、Im13、探测目标Im10以及牵制状态信息I1等。将第二区域R2中的显示探测目标Im10的区域设为第十一区域R11。

具体而言，显示画面Dp1在纵向(上下方向)上分割为四个区域。然后，从上起三个区域分别进一步在横向(左右方向)上分割为三个区域。由此，显示画面Dp1分割为共10个区域。并且，从上起第二层的区域从左起依次是第一区域R1、第二区域R2、第三区域R3。最下层的区域是第四区域R4。并且，从上起第三层的区域从左起依次是第五区域R5、第六区域R6、第七区域R7，最上层的区域从左起依次是第八区域R8、第九区域R9、第十区域R10。对于纵向的尺寸而言，在纵向上分割出的四个区域之中，从上起第二层的区域(第一区域R1、第二区域R2、第三区域R3)最宽。对于横向的尺寸而言，在横向上分割出的三个区域之中，正中的区域(第二区域R2、第六区域R6、第九区域R9)最宽。

但是，这些各区域的配置及尺寸仅是一个例子，能够适当变更。另外，各区域并非必须由分界线明确地分割。例如，在图5的例子中，相对于第二区域R2和第三区域R3由分界线明确地分割，在第一区域R1与第二区域R2之间并不存在分界线。当然，第一区域R1和第二区域R2也可以由分界线明确地分割。

第一区域R1是在纵向上较长的矩形状的区域。在第一区域R1中例如显示与发动机的燃料(例如轻油)的余量有关的余量信息G1。显示处理部11基于余量传感器的输出(传感器信号)等，生成显示画面Dp1中的余量信息G1。

第二区域R2是在横向上较长的矩形状的区域。在第二区域R2中显示监视区域A1的拍摄图像Im11、Im12、Im13、探测目标Im10以及牵制状态信息I1等。拍摄图像Im11是由左方照相机341拍摄的成为驾驶部321的左方的小区域A11的图像，拍摄图像Im12是由右方照相机342拍摄的成为驾驶部321的右方的小区域A12的图像。拍摄图像Im13是由后方照相机343拍摄的成为驾驶部321的后方的区域A13的图像。显示处理部11使由图像取得部14取得的拍摄图像Im11、Im12、Im13实时地显示。

探测目标Im10显示于在第二区域R2的中央部设定的第十一区域R11内。在本实施方式中，作为一个例子，探测目标Im10是模拟从上方观察到的机体30的图像(图标)。因此，探测目标Im10的上方相当于实际空间中的机体30的前方，探测目标Im10的下方相当于实际空间中的机体30的后方，探测目标Im10的右方相当于实际空间中的机体30的右方，探测目标Im10的左方相当于实际空间中的机体30的左方。具体而言，探测目标Im10的下部构成为模拟回转部32的后部(配重)的圆弧状，探测目标Im10的上部构成为模拟回转部32的前部(作业部33)的形状。在本实施方式中，作业部33配置于回转部32的相对于左右方向D3的中心向右方偏移了的位置，驾驶部321配置于回转部32的相对于左右方向D3的中心向左方偏移了的位置。因此，在探测目标Im10中，也是模拟作业部33的图形位于右上部，模拟驾驶部321的图形位于左部。

在本实施方式中，拍摄图像Im11、Im12、Im13是第二区域R2的中央部被矩形状地切除而成的形状。因此，显示于第二区域R2的中央部(第十一区域R11)的探测目标Im10配置为嵌于拍摄图像Im11、Im12、Im13的切除部位。由此，探测目标Im10在显示画面Dp1中与拍摄图像Im11、Im12、Im13邻接地配置。因此，对于操作人员而言，观察显示画面Dp1，容易直观地掌握机体30与探测对象物Ob1的距离等。

并且，在本实施方式中，对于拍摄图像Im11、Im12、Im13而言，以与从上方观察机体30时的位置关系对应的方式，将拍摄图像Im11显示于探测目标Im10的左上方，拍摄图像Im12显示于探测目标Im10的右上方，拍摄图像Im13显示于探测目标Im10的下方。即，成为机体30的左方的小区域A11的拍摄图像Im11相对于探测目标Im10位于左方，成为机体30的右方的小区域A12的拍摄图像Im12相对于探测目标Im10位于右方，成为机体30的后方的小区域A13的拍摄图像Im13相对于探测目标Im10位于下方。这样，本实施方式所涉及的控制方法使显示画面Dp1中的拍摄图像Im11、Im12、Im13相对于探测目标Im10的位置关系反映实际空间中的监视区域A1相对于作业机械3的位置关系。因此，对于操作人员而言，观察显示画面Dp1，容易直观地掌握是拍摄监视区域A1的何处而得到的拍摄图像Im11、Im12、Im13。

另外，在本实施方式中，探测目标Im10以搭载了驾驶部321的回转部32的朝向为基准来显示，而不是行驶部31的朝向。即，由于回转部32相对于行驶部31相对地回转，而探测目标Im10的上方所对应的实际空间上的方位会发生变化。由此，探测目标Im10的上方总是相当于从搭乘于驾驶部321的操作人员观察时成为前方的回转部32的前方。即，作业机械3具备：行驶部31；和能够相对于行驶部31回转的回转部32。本实施方式所涉及的控制方法使显示画面Dp1中的拍摄图像Im11、Im12、Im13相对于探测目标Im10的位置关系反映实际空间中的监视区域A1相对于回转部32的位置关系。因此，对于操作人员而言，观察显示画面Dp1，容易直观地掌握是拍摄监视区域A1的何处而得到的拍摄图像Im11、Im12、Im13。

牵制状态信息I1显示于第二区域R2的右下方。如上所述，牵制状态信息I1是表示牵制处理相关功能是有效还是无效、即由切换处理部13选择的牵制处理相关功能的状态(有效/无效)的信息。在本实施方式中，牵制状态信息I1包括图像(图标)。牵制状态信息I1例如通过图像的显示色或尺寸等显示形态来表示牵制处理相关功能的状态(有效/无效)。显示处理部11基于切换处理部13的动作状态来判断牵制处理相关功能的状态(有效/无效)。然后，显示处理部11根据牵制处理相关功能的状态(有效/无效)，来决定牵制状态信息I1中的图像的显示形态。

这里，牵制处理包括多个具体处理(声音输出处理及限制处理等)，能够针对每个具体处理分别独立地对有效和无效进行切换时，牵制状态信息I1针对每个具体处理分别独立地显示。在图5的例子中，牵制状态信息I1包含分别与具体处理对应的第一牵制状态信息I11和第二牵制状态信息I12。第一牵制状态信息I11表示声音输出处理相关功能的有效/无效，第二牵制状态信息I12表示限制处理相关功能的有效/无效。第一牵制状态信息I11及第二牵制状态信息I12通过各个图像的外观设计(图样)来表示与声音输出处理及限制处理中的哪一个对应。

在本实施方式中，作为一个例子，若牵制处理相关功能有效，则牵制状态信息I1激活显示，若牵制处理相关功能无效，则牵制状态信息I1非激活显示。即，激活显示的牵制状态信息I1表示牵制处理相关功能有效，非激活显示的牵制状态信息I1表示牵制处理相关功能无效。激活显示的牵制状态信息I1例如用绿色等对比度较大的显示色显示，相对于此，非激活显示的牵制状态信息I1例如用灰色等对比度较小的显示色显示。

第三区域R3是纵向较长的矩形状的区域。在第三区域R3中显示与作业机械3各部分的运行状态相应的图像(图标)Im1。在第三区域R3中能够显示多个图像Im1，通过各个图像Im1的外观设计(图样)，来示出例如电池、安全带、冷却水温、工作油温等中的任意一个的状态。这里，各图像Im1例如通过显示色或尺寸等显示形态来示出运行状态。显示处理部11使用探测作业机械3各部分的运行状态的各种传感器(包括冷却水温传感器及工作油温传感器)的输出，来判断作业机械3各部分的状态。并且，当在任意一个部位探测到异常值的情况下，显示处理部11通过使该部位的图像Im1的显示色等显示形态变化来进行警告显示。

第四区域R4是遍及显示画面Dp1的整个宽度地延伸的带状的区域。在第四区域R4中显示用于对显示画面Dp1的操作的各项目。在图5中，作为一个例子，“菜单”、“起重机”、“模式”、“照相机”、“PTO”、“切换”这六个项目在第四区域R4中从左起依次排列配置。与这六个项目分别对应有位于其正下方的操作部22的六个按钮开关221～226。例如“菜单”的项目对应有按钮开关221，“起重机”的项目对应有按钮开关222。因此，例如若与“照相机”的项目对应的按钮开关224被使用者U1(参照图4)操作，则“照相机”的项目***作(选择)。

并且，在本实施方式中，以也与操作部22的操作拨盘(或光标键)等的操作对应的方式，在第四区域R4中高亮显示任意一个项目。在图5的例子中，“菜单”的项目高亮显示，通过操作拨盘(或光标键)等的操作，来切换高亮显示的项目。对于使用者U1而言，能够通过在使所希望的项目高亮显示的状态下操作决定按钮来选择所希望的项目。因此，例如若在使高亮显示移动至“照相机”项目的状态下操作决定按钮，则“照相机”项目***作(选择)。另外，在操作部22包括触摸面板的情况下，使用者U1能够通过触摸显示画面Dp1上的所希望的项目来选择所希望的项目。

在第五区域R5中显示示出由各种传感器(包括冷却水温传感器及工作油温传感器)探测到异常值的警告显示用图像(图标)。在第六区域R6中例如显示与作业机械3的运行中的作业部33有关的信息。在第七区域R7中例如显示发动机的转速等与作业机械3的运行状态有关的信息。在第八区域R8中例如显示当前时刻。在第九区域R9中例如显示示出当前显示的显示画面Dp1所属的项目的信息。在第十区域R10中例如显示与作业机械3的运行时间(计时器)有关的信息。

[3.2]详情

接下来，对本实施方式所涉及的控制方法的详情进行说明。

本实施方式所涉及的控制方法具有如下步骤：取得作业机械3周围的监视区域A1的拍摄图像Im11、Im12、Im13(图像取得处理)；和使包含拍摄图像Im11、Im12、Im13以及探测目标Im10的显示画面Dp1显示于显示装置2(显示处理)。控制方法还具有如下步骤：在显示处理中，无论探测监视区域A1中的探测对象物Ob1的探测部15的探测结果如何，都使探测目标Im10显示于显示画面Dp1的同一位置，并根据探测结果，使探测目标Im10的显示形态变化。

总之，将包含拍摄图像Im11、Im12、Im13以及探测目标Im10的显示画面Dp1显示于显示装置2，从而能够通过探测目标Im10的显示形态表示监视区域A1中的探测对象物Ob1的探测结果。并且，对于探测目标Im10而言，虽然其显示形态变化，但其显示位置无论探测部15的探测结果如何，都是显示画面Dp1的固定位置，因此可视性良好。因此，对于操作人员(使用者U1)而言，仅通过观察显示于显示画面Dp1的固定位置的探测目标Im10，就能够掌握监视区域A1中的探测对象物Ob1的探测结果。因此，根据本实施方式所涉及的控制方法，操作人员容易直观地掌握在监视区域A1中探测对象物Ob1(例如人)的存在情况。

图6示出探测目标Im10的显示形态的一个例子。在图6中，仅图示显示画面Dp1中的第十一区域R11的周边，省略除此以外的图示。探测目标Im10的显示形态根据探测部15的探测结果而变化，因此至少存在监视区域A1中不存在探测对象物Ob1的“未探测到”时和监视区域A1中存在探测对象物Ob1的“探测到”时这两种。并且，在本实施方式中，探测目标Im10的显示形态还根据从作业机械3到探测对象物Ob1的距离而变化。因此，在监视区域A1中存在探测对象物Ob1的“探测到”时，还针对从作业机械3到探测对象物Ob1的距离较远的情况(探测到＿距离：远)、和从作业机械3到探测对象物Ob1的距离较近的情况(探测到＿距离：近)，使探测目标Im10的显示形态进一步不同。因此，如图6所示，探测目标Im10具有“未探测到”、“探测到＿距离：远”以及“探测到＿距离：近”这三种显示形态。这里，假定若从作业机械3到探测对象物Ob1的距离为阈值距离(例如2m)以内，则探测部15判断为“探测到＿距离：近”，若从作业机械3到探测对象物Ob1的距离超过阈值距离，则探测部15判断为“探测到＿距离：远”。

在本实施方式中，作为一个例子，在根据探测部15的探测结果而变化的探测目标Im10的显示形态中，包括探测目标Im10的显示色。因此，显示画面Dp1中的探测目标Im10的显示色根据探测部15的探测结果而变化。例如，探测对象物Ob1距机体30越近，则探测目标Im10的显示形态变更为越醒目的显示色，作为一个例子，若探测对象物Ob1靠近机体30，则探测目标Im10的显示色从黄色变化为红色。具体而言，如图6所示，探测目标Im10的显示色在“未探测到”的情况下是与背景色(黑色或白色等)相同的颜色，在“探测到＿距离：远”的情况下变为黄色，在“探测到＿距离：近”的情况下变为红色。因此，对于操作人员而言，凭借显示于显示画面Dp1的固定位置(第十一区域R11)的探测目标Im10的显示色，容易直观地掌握在监视区域A1中探测对象物Ob1(例如人)的存在情况。

这里，有时在监视区域A1中同时存在多个探测对象物Ob1。该情况下，根据到多个探测对象物Ob1中的距作业机械3的机体30最近的探测对象物Ob1的距离，来决定探测目标Im10的显示形态。例如，在同时探测到存在于距作业机械3阈值距离以内的位置的探测对象物Ob1、和存在于距作业机械3比阈值距离远的位置的探测对象物Ob1的情况下，以存在于距作业机械3阈值距离以内的位置的探测对象物Ob1为基准，探测目标Im10的显示色变为红色。总之，探测目标Im10的显示形态根据从作业机械3到探测对象物Ob1的距离而变化。对于本实施方式所涉及的控制方法而言，当在监视区域A1中存在多个探测对象物Ob1时，根据从作业机械3到最近的探测对象物Ob1的距离来决定探测目标Im10的显示形态。由此，探测目标Im10的显示形态根据紧急性最高的探测对象物Ob1的探测结果而决定，所以操作人员容易直观地掌握探测结果。

然而，在本实施方式中，将监视区域A1中的探测对象物Ob1作为探测部15的探测目标，所以当在监视区域A1中存在探测对象物Ob1的情况下，探测对象物Ob1当然会映现于监视区域A1的拍摄图像Im11、Im12、Im13。换言之，如图7所示，当在显示画面Dp1中的拍摄图像Im11、Im12、Im13中映现了探测对象物Ob1的状态下，探测目标Im10的显示形态是示出在监视区域A1中存在探测对象物Ob1的状态。在图7中，仅示出显示画面Dp1中的第二区域R2，省略除第二区域R2以外的区域的图示。

这样，探测结果示出监视区域A1中存在探测对象物Ob1时，在显示画面Dp1中的拍摄图像Im11、Im12、Im13中映现探测对象物的至少一部分。由此，对于操作人员而言，能够在拍摄图像Im11、Im12、Im13上确认探测对象物Ob1。即，操作人员(使用者U1)能够通过显示装置2所显示的显示画面Dp1确认从驾驶部321来看容易成为死角的作业机械3的侧方及后方等的状况。因此，与仅显示探测目标Im10的结构比较，当在监视区域A1内存在探测对象物Ob1的情况下，容易通过显示画面Dp1详细地掌握探测对象物Ob1的状况。

另外，在本实施方式中，如图7所示，显示画面Dp1包含表示探测部15的探测结果的辅助目标I2、I3。辅助目标I2是强调显示拍摄图像Im11、Im12、Im13中的包含探测对象物Ob1的拍摄图像的带状(框状)的图像。辅助目标I3是示出从驾驶部321观察时探测对象物Ob1所在的方向的图像。在图7的例子中，假设在由左方照相机341拍摄的成为驾驶部321的左方的小区域A11中存在探测对象物Ob1(这里为“人”)的情况。因此，拍摄图像Im11、Im12、Im13中的拍摄图像Im11通过辅助目标I2强调显示，并且在拍摄图像Im11的下方显示示出探测对象物Ob1存在于驾驶部321的左方的辅助目标I3。

关于辅助目标I2、I3的显示形态，也与探测目标Im10同样地，优选为根据监视区域A1中的探测对象物Ob1的位置而变更。例如，辅助目标I2、I3的显示色、显示色、尺寸(包括大小、线条粗细等)、形状、动作状态(包括动画、旋转/静止等)或者显示模式(包括闪烁模式等)等显示形态根据监视区域A1中的探测对象物Ob1的位置而变更。具体而言，探测对象物Ob1距机体30越近，则辅助目标I2、I3的显示形态变更为越醒目的显示色，作为一个例子，若探测对象物Ob1靠近机体30，则辅助目标I2、I3的显示色从黄色变化为红色。

在本实施方式中特别的是，辅助目标I2、I3的显示色设为和探测目标Im10的显示色相同。即，关于辅助目标I2、I3的显示色，也在“探测到＿距离：远”的情况下变为黄色，在“探测到＿距离：近”的情况下变为红色。但是，辅助目标I2、I3和探测目标Im10不同，仅在监视区域A1中存在探测对象物Ob1的情况下显示，当在监视区域A1中不存在探测对象物Ob1的情况下不显示。

这样，本实施方式所涉及的控制方法还具有如下步骤：探测结果示出监视区域A1中存在探测对象物Ob1时，使与探测目标Im10不同的辅助目标I2、I3显示于显示画面Dp1。即，当在监视区域A1中存在探测对象物Ob1的情况下，在显示画面Dp1中不仅显示监视区域A1的拍摄图像Im11、Im12、Im13以及探测目标Im10，还显示与探测目标Im10不同的辅助目标I2、I3。因此，操作人员通过观察显示画面Dp1，能够更加容易地确认监视区域A1中探测对象物Ob1的有无(存在与否)。

另外，辅助目标I2、I3至少示出从作业机械3观察到的探测对象物Ob1所在的方位。作为一个例子，拍摄图像Im11、Im12、Im13包括监视区域A1所包含的多个小区域A11、A12、A13的图像。而且，辅助目标I2在显示画面Dp1中使多个小区域A11、A12、A13中的存在探测对象物Ob1的小区域的图像强调显示。即，通过辅助目标I2强调显示拍摄图像Im11、Im12、Im13中的包含探测对象物Ob1的拍摄图像。由此，当在监视区域A1内存在探测对象物Ob1的情况下，操作人员容易掌握在多个小区域A11、A12、A13中的哪一个存在探测对象物Ob1。

并且，探测目标Im10的显示形态包括探测目标Im10的显示色，辅助目标I2、I3的显示色和探测结果示出监视区域A1中存在探测对象物Ob1时的探测目标Im10的显示色相同。即，当在监视区域A1中存在探测对象物Ob1的情况下，辅助目标I2、I3以和探测目标Im10相同的颜色显示。因此，对于操作人员而言，容易观察辅助目标I2、I3以及探测目标Im10。

这里，关于探测目标Im10及辅助目标I2、I3，在牵制处理相关功能有效的情况下当然显示，在牵制处理相关功能无效的情况下也显示。即，即使牵制处理部12变得无效，第一牵制状态信息I11及第二牵制状态信息I12这两者被灰显而处于非激活显示的状态，若在监视区域A1中存在探测对象物Ob1，则也显示探测目标Im10以及辅助目标I2、I3。

[3.3]整体处理

接下来，参照图8对控制方法所涉及的处理的整体流程进行说明。图8是表示控制方法所涉及的处理的一个例子的流程图。

如图8所示，控制***1的图像取得部14从左方照相机341、右方照相机342以及后方照相机343取得拍摄图像Im11、Im12、Im13(S1)。然后，控制***1的显示处理部11使包含拍摄图像Im11、Im12、Im13以及探测目标Im10的显示画面Dp1显示于显示装置2(S2)。

这里，控制***1的显示处理部11基于探测部15的探测结果来判断在监视区域A1中是否存在探测对象物Ob1(S3)。当在监视区域A1中存在探测对象物Ob1的情况(S3：是)下，显示处理部11使显示画面Dp1中的探测目标Im10的显示色(显示形态)变化为探测到时的显示色(黄色或红色)(S4)。并且，显示处理部11使辅助目标I2、I3显示于显示画面Dp1(S5)。

另一方面，当在监视区域A1中不存在探测对象物Ob1的情况(S3：否)下，显示处理部11使显示画面Dp1中的探测目标Im10的显示色(显示形态)变化为未探测到时的显示色(背景色)(S6)。并且，显示处理部11使辅助目标I2、I3不显示于显示画面Dp1(S7)。

控制***1反复执行上述步骤S1～S7的处理。由此，在显示装置2中显示与探测部15的探测结果相应的显示画面Dp1。但是，图8所示的流程图仅是一个例子，也可以适当追加或省略处理，也可以适当更换处理的顺序。

[4]变形例

以下，列举实施方式1的变形例。以下说明的变形例能够适当组合应用。

本公开中的控制***1包括计算机***。计算机***将作为硬件的一个以上的处理器以及一个以上的存储器作为主结构。通过处理器执行计算机***的存储器中记录的程序，来实现作为本公开中的控制***1的功能。程序可以预先记录于计算机***的存储器，也可以通过电气通信线路提供，也可以记录于可用计算机***读取的存储卡、光盘、硬盘驱动器等非暂时记录介质来提供。另外，控制***1所包含的一部分或全部的功能部也可以由电子电路构成。

另外，控制***1的至少一部分功能集成于一个壳体内并不是控制***1所必须的结构，控制***1的结构要素也可以分散设置于多个壳体。相反地，在实施方式1中，分散于多个装置(例如控制***1及显示装置2)的功能也可以集成于一个壳体内。并且，控制***1的至少一部分功能也可以由云(云计算)等实现。

另外，作业机械3的动力源并不局限于柴油发动机，例如也可以是除柴油发动机以外的发动机，也可以是马达(电动机)或者包括发动机和马达(电动机)的混合动力式的动力源。

另外，显示装置2并不局限于专用器件，例如，也可以是膝上型计算机、平板终端或者智能手机等通用终端。并且，显示部23并不局限于如液晶显示器或有机EL显示器那样直接显示显示画面的形态，例如也可以是如投影仪那样通过投影显示显示画面的结构。

另外，作为操作部22的信息输入的形态，也可以采用除按钮开关、触摸面板以及操作拨盘以外的形态。例如，操作部22也可以采用键盘、鼠标等定点设备、语音输入、手势输入或者来自其他终端的操作信号的输入等形态。

另外，限制处理部122所执行的限制处理只要是限制作业机械3的动作的处理即可，并不限于禁止作业机械3的动作(回转动作等)(使其无法动作)的处理。限制处理例如也可以是将作业机械3的动作(回转动作等)的速度减速的处理、缩小作业机械3的动作范围(回转角度等)的处理、或者限制作业机械3的动作的允许区域的处理等。

另外，牵制处理并非必须包括用于牵制作业机械3的动作的多个具体处理(声音输出处理及限制处理等)。并且，即使牵制处理包括多个具体处理的情况，也并非必须能够针对每个具体处理分别独立地对有效和无效进行切换，对于多个具体处理，也可以能够一并地对有效和无效进行切换。另外，牵制状态信息I1也并非必须针对每个具体处理表示是有效还是无效。另外，在牵制处理相关功能无效的情况下，并非必须使牵制处理相关功能无效这一情况作为牵制状态信息I1显示，也可以在牵制处理相关功能无效的情况下，例如使牵制状态信息I1不显示。

另外，牵制处理部12的牵制处理相关功能本就不是必须的，牵制处理部12能够适当省略。并且，并非必须使牵制状态信息I1显示，也可以无论牵制处理相关功能的有效/无效，都使牵制状态信息I1不显示。

另外，用于探测作业机械3周围的监视区域A1中的探测对象物Ob1的传感器并不局限于左方照相机341、右方照相机342以及后方照相机343，也可以包括一个、两个或者四个以上的照相机(图像传感器)。并且，例如也可以通过如全景照相机(360度照相机)那样从作业机械3观察时能够拍摄全方位的照相机来探测监视区域A1中的探测对象物Ob1。另外，对于用于探测监视区域A1中的探测对象物Ob1的传感器，也可以除了照相机之外或者取代照相机，包括例如人体传感器、声呐传感器、雷达或者LiDAR(Light Detection and Ranging)等传感器。这里，探测监视区域A1中的探测对象物Ob1的传感器也可以是三维传感器，该三维传感器通过基于光或声音到达测距点并返回为止的往复时间来测定到测距点的距离的TOF(Time Of Flight)方式，测定到探测对象物Ob1的距离。

另外，探测对象物Ob1也可以除了“人”之外或者取代人，包括车辆等移动体(包括其他作业机械)、壁及柱等构造物、植物、动物、台阶、沟、或者其他障碍物。

另外，在探测结果示出监视区域A1中存在探测对象物Ob1时，并非必须在显示画面Dp1中的拍摄图像Im11、Im12、Im13中映现探测对象物Ob1的至少一部分。另外，并非必须在显示画面Dp1中与拍摄图像Im11、Im12、Im13邻接地配置探测目标Im10。例如，探测目标Im10也可以在显示画面Dp1中重叠显示于拍摄图像Im11、Im12、Im13。

另外，并非必须使显示画面Dp1中的拍摄图像Im11、Im12、Im13相对于探测目标Im10的位置关系反映实际空间中的监视区域A1相对于作业机械3的位置关系。并且，并非必须使显示画面Dp1中的拍摄图像Im11、Im12、Im13相对于探测目标Im10的位置关系反映实际空间中的监视区域A1相对于回转部32的位置关系。

另外，在探测结果示出监视区域A1中存在探测对象物Ob1时，并非必须使与探测目标Im10不同的辅助目标I2、I3显示于显示画面Dp1。并且，辅助目标I2、I3并非必须至少示出从作业机械3观察到的探测对象物Ob1所在的方位。并且，辅助目标I2、I3的显示色并非必须和探测结果示出监视区域A1中存在探测对象物Ob1时的探测目标Im10的显示色相同。

另外，当在监视区域A1中存在多个探测对象物Ob1时，并非必须根据从作业机械3到最近的探测对象物Ob1的距离来决定探测目标Im10的显示形态。并且，探测目标Im10的显示形态并非必须根据从作业机械3到探测对象物Ob1的距离而变化。

(实施方式2)

如图9及图10所示，本实施方式所涉及的作业机械3的显示画面Dp1的第二区域R2的显示内容和实施方式1所涉及的作业机械3不同。以下，对和实施方式1同样的结构标注共通的附图标记并适当省略说明。在图9及图10中，仅示出显示画面Dp1中的第二区域R2，省略除第二区域R2以外的区域的图示。

在图9的例子中，在第二区域R2中显示监视区域A1的拍摄图像Im11、Im12、Im13(参照图7)中的由右方照相机342拍摄的拍摄图像Im12及由后方照相机343拍摄的拍摄图像Im13这两个画面。在该例子中，拍摄图像Im12及拍摄图像Im13在左右方向排列地配置于第二区域R2，在这些拍摄图像Im12、Im13的下方显示图标I4。图标I4示意性地表示从机体30观察到的右方照相机342及后方照相机343的拍摄范围(小区域A12、A13)的位置关系。

在图9的例子中，探测目标Im10配置于拍摄图像Im11、Im12的中心部。但并不局限于该例子，探测目标Im10例如也可以配置于拍摄图像Im11或拍摄图像Im12的上方等。

在图10的例子中，在第二区域R2中显示监视区域A1的俯瞰图像Im100。俯瞰图像Im100是通过对左方照相机341、右方照相机342以及后方照相机343的拍摄图像Im11、Im12、Im13进行坐标变换并合成而生成的拍摄图像的一种。在这样的俯瞰图像Im100中，辅助目标I2也是强调显示存在探测对象物Ob1的小区域的带状(框状)的图像。俯瞰图像Im100也可以是拍摄图像被合成为动画的图像。

在图10的例子中，探测目标Im10配置于俯瞰图像Im100的顶角部。即，俯瞰图像Im100是使距机体30较远的一侧的外形成为圆弧状的扇状的图像，在相当于该扇状的顶角的位置配置探测目标Im10。本公开中所谓的“圆弧状”并不局限于构成正圆的一部分的圆弧，包括所有向外凸出的弯曲线。因此，即使是如图10那样外形线整体上由向外凸出的弯曲线构成的俯瞰图像Im100，也可以称为使外形成为圆弧状的扇状的图像。即，在显示画面Dp1中，至少作业机械3的左方、右方以及后方的监视区域A1以外形形成为圆弧状的状态显示拍摄图像(俯瞰图像Im100)，在与拍摄图像(俯瞰图像Im100)的顶角对应的位置配置探测目标Im10。由此，对于操作人员而言，容易直观地掌握探测对象物Ob1的位置。但并不局限于该例子，探测目标Im10也可以配置于除俯瞰图像Im100的顶角以外的位置、例如俯瞰图像Im100的下方等。

在本实施方式中例示的双画面显示(参照图9)及俯瞰图像Im100(参照图10)例如也可以能够通过显示装置2的操作部22的操作而任意地切换。该情况下，优选将在实施方式1中所说明的三画面显示(参照图7)包括在内，使用者U1能够选择任意的显示形式。

实施方式2所涉及的结构(包括变形例)能够和在实施方式1中已说明的各种结构(包括变形例)适当组合地应用。

〔发明的附注〕

以下，对从上述实施方式提取的发明概要进行附注。此外，以下附注中说明的各结构及各处理功能能够取舍选择来任意地组合。

＜附注1＞

一种作业机械的控制方法，具有如下步骤：

取得作业机械周围的监视区域的拍摄图像；

使包含上述拍摄图像及探测目标的显示画面显示于显示装置；以及

无论探测上述监视区域中的探测对象物的探测部的探测结果如何，都使上述探测目标显示于上述显示画面的同一位置，并根据上述探测结果使上述探测目标的显示形态变化。

＜附注2＞

根据附注1所记载的作业机械的控制方法，其中，

上述探测结果示出在上述监视区域中存在上述探测对象物时，在上述显示画面中的上述拍摄图像中映现上述探测对象物的至少一部分。

＜附注3＞

根据附注1或2所记载的作业机械的控制方法，其中，

上述探测目标在上述显示画面中与上述拍摄图像邻接地配置。

＜附注4＞

根据附注1～3中的任意一项所记载的作业机械的控制方法，其中，

使上述显示画面中的上述拍摄图像相对于上述探测目标的位置关系反映实际空间中的上述监视区域相对于上述作业机械的位置关系。

＜附注5＞

根据附注1～4中的任意一项所记载的作业机械的控制方法，其中，

上述作业机械具备：行驶部；和能够相对于上述行驶部回转的回转部，

使上述显示画面中的上述拍摄图像相对于上述探测目标的位置关系反映实际空间中的上述监视区域相对于上述回转部的位置关系。

＜附注6＞

根据附注1～5中的任意一项所记载的作业机械的控制方法，其中，还具有如下步骤：

上述探测结果示出在上述监视区域中存在上述探测对象物时，使与上述探测目标不同的辅助目标显示于上述显示画面。

＜附注7＞

根据附注6所记载的作业机械的控制方法，其中，

上述辅助目标至少示出从上述作业机械观察到的上述探测对象物所在的方位。

＜附注8＞

根据附注6或7所记载的作业机械的控制方法，其中，

上述探测目标的上述显示形态包括上述探测目标的显示色，

上述辅助目标的显示色和上述探测结果示出在上述监视区域中存在上述探测对象物时的上述探测目标的显示色相同。

＜附注9＞

根据附注1～8中的任意一项所记载的作业机械的控制方法，其中，

上述探测目标的上述显示形态根据从上述作业机械到上述探测对象物的距离而变化，

上述监视区域中存在多个上述探测对象物时，根据从上述作业机械到最近的上述探测对象物的距离来决定上述探测目标的上述显示形态。

＜附注10＞

根据附注1～9中的任意一项所记载的作业机械的控制方法，其中，

在上述显示画面中，至少对上述作业机械的左方、右方以及后方的上述监视区域以外形形成为圆弧状的状态显示上述拍摄图像，在与上述拍摄图像的顶角对应的位置配置上述探测目标。

＜附注11＞

一种作业机械用控制程序，用于使一个以上的处理器执行附注1～10中的任意一项所记载的作业机械的控制方法。

Claims (13)

1.一种作业机械的控制方法，其特征在于，具有如下步骤：

取得作业机械周围的监视区域的拍摄图像；

使包含所述拍摄图像及探测目标的显示画面显示于显示装置；以及

无论探测所述监视区域中的探测对象物的探测部的探测结果如何，都使所述探测目标显示于所述显示画面的同一位置，并根据所述探测结果使所述探测目标的显示形态变化。

2.根据权利要求1所述的作业机械的控制方法，其特征在于，

所述探测结果示出在所述监视区域中存在所述探测对象物时，在所述显示画面中的所述拍摄图像中映现所述探测对象物的至少一部分。

3.根据权利要求1或2所述的作业机械的控制方法，其特征在于，

所述探测目标在所述显示画面中与所述拍摄图像邻接地配置。

4.根据权利要求1或2所述的作业机械的控制方法，其特征在于，

使所述显示画面中的所述拍摄图像相对于所述探测目标的位置关系反映实际空间中的所述监视区域相对于所述作业机械的位置关系。

5.根据权利要求1或2所述的作业机械的控制方法，其特征在于，

所述作业机械具备：行驶部；和能够相对于所述行驶部回转的回转部，

使所述显示画面中的所述拍摄图像相对于所述探测目标的位置关系反映实际空间中的所述监视区域相对于所述回转部的位置关系。

6.根据权利要求1或2所述的作业机械的控制方法，其特征在于，还具备如下步骤：

所述探测结果示出在所述监视区域中存在所述探测对象物时，使与所述探测目标不同的辅助目标显示于所述显示画面。

7.根据权利要求6所述的作业机械的控制方法，其特征在于，

所述辅助目标至少示出从所述作业机械观察到的所述探测对象物所在的方位。

8.根据权利要求6所述的作业机械的控制方法，其特征在于，

所述探测目标的所述显示形态包括所述探测目标的显示色，

所述辅助目标的显示色和所述探测结果示出在所述监视区域中存在所述探测对象物时的所述探测目标的显示色相同。

9.根据权利要求1或2所述的作业机械的控制方法，其特征在于，

所述探测目标的所述显示形态根据从所述作业机械到所述探测对象物的距离而变化，

所述监视区域中存在多个所述探测对象物时，根据从所述作业机械到最近的所述探测对象物的距离来决定所述探测目标的所述显示形态。

10.根据权利要求1或2所述的作业机械的控制方法，其特征在于，

在所述显示画面中，至少对所述作业机械的左方、右方以及后方的所述监视区域以外形形成为圆弧状的状态显示所述拍摄图像，在与所述拍摄图像的顶角对应的位置配置所述探测目标。

11.一种作业机械用控制程序，其特征在于，

用于使一个以上的处理器执行权利要求1或2所述的作业机械的控制方法。

12.一种作业机械用控制***，其特征在于，具备：

图像取得部，取得作业机械周围的监视区域的拍摄图像；和

显示处理部，使包含所述拍摄图像及探测目标的显示画面显示于显示装置，

无论探测所述监视区域中的探测对象物的探测部的探测结果如何，所述显示处理部都使所述探测目标显示于所述显示画面的同一位置，并根据所述探测结果使所述探测目标的显示形态变化。

13.一种作业机械，其特征在于，具备：

权利要求12所述的作业机械用控制***；和

搭载所述显示装置的机体。