CN107431783A - 作业机械的显示***及作业机械的显示方法 - Google Patents
作业机械的显示***及作业机械的显示方法 Download PDFInfo
- Publication number
- CN107431783A CN107431783A CN201580078750.3A CN201580078750A CN107431783A CN 107431783 A CN107431783 A CN 107431783A CN 201580078750 A CN201580078750 A CN 201580078750A CN 107431783 A CN107431783 A CN 107431783A
- Authority
- CN
- China
- Prior art keywords
- image
- display
- control unit
- work machine
- display control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 18
- 230000008859 change Effects 0.000 claims abstract description 65
- 238000012545 processing Methods 0.000 claims abstract description 33
- 230000002093 peripheral effect Effects 0.000 claims abstract description 5
- 230000005856 abnormality Effects 0.000 claims description 16
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 abstract description 37
- 230000009471 action Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 6
- 239000000295 fuel oil Substances 0.000 description 5
- 239000003921 oil Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000010720 hydraulic oil Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 101150006257 rig-4 gene Proteins 0.000 description 2
- 241000602850 Cinclidae Species 0.000 description 1
- 240000002853 Nelumbo nucifera Species 0.000 description 1
- 235000006508 Nelumbo nucifera Nutrition 0.000 description 1
- 235000006510 Nelumbo pentapetala Nutrition 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000000498 cooling water Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/04—Diagnosis, testing or measuring for television systems or their details for receivers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/24—Safety devices, e.g. for preventing overload
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Component Parts Of Construction Machinery (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明具备：多个照相机（C1～C4），其是设置于作业机械的作业机械周边监视装置，用于获取上述作业机械的周围状况；周边监视控制部（40），其生成时间变化图像（63），并且将对多个照相机（C1～C4）拍摄出的图像进行了规定处理而得到的图像作为影像信号（S1输出；显示部（16），其基于从周边监视控制部（40）输出的影像信号（S1）显示时间变化图像（63）和所述进行了规定处理而得到的图像；以及显示器控制部（43），其在时间变化图像（63）在规定时间内没有发生变化的情况下，判断为周边监视控制部（40）的规定处理发生了异常，并将该内容进行错误通知，由此能够通过简单的结构迅速地掌握周边监视控制部（40）的规定处理的异常。
Description
技术领域
本发明涉及一种作业机械的显示***及作业机械的显示方法，能够通过简单的结构迅速地掌握包括图像处理部的周边监视控制部(显示控制部)的规定处理的异常。
背景技术
在液压挖掘机等作业机械的领域中，有作业机械为了使操作员能够视觉确认位于车身周边的障碍物而在车身后方或车身侧方设置有多台照相机，并将由照相机拍摄出的图像作为单相机图像显示在作业机械的驾驶室内的显示器上。此外，有作业机械为了能够同时监视车身周围，通过将各照相机的图像变换为上方视点之后合成各照相机的图像，来生成俯瞰图像并显示在显示器上。
在专利文献1中，记载了如下技术：将表示获取了所选择的单相机图像的照相机的配置位置的图标显示在图像中。由此，能够容易地识别其是由哪个照相机获取的单相机图像。
专利文献1：国际公开第2013/105597号
发明内容
由于生成俯瞰图像的图像处理是负荷较大的作业，所以由通常用于使机械仪表信息(发动机水温或剩余油量等)显示在显示器等的显示部中的显示器控制部进行处理较为困难。因此，由与显示器分开设置的具有通用图像处理加速器的图像处理控制器(周边监视控制部)进行处理。在这种情况下，将由图像处理控制器生成的俯瞰图像作为影像信号输出到显示器的显示部，在显示部中显示俯瞰图像。
这里，在图像处理控制器发生了某些故障的情况下，尽管作业机械正在进行动作等而由照相机拍摄的景色正在发生变化，图像处理控制器却可能向显示部持续发送同一俯瞰图像。在这种情况下，尽管显示部中无法显示由多个照相机正在拍摄的正确的图像，但是对于操作员而言既然显示了俯瞰图像，操作员就无法意识到图像处理控制器发生了故障。
本发明鉴于上述问题而完成，其目的在于提供一种作业机械的显示***及作业机械的显示方法，能够通过简单的结构迅速地掌握包括图像处理部的周边监视控制部(显示控制部)的规定处理的异常。
为了解决上述问题，实现发明目的，本发明涉及一种作业机械的显示***，其具备：一个或多个照相机，其获取作业机械的周围状况；显示控制部，其生成时间变化图像，并且将对上述一个或多个照相机拍摄出的图像进行了规定处理而得到的图像作为影像信号输出；显示器，其基于从上述显示控制部输出的影像信号，显示上述时间变化图像和上述进行了规定处理而得到的图像；以及异常判断部，其在上述时间变化图像在规定时间内没有发生变化的情况下，判断为上述显示控制部发生了异常。
此外，根据上述的发明，本发明涉及的作业机械的显示***中，上述显示控制部和上述异常判断部分别设置在不同的控制器内。
此外，根据上述的发明，本发明涉及的作业机械的显示***中，由上述显示控制部进行了规定处理而得到的图像是单相机图像及/或俯瞰图像。
此外，根据上述的发明，本发明涉及的作业机械的显示***中，在上述异常判断部判断为上述显示控制部发生了异常的情况下进行通知。
此外，根据上述的发明，本发明涉及的作业机械的显示***中，上述通知是在上述显示器上显示用于告知上述显示控制部发生了异常的主旨的信息或图标。
此外，根据上述的发明，本发明涉及的作业机械的显示***中，由上述显示控制部生成的时间变化图像设置在单相机图像位置图标外框。
此外，根据上述的发明，本发明涉及的作业机械的显示***中，由上述显示控制部生成的时间变化图像设置在单相机图像或俯瞰图像的显示区域或其周边区域。
此外，根据上述的发明，本发明涉及的作业机械的显示***中，由上述显示控制部生成的时间变化图像设置在由上述显示控制部生成的合成影像显示区域中的任一区域内。
此外，根据上述的发明，本发明涉及的作业机械的显示***中，在存在多个由上述显示控制部进行了规定处理而得到的图像的情况下，上述时间变化图像设置于上述多个图像中的每个图像，上述异常判断部以图像为单位判断异常。
此外，本发明涉及一种作业机械的显示方法，该作业机械具备：一个或多个照相机，其获取作业机械的周围状况；以及显示器，其显示规定的信息，上述作业机械的显示方法具备：显示控制步骤，生成时间变化图像，并且将对上述一个或多个照相机拍摄出的图像进行了规定处理而得到的图像作为影像信号输出；显示步骤，基于从上述显示控制步骤输出的影像信号，显示上述时间变化图像和上述进行了规定处理而得到的图像；以及异常判断步骤，在上述时间变化图像在规定时间内没有发生变化的情况下，判断为发生了异常。
根据本发明，作为显示控制部的周边监视控制部生成时间变化图像，并且将对多个照相机拍摄出的图像进行了规定处理而得到的图像作为影像信号输出，显示部基于从上述周边监视控制部输出的影像信号，显示上述时间变化图像和上述进行了规定处理而得到的图像，作为异常判断部的显示器控制部在上述时间变化图像在规定时间内没有发生变化的情况下，判断为上述周边监视控制部的规定处理发生了异常并进行通知，因此能够通过简单的结构使操作员迅速地掌握周边监视控制部的规定处理的异常。
附图说明
图1是表示搭载作为本发明的实施方式的作业机械的周边监视装置的液压挖掘机的整体结构的立体图。
图2是表示驾驶室的内部配置的图。
图3是表示照相机的配置的俯视图。
图4是表示液压挖掘机的控制***整体及周边监视控制部的详细结构的框图。
图5是用于说明俯瞰图像生成部的俯瞰图像的生成处理的说明图。
图6是表示时间变化图像的一个示例的图。
图7是表示在显示器的显示部中显示标准画面的状态的图。
图8是表示由显示器控制部进行的周边监视控制部的异常处理步骤的流程图。
符号说明
1 液压挖掘机
2 下部行走体
3 上部回转体
4 作业机
4a 动臂
4b 斗杆
4c 铲斗
4d 动臂缸
4e 斗杆缸
4f 铲斗缸
6 驾驶室
7 动力箱
8 配重
10 驾驶席
11、12 操作杆
13、14 行走杆
15 显示器
16 显示部
17 操作部
40 周边监视控制部(显示控制部)
42 通信控制部
43 显示器控制部(异常判断部)
44 发动机控制部
45 泵控制部
51 图像处理部
53 显示控制部
54 俯瞰图像生成部
55 时间变化图像生成部
56 图像合成部
58 单相机图像生成部
60 合成影像显示区域
61 俯瞰图像
62 单相机图像
63 时间变化图像
70 单相机图像位置图标
71 外框
72 部分区域
C 照相机组
C1～C4 照相机
D 参照线
G1 发动机水温表
G2 液压油温表
G3 燃料液位计
I1～I5 图标
S1 影像信号
具体实施方式
下面，参照附图对本发明的实施方式进行说明。
液压挖掘机的整体结构
首先，图1是表示搭载作为本发明实施方式的作业机械的周边监视装置的液压挖掘机的整体结构的立体图。该液压挖掘机1是作为作业机械的一个示例而示出的液压挖掘机。液压挖掘机1具有：能够自主行走的下部行走体2、可自由回转地设置在下部行走体2上的上部回转体3、以及在上部回转体3的前部中央可自由地弯曲起伏地动作的作业机4。
作业机4具有动臂4a、斗杆4b、铲斗4c、动臂缸4d、斗杆缸4e和铲斗缸4f。
在上部回转体3的前部左侧部分设置有驾驶室6。在上部回转体3的后部搭载有动力箱(power container)7。在动力箱7内收纳有发动机、液压泵、散热器、油冷却器等。在上部回转体3的后端部安装有配重8。
驾驶室
图2是表示驾驶室6的内部配置的图。如图2所示，操作杆11、12例如配置在驾驶室6内的驾驶席10的左右。操作杆11与上部回转体3的回转动作和斗杆4b的动作对应，操作杆12与动臂4a的动作和铲斗4c的动作对应。另外，操作杆11、12的操作与哪个作业机进行动作的组合不局限于本实施方式所述的组合。
行走杆13和行走杆14能够根据操作使下部行走体2的左侧和右侧的履带前进后退。
此外，在驾驶室6的右前方配置有显示器15。显示器15具有显示部16和操作部17。显示部16是液晶显示器等显示装置，能够显示包含发动机或液压泵等的状态的各种信息、例如发动机水温、油温、剩余油量等机械信息、表示设备异常等的警告信息、菜单画面或维护画面等。
此外，显示器15能够显示由后述的照相机拍摄的图像(单相机图像)、将多个照相机的图像变换为上方视点之后通过合成生成的图像(俯瞰图像)。
操作部17包括：与显示部16的显示内容对应地具有多个功能的功能开关、用于进行作业模式、行走模式、空调等的各种设定的开关。另外，显示器15也可以由将显示部16和操作部17一体化而成的触摸面板构成。此外，也可以将操作部17与显示部16分开设置，将操作部17设置在驾驶室内的其他场所。
照相机的构成
照相机C1～C4安装于上部回转体3。如图3所示，照相机C1安装于上部回转体3后方，拍摄上部回转体3的后方。此外，照相机C2安装于上部回转体3右侧方，拍摄上部回转体3的右后方。此外，照相机C3安装于上部回转体3右侧方，拍摄上部回转体3的右前方。此外，照相机C4安装于上部回转体3左侧方，拍摄上部回转体3的左侧方。另外，例如各照相机C1～C4在左右方向和高度方向上具有规定角度的视野范围。作为照相机，能够使用CCD(Charge-Coupled Device，电荷耦合器件)照相机。此外，各照相机C1～C4可以具有宽动态范围(WideDynamic Range)功能。
控制***的整体结构
图4是表示液压挖掘机1的控制***整体结构的框图。如图4所示，周边监视控制部40(显示控制部)、通信控制部42、显示器控制部43(异常判断部)、发动机控制部44、泵控制部45等与作为车内网络之一的CAN41连接。
显示器控制部43与显示器15连接，作为显示器15的显示控制部发挥功能。显示器控制部43对作业机械的各种信息进行输入输出控制，该信息包括从各种传感器经由CAN41发送来的信息、经由设置于显示器15的开关来输入的信息等。而且，能够对在显示器15中显示发动机水温、油温、剩余油量等机械信息、表示设备异常等的警告信息、菜单画面和维护画面等进行控制。
周边监视控制部40与由多个照相机C1～C4构成的照相机组C及显示器15连接，如后述那样将多个照相机中的某一个的单相机图像和俯瞰图像合成而得到的图像输出到显示器。
周边监视控制部40具有图像处理部51和显示控制部53。图像处理部51还具有俯瞰图像生成部54、单相机图像生成部58、时间变化图像生成部55及图像合成部56。
俯瞰图像生成部54基于从各照相机C1～C4获得的图像生成俯瞰图像61。如图5所示，俯瞰图像生成部54将从各照相机C1～C4获得的图像P1～P4变换成上方视点图像。即，俯瞰图像生成部54将其变换成从位于液压挖掘机1上方的规定的假想视点看到的图像。
具体而言，俯瞰图像生成部54进行从液压挖掘机1上方的假想视点投影到与地表水平面相对应的规定的虚拟投影面的图像变换。然后，俯瞰图像生成部54切取显示俯瞰图像的框架的与各区域E1～E4相对应的变换图像P11～P14，并在框架内合成各变换图像P11～P14。在由俯瞰图像生成部54生成的俯瞰图像61中，为了明确与液压挖掘机的位置关系，预先贴附有从上方观看液压挖掘机1时的图像P。
该俯瞰图像61的信息输入到图像合成部56中。另外，区域E0能够从驾驶室6视觉确认，因此不生成俯瞰图像。此外，在本实施方式中，使用4个照相机C1～C4，不过照相机的个数可以是任意个，例如可以使用3个照相机C1、C2、C4。在这种情况下，照相机C2与照相机C4同样地拍摄右侧方。
单相机图像生成部58将由各照相机C1～C4拍摄到的图像中的、某一个照相机的单相机图像62输出到图像合成部56。具体而言，在由操作员通过操作部17进行了切换单相机图像62的操作的情况下，该信号经由显示器控制部43和CAN41传送到单相机图像生成部58，单相机图像生成部58将接收到指令的对应照相机的单相机图像62输出到图像合成部56。
时间变化图像生成部55生成随着时间发生变化的时间变化图像63。例如图6所示的时间变化图像63中的单相机图像位置图标70是用于表示在显示器15的显示部16中显示的单相机图像62是拍摄相对于液压挖掘机的哪个方向(后方、右后方、右前方、左后方)的照相机的图像的图标，例如通过在如图7中的显示部16的单相机图像62附近设置单相机图像位置图标70，操作员能够容易地判别在显示部16中显示的单相机图像62是哪个方向的单相机图像。
位于单相机图像位置图标70的中央部的矩形表示液压挖掘机的俯视图，以单相机图像位置图标70的上侧为前方侧而显示的、单相机图像的方向所对应的区域带颜色地显示。例如在图6及图7的情况下，示出了显示用于拍摄中央部矩形的下侧区域、即液压挖掘机的后方的后方照相机的单相机图像。
单相机图像位置图标70的外框71随着时间的经过带有规定颜色地闪烁。例如点亮时外框71部分显示为黄绿色，熄灭时外框71部分显示为黑色，即随着时间的经过黄绿色和黑色交替切换。
这里，在周边监视控制部40发生了某些故障的情况下，周边监视控制部40可能会将同一图像持续输出到显示器，在这种情况下，上述外框71从由黄绿色显示的状态起不再发生变化，或者从黑色的状态起不再发生变化。因此，操作员能够通过确认外框71部分是否在闪烁来识别周边监视控制部40正在执行正常的图像处理。
由时间变化图像生成部55生成将该单相机图像位置图标70和外框71合成而得到的图像作为时间变化图像63。另外，部分区域72是设置于外框71的角部的区域，与外框71的其他区域同样，随着时间的经过，例如黄绿色和黑色交替切换。
通过检测该部分区域72的亮度或RGB值等影像信号的值是否在发生变化，来判断时间变化图像63是否随着时间的经过在相应地变动，这将在后文中说明。由时间变化图像生成部55生成的时间变化图像63被输入到图像合成部56。
图像合成部56被输入有上述的俯瞰图像61、由各照相机C1～C4拍摄到的单相机图像62和时间变化图像63。图像合成部56基于经由CAN41从显示器控制部43指示的控制信号，生成将上述的俯瞰图像61、单相机图像62、时间变化图像63合成而得到的图像。合成这三个图像而得到的图像经由显示控制部53作为影像信号S1输出到显示部16。
在图像合成部56没有从显示器控制部43接收到俯瞰图像61、单相机图像62、时间变化图像63的合成图像的输出指示的情况下(例如正在选择菜单画面等情况下)，图像合成部56不将该合成图像输出到显示器。
显示器的标准画面
图7是表示在显示器15的显示部16中显示标准画面的一个示例的状态的图。标准画面是在用钥匙开关接通后经过了一定时间的状态下显示的初始画面，显示作业机械的各种信息例如发动机水温、油温、剩余油量等机械信息、表示设备异常等的警告信息、菜单画面或维护画面、俯瞰图像、单相机图像等。
如图7所示，在显示部16的左侧显示俯瞰图像61，在右侧显示单相机图像62。图7的单相机图像62是由设置在上部回转体3的后方的照相机C1拍摄后方而得到的图像。在俯瞰图像61及单相机图像62中显示有表示以相对于回转中心的距离及方向为参照的参照线D。在单相机图像62的右上方显示时间变化图像63。
俯瞰图像61、单相机图像62及时间变化图像63是在周边监视控制部40侧生成的图像，将显示这三个图像的区域定义为合成影像显示区域60。另外，在图7中，俯瞰图像61显示在左侧，单相机图像62显示在右侧，但是两者的显示位置也可以反过来。
在合成影像显示区域60的下部，从左侧起显示：表示发动机的冷却水的水温的发动机水温表G1、表示液压回路内的液压油的油温的液压油温表G2、以及表示剩余油量的液位的燃料液位计G3。此外，也可以不显示液压油温表G2。
另外，功能开关(function switch)F1～F6是用于输入与在各开关的正上方的显示部16所显示的图标相对应的信号的开关。在图7中，在功能开关F3的上部，显示有用于将单相机图像62切换为全画面显示的图标I1。此外，在功能开关F4的上部，显示有用于切换单相机图像62的照相机(例如从照相机C1的图像切换为照相机C2的图像)的图标I2。在功能开关F6的上部，显示有用于切换为菜单画面的图标I3。菜单画面是指在确认作业机械的各种设定或状况时所使用的画面。
另外，也可以不显示与功能开关对应的图标I1～I3，而在其他的操作部等设置对应的开关。图标I4显示作业计时器的值。此外，图标I5显示作业模式的设定状态。
周边监视控制部的异常检测处理
图8是表示由显示器控制部43进行的周边监视控制部40的异常处理步骤的流程图。显示器控制部43作为本发明的“异常判断部”发挥功能。如图8所示，首先显示器控制部43判断显示器控制部43是否对周边监视控制部40请求了俯瞰图像61、单相机图像62及时间变化图像63的合成图像(步骤S101)。
在显示器控制部43请求了合成图像的状态的情况下(步骤S101，“是”)，显示器控制部43判断从周边监视控制部40输出到显示器15的合成影像显示区域60的合成图像中的时间变化图像63是否在规定时间内没有发生变化(步骤S102)。这里，时间变化图像63的图像是否在规定时间内没有发生变化，例如可以根据将图7中的时间变化图像63放大后的、图6的外框71的部分区域72的影像信号的时间变化、例如亮度或RGB值等的时间变化来判断。“规定时间”设为何种程度的时间例如根据外框71部分的闪烁速度等适当设定即可。
在时间变化图像63的图像在规定时间内没有发生变化的情况下(步骤S102，“是”)，进行主旨为周边监视控制部40内的图像处理发生异常的错误通知(步骤S103)，以某种方式通知操作员等发生了错误。另外，作为错误通知的示例，例如可以在显示器15的显示部16中显示信息或图标，也可以在显示器以外的场所通过灯等进行显示。此外，也可以是通过蜂鸣器发出语音进行通知。
另一方面，在显示器控制部43没有对周边监视控制部40请求合成图像的情况下(步骤S101，“否”)，或者时间变化图像63的图像在规定时间内发生了变化的情况下(步骤S102，“否”)，返回到步骤S101，重复进行上述处理。
另外，设置步骤S101的理由是，如果在显示器控制部43没有对周边监视控制器40发出生成上述合成图像的指示的情况下，即显示不同于图7中的标准画面的画面、例如菜单画面的情况下，在标准画面中显示时间变化图像63的区域内不显示根据时间的经过而发生变化的图像，而持续显示相同的图像，因此尽管周边监视控制部40没有发生异常，但是显示器控制部43会判断为存在异常。
另外，在上述的实施方式中，将单相机图像位置图标70的外框71设为时间变化图像63，根据该外框70的部分区域72的亮度或RGB值、其他影像信号是否随着时间而发生变化，来检测周边监视控制部40的图像处理是否发生了异常。但是不限于此，也可以是俯瞰图像61或单相机图像62内的部分区域或这些图像的周边等，只要位于由周边监视控制部40生成的合成影像显示区域60内，就可以在任意区域内生成时间变化图像。在这种情况下，生成的时间变化图像是能够目视确认的大小即可。
在使本实施方式的时间变化图像63的外框71闪烁的情况下，优选能够目视确认的程度。这是由于，操作员能够通过目视确认外框71部分的闪烁来识别周边监视控制部40正在进行正常的图像处理。
另外，本发明由于操作员不需要频繁地确认外框71部分是否在闪烁，就能够识别周边监视控制部40的图像处理是否存在异常，所以具有能够减轻操作员的确认负荷的效果。
在上述实施方式中，构成为在标准画面中同时显示俯瞰图像61和单相机图像62，但是本发明不限于此，也可以构成为仅显示俯瞰图像或仅显示单相机图像。或者，也可以是在标准画面中不显示俯瞰图像61和单相机图像62，而通过画面切换来显示的形态。
而且，本发明中的“对一个或多个照相机拍摄出的图像进行了规定处理而得到的图像”可以是俯瞰图像、单相机图像、以及包括这两者的图像，也可以是在合成影像显示区域60内显示的图像。
此外，周边监视控制部40(显示控制部)和显示器控制部43(异常判断部)可以是设置在一个控制器(装置)中的结构，也可以是分别设置在不同的控制器(装置)中的结构。
并且，在本实施方式中，仅设置有一个时间变化图像63，但是在一个画面中显示多个图像的情况下，也可以准备与各图像对应的时间变化图像，针对各图像检测是否发生了异常。
另外，在上述实施方式中使用液压挖掘机进行了说明，不过只要是作业机械都可以应用本发明，可以将本发明应用于自卸车、推土机、轮式装载机等作业机械。
此外，在上述实施方式中，对将显示器15设置在作业机械的驾驶室6内的结构进行了说明，不过也可以是将显示部设置在其他的场所的结构，例如设置在用于进行作业机械的远程操作的远程操作室、对位于工程现场内的多台作业机械在整体上进行管理、统管的控制室内。也可以是显示器15由便携式终端构成(例如可以拆卸)、操作员能够观看显示在便携式终端的显示部中的俯瞰图像的结构。
这里，在远程操作室或控制室内在显示器15中显示俯瞰图像的情况或在便携式终端设置显示器15的情况下，也可以采用下述结构：在作业机械、或操作室、控制室、便携式终端等分别设置某种通信单元，进行俯瞰图像等信息的发送接收。
Claims (10)
1.一种作业机械的显示***，其特征在于，具备：
一个或多个照相机，其获取作业机械的周围状况；
显示控制部，其生成时间变化图像，并且将对所述一个或多个照相机拍摄出的图像进行了规定处理而得到的图像作为影像信号输出；
显示器，其基于从所述显示控制部输出的影像信号，显示所述时间变化图像和所述进行了规定处理而得到的图像；以及
异常判断部，其在所述时间变化图像在规定时间内没有发生变化的情况下，判断为所述显示控制部发生了异常。
2.根据权利要求1所述的作业机械的显示***，其特征在于：
所述显示控制部和所述异常判断部分别设置在不同的控制器内。
3.根据权利要求1或2所述的作业机械的显示***，其特征在于：
由所述显示控制部进行了规定处理而得到的图像是单相机图像及/或俯瞰图像。
4.根据权利要求1至3中任一项所述的作业机械的显示***，其特征在于：
在所述异常判断部判断为所述显示控制部发生了异常的情况下进行通知。
5.根据权利要求4所述的作业机械的显示***，其特征在于：
所述通知是在所述显示器上显示用于告知所述显示控制部发生了异常的主旨的信息或图标。
6.根据权利要求1至5中任一项所述的作业机械的显示***，其特征在于：
由所述显示控制部生成的时间变化图像设置在单相机图像位置图标外框。
7.根据权利要求1至5中任一项所述的作业机械的显示***，其特征在于：
由所述显示控制部生成的时间变化图像设置在单相机图像或俯瞰图像的显示区域或其周边区域。
8.根据权利要求1至5中任一项所述的作业机械的显示***，其特征在于：
由所述显示控制部生成的时间变化图像设置在由所述显示控制部生成的合成影像显示区域中的任一区域内。
9.根据权利要求1至8中任一项所述的作业机械的显示***，其特征在于：
在存在多个由所述显示控制部进行了规定处理而得到的图像的情况下，所述时间变化图像设置于所述多个图像中的每个图像，所述异常判断部以图像为单位判断异常。
10.一种作业机械的显示方法，该作业机械具备：
一个或多个照相机，其获取作业机械的周围状况；以及
显示器，其显示规定的信息，
所述作业机械的显示方法的特征在于，包括：
显示控制步骤，生成时间变化图像，并且将对所述一个或多个照相机拍摄出的图像进行了规定处理而得到的图像作为影像信号输出；
显示步骤，基于由所述显示控制步骤输出的影像信号，显示所述时间变化图像和所述进行了规定处理而得到的图像；以及
异常判断步骤，在所述时间变化图像在规定时间内没有发生变化的情况下，判断为发生了异常。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2015/071886 WO2017022042A1 (ja) | 2015-07-31 | 2015-07-31 | 作業機械の表示システム、および作業機械の表示方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107431783A true CN107431783A (zh) | 2017-12-01 |
Family
ID=57943902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580078750.3A Pending CN107431783A (zh) | 2015-07-31 | 2015-07-31 | 作业机械的显示***及作业机械的显示方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20180295357A1 (zh) |
| JP (1) | JP6577034B2 (zh) |
| KR (2) | KR20170118831A (zh) |
| CN (1) | CN107431783A (zh) |
| DE (1) | DE112015006345T5 (zh) |
| WO (1) | WO2017022042A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115244254A (zh) * | 2020-03-13 | 2022-10-25 | 神钢建机株式会社 | 作业辅助服务器、作业辅助方法 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109313840A (zh) * | 2016-11-01 | 2019-02-05 | 住友建机株式会社 | 施工机械用安全管理***、管理装置、安全管理方法 |
| KR102669902B1 (ko) * | 2017-02-20 | 2024-05-28 | 에이치디현대인프라코어 주식회사 | 건설 장비의 화면 표시 시스템 및 화면 표시 방법 |
| JP2020063569A (ja) * | 2018-10-15 | 2020-04-23 | 日立建機株式会社 | 油圧ショベル |
| US11131082B2 (en) * | 2019-06-13 | 2021-09-28 | Deere & Company | Work vehicle with a payload tracking system |
| CN114729522B (zh) * | 2019-10-31 | 2024-06-18 | 住友建机株式会社 | 挖土机管理***、挖土机用便携终端及用于挖土机用便携终端的程序 |
| JP7458850B2 (ja) * | 2020-03-26 | 2024-04-01 | 住友重機械建機クレーン株式会社 | 作業機械の周囲表示装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008283431A (ja) * | 2007-05-10 | 2008-11-20 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
| CN103080990A (zh) * | 2011-06-07 | 2013-05-01 | 株式会社小松制作所 | 作业车辆的周边监视装置 |
| CN103154391A (zh) * | 2010-09-29 | 2013-06-12 | 日立建机株式会社 | 作业机械的显示*** |
| CN103828351A (zh) * | 2012-09-21 | 2014-05-28 | 株式会社小松制作所 | 作业车辆用周边监视***以及作业车辆 |
| CN104041018A (zh) * | 2012-01-12 | 2014-09-10 | 日立建机株式会社 | 自行式工业机械的周围监视装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004214970A (ja) * | 2002-12-27 | 2004-07-29 | Sumitomo Electric Ind Ltd | 画像表示システム、画像表示方法及び画像処理装置 |
| JP5269026B2 (ja) * | 2010-09-29 | 2013-08-21 | 日立建機株式会社 | 作業機械の周囲監視装置 |
| JP5411976B1 (ja) * | 2012-09-21 | 2014-02-12 | 株式会社小松製作所 | 作業車両用周辺監視システム及び作業車両 |
-
2015
- 2015-07-31 CN CN201580078750.3A patent/CN107431783A/zh active Pending
- 2015-07-31 WO PCT/JP2015/071886 patent/WO2017022042A1/ja active Application Filing
- 2015-07-31 US US15/561,203 patent/US20180295357A1/en not_active Abandoned
- 2015-07-31 DE DE112015006345.5T patent/DE112015006345T5/de not_active Withdrawn
- 2015-07-31 KR KR1020177026226A patent/KR20170118831A/ko active Application Filing
- 2015-07-31 KR KR1020197018050A patent/KR102027395B1/ko active IP Right Grant
- 2015-07-31 JP JP2017532270A patent/JP6577034B2/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008283431A (ja) * | 2007-05-10 | 2008-11-20 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
| CN103154391A (zh) * | 2010-09-29 | 2013-06-12 | 日立建机株式会社 | 作业机械的显示*** |
| CN103080990A (zh) * | 2011-06-07 | 2013-05-01 | 株式会社小松制作所 | 作业车辆的周边监视装置 |
| CN104041018A (zh) * | 2012-01-12 | 2014-09-10 | 日立建机株式会社 | 自行式工业机械的周围监视装置 |
| CN103828351A (zh) * | 2012-09-21 | 2014-05-28 | 株式会社小松制作所 | 作业车辆用周边监视***以及作业车辆 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115244254A (zh) * | 2020-03-13 | 2022-10-25 | 神钢建机株式会社 | 作业辅助服务器、作业辅助方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102027395B1 (ko) | 2019-10-01 |
| WO2017022042A1 (ja) | 2017-02-09 |
| KR20190073621A (ko) | 2019-06-26 |
| JPWO2017022042A1 (ja) | 2018-03-08 |
| US20180295357A1 (en) | 2018-10-11 |
| DE112015006345T5 (de) | 2017-12-07 |
| KR20170118831A (ko) | 2017-10-25 |
| JP6577034B2 (ja) | 2019-09-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107431783A (zh) | 作业机械的显示***及作业机械的显示方法 | |
| CN107075840A (zh) | 作业机械的周边监视装置以及作业机械的周边监视方法 | |
| CN105934945B (zh) | 作业机械的显示***、显示装置和显示方法 | |
| CN107406035B (zh) | 工程作业机械 | |
| CN107407078A (zh) | 作业机械的周边监视装置及作业机械的周边监视方法 | |
| CN106716988B (zh) | 作业机械的周边监视装置 | |
| CN107079089B (zh) | 作业机械的周边监视装置 | |
| JP5750344B2 (ja) | 作業機の周囲監視装置 | |
| CN104584540B (zh) | 作业机械的周围监视装置 | |
| CN106797449A (zh) | 履带式作业机械的周边监视装置 | |
| JP2013253402A (ja) | 作業機械の周囲監視装置 | |
| CN108028911A (zh) | 作业机械的显示装置及显示*** | |
| JP2015226094A (ja) | 作業機械用遠隔操作システム | |
| CN108432241B (zh) | 挖土机 | |
| JP2011179279A (ja) | 作業機械の監視装置 | |
| CN110555913B (zh) | 一种基于工业人机界面的虚拟成像方法及装置 | |
| JP2013253397A (ja) | 作業機械の運転支援装置 | |
| JP2019083370A (ja) | 建設機械の視覚拡張システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20171201 |
|
| WD01 | Invention patent application deemed withdrawn after publication |