CN117221302A - 叉车的远程操作*** - Google Patents
叉车的远程操作*** Download PDFInfo
- Publication number
- CN117221302A CN117221302A CN202210926011.7A CN202210926011A CN117221302A CN 117221302 A CN117221302 A CN 117221302A CN 202210926011 A CN202210926011 A CN 202210926011A CN 117221302 A CN117221302 A CN 117221302A
- Authority
- CN
- China
- Prior art keywords
- remote
- image
- forklift
- instruction
- operator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000002131 composite material Substances 0.000 claims abstract description 33
- 210000003128 head Anatomy 0.000 claims abstract description 15
- 238000003384 imaging method Methods 0.000 claims abstract description 13
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 2
- 230000000630 rising effect Effects 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000005856 abnormality Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 210000003813 thumb Anatomy 0.000 description 4
- 230000000694 effects Effects 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
- B66F9/075—Constructional features or details
- B66F9/07581—Remote controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
- B66F9/075—Constructional features or details
- B66F9/20—Means for actuating or controlling masts, platforms, or forks
- B66F9/24—Electrical devices or systems
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
- E02F9/205—Remotely operated machines, e.g. unmanned vehicles
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/267—Diagnosing or detecting failure of vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Transportation (AREA)
- Civil Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geology (AREA)
- Mechanical Engineering (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Mining & Mineral Resources (AREA)
- General Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Forklifts And Lifting Vehicles (AREA)
- Selective Calling Equipment (AREA)
Abstract
本发明提供一种能够向一边观察远程图像一边进行远程操作的操作员提供有益且丰富的信息的叉车的远程操作***。本发明的远程操作***包括:摄像装置,设置于叉车;头部安装型图像显示装置,安装于操作员的头部;指令接收装置,接收操作员的远程操作指令;及合成远程图像生成装置,获得指令接收装置所接收到的远程操作指令的内容、依照远程操作指令运行的叉车的动作状态、及由摄像装置所拍摄的远程图像,在远程图像合成表示远程操作指令的内容的指令显示图像及表示叉车的动作状态的动作显示图像,由此生成合成远程图像。头部安装型图像显示装置将所生成的合成远程图像显示于操作员的眼前。
Description
技术领域
本发明涉及一种能够一边观察显示于头部安装型图像显示装置的远程图像一边远程操作处于分离的场所的叉车的远程操作***。
背景技术
以往已知有一种能够一边观察显示于头部安装型图像显示装置的远程图像一边远程操作处于分离的场所的作业机械的远程操作***。例如,专利文献1中记载了一种用来远程操作作为作业机械的挖掘机的远程操作***。
专利文献1所记载的***是以如下方式构成:根据由可穿戴传感器检测到的操作员的头部的动作来切换显示于头部安装型图像显示装置的图像的内容。更详细而言,所述***以如下方式构成:若操作员的头部下俯,则所显示的图像从由安装于挖掘机的摄像装置所拍摄的前方图像(远程图像)切换为仪器画面图像,若从所述状态起操作员的头部上仰,则所显示的图像恢复为远程图像。
[现有技术文献]
[专利文献]
[专利文献1]日本专利特开2015-226094号公报
发明内容
[发明所要解决的问题]
在所述专利文献1所记载的***中,将远程图像或仪器画面图像择一性地显示于头部安装型图像显示装置。即,在所述***中,远程图像未向确认臂的动作的操作员提供任何挖掘机的仪器信息。因此,操作员必须依靠比在进行搭乘操作时所获得的信息更少的信息来进行远程操作。
本发明是鉴于所述情况而完成,其课题在于提供一种能够向一边观察远程图像一边进行远程操作的操作员提供有益且丰富的信息的远程操作***。
[解决问题的技术手段]
为了解决所述课题,本发明的远程操作***包括如下结构:其包括:摄像装置,设置于处于与操作员分离的场所的叉车;头部安装型图像显示装置,安装于操作员的头部;指令接收装置,处于操作员的手能够到的场所,接收操作员的远程操作指令;及合成远程图像生成装置,获得指令接收装置所接收到的远程操作指令的内容、依照远程操作指令运行的叉车的动作状态、及由摄像装置所拍摄到的远程图像,在远程图像合成表示远程操作指令的内容的指令显示图像及表示叉车的动作状态的动作显示图像,由此生成合成远程图像,头部安装型图像显示装置将通过合成远程图像生成装置所生成的合成远程图像显示于操作员的眼前。
所述远程操作***的头部安装型图像显示装置可包括姿势检测部,所述姿势检测部对操作员的头部的姿势进行检测。在所述情形时,所述远程操作***的合成远程图像生成装置优选获得姿势检测部所检测到的姿势,在依照所获得的姿势所切割出的远程图像的一部分合成指令显示图像及动作显示图像,由此生成合成远程图像。
所述远程操作***的合成远程图像生成装置可以如下方式构成:(1)设置于操作员侧,经由网络线路而从叉车获得所述叉车的动作状态及远程图像;(2)设置于叉车,经由网络线路而从指令接收装置获得远程操作指令的内容;(3)设置于与操作员及叉车分离的场所,经由网络线路而从叉车获得所述叉车的动作状态及远程图像,并且经由网络线路而从指令接收装置获得远程操作指令的内容。
所述远程操作***的指令接收装置可包括四个按钮,所述四个按钮对应于设置于叉车的叉架的上升及下降、以及设置于叉车的桅杆的前倾及后倾,且以十字状配置。在所述情形时,优选指令显示图像包括四个装卸符号,所述四个装卸符号对应于四个按钮,且以十字状配置,若操作四个按钮的任一按钮,则对应于所述按钮的装卸符号的外观会发生变化。
所述远程操作***的指令接收装置可包括模拟摇杆,所述模拟摇杆用来指示叉车的行驶方向及行驶速度。在所述情形时,优选指令显示图像包括:车辆符号,以叉车作为主题;及行驶符号,根据模拟摇杆的倾倒方向及倾倒量,相对于车辆符号的相对位置发生变化。
[发明的效果]
根据本发明,能够提供一种能够向一边观察远程图像一边进行远程操作的操作员提供有益且丰富的信息的远程操作***。
附图说明
图1是表示本发明的第一实施例的远程操作***的结构的图。
图2是表示第一实施例的远程操作***的指令接收装置的图。
图3是对利用第一实施例的远程操作***的第一运算装置进行的图像的切割进行说明的图。
图4是对利用第一实施例的远程操作***的第一运算装置进行的图像的合成进行说明的图。
图5是表示本发明的第二实施例的远程操作***的结构的图。
图6是表示本发明的第三实施例的远程操作***的结构的图。
[符号的说明]
1A、1B、1C:远程操作***
10:头部安装型图像显示装置
11:指令接收装置
12A、12B:第一运算装置
13:第一通信装置
20:摄像装置
21A、21B:第二运算装置
22:第二通信装置
23:装卸装置
24:行驶装置
25:抱杆
30:第一按钮
31:第二按钮
32:第三按钮
33:第四按钮
34:模拟摇杆
40:第一装卸符号
41:第二装卸符号
42:第三装卸符号
43:第四装卸符号
44:车辆符号
45:行驶符号
50:负载表
51:倾斜表
52:提升表
53:速度表
54:电量表
55:警告符号
56:计时表
60:第三运算装置
F:叉车
NT:网络线路
O:操作员
具体实施方式
以下,参照附图对本发明的远程操作***的实施例进行说明。
[第一实施例]
图1表示本发明的第一实施例的远程操作***1A。远程操作***1A用于由操作员O远程操作处于分离的场所的叉车F,如同图所示,包括处于操作员O侧的头部安装型图像显示装置10、指令接收装置11、第一运算装置12A及第一通信装置13以及处于叉车F侧的摄像装置20、第二运算装置21A及第二通信装置22。
头部安装型图像显示装置10被称为头戴式显示器(head-mounted display,HMD)。头部安装型图像显示装置10安装于操作员O的头部,将下文所述的合成远程图像显示于操作员O的眼前。
头部安装型图像显示装置10包括未图示的姿势检测部。姿势检测部检测操作员O的头部的姿势,并且输出对应于所述姿势的信号(以下称为“姿势信号”)。姿势信号包括表示操作员O的头部沿着左右方向倾斜何种程度的信号、及表示操作员O的头部沿着上下方向倾斜何种程度的信号。
指令接收装置11为如游戏机的控制器的装置,如图2所示,包括以十字状配置的四个按钮30、按钮31、按钮32、按钮33及模拟摇杆34。指令接收装置11输出表示是否按下了按钮30、按钮31、按钮32、按钮33各按钮的信号(以下称为“按钮操作信号”)、及表示模拟摇杆34的倾倒方向及倾倒量的信号(以下称为“摇杆操作信号”)。按钮30、按钮31、按钮32、按钮33由操作员O的左手大拇指进行操作。另外,模拟摇杆34由操作员O的右手大拇指进行操作。
第一运算装置12A为如个人计算机的装置,经由通用串行总线(universal serialbus,USB)等外部机器连接用接口而有线连接于头部安装型图像显示装置10及指令接收装置11。此外,在本实施例中,所述第一运算装置12A相当于“合成远程图像生成装置”。
第一通信装置13为如路由器的装置,经由局域网(local area network,LAN)等通信接口而有线连接于第一运算装置12A。第一通信装置13也连接于网络线路NT。
摄像装置20为安装于被远程操作的叉车F的360°相机。叉车F包括具有短于1m的长度的抱杆25来代替操作员就座的座位,摄像装置20安装于所述抱杆25的上端。即,摄像装置20安装于操作员坐在座位上的情形时所述操作员的头部所处的位置。摄像装置20拍摄360°的远程图像,并且输出与所述远程图像相关的信号(以下称为“远程图像信号”)。
第二运算装置21A为能够控制装卸装置23(其包括桅杆、叉架及驱动它们的油压***)及行驶装置24(其包括改变操纵轮的方向的操纵装置及对驱动轮进行驱动的马达)的车辆控制单元ECU。第二运算装置21A也具有掌握叉车F的各部的状态的功能、及对叉车F的各部是否发生异常进行判定的功能。第二运算装置21A生成与所掌握的叉车F的各部的状态及异常发生的有无相关的信号(以下称为“动作状态信号”)。
在本实施例中,第二运算装置21A能够始终掌握至少叉架上的货物的重量、桅杆的倾角、叉架的提升高度、马达的转速(叉车F的行驶速度)、及电池的余量。
第二通信装置22为如设置于叉车F进行作业的设施内的路由器的装置,经由通信接口而无线连接于第二运算装置21A。第二通信装置22也连接于网络线路NT。
若操作员O按下指令接收装置11的按钮30、按钮31、按钮32、按钮33的任一按钮,则对应于所述按钮(例如第一按钮30)的按钮操作信号按照“指令接收装置11→第一运算装置12A→第一通信装置13→网络线路NT→第二通信装置22→第二运算装置21A”的路径被发送至第二运算装置21A。按钮操作信号在中途可转换为适当的形式。
第二运算装置21A依照从指令接收装置11发送来的按钮操作信号使装卸装置23工作。具体而言,第二运算装置21A依照对应于第一按钮30的按钮操作信号使叉架上升,依照对应于第二按钮31的按钮操作信号使叉架下降,依照对应于第三按钮32的按钮操作信号使桅杆后倾,依照对应于第四按钮33的按钮操作信号使桅杆前倾。
若操作员O将指令接收装置11的模拟摇杆34向任一方向倾倒,则对应于所述倾倒方向及倾倒量的摇杆操作信号按照与按钮操作信号同样的路径、即“指令接收装置11→第一运算装置12A→第一通信装置13→网络线路NT→第二通信装置22→第二运算装置21A”的路径被发送至第二运算装置21A。摇杆操作信号可在中途转换为适当的形式。
第二运算装置21A依照从指令接收装置11发送来的摇杆操作信号使行驶装置24工作。具体而言,第二运算装置21A以叉车F的行驶方向与对应于摇杆操作信号所表示的倾倒方向的方向一致的方式使操纵装置工作,并且以叉车F的行驶速度与对应于摇杆操作信号所表示的倾倒量的速度一致的方式使马达工作。
摄像装置20所输出的与360°的远程图像相关的远程图像信号按照“摄像装置20→第二运算装置21A→第二通信装置22→网络线路NT→第一通信装置13→第一运算装置12A”的路径被发送至第一运算装置12A。远程图像信号可在中途转换为适当的形式。
与第二运算装置21A所掌握的叉车F的各部的状态及异常发生的有无相关的动作状态信号按照“第二运算装置21A→第二通信装置22→网络线路NT→第一通信装置13→第一运算装置12A”的路径被发送至第一运算装置12A。
头部安装型图像显示装置10所输出的姿势信号按照“头部安装型图像显示装置10→第一运算装置12A”的路径被发送至第一运算装置12A。
如上所述,作为合成远程图像生成装置的第一运算装置12A获得指令接收装置11所输出的按钮操作信号及摇杆操作信号、头部安装型图像显示装置10所输出的姿势信号、摄像装置20所输出的远程图像信号、及第二运算装置21A所输出的动作状态信号。
第一运算装置12A基于所获得的姿势信号选取远程图像的一部分。换言之,如图3所示,第一运算装置12A依照操作员O的姿势从360°的远程图像中切割出大小与操作员O的视野相当的图像A。若操作员O的头部的姿势发生变化,则所切割的图像A的位置也发生变化。另一方面,即使操作员O的头部的姿势发生变化,所切割的图像A的大小也不变化。
第一运算装置12A基于所获得的按钮操作信号及摇杆操作信号来生成指令显示图像。
如图4所示,指令显示图像包括对应于指令接收装置11的按钮30、按钮31、按钮32、按钮33且以十字状配置的四个装卸符号40、装卸符号41、装卸符号42、装卸符号43。第一装卸符号40对应于用来使叉架上升的第一按钮30,在按下第一按钮30时及未按下所述按钮时,外观(例如颜色。以下同样)发生变化。第二装卸符号41对应于用来使叉架下降的第二按钮31,在按下第二按钮31时及未按下所述按钮时,外观发生变化。第三装卸符号42对应于用来使桅杆后倾的第三按钮32,在按下第三按钮32时及未按下所述按钮时,外观发生变化。另外,第四装卸符号43对应于用来使桅杆前倾的第四按钮33,在按下第四按钮33时及未按下所述按钮时,外观发生变化。
如图4所示,指令显示图像还包括以叉车F为主题的车辆符号44、及位于其附近的行驶符号45。以车辆符号44为基准的行驶符号45的相对位置根据模拟摇杆34的倾倒方向及倾倒量而发生变化。
指令显示图像中的装卸符号40、装卸符号41、装卸符号42、装卸符号43、车辆符号44及行驶符号45的配置大致对应于指令接收装置11中的按钮30、按钮31、按钮32、按钮33及模拟摇杆34的配置。即、与由左手大拇指操作的按钮30、按钮31、按钮32、按钮33相对应的符号40、符号41、符号42、符号43配置于指令显示图像的左侧,与由右手大拇指操作的模拟摇杆34相对应的符号44、符号45配置于指令显示图像的右侧。
指令显示图像可认为是表示指令接收装置11所接收到的远程操作指令的内容、换言之为操作员O所输入的远程操作指令的内容的图像。
第一运算装置12A基于所获得的动作状态信号来生成动作显示图像。
如图4所示,动作显示图像包括表示叉架上的货物的重量的负载表50、表示桅杆的倾角的倾斜表51、表示叉架的提升高度的提升表52、表示叉车F的行驶速度的速度表53、表示电池中所残存的电量的电量表54、及表示当前时刻或运转累计时间的计时表56。除此以外,动作显示图像也包括如在发生异常时亮灯的外观发生变化的多个警告符号55。
如图4所示,第一运算装置12A在远程图像的一部分(图像A)合成指令显示图像及动作显示图像,由此生成合成远程图像。然后,第一运算装置12A将与所生成的合成远程图像相关的信号(以下称为“合成远程图像信号”)向头部安装型图像显示装置10发送。
头部安装型图像显示装置10基于发送来的合成远程图像信号,将合成远程图像显示于操作员O的眼前。
如上所述,在第一实施例的远程操作***1A中,向一边观察远程图像一边进行远程操作的操作员O提示指令显示图像及动作显示图像。因此,操作员O能够在不中断远程操作的情况下,通过指令显示图像确认准确接收到操作指令,或者通过动作显示图像掌握无法根据远程图像来掌握的叉车F的状态。
[第二实施例]
图5表示本发明的第二实施例的远程操作***1B。远程操作***1B包括处于操作员O侧的头部安装型图像显示装置10、指令接收装置11、第一运算装置12B及第一通信装置13以及处于叉车F侧的摄像装置20、第二运算装置21B及第二通信装置22。远程操作***1B包括第一运算装置12B来代替第一运算装置12A,且包括第二运算装置21B来代替第二运算装置21A,这两个方面不同于第一实施例的远程操作***1A,但在其他方面与远程操作***1A共通。
第一运算装置12B与第一运算装置12A同样地,经由USB等外部机器连接用接口而有线连接于头部安装型图像显示装置10及指令接收装置11。
第二运算装置21B与第二运算装置21A同样地,为能够控制装卸装置23及行驶装置24的车辆控制单元ECU,具有掌握叉车F的各部的状态的功能、及对叉车F的各部是否发生异常进行判定的功能。另外,第二运算装置21B与第二运算装置21A同样地,生成与所掌握的叉车F的各部的状态及异常发生的有无相关的动作状态信号。在本实施例中,所述第二运算装置21B相当于“合成远程图像生成装置”。
若操作员O按下指令接收装置11的按钮30、按钮31、按钮32、按钮33的任一按钮,则对应于所述按钮(例如第一按钮30)的按钮操作信号按照“指令接收装置11→第一运算装置12B→第一通信装置13→网络线路NT→第二通信装置22→第二运算装置21B”的路径被发送至第二运算装置21B。按钮操作信号可在中途转换为适当的形式。
第二运算装置21B与第二运算装置21A同样地,依照从指令接收装置11发送来的按钮操作信号使装卸装置23工作。
若操作员O将指令接收装置11的模拟摇杆34向任一方向倾倒,则对应于所述倾倒方向及倾倒量的摇杆操作信号按照与按钮操作信号同样的路径、即“指令接收装置11→第一运算装置12B→第一通信装置13→网络线路NT→第二通信装置22→第二运算装置21B”的路径被发送至第二运算装置21B。摇杆操作信号可在中途转换为适当的形式。
第二运算装置21B与第二运算装置21A同样地,依照从指令接收装置11发送来的摇杆操作信号使行驶装置24工作。
摄像装置20所输出的与360°的远程图像相关的远程图像信号按照“摄像装置20→第二运算装置21B”的路径被发送至第二运算装置21B。
头部安装型图像显示装置10所输出的姿势信号按照“头部安装型图像显示装置10→第一运算装置12B→第一通信装置13→网络线路NT→第二通信装置22→第二运算装置21B”的路径被发送至第二运算装置21B。姿势信号可在中途转换为适当的形式。
如上所述,作为合成远程图像生成装置的第二运算装置21B获得指令接收装置11所输出的按钮操作信号及摇杆操作信号、头部安装型图像显示装置10所输出的姿势信号、摄像装置20所输出的远程图像信号、及第二运算装置21B自身所生成的动作状态信号。
第二运算装置21B与第一运算装置12A同样地,基于所获得的姿势信号选取远程图像的一部分(参照图3)。
第二运算装置21B与第一运算装置12A同样地,基于所获得的按钮操作信号、摇杆操作信号及动作状态信号来生成指令显示图像及动作显示图像。
第二运算装置21B与第一运算装置12A同样地,在远程图像的一部分(图像A)合成指令显示图像及动作显示图像,由此生成合成远程图像(参照图4)。然后,第二运算装置21B将与所生成的合成远程图像相关的合成远程图像信号按照“第二运算装置21B→第二通信装置22→网络线路NT→第一通信装置13→第一运算装置12B→头部安装型图像显示装置10”的路径发送至头部安装型图像显示装置10。
头部安装型图像显示装置10基于发送来的合成远程图像信号,将合成远程图像显示于操作员O的眼前。
如上所述,在第二实施例的远程操作***1B中,也向一边观察远程图像一边进行远程操作的操作员O提示指令显示图像及动作显示图像。因此,操作员O能够在不中断远程操作的情况下,通过指令显示图像确认准确接收到操作指令,或者通过动作显示图像掌握无法根据远程图像来掌握的叉车F的状态。
[第三实施例]
图6表示本发明的第三实施例的远程操作***1C。远程操作***1C包括处于操作员O侧的头部安装型图像显示装置10、指令接收装置11、第一运算装置12B及第一通信装置13、处于叉车F侧的摄像装置20、第二运算装置21A及第二通信装置22、以及第三运算装置60。远程操作***1C包括第一运算装置12B代替第一运算装置12A,且还包括第三运算装置60,这两个方面不同于第一实施例的远程操作***1A,但在其他方面与远程操作***1A共通。也可认为远程操作***1C包括第二运算装置21A代替第二运算装置21B,且还包括第三运算装置60,这两个方面不同于第二实施例的远程操作***1B,但在其他方面与远程操作***1B共通。
第三运算装置60是提供设定于与操作员O及叉车F这两者分离的场所的云服务的计算机,连接于网络线路NT。在本实施例中,所述第三运算装置60相当于“合成远程图像生成装置”。
若操作员O按下指令接收装置11的按钮30、按钮31、按钮32、按钮33的任一按钮,则对应于所述按钮(例如第一按钮30)的按钮操作信号按照“指令接收装置11→第一运算装置12B→第一通信装置13→网络线路NT→第二通信装置22→第二运算装置21A”的路径被发送至第二运算装置21A,并且按照“指令接收装置11→第一运算装置12B→第一通信装置13→网络线路NT→第三运算装置60”的路径也被发送至第三运算装置60。按钮操作信号可在中途转换为适当的形式。
若操作员O将指令接收装置11的模拟摇杆34向任一方向倾倒,则对应于所述倾倒方向及倾倒量的摇杆操作信号按照与按钮操作信号同样的路径、即“指令接收装置11→第一运算装置12B→第一通信装置13→网络线路NT→第二通信装置22→第二运算装置21A”的路径被发送至第二运算装置21A,并且按照“指令接收装置11→第一运算装置12B→第一通信装置13→网络线路NT→第三运算装置60”的路径也被发送至第三运算装置60。摇杆操作信号可在中途转换为适当的形式。
摄像装置20所输出的与360°的远程图像相关的远程图像信号按照“摄像装置20→第二运算装置21A→第二通信装置22→网络线路NT→第三运算装置60”的路径被发送至第三运算装置60。远程图像信号可在中途转换为适当的形式。
与第二运算装置21A所掌握的叉车F的各部的状态及异常发生的有无相关的动作状态信号按照“第二运算装置21A→第二通信装置22→网络线路NT→第三运算装置60”的路径被发送至第三运算装置60。
头部安装型图像显示装置10所输出的姿势信号按照“头部安装型图像显示装置10→第一运算装置12B→第一通信装置13→网络线路NT→第三运算装置60”的路径被发送至第三运算装置60。姿势信号可在中途转换为适当的形式。
如上所述,作为合成远程图像生成装置的第三运算装置60获得指令接收装置11所输出的按钮操作信号及摇杆操作信号、头部安装型图像显示装置10所输出的姿势信号、摄像装置20所输出的远程图像信号、及第二运算装置21A所输出的动作状态信号。
第三运算装置60与第一运算装置12A及第二运算装置21B同样地,基于所获得的姿势信号选取远程图像的一部分(参照图3)。
第三运算装置60与第一运算装置12A及第二运算装置21B同样地,基于所获得的按钮操作信号、摇杆操作信号及动作状态信号来生成指令显示图像及动作显示图像。
第三运算装置60与第一运算装置12A及第二运算装置21B同样地,在远程图像的一部分(图像A)合成指令显示图像及动作显示图像,由此生成合成远程图像(参照图4)。然后,第三运算装置60将与所生成的合成远程图像相关的合成远程图像信号按照“第三运算装置60→网络线路NT→第一通信装置13→第一运算装置12B→头部安装型图像显示装置10”的路径发送至头部安装型图像显示装置10。
头部安装型图像显示装置10基于发送来的合成远程图像信号,将合成远程图像显示于操作员O的眼前。
如上所述,在第三实施例的远程操作***1C中,也向一边观察远程图像一边进行远程操作的操作员O提示指令显示图像及动作显示图像。因此,操作员O能够在不中断远程操作的情况下,通过指令显示图像确认准确接收到操作指令,或者通过动作显示图像掌握无法根据远程图像来掌握的叉车F的状态。
[变形例]
以上,已对本发明的远程操作***的第一实施例、第二实施例及第三实施例进行了说明,但本发明的结构并不限定于这些。
例如,头部安装型图像显示装置10可无线连接于第一运算装置12A、第一运算装置12B或第一通信装置13。在将头部安装型图像显示装置10无线连接于第一通信装置13的情形时,姿势信号按照“头部安装型图像显示装置10→第一通信装置13→第一运算装置12A”的路径被发送至第一运算装置12A,或者按照“头部安装型图像显示装置10→第一通信装置13→网络线路NT→第二通信装置22→第二运算装置21B”的路径被发送至第二运算装置21B,或者按照“头部安装型图像显示装置10→第一通信装置13→网络线路NT→第三运算装置60”的路径被发送至第三运算装置60。另外,在所述情形时,合成远程图像信号按照“第一运算装置12A→第一通信装置13→头部安装型图像显示装置10”的路径、“第二运算装置21B→第二通信装置22→网络线路NT→第一通信装置13→头部安装型图像显示装置10”的路径、或“第三运算装置60→网络线路NT→第一通信装置13→头部安装型图像显示装置10”的路径被发送至头部安装型图像显示装置10。
另外,指令接收装置11可无线连接于第一运算装置12A、第一运算装置12B或第一通信装置13。在将指令接收装置11无线连接于第一通信装置13的情形时,按钮操作信号及摇杆操作信号按照“指令接收装置11→第一通信装置13→第一运算装置12A”的路径被发送至第一运算装置12A,或者按照“指令接收装置11→第一通信装置13→网络线路NT→第二通信装置22→第二运算装置21B”的路径被发送至第二运算装置21B,或者按照“指令接收装置11→第一通信装置13→网络线路NT→第三运算装置60”的路径被发送至第三运算装置60。
另外,第一运算装置12A、第一运算装置12B可无线连接于第一通信装置13。
另外,指令接收装置11并不限定于如两手持的游戏机的控制器那样的装置。在本发明中,可使用处于操作员O的手能够到的场所、且能够接收到操作员O的远程操作指令的任意装置作为指令接收装置11。
另外,摄像装置20并不限定于360°相机。作为代替360°相机者,可列举朝向不同方向的多个相机的组合。在所述情形时,合成远程图像生成装置12A、合成远程图像生成装置21B、合成远程图像生成装置60依照姿势信号选择使用多个相机中的哪个相机所拍摄的远程图像,并在所选择的远程图像合成指令显示图像及动作显示图像即可。
另外,摄像装置20可通过抱杆25以外的方法安装于叉车F。例如,摄像装置20可从护顶架上垂吊下来。
另外,第二运算装置21A、第二运算装置21B可为与负责控制装卸装置23及行驶装置24的车辆控制单元ECU分开的单元。但在所述情形时,两个单元必须能够相互进行信号的交换。
另外,图4所示的指令显示图像及动作显示图像仅为一例。这些图像的布局及这些图像所包含的信息可适当变更。另外,这些图像的布局及这些图像所包含的信息优选操作员O能够定制。
另外,本发明的远程操作***可用于远程操作发动机式叉车。
Claims (7)
1.一种远程操作***,其特征在于,包括:
摄像装置,设置于处于与操作员分离的场所的叉车;
头部安装型图像显示装置,安装于所述操作员的头部;
指令接收装置,处于所述操作员的手能够到的场所,接收所述操作员的远程操作指令;以及
合成远程图像生成装置,获得所述指令接收装置所接收到的所述远程操作指令的内容、依照所述远程操作指令运行的所述叉车的动作状态、及由所述摄像装置所拍摄的远程图像,在所述远程图像合成表示所述远程操作指令的内容的指令显示图像及表示所述叉车的动作状态的动作显示图像,由此生成合成远程图像,
所述头部安装型图像显示装置将由所述合成远程图像生成装置所生成的所述合成远程图像显示于所述操作员的眼前。
2.根据权利要求1所述的远程操作***,其特征在于:
所述头部安装型图像显示装置包括姿势检测部,所述姿势检测部检测所述操作员的所述头部的姿势,
所述合成远程图像生成装置获得所述姿势检测部所检测到的姿势,在依照所述姿势所切割出的所述远程图像的一部分合成所述指令显示图像及所述动作显示图像,由此生成所述合成远程图像。
3.根据权利要求1或2所述的远程操作***,其特征在于:
所述合成远程图像生成装置设置于所述操作员的侧,经由网络线路而从所述叉车获得所述叉车的动作状态及所述远程图像。
4.根据权利要求1或2所述的远程操作***,其特征在于:
所述合成远程图像生成装置设置于所述叉车,经由网络线路而从所述指令接收装置获得所述远程操作指令的内容。
5.根据权利要求1或2所述的远程操作***,其特征在于:
所述合成远程图像生成装置设置于与所述操作员及所述叉车分离的场所,经由网络线路而从所述叉车获得所述叉车的动作状态及所述远程图像,并且经由所述网络线路而从所述指令接收装置获得所述远程操作指令的内容。
6.根据权利要求1或2所述的远程操作***,其特征在于:
所述指令接收装置包括四个按钮,所述四个按钮对应于设置于所述叉车的叉架的上升及下降、以及设置于所述叉车的桅杆的前倾及后倾,且以十字状配置,
所述指令显示图像包括四个装卸符号,所述四个装卸符号对应于所述四个按钮,且以十字状配置,
若操作所述四个按钮的任一按钮,则对应于所述按钮的装卸符号的外观发生变化。
7.根据权利要求1或2所述的远程操作***,其特征在于:
所述指令接收装置包括模拟摇杆,所述模拟摇杆用来指示所述叉车的行驶方向及行驶速度,
所述指令显示图像包括:车辆符号,以所述叉车作为主题;及行驶符号,根据所述模拟摇杆的倾倒方向及倾倒量,相对于所述车辆符号的相对位置会发生变化。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-091034 | 2022-06-03 | ||
JP2022091034A JP2023178015A (ja) | 2022-06-03 | 2022-06-03 | フォークリフトの遠隔操作システム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117221302A true CN117221302A (zh) | 2023-12-12 |
Family
ID=83059255
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210926011.7A Pending CN117221302A (zh) | 2022-06-03 | 2022-08-03 | 叉车的远程操作*** |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230391594A1 (zh) |
EP (1) | EP4286317A1 (zh) |
JP (1) | JP2023178015A (zh) |
CN (1) | CN117221302A (zh) |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10250021A1 (de) * | 2002-10-25 | 2004-05-13 | Donnelly Hohe Gmbh & Co. Kg | Verfahren zum Betrieb eines Darstellungssystems in einem Fahrzeug zum Auffinden eines Parkplatzes |
US20090198414A1 (en) * | 2008-01-31 | 2009-08-06 | Caterpillar Inc. | Operator interface for controlling a vehicle |
JP2015226094A (ja) | 2014-05-26 | 2015-12-14 | 住友建機株式会社 | 作業機械用遠隔操作システム |
KR20160133328A (ko) * | 2015-05-12 | 2016-11-22 | 삼성전자주식회사 | 웨어러블 디바이스를 이용한 원격 제어 방법 및 장치 |
JP6743676B2 (ja) * | 2016-12-15 | 2020-08-19 | 株式会社タダノ | 遠隔操作端末 |
JP2018121195A (ja) * | 2017-01-25 | 2018-08-02 | 大成建設株式会社 | 遠隔制御システム |
US20190135598A1 (en) * | 2017-11-07 | 2019-05-09 | Stocked Robotics, Inc. | Method and system to retrofit industrial lift trucks for automated material handling in supply chain and logistics operations |
JP6973225B2 (ja) * | 2018-03-23 | 2021-11-24 | 株式会社豊田自動織機 | 産業車両用遠隔操作システム、産業車両、遠隔操作装置、産業車両用遠隔操作プログラム、及び産業車両用遠隔操作方法 |
JP7052583B2 (ja) * | 2018-06-15 | 2022-04-12 | 株式会社デンソーウェーブ | 監視システム |
US11525243B2 (en) * | 2019-09-16 | 2022-12-13 | Caterpillar Inc. | Image-based productivity tracking system |
CN111977568A (zh) * | 2020-08-11 | 2020-11-24 | 国网浙江省电力有限公司嘉兴供电公司 | 一种叉车的远程驾驶*** |
-
2022
- 2022-06-03 JP JP2022091034A patent/JP2023178015A/ja active Pending
- 2022-08-02 US US17/878,918 patent/US20230391594A1/en active Pending
- 2022-08-03 CN CN202210926011.7A patent/CN117221302A/zh active Pending
- 2022-08-24 EP EP22191855.0A patent/EP4286317A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2023178015A (ja) | 2023-12-14 |
EP4286317A1 (en) | 2023-12-06 |
US20230391594A1 (en) | 2023-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6217472B2 (ja) | フォークリフト作業支援装置 | |
CN109906198B (zh) | 用于起重机、施工机械和/或工业卡车的遥控装置 | |
US20190039862A1 (en) | Remote control device for a crane, a construction machine and/or for a pallet truck | |
JP5814187B2 (ja) | 自走式産業機械の表示装置 | |
JP5988683B2 (ja) | 自走式産業機械の表示装置 | |
EP2717570A1 (en) | Device for monitoring area around working machine | |
JP6605241B2 (ja) | 遠隔操縦システム | |
CN104584540A (zh) | 作业机械的周围监视装置 | |
EP2757782A1 (en) | Surroundings monitoring device for work machine | |
EP1768097A1 (en) | Image display system, image display method, and image display program | |
US20140354816A1 (en) | Peripheral Monitoring Device for Transportation Vehicle | |
KR20130138227A (ko) | 작업 기계의 주위 감시 장치 | |
CN107852481B (zh) | 图像显示控制装置 | |
EP3739131B1 (en) | Construction machine | |
JPH10277976A (ja) | 遠隔操作システム | |
JP2007237986A (ja) | 車両用入力装置 | |
US11732440B2 (en) | Remote operation system and remote operation server | |
CN111386369A (zh) | 工程机械 | |
CN111052734B (zh) | 作业车辆 | |
CN117221302A (zh) | 叉车的远程操作*** | |
JP2022072598A (ja) | 作業車両の表示システムおよび作業車両の表示方法 | |
JP2013002101A (ja) | 作業機械の視野補助装置 | |
CN115210434A (zh) | 作业辅助服务器、作业辅助方法 | |
JP2001348914A (ja) | 重機の姿勢認識装置 | |
US20240084557A1 (en) | Display system of work machine |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |