CN115516175A - 远程操作支援装置及远程操作支援方法 - Google Patents

远程操作支援装置及远程操作支援方法 Download PDF

Info

Publication number
CN115516175A
CN115516175A CN202180033763.4A CN202180033763A CN115516175A CN 115516175 A CN115516175 A CN 115516175A CN 202180033763 A CN202180033763 A CN 202180033763A CN 115516175 A CN115516175 A CN 115516175A
Authority
CN
China
Prior art keywords
remote operation
sound source
point sound
component
work machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202180033763.4A
Other languages
English (en)
Other versions
CN115516175B (zh
Inventor
森田有辉
山崎洋一郎
佐伯诚司
藤原裕介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Publication of CN115516175A publication Critical patent/CN115516175A/zh
Application granted granted Critical
Publication of CN115516175B publication Critical patent/CN115516175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/005—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with signals other than visual, e.g. acoustic, haptic
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H04R5/023—Spatial or constructional arrangements of loudspeakers in a chair, pillow
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/50—Receiving or transmitting feedback, e.g. replies, status updates, acknowledgements, from the controlled devices
    • G08C2201/51—Remote controlling of devices based on replies, status thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Operation Control Of Excavators (AREA)
  • Stereophonic System (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本发明涉及能使远程操作作业机械的操作员得到的与作业机械的动作形态有关的识别结果接近操作员搭乘于作业机械时得到的与作业机械的动作形态有关的识别结果的装置等。在基于远程操作装置(20)的操作形态的检测结果，表现为第1构成元件(下部行驶体(410)、上部回转体(420))及第2构成元件(上部回转体(420)、铲斗(445)(作业部))的相对运动的情况下，控制在操作远程操作装置(20)的操作员用的远程操作空间中配置在各个不同位置的多个声学输出装置(2220)、(2221)及(2222)各自的声音输出形态。由此，使虚拟点声源(SP1)按照根据第2构成元件相对于第1构成元件的相对运动形态确定的指定位置轨道(位置的时间序列)(tr1)、(tr2)位移。

Description

远程操作支援装置及远程操作支援方法
技术领域
本发明涉及一种用于支援由液压挖掘机等作业机械的操作员进行的远程操作的技术。
背景技术
提出有一种由操作人员参照表示作业机械的作业状况的远程图像，并使用远程操作装置操作作业机械的技术(例如，参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2018-021395号公报
发明内容
发明要解决的技术问题
但是，在操作员使作业机械的上部回转体相对于下部行驶体进行回转动作的情况下，操作员通过远程图像而感受到的该回转动作的感觉与实际搭乘于该作业机械的情况相比通常较为微弱。因此，存在上部回转体的位置(方位)的控制精度降低，进而使用作业机械的作业的效率降低的可能性。
于是，本发明的目的在于提供一种装置等，能够使对作业机械进行远程操作的操作员所得到的与作业机械的动作形态有关的识别结果接近操作员搭乘于作业机械时该操作员所得到的与作业机械的动作形态有关的识别结果。
用于解决上述技术问题的方案
本发明的远程操作支援装置具备：状态检测元件，检测作业机械的动作状态或用于远程操作该作业机械的远程操作装置的操作形态；
点声源控制元件，在由所述状态检测元件检测出的所述作业机械的动作状态或所述远程操作装置的操作形态表现为构成所述作业机械的第2构成元件相对于构成所述作业机械的第1构成元件的相对运动的情况下，对多个声学输出装置的各自的声音输出形态进行控制，所述多个声学输出装置在操作所述远程操作装置的操作员用的远程操作空间中配置在各个不同位置，由此使虚拟点声源按照根据所述第2构成元件相对于所述第1构成元件的相对运动形态而确定的指定位置轨道位移。
发明效果
根据该构成的远程操作装置，能够基于对作业机械的动作状态或所述远程操作装置的操作形态的检测结果，判定是否表现为构成该作业机械的第1构成元件及第2构成元件的相对运动。
并且，在该判定结果为肯定的情况下，对在操作远程操作装置的操作员用的远程操作空间中配置在各个不同位置的多个声学输出装置的各自的声音输出形态进行控制，由此使虚拟点声源按照根据第2构成元件相对于第1构成元件的相对运动形态确定的指定位置轨道(位置的时间序列)位移。
由此，能够使作业机械的动作形态，具体而言，使处于远程操作空间的操作员对第1构成元件及第2构成元件的相对运动形态的识别结果接近在操作员搭乘于作业机械时的该操作员对第1构成元件及第2构成元件的相对运动形态的识别结果(即，使操作员识别作业机械的动作感觉)。
附图说明
图1是关于本发明的远程操作支援装置的构成的说明图。
图2是关于远程操作装置的构成的说明图。
图3是关于作业机械的构成的说明图。
图4是关于远程操作支援装置的第1功能的说明图。
图5是关于远程操作支援装置的第2功能的说明图。
图6是关于环境图像的显示形态的说明图。
图7A是关于作业机械的第1动作的说明图。
图7B是关于作业机械的第2动作的说明图。
图8是关于与作业机械的第1动作对应的虚拟点声源的位置控制形态的说明图。
图9是关于与作业机械的第1动作对应的虚拟点声源的位置控制形态的说明图。
图10是关于与作业机械的第2动作对应的虚拟点声源的位置控制形态的说明图。
具体实施方式
(远程操作支援***的构成)
图1所示的远程操作支援***由远程操作支援服务器10、和用于远程操作作业机械40的远程操作装置20构成。远程操作支援服务器10、远程操作装置20及作业机械40构成为可相互进行网络通信。远程操作支援服务器10及远程操作装置20的相互通信网络、远程操作支援服务器10及作业机械40的相互通信网络可以相同也可以不同。
此外，远程操作是指操作员在不搭乘于作业机械40的情况下从远离作业机械40的位置对作业机械40进行操作的概念。
此外，操作员是指操作远程操作装置20从而进行对作业机械40的操纵的人的概念。
(远程操作支援服务器的构成)
远程操作支援服务器10具备数据库102、第1支援处理元件121与第2支援处理元件122。数据库102存储保持拍摄图像数据等。数据库102也可以由独立于远程操作支援服务器10的数据库服务器构成。各支援处理元件由运算处理装置(单核处理器或多核处理器或者构成处理器的处理器内核)构成，从存储器等存储装置读取必要的数据及软件，以该数据为对象执行根据该软件的后述的运算处理。
(远程操作装置的构成)
远程操作装置20具备远程控制装置200、远程输入接口210与远程输出接口220。在本实施方式中，远程控制装置200构成本发明的“远程操作支援装置”。远程控制装置200具备状态检测元件201及点声源控制元件202。远程控制装置200及其构成元件由运算处理装置(单核处理器或多核处理器或者构成处理器的处理器内核)构成，从存储器等存储装置读取必要的数据及软件，以该数据为对象执行根据该软件的运算处理。
远程输入接口210具备远程操作机构211。远程输出接口220具备图像输出装置221、声学输出装置222与远程无线通信设备224。
远程操作机构211包含行驶用操作装置、回转用操作装置、动臂用操作装置、斗杆用操作装置与铲斗用操作装置。各操作装置具有接受转动操作的操作杆。操作行驶用操作装置的操作杆(行驶杆)以使作业机械40的下部行驶体410动作。行驶杆也可以兼作行驶踏板。例如，也可以设置有固定于行驶杆的基部或者下端部的行驶踏板。对回转用操作装置的操作杆(回转杆)进行操作，以使构成作业机械40的回转机构430的液压式的回转电动机动作。对动臂用操作装置的操作杆(动臂杆)进行操作，以使作业机械40的动臂油缸442动作。对斗杆用操作装置的操作杆(斗杆杆(arm lever))进行操作，以使作业机械40的斗杆油缸444动作。对铲斗用操作装置的操作杆(铲斗杆(bucket lever))进行操作，以使作业机械40的铲斗油缸446动作。
例如如图2所示，构成远程操作机构211的各操作杆配置在用于供操作员就座的座椅St的周围。座椅St是带扶手的高背椅那样的形态，也可以是没有头枕的低背椅那样的形态、或者是没有靠背的椅子那样的形态等操作员能够就座的任意形态的就座部。
在座椅St的前方左右并排地配置有与左右的履带对应的左右一对的行驶杆2110。一个操作杆也可以兼作多种操作杆。例如，图2所示的设置于座椅St的左侧框体的前方的左侧操作杆2111可以在沿前后方向操作的情况下作为斗杆杆发挥功能，且在沿左右方向操作的情况下作为回转杆发挥功能。同样地，图2所示的设置于座椅St的右侧框体的前方的右侧操作杆2112可以在沿前后方向操作的情况下作为动臂杆发挥功能，且在沿左右方向操作的情况下作为铲斗杆发挥功能。杆模式可以根据操作员的操作指示任意地变更。
例如如图2所示，图像输出装置221由分别配置在座椅St的前方、左斜前方及右斜前方的具有大致矩形状的画面的中央图像输出装置2210、左侧图像输出装置2211及右侧图像输出装置2212构成。中央图像输出装置2210、左侧图像输出装置2211及右侧图像输出装置2212的各自的画面(图像显示区域)的形状及尺寸可以相同也可以不同。
如图2所示，左侧图像输出装置2211的右缘与中央图像输出装置2210的左缘相邻，以使中央图像输出装置2210的画面及左侧图像输出装置2211的画面形成倾斜角度θ1(例如120°≤θ1≤150°)。如图2所示，右侧图像输出装置2212的左缘与中央图像输出装置2210的右缘相邻，以使中央图像输出装置2210的画面及右侧图像输出装置2212的画面形成倾斜角度θ2(例如120°≤θ2≤150°)。该倾斜角度θ1及θ2可以相同也可以不同。
中央图像输出装置2210、左侧图像输出装置2211及右侧图像输出装置2212的各自的画面可以相对于竖直方向平行，也可以相对于竖直方向倾斜。中央图像输出装置2210、左侧图像输出装置2211及右侧图像输出装置2212中的至少1个图像输出装置可以由分割成多个的图像输出装置构成。例如，中央图像输出装置2210可以由具有大致矩形状的画面的上下相邻的一对图像输出装置构成。
声学输出装置222由1个或多个扬声器构成，例如如图2所示，由分别配置在座椅St的后方、左扶手后部及右扶手后部的中央声学输出装置2220、左侧声学输出装置2221及右侧声学输出装置2222构成。中央声学输出装置2220、左侧声学输出装置2221及右侧声学输出装置2222的各自的规格可以相同也可以不同。
(作业机械的构成)
作业机械40具备实机控制装置400、实机输入接口41、实机输出接口42和工作机构440。实机控制装置400由运算处理装置(单核处理器或多核处理器或者构成处理器的处理器内核)构成，从存储器等存储装置读取必要的数据及软件，以该数据为对象执行根据该软件的运算处理。
如图3所示，作业机械40例如是履带式挖掘机(工程机械)，具备履带式的下部行驶体410、与经由回转机构430可回转地搭载于下部行驶体410的上部回转体420。在上部回转体420的前方左侧部设置有驾驶室424(司机室)。在上部回转体420的前方中央部设置有作业机构440。
实机输入接口41具备实机操作机构411、实机拍摄装置412与实机测位装置414。实机操作机构411具备多个操作杆，以与远程操作机构211同样的方式配置在驾驶室424的内部所配置的座椅的周围。在驾驶室424设置有驱动机构或者机器人，接收与远程操作杆的操作形态对应的信号，并基于该接收信号使实机操作杆动作。实机拍摄装置412例如设置在驾驶室424的内部，透过前窗及左右一对的侧窗对包含至少一部分工作机构440的环境进行拍摄。也可以省略前窗及侧窗中的一部分或者全部。实机测位装置414由GPS及根据需要的陀螺仪传感器等构成。
实机输出接口42具备实机无线通信设备422。
作为工作机构的作业机构440具备：动臂441，可起落地安装于上部回转体420；斗杆443，可转动地连结于动臂441的前端；铲斗445，可转动地连结于斗杆443的前端。在作业机构440安装有由可伸缩的液压油缸构成的动臂油缸442、斗杆油缸444及铲斗油缸446。
动臂油缸442介于该动臂441与上部回转体420之间，使得其通过接受工作油的供给而伸缩，从而使动臂441在起落方向转动。斗杆油缸444介于该斗杆443与该动臂441之间，使得其通过接受工作油的供给而伸缩，从而使斗杆443相对于动臂441绕水平轴转动。铲斗油缸446介于该铲斗445与该斗杆443之间，使得其通过接受工作油的供给而伸缩，从而使铲斗445相对于斗杆443绕水平轴转动。
(第1功能)
使用如图4所示的流程图对上述构成的作为远程操作支援装置的远程控制装置200的第1功能进行说明。在该流程图中，为了记载的简化而使用“C●”这样的框，表示数据的发送以及/或者接收，且表示以该数据的发送以及/或者接收为条件执行分支方向的处理的条件分支。
在远程操作装置20中，判定由操作员通过远程输入接口210进行的指定操作的有无(图4/步骤210)。例如，“指定操作”是用于指定操作员打算进行远程操作的作业机械40的、在远程输入接口210中的点击(tap)等操作。在该判定结果为否定的情况下(图4/步骤210‥否)，结束一系列的处理。另一方面，在该判定结果为肯定的情况下(图4/步骤210‥是)，通过远程无线通信设备224对远程操作支援服务器10发送环境确认请求(图4/步骤212)。
在远程操作支援服务器10中，在接收到环境确认请求的情况下，利用第1支援处理元件121对相应的作业机械40发送该环境确认请求(图4/C10)。
在作业机械40中，在通过实机无线通信设备422接收到环境确认请求的情况下(图4/C40)，实机控制装置400通过实机拍摄装置412获取拍摄图像(图4/步骤410)。由实机控制装置400通过实机无线通信设备422对远程操作支援服务器10发送表示该拍摄图像的拍摄图像数据(图4/步骤412)。
在远程操作支援服务器10中，在由第1支援处理元件121接收到拍摄图像数据的情况下(图4/C11)，利用第2支援处理元件122对远程操作装置20发送与拍摄图像对应的环境图像数据(图4/步骤110)。环境图像数据除了是拍摄图像数据本身之外，还是表示基于拍摄图像生成的模拟的环境图像的图像数据。
在远程操作装置20中，在通过远程无线通信设备224接收到环境图像数据的情况下(图4/C21)，由远程控制装置200将与环境图像数据对应的环境图像输出至图像输出装置221(图4/步骤214)。
由此，例如如图6所示，将映有作为作业机构440的一部分的动臂441、斗杆443及铲斗445的环境图像输出至图像输出装置221。
在远程操作装置20中，通过远程控制装置200来识别远程操作机构211的操作形态(图4/步骤216)，且通过远程无线通信设备224对远程操作支援服务器10发送与该操作形态对应的远程操作指令(图4/步骤218)。
在远程操作支援服务器10中，在由第2支援处理元件122接收到该远程操作指令的情况下，由第1支援处理元件121对作业机械40发送该远程操作指令(图4/C12)。
在作业机械40中，由实机控制装置400通过实机无线通信设备422接收到操作指令的情况下(图4/C41)，控制作业机构440等的动作(图4/步骤414)。例如，执行由铲斗445将作业机械40前方的土铲起、在使上部回转体420回转后将土从铲斗445倒落的作业。
使用如图5所示的流程图对上述构成的作为远程操作支援装置的远程控制装置200的第2功能进行说明。
在远程控制装置200中，由状态检测元件201识别远程操作机构211的操作形态(图5/步骤220)。其为与图4/步骤216相同的处理。也可以取而代之地由状态检测元件201基于与作业机械40的通信，识别或检测该作业机械40的动作状态。
由状态检测元件201判定该操作形态是否为用于使上部回转体420(第2构成元件)相对于下部行驶体410(第1构成元件)回转的回转杆的操作形态(图5/步骤221)。在判定为该操作形态是如图7A所示用于使上部回转体420相对于下部行驶体410回转的操作形态的情况下(图5/步骤221‥是)，由点声源控制元件202控制声学输出装置222的声学输出形态，使得虚拟点声源的位置按照第1指定位置轨道位移(图5/步骤222)。
由此，例如如图8所示，虚拟点声源SP1按照以包围操作员的远程操作区(座椅St)的环状(例如圆环状或椭圆环状)延伸的第1指定位置轨道tr1位移。第1指定位置轨道tr1也可以沿相对于驾驶室424的地板平行的平面(横截面)或倾斜的平面延伸，也可以沿球面、椭圆球面或波面等曲面延伸。该平面或曲面的高度位置也可以调节为处于标准的操作员的耳朵的高度位置的范围内。
例如，可将上部回转体420相对于下部行驶体410的回转角速度(相对运动速度)为0时虚拟点声源SP1的基准点的位置调节为位于远程操作区的后方或正后方。将虚拟点声源SP1的位移方向控制为与上部回转体420相对于下部行驶体410的的回转方向相同的方向，且将虚拟点声源SP1的位移角速度控制为与上部回转体420的回转角速度相同。由此，在远程操作机构211的操作形态是用于使上部回转体420相对于下部行驶体410(从上方观察时)从时刻t＝t0到时刻t＝t1以角速度ω(t)向逆时针方向回转角度θ的操作形态的情况下，虚拟点声源SP1以按照第1指定位置轨道tr1从时刻t＝t0到时刻t＝t1以角速度ω(t)向逆时针方向回转角度θ的方式位移。
如图9所示，第1指定位置轨道tr1也可以以偏置于操作员的远程操作空间的后方的方式延伸。在该情况下，虚拟点声源SP1能够按照偏置于远程操作空间的前部的后方侧的指定位置轨道进行位移。由此，能够在不削减操作员向前方的注意的情况下使操作员识别作业机械40的动作感觉。
另一方面，在判定为该操作形态不是用于使上部回转体420相对于下部行驶体410回转的操作形态的情况下(图5/步骤221‥否)，由状态检测元件201判定该操作形态是否为用于使作为作业部的铲斗445(第2构成元件)相对于上部回转体420(第1构成元件)位移的斗杆杆等的操作形态(图5/步骤223)。在判定为该操作形态是用于使作为作业部的铲斗445(第2构成元件)相对于上部回转体420(第1构成元件)位移的斗杆杆等的操作形态的情况下(图5/步骤223‥是)，由点声源控制元件202控制声学输出装置222的声学输出形态，使得虚拟点声源的位置按照第2指定位置轨道位移(图5/步骤224)。在该判定结果为否定的情况下(图5/步骤223‥否)，结束一系列的处理。
由此，例如如图10所示，虚拟点声源SP1按照在操作员的远程操作区(座椅St)的后方且向上方延伸的第2指定位置轨道tr2位移。第2指定位置轨道tr2也可以沿相对于驾驶室424的地板垂直的平面(矢状面)或倾斜的平面延伸，也可以沿球面、椭圆球面或波面等曲面延伸。该平面或曲面也可以调节为处于标准的操作员的头部的位置的范围内。
例如，将在铲斗445相对于上部回转体420的位移速度(相对运动速度)为0时的虚拟点声源SP1的基准点的位置调节为位于远程操作区域的后方或正后方。将虚拟点声源SP1的位移方向控制为与铲斗445相对于上部回转体420的运动方向相同的方向，并且将虚拟点声源SP1的位移速度控制为与铲斗445的位移速度成正比。由此，在操作机构211的操作形态是用于使铲斗445相对于上部回转体420从时刻t＝t1到时刻t＝t2以位移速度v(t)下降下降量Δ的操作形态的情况下，虚拟点声源SP1以按照第2指定位置轨道tr2从时刻t＝t1到时刻t＝t2以位移速度γv(t)下降与下降量Δ成正比的量γΔ的方式位移。
(效果)
根据构成该构成的远程操作支援装置的远程控制装置200，能够基于对远程操作装置20的操作形态的检测结果，判断是否表现为构成作业机械40的第1构成元件(下部行驶体410、上部回转体420)及第2构成元件(上部回转体420、铲斗445(作业部))的相对运动(参照图5/步骤221、步骤223)。
并且，在该判定结果为肯定的情况下，对多个声学输出装置2220、2221及2222的各自的声音输出形态进行控制，多个声学输出装置2220、2221及2222在操作远程操作装置20的操作员用的远程操作空间中配置在各个不同位置，由此使虚拟点声源SP1按照根据第2构成元件相对于第1构成元件的相对运动形态确定的指定位置轨道(位置的时间序列)tr1、tr2位移(参照图5/步骤221‥是→步骤222、步骤223‥是→步骤224、图8～图10)。
由此，能够使作业机械40的动作形态，具体而言，使处于远程操作空间中的操作员对第1构成元件及第2构成元件的相对运动形态的识别结果接近在操作员搭乘于作业机械40(或其驾驶室424)时的该操作员对第1构成元件及第2构成元件的相对运动形态的识别结果。
当虚拟点声源SP1位移时，在第2构成元件相对于第1构成元件的相对运动速度为0时，将虚拟点声源SP1的位置控制在预先确定的基准点的位置。由于在第2构成元件相对于第1构成元件的相对运动速度为0时虚拟点声源SP1的位置不会有偏差，因此操作员能够一致地识别作业机械40的动作感觉。通过使基准点在远程操作空间中位于操作员的后方，虚拟点声源SP1从处于操作员的后方的基准点位移，能够在不削减操作员向前方的注意的情况下使操作员识别作业机械40的动作感觉。
(本发明的其他实施方式)
在上述实施方式中，远程操作支援装置由远程控制装置200构成，但作为其他实施方式，远程操作支援装置也可以由远程操作支援服务器10构成，第1支援处理元件121以及/或者第2支援处理元件122也可以作为状态检测元件201以及/或者点声源控制元件202发挥功能。
在点声源控制元件202使虚拟点声源SP1位移时，可以使虚拟点声源SP1的声音的频率分布及音量中的至少一方变化。
根据该构成的远程操作支援装置，除了虚拟点声源SP1按照根据作业机械40的第2构成元件相对于作业机械40的第1构成元件的相对运动形态而确定的指定位置轨道位移以外，该虚拟点声源的声音的频率分布以及/或者音量发生变化。由此，能够通过虚拟点声源更明确地引起处于远程操作空间的操作员的注意，从而能够使操作员更明确地识别该虚拟点声源的位置以及/或者位移形态。并且，能够使操作员对第1构成元件及第2构成元件的相对运动形态的识别结果接近在操作员搭乘于作业机械40时的该操作员对第1构成元件及第2构成元件的相对运动形态的识别结果。
点声源控制元件202可以在虚拟点声源SP1的位移速度越高时，随之将该虚拟点声源SP1的声音的频率分布控制在高频侧，附加或者取而代之地使音量增加来进行控制。
根据该构成的远程操作支援装置，除了虚拟点声源SP1按照根据作业机械40的第2构成元件相对于作业机械40的第1构成元件的相对运动形态而确定的指定位置轨道tr1、tr2位移以外，还可根据该位移速度的高低以该虚拟点声源SP1的声音的频率分布向高频率侧或低频率侧移动的方式进行调节，并且/或者调节音量的大小。由此，能够利用虚拟点声源更明确地引起处于远程操作空间的操作员的注意，基于频率等的差异使操作员更明确地识别该虚拟点声源的特别是位移形态。并且，能够使操作员对第1构成元件及第2构成元件的相对运动形态的识别结果接近在操作员搭乘于作业机械40时的该操作员对第1构成元件及第2构成元件的相对运动形态的识别结果。
优选为，在本发明的远程操作支援装置中，
在所述点声源控制元件使所述虚拟点声源位移时，使所述虚拟点声源的声音的频率分布及音量中的至少一方变化。
根据该构成的远程操作支援装置，除了虚拟点声源S按照根据第2构成元件相对于第1构成元件的相对运动形态而确定的指定位置轨道位移以外，该虚拟点声源的声音的频率分布以及/或者音量发生变化。由此，能够通过虚拟点声源更明确地引起处于远程操作空间的操作员的注意，从而能够使操作员更明确地识别该虚拟点声源的位置以及/或者位移形态。并且，能够使操作员对第1构成元件及第2构成元件的相对运动形态的识别结果进一步接近在操作员搭乘于作业机械时的该操作员对第1构成元件及第2构成元件的相对运动形态的识别结果。
优选为，在本发明的远程操作支援装置中，
所述点声源控制元件在所述虚拟点声源的位移速度越高时，随之将该虚拟点声源的声音的频率分布控制在高频侧，附加或者取而代之地使音量增加来进行控制。
根据该构成的远程操作支援装置，除了虚拟点声源按照根据第2构成元件相对于第1构成元件的相对运动形态而确定的指定位置轨道tr1、tr2位移以外，还可根据该位移速度的高低以该虚拟点声源的声音的频率分布向高频率侧或低频率侧移动的方式进行调节，并且/或者调节音量的大小。由此，能够利用虚拟点声源更明确地引起处于远程操作空间的操作员的注意，基于频率等的差异使操作员更明确地识别该虚拟点声源的特别是位移形态。并且，能够使操作员对第1构成元件及第2构成元件的相对运动形态的识别结果进一步接近在操作员搭乘于作业机械时的该操作员对第1构成元件及第2构成元件的相对运动形态的识别结果。
优选为，在本发明的远程操作支援装置中，
所述点声源控制元件在由所述状态检测元件检测出的所述作业机械的动作状态或所述远程操作装置的操作形态表现为作为所述第2构成元件的上部回转体相对于作为所述第1构成元件的下部行驶体的回转运动的情况下，使虚拟点声源按照根据所述上部回转体相对于所述下部行驶体的回转速度确定的、在所述远程操作空间中以部分包围操作员的方式以曲线状延伸的指定位置轨道位移。
根据该构成的远程操作支援装置，能够使位于远程操作空间的操作员对上部回转体(第2构成元件)相对于下部行驶体(第1构成元件)的回转动作的识别结果接近操作员搭乘于作业机械时的该操作员对上部回转体相对于下部行驶体的回转动作的识别结果。
优选为，在本发明的远程操作支援装置中，
所述点声源控制元件在由所述状态检测元件检测出的所述作业机械的动作状态或所述远程操作装置的操作形态表现为作为所述第2构成元件的作业机构的作业部相对于作为所述第1构成元件的上部回转体的相对运动的情况下，使虚拟点声源按照与所述作业部相对于所述上部回转体的相对运动形态相对应的指定位置轨道位移。
根据该构成的远程操作支援装置，能够使位于远程操作空间的操作员对作业部(第2构成元件)相对于上部回转体(第1构成元件)的相对动作形态的识别结果接近操作员搭乘于作业机械时的该操作员对作业部相对于上部回转体的相对动作形态的识别结果。
优选为，在本发明的远程操作支援装置中，
所述点声源控制元件使所述虚拟点声源位移时，在所述第2构成元件相对于所述第1构成元件的相对运动速度为0时，使所述虚拟点声源位于预先确定的基准点。
根据该构成的远程操作支援装置，在第2构成元件相对于第1构成元件的相对运动速度为0(零)时，虚拟点声源位于基准点，若相对运动速度变得大于0，则通过以与该相对运动速度对应的速度从基点位移的方式进行调节。在第2构成元件相对于第1构成元件的相对运动速度为0时，虚拟点声源返回基准点，虚拟点声源的位置不会有偏差，因此操作员能够一致地识别作业机械的动作感觉。
优选为，在本发明的远程操作支援装置中，
所述点声源控制元件使所述基准点在所述远程操作空间中位于操作员的后方。
根据该构成的远程操作支援装置，虚拟点声源从处于操作员的后方的基准点位移，能够在不削减操作员向前方的注意的情况下使操作员识别作业机械的动作感觉。
优选为，在本发明的远程操作支援装置中，
所述点声源控制元件使所述虚拟点声源按照在所述远程操作空间中偏置于操作员的后方的所述指定位置轨道位移。
根据该构成的远程操作支援装置，虚拟点声源能够按照比远程操作空间的前部偏置于后方侧的指定位置轨道位移。由此，能够在不削减操作员向前方的注意的情况下使操作员识别作业机械的动作感觉。
附图标记说明
10 远程操作支援服务器
20 远程操作装置
40 作业机械
102 数据库
121 第1支援处理元件
122 第2支援处理元件
200 远程控制装置(远程操作支援装置)
201 状态检测元件
202 点声源控制元件
210 远程输入接口
211 远程操作机构
220 远程输出接口
221 图像输出装置
222 声学输出装置
400 实机控制装置
41 实机输入接口
42 实机输出接口
424 驾驶室(司机室)
440 作业机构(工作机构)
445 铲斗(作业部)
tr1 第1指定位置轨道
tr2 第2指定位置轨道
SP1 虚拟点声源。

Claims (9)

1.一种远程操作支援装置，其特征在于，具备：
状态检测元件，检测作业机械的动作状态或用于远程操作该作业机械的远程操作装置的操作形态；
点声源控制元件，在由所述状态检测元件检测出的所述作业机械的动作状态或所述远程操作装置的操作形态表现为构成所述作业机械的第2构成元件相对于构成所述作业机械的第1构成元件的相对运动的情况下，对多个声学输出装置的各自的声音输出形态进行控制，所述多个声学输出装置在操作所述远程操作装置的操作员用的远程操作空间中配置在各个不同位置，由此使虚拟点声源按照根据所述第2构成元件相对于所述第1构成元件的相对运动形态而确定的指定位置轨道位移。
2.如权利要求1所述的远程操作支援装置，其特征在于，
在所述点声源控制元件使所述虚拟点声源位移时，使所述虚拟点声源的声音的频率分布及音量中的至少一方变化。
3.如权利要求2所述的远程操作支援装置，其特征在于，
所述点声源控制元件在所述虚拟点声源的位移速度越高时，随之将该虚拟点声源的声音的频率分布控制在高频侧，附加或者取而代之地使音量增加来进行控制。
4.如权利要求1～3的任一项所述的远程操作支援装置，其特征在于，
所述点声源控制元件在由所述状态检测元件检测出的所述作业机械的动作状态或所述远程操作装置的操作形态表现为作为所述第2构成元件的上部回转体相对于作为所述第1构成元件的下部行驶体的回转运动的情况下，使虚拟点声源按照根据所述上部回转体相对于所述下部行驶体的回转速度确定的、在所述远程操作空间中以部分包围操作员的方式以曲线状延伸的指定位置轨道位移。
5.如权利要求1～4的任一项所述的远程操作支援装置，其特征在于，
所述点声源控制元件在由所述状态检测元件检测出的所述作业机械的动作状态或所述远程操作装置的操作形态表现为作为所述第2构成元件的作业机构的作业部相对于作为所述第1构成元件的上部回转体的相对运动的情况下，使虚拟点声源按照与所述作业部相对于所述上部回转体的相对运动形态对应的指定位置轨道位移。
6.如权利要求1～5的任一项所述的远程操作支援装置，其特征在于，所述点声源控制元件使所述虚拟点声源位移时，在所述第2构成元件相对于所述第1构成元件的相对运动速度为0时，使所述虚拟点声源位于预先确定的基准点。
7.如权利要求6所述的远程操作支援装置，其特征在于，
所述点声源控制元件使所述基准点在所述远程操作空间中位于操作员的后方。
8.如权利要求1～7的任一项所述的远程操作支援装置，其特征在于，
所述点声源控制元件使所述虚拟点声源按照在所述远程操作空间中偏置于操作员的后方的所述指定位置轨道位移。
9.一种远程操作支援方法，其特征在于，包括：
状态检测工序，检测作业机械的动作状态或用于远程操作该作业机械的远程操作装置的操作形态；
点声源控制工序，在所述状态检测工序中检测出的所述作业机械的动作状态或所述远程操作装置的操作形态表现为构成所述作业机械的第2构成元件相对于构成所述作业机械的第1构成元件的相对运动的情况下，对多个声学输出装置的各自的声音输出形态进行控制，所述多个声学输出装置在操作所述远程操作装置的操作员用的远程操作空间中配置在各个不同位置，由此使虚拟点声源按照根据所述第2构成元件相对于所述第1构成元件的相对运动形态而确定的指定位置轨道位移。
CN202180033763.4A 2020-05-14 2021-04-28 远程操作支援装置及远程操作支援方法 Active CN115516175B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-085086 2020-05-14
JP2020085086A JP7367606B2 (ja) 2020-05-14 2020-05-14 遠隔操作支援装置および遠隔操作支援方法
PCT/JP2021/017092 WO2021230090A1 (ja) 2020-05-14 2021-04-28 遠隔操作支援装置および遠隔操作支援方法

Publications (2)

Publication Number Publication Date
CN115516175A true CN115516175A (zh) 2022-12-23
CN115516175B CN115516175B (zh) 2024-04-09

Family

ID=78511168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180033763.4A Active CN115516175B (zh) 2020-05-14 2021-04-28 远程操作支援装置及远程操作支援方法

Country Status (5)

Country Link
US (1) US20230128501A1 (zh)
EP (1) EP4130400A4 (zh)
JP (1) JP7367606B2 (zh)
CN (1) CN115516175B (zh)
WO (1) WO2021230090A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114787453B (zh) * 2019-12-19 2023-07-25 神钢建机株式会社 远程操作装置及远程操作***
KR102671956B1 (ko) * 2022-12-06 2024-06-05 주식회사 라온에이엔씨 인터콤용 실감음향 오디오출력장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05221338A (ja) * 1991-03-06 1993-08-31 Sumitomo Constr Mach Co Ltd 建設機械の走行操作方法
JP2004076352A (ja) * 2002-08-14 2004-03-11 Hitachi Constr Mach Co Ltd 建設機械の操作装置
DE102013209279A1 (de) * 2013-05-21 2014-11-27 Zf Friedrichshafen Ag Eine Vorrichtung und ein Verfahren zum Erzeugen eines Steuersignals zur Steuerung einer Arbeitsmaschine
CN108291391A (zh) * 2015-12-25 2018-07-17 株式会社小松制作所 作业车辆以及显示控制方法
JP2019065660A (ja) * 2017-10-04 2019-04-25 株式会社小松製作所 作業機械制御装置および制御方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0675622A (ja) * 1992-08-27 1994-03-18 Fujita Corp 作業車の遠隔制御装置
JPH0849261A (ja) * 1994-08-08 1996-02-20 Yotaro Hatamura 作業機の操作用仮想音生成装置
JP3545840B2 (ja) * 1995-06-13 2004-07-21 日立建機株式会社 作業機の操作用仮想音生成装置
JP6732361B2 (ja) * 2015-10-09 2020-07-29 住友重機械工業株式会社 ショベル操作装置、ショベル操作方法、ショベル、及びショベル操作用プログラム
JP6706171B2 (ja) 2016-08-04 2020-06-03 日立建機株式会社 建設機械の遠隔操作システム
JP6885212B2 (ja) * 2017-06-20 2021-06-09 コベルコ建機株式会社 建設機械遠隔操作システム
US10770089B2 (en) * 2018-05-10 2020-09-08 Caterpillar Inc. Sound dampening and pass through filtering

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05221338A (ja) * 1991-03-06 1993-08-31 Sumitomo Constr Mach Co Ltd 建設機械の走行操作方法
JP2004076352A (ja) * 2002-08-14 2004-03-11 Hitachi Constr Mach Co Ltd 建設機械の操作装置
DE102013209279A1 (de) * 2013-05-21 2014-11-27 Zf Friedrichshafen Ag Eine Vorrichtung und ein Verfahren zum Erzeugen eines Steuersignals zur Steuerung einer Arbeitsmaschine
CN108291391A (zh) * 2015-12-25 2018-07-17 株式会社小松制作所 作业车辆以及显示控制方法
JP2019065660A (ja) * 2017-10-04 2019-04-25 株式会社小松製作所 作業機械制御装置および制御方法

Also Published As

Publication number Publication date
JP7367606B2 (ja) 2023-10-24
CN115516175B (zh) 2024-04-09
EP4130400A4 (en) 2023-09-13
WO2021230090A1 (ja) 2021-11-18
JP2021179124A (ja) 2021-11-18
EP4130400A1 (en) 2023-02-08
US20230128501A1 (en) 2023-04-27

Similar Documents

Publication Publication Date Title
JP7151392B2 (ja) 建設機械の遠隔操作装置
CN115516175B (zh) 远程操作支援装置及远程操作支援方法
WO2020090985A1 (ja) 表示制御システムおよび表示制御方法
CN117468520A (zh) 挖土机及施工***
US11993922B2 (en) Remote operation system
JP7441733B2 (ja) 実機状態監視システムおよび実機状態監視方法
JP2023040971A (ja) 遠隔操作支援装置、遠隔操作支援システムおよび遠隔操作支援方法
JP7296713B2 (ja) 表示制御システム、表示制御方法および遠隔操作システム
WO2021166475A1 (ja) 遠隔操作装置、遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
US20220298748A1 (en) Remote operation support system and remote operation support method
EP4063571A2 (en) Image capturing function control system and image capturing function control method
WO2023100533A1 (ja) 画像表示システム、遠隔操作支援システムおよび画像表示方法
WO2023136070A1 (ja) 遠隔操作支援システムおよび遠隔操作支援方法
WO2023026568A1 (ja) 遠隔操作システムおよび遠隔操作複合システム
WO2021106280A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
WO2021240957A1 (ja) 遠隔操作支援装置、遠隔操作支援システム及び遠隔操作支援方法
JP2023176917A (ja) 遠隔操作支援システムおよび遠隔操作装置
JP2023032997A (ja) 遠隔操作システム
JP2024068678A (ja) 作業機械及び情報処理装置
CN117043732A (zh) 远程操作支援服务器及远程操作支援***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant