CN109311639B - 用于起重机、施工机械和/或托盘搬运车的遥控装置 - Google Patents

用于起重机、施工机械和/或托盘搬运车的遥控装置 Download PDF

Info

Publication number
CN109311639B
CN109311639B CN201780024872.3A CN201780024872A CN109311639B CN 109311639 B CN109311639 B CN 109311639B CN 201780024872 A CN201780024872 A CN 201780024872A CN 109311639 B CN109311639 B CN 109311639B
Authority
CN
China
Prior art keywords
remote control
machine
control device
crane
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780024872.3A
Other languages
English (en)
Other versions
CN109311639A (zh
Inventor
迈克尔·帕伯格
于尔根·雷施
奥利弗·芬克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liebherr Werk Biberach GmbH
Original Assignee
Liebherr Components Biberach GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liebherr Components Biberach GmbH filed Critical Liebherr Components Biberach GmbH
Publication of CN109311639A publication Critical patent/CN109311639A/zh
Application granted granted Critical
Publication of CN109311639B publication Critical patent/CN109311639B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/05—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles the view from a vehicle being simulated
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/40—Applications of devices for transmitting control pulses; Applications of remote control devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/46—Position indicators for suspended loads or for crane elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/52—Details of compartments for driving engines or motors or of operator's stands or cabins
    • B66C13/54—Operator's stands or cabins
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/16—Cabins, platforms, or the like, for drivers
    • E02F9/166—Cabins, platforms, or the like, for drivers movable, tiltable or pivoting, e.g. movable seats, dampening arrangements of cabins
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2004—Control mechanisms, e.g. control levers
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/16—Ambient or aircraft conditions simulated or indicated by instrument or alarm
    • G09B9/165—Condition of cabin, cockpit or pilot's accessories

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Control And Safety Of Cranes (AREA)
  • Processing Or Creating Images (AREA)
  • Jib Cranes (AREA)
  • Forklifts And Lifting Vehicles (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种用于起重机、用于施工机械和/或用于托盘搬运车的遥控装置，包括：控制台，该控制台具有至少一个用于输入控制命令的输入装置，并且具有用于将输入控制命令传输到起重机、施工机械或托盘搬运车的控制装置的传输装置；显示装置，该显示装置用于显示机械周围环境和/或作业设备(例如吊臂或吊钩)的表示，其中提供用于根据输入控制命令确定机械部件的运动和/或变形的运动确定单元。提出呈现对在控制台输入的控制命令的起重机反应或机械反应，例如以起重机运动和/或起重机变形的形式，不仅以显示装置上的表示形式，而且将它们转换成遥控装置的控制台的实际运动伴随起重机反应或机械反应，以允许遥控用户更真实地将动态机械反应传达给他并更真实地体验它们。

Description

用于起重机、施工机械和/或托盘搬运车的遥控装置
本发明涉及一种用于起重机、施工机械和/或托盘搬运车的遥控装置，包括：控制台，该控制台具有至少一个用于输入控制命令的输入装置，并且具有用于将输入的控制命令传输到起重机、施工机械或托盘搬运车的控制装置的信号传输装置；显示装置，该显示装置用于显示机械周围环境和/或作业设备(例如吊臂或吊钩)的表示，其中提供用于根据输入控制命令确定机械部件的运动和/或位移的运动确定单元。
起重机和类似的大型单元(如打桩和钻井平台、露天采矿机或缆索操作的挖掘机)在操作和控制方面非常复杂。在这种情况下，不仅是多个控制功能及其相互作用以及作为整体相当复杂的伴随输入装置(例如操纵杆、脚踏板和控制开关)都是问题，而且机械结构的对致动驱动装置的运动的通常是不***台上，因此起重机操作员或机械操作员不确定他是否在这里没有经历关于控制程序的典型起重机反应。
这种缺失的起重机反应和通常真实性的缺乏在起重机和施工机械或托盘搬运车的遥控中特别是个问题，所述问题使得遥控机械操作员不确定。例如，如果起重机是遥控的，那么远程操作员通常不会感受到能使其直观地感受到在起重机操作员驾驶室中正确或不正确控制的直接控制的典型起重机反应。
为了使遥控更加逼真，已经考虑使用近似实际的控制台，该控制台例如可以对应于相应起重机类型的起重机操作员驾驶室并且可以通过诸如操纵杆、踏板、控制开关或触摸屏之类的设置的输入装置来具有控制命令。此外，在显示装置上显示从控制台可见的起重机周围环境和起重机部件(例如吊臂和吊钩)的真实或虚拟表示，如已知的那样，该显示装置可包括布置在控制台的视野中的多个屏幕，其中“真实”表示能够由遥控机械处的相机提供，并且起重机周围环境和起重机部件的虚拟表示能够通过图形仿真模型根据输入控制命令来计算。
例如，从文献DE 10 2012 216 489 A1中已知一种用于起重机的遥控***，其中该已知的遥控应该能够用于不同类型的作业机械。遥控设置有选择机构，该选择机构允许根据连接的作业机械的配置减少遥控的显示器的操作和选择菜单的数量。然而，在该遥控中以上述方式缺乏足够的真实感，这也很难通过使操作菜单适应相应的作业机械来改善。
例如，从文献DE 10 2013 011 818 A1中已知一种与起重机周围环境的虚拟表示一起作业的起重机模拟器。在那里提供起重机操作员驾驶室作为具有相应输入装置的控制台，其中模拟起重机操作员驾驶室的观察窗或玻璃窗被替换为屏幕，在该屏幕上示出了起重机周围环境的虚拟表示。此外，控制和驱动部件的动态行为也应该通过技术模拟模块在屏幕表示中进行模拟和考虑，这里全部示出了在特定的起重机运动中发生的起重机部件(例如提升缆索)的调整运动。
从这一点出发，本发明的根本目的是提供一种改进的最初提到类型的遥控装置，它避免了现有技术的缺点，并以有利的方式进一步发展了现有技术。应该特别实现起重机操作或机械操作的更真实的模拟，其更好地传达实际的起重机行为或机械行为并且使得遥控能力更可靠。
根据本发明，通过根据权利要求1的遥控装置实现所述目的。本发明的优选实施例是从属权利要求的主题。
因此，建议将起重机反应或机械反应呈现给在控制台输入的控制命令，例如以起重机运动和/或起重机变形的形式，不仅以显示装置上的表示形式，而且将它们转换成伴随起重机反应或机械反应的遥控控制台的实际运动，以允许遥控用户更真实地将动态机械反应传达给他并更真实地体验它们。为此目的，例如可以包括操作员座椅的控制台不再以静态刚性方式安装在空间或地板中，而是可以通过驱动装置在空间中移动。根据本发明，遥控装置的控制台可移动地支撑并且可通过驱动装置根据由运动确定模块确定的运动和/或机械部件的变形而移动。如果运动确定模块确定由于会对实际起重机操作员驾驶室的位置产生影响的调节运动或变形引起的机械部件(例如起重机塔架)的偏转，则驱动装置相应地由驱动控制装置控制以模拟起重机操作员驾驶室的运动并相应地移动控制台。例如，如果在控制台输入使起重机绕直立轴线旋转的命令，则控制命令相应地通过驱动装置绕直立轴线旋转。例如，如果输入提升重载的控制命令，该控制命令实际上可能导致起重机结构略微俯仰而塔的轻微扭转，则控制台稍微向前移动和/或通过驱动装置向前倾斜一点。
为了能够尽可能真实地模拟在实际操作中发生的控制台运动，驱动装置可以配置为可在多个轴线上移动和/或可以执行旋转和平移运动。控制台尤其可以可移动地支撑在多个轴线上，并且驱动装置可以包括至少一个直立的旋转轴线和至少一个水平变幅轴线和/或两个水平对齐的平移轴线。为了能够模拟复杂的控制台运动，驱动装置可以具有三个旋转或倾斜轴线，或者可以配置为在三个轴线上旋转地作业并且在三个轴线上平移地作业，使得控制台可以关于所有三个空间轴线旋转或倾斜并且可以在所有三个空间方向上平移行进。根据待模拟的起重机类型或机械类型，还可以考虑具有较少运动轴线的驱动装置的更简单的配置。
在本发明的有利的进一步发展中，遥控装置可以连接到不同的单元，特别是连接到不同的单元类型，并且可以与相应的所选单元建立控制通信。这种单元尤其可以是在施工工地上使用的不同设备(例如起重机、挖掘机、履带式车辆或类似机械)，但也可以是在不同位置使用的单元。根据要遥控的单元，可以通过遥控装置和/或相应的单元建立控制通信连接，这是例如通过选择相应的IP地址(如果连接是通过网络进行的话)也可以是通过不同的方式。为了在遥控装置和机械之间实现足够快速的数据通信，有利地选择高带宽的通信链路，以避免实时问题或控制命令与机械反应之间的时间延迟。
为了能够逼真地映射不同机械类型的机械反应，在本发明的进一步发展中，遥控装置可以具有配置模块，通过该配置模块可以选择性地为需要遥控的相应机械类型预先配置遥控装置。所述预配置装置可以以本身已知的方式调整控制杆和控制按钮的分配以及对相应单元的致动菜单和屏幕表示的选择。然而，特别是还可以提供用于机械反应的运动控制和/或映射的预配置装置，通过该预配置装置，用于移动控制台的驱动装置可以被重新配置并适应于相应机械类型的机械反应，因为例如顶部回转式旋转塔式起重机的反应不同于底部回转式旋转塔式起重机，进而伸缩式变幅起重机的反应与旋转塔式起重机或挖掘机的反应不同于起重机。特别地，可以通过所述配置装置重新配置运动确定模块的作业参数和/或边际参数，使得运动确定模块根据所选择的机械类型确定与相应机械类型匹配的机械部件的运动和/或变形。通过控制具有以这种方式适配的运动参数的驱动装置，可以产生控制台的真实反应。
配置模块还可以具有预配置装置，该预配置装置用于适配显示装置和机械周围环境和/或作业设备的在该显示装置上再现的表示，其中所述预配置装置可以优选地使表示和/或显示装置适应于在相应的遥控机械类型中存在或可用的相机，和/或，如果虚拟地计算表示，则可以将用于计算虚拟表示的参数适配到相应的机械类型。
所述运动确定模块通常可以具有不同的设计。运动确定模块可以例如借助于合适的传感器***检测遥控机械的真实反应，其中相应的传感器信号能够被传输到遥控装置，然后相应地致动或控制其控制台。遥控机械的这种真实机械反应的检测可以例如包括检测运动(例如吊车的行走路径、起重机的提升绳索的向上和向下游隙等)。然而，尤其也可以例如借助于相应的倾斜仪和/或加速度计来检测遥控机械的结构的变形(例如由于塔架变形所造成的起重机操作员驾驶室的俯仰运动)。
然而，作为检测真实遥控机械的运动和/或变形的替代或补充，运动确定模块也可以按照机械部件的运动和/或变形的形式模拟对输入控制命令的所述反应，并且可以具有为此目的的相应模拟模块，该模拟模块根据输入控制命令计算相应的反应运动和/或反应变形，和/或可以借助于属于模拟模块的控制部件和/或运动部件来映射和测量它们。这种模拟可以避免遥控装置的控制台和遥控机械之间的时间偏移问题，特别是具有较慢的通信连接或具有其他距离路径。
如果遥控装置可以以上述方式用于不同的机械类型，则配置模块可以使用于模拟运动和/或变形的计算参数和/或计算算法适应于相应的所选机械类型。关于要遥控的不同机械的动态分组或数据集和算法集尤其可以从数据库读入模拟模块，以便能够适当地模拟各个所选机械的运动和变形。所述动态数据包的读取可以在此从数据库在线进行。可替代地或另外地，模拟模块本身也可以设置有存储器装置，该存储器装置中以库的方式存储不同的数据集和算法集。
在本发明的进一步发展中，混合形式也是可能的，其中一些反应在真实的遥控机械上被检测到，并且一些其他反应由模拟模块确定。
根据另一方面，运动确定模块被配置成使得起重机结构或机械结构不被认为是刚性结构(即无限硬质结构)，而是被认为是可弹性变形的和/或屈服的和/或相对柔软的结构，这种结构允许由于结构部件的变形而导致的运动和/或位置变化-除了机械的调节运动轴线(例如吊臂变幅轴线或塔架回转轴线)之外。考虑到在负载下或在动态负载下结构变形导致的机械结构的可移动性对于狭长、细长和故意最大化的结构(例如起重机)在静态和动态条件方面尤其重要-同时考虑到所需的安全性能-因为这里明显的运动部分(例如起重机操作员的驾驶室)以及吊钩位置也会由于结构元件的变形而发生。为了能够在此实现实际的真实教学或真实训练，运动确定模块在静态或动态负载下考虑机械结构的这种变形。
用于确定这种结构变形的确定装置尤其可以包括计算单元，该计算单元根据在控制台输入的控制命令基于存储的计算模型计算这些结构变形。这样的模型可以具有与有限元模型类似的结构，或者可以是有限元模型，然而，有利地，使用的模型相对于有限元模型被显著简化并且可以通过在实际起重机或实际机械上的特定控制命令和/或负载状态下检测结构变形来凭经验确定。这种计算模型可以例如与表格一起作业，其中特定变形与特定控制命令相关联，其中控制命令的中间值能够通过插值装置转换成相应的变形。
使用这种相对于有限元模型简化的计算模型允许在时间上更快地确定结构变形，从而使用较少的计算能力实时或几乎实时地更加真实地模拟机械运动。
一方面，在用于移动控制台的驱动装置的控制中可以考虑由运动确定模块考虑的结构部件变形，使得控制台映射由于结构部件变形而发生的控制台运动。
替代地或另外地，在机械周围环境和/或其中可见的机械部件的表示中也可以考虑所确定或检测到的结构部件变形，例如使得吊臂的偏转在表示中示出，或者起重机周围环境的地平线向上行进一点，以例如通过塔架变形映射起重机操作员驾驶室的略微向前俯仰。
在控制台处显示的机械周围环境和/或遥控机械的作业设备的表示可以包括借助于在遥控机械区域中提供的至少一个相机提供的真实表示，和/或还可以包括虚拟表示，该虚拟表示是借助于图形模拟模块根据输入控制命令计算的。
这种真实相机产生的机械周围环境和/或作业设备的表示尤其可以以实时图像或类似电视图片的视频图像的形式产生，其中相应的视频信号从遥控机械处的至少一个相机传输到遥控装置的远程布置的控制台，并由设置在那里的显示单元再现。
作为相机或电视相机的替代或补充，也可以与其他成像传感器一起作业，例如与红外传感器和/或雷达传感器和/或光子混合检测器和/或采用飞行时间探测器形式的飞行时间传感器一起作业，其中测量物体被光脉冲照射，并且测量信号飞行时间，在此基础上可以计算相机和物体之间的距离，并且可以生成三维图像。还可以有利地使用不同图像类别的多个成像传感器，例如与红外传感器结合的相机，其图像能够被叠加并显示在共同的图像中，例如使得可以例如指示人物的红外图像的热部分覆盖在相机图像上。然而，视频相机和/或电视相机的使用在以下方面是有利的：产生逼真的图像，该图像将用机械操作员自己的眼睛看到的感觉传达给机械操作员。
用于表示遥控机械的机械周围环境或作业设备的这种相机或成像传感器***可以例如固定地或可枢转地连接到机械本身，例如连接到起重机的起重机操作员驾驶室和/或连接到旋转塔式起重机的吊车或连接到其他合适的位置，其中相机有利地对准，使得可以观察到作业设备(例如起重机的吊钩)。这里也可以有利地设置多个相机，以便能够从不同的视角观察作业设备。
在本发明的有利的进一步发展中，可以使用可行进和/或可以移动到不同位置的相机，该相机允许从不同的视角呈现作业设备和/或机械周围环境。
在本发明的进一步发展中，尤其还可以使用安装在空中无人机上的相机。因此，提出使用配备有相机的遥控空中无人机，并且通过该无人机可以从不同的观看方向提供作业设备和/或设备周围环境的期望的相机图像。通过这种空中无人机可以特别地从倾斜的观看轴线提供作业设备及其周围环境的立体相机图像，其中所述倾斜观看轴线能够从与机械及其驾驶室间隔开的点以及从地面上方获取，以便机械操作员可以从诸如外部观察者也可以看到的观看方向看到作业设备及其环境。利用起重机，可以提供吊钩及其周围环境的相机图像，这些相机图像从侧面或以垂直方式倾斜地看向穿过吊臂的竖直中心起重机平面。吊钩的图像也可以从无人机位置提供，该无人机位置设置在穿过吊臂的该中心起重机平面中。通过来自不同观看轴线的这种立体相机图像可以非常好地可视化该作业设备与其周围环境或目的地点之间的相对位置。
为了能够简单地操作空中无人机，可以在本发明的进一步发展中根据机械位置和/或作业设备的位置控制空中无人机，使得空中无人机也自动跟随机械运动、特别是作业设备的运动，并且至少近似地维持或试图维持或跟踪在机械运动、特别是作业设备运动时相对于机械和/或其作业设备的期望位置。例如，如果空中无人机与起重机一起使用，则无人机可以通过激活的自动跟随模式自动跟随起重机的吊钩。例如，如果空中无人机的大约在吊钩高度或稍高于它的相对位置是期望的并且由吊臂设置，并且与竖直中心起重机平面具有横向间距，那么空中无人机可以当吊钩下降或升高时自动降低或提升其操作高度，和/或可以在起重机的吊车行进时与竖直中心起重机平面平行地向前或向后飞行时，和/或当起重机旋转时可以横向向左或向右飞行。
然而，空中无人机也可以有利地自动遥控，使得相对于机械和/或其作业设备的不同的期望位置可以由空中无人机自由地飞过。例如，这可以通过输入空中无人机相对于吊钩或作业设备的期望位置来进行，例如使得在可以设置在遥控装置的控制台中的位置控制模块中输入相对于吊钩的位置，例如，按照“在吊钩右侧横向2米以上”的形式。然而，可替代地或另外地，空中无人机也可以例如借助于操纵杆相对于机械及其作业设备完全自由地飞行，使空中无人机飞行很长时间直到作业设备及其周围环境上相机位置及其视角满足起重机操作员或机械操作员的要求。
为了进一步增加遥控装置的用户的真实感，根据另一方面，由相机和/或由图形模拟模块提供的遥控机械的周围环境的表示与来自控制台的实时图像叠加在显示装置上，实时图像例如可以显示遥控装置用户的移动。另一方面，机械周围环境和/或其中可见的机械部件的真实或虚拟表示以及在控制台上记录的现场相机的实时图像尤其可以同时显示并叠加在显示装置上。来自模拟世界的图像和实时图像的这种叠加为遥控装置用户提供了特别强烈的真实感。
可佩戴在头部上的特别是眼镜形式(例如以虚拟现实眼镜和相机的形式)的显示装置以及同样有利地可佩戴在头部上的相机(例如设计为头盔相机或集成在所述虚拟现实眼镜中)可以有利地用作用于此目的的显示装置，该显示装置提供在显示装置上、特别是在虚拟现实眼镜上与人工生成的虚拟表示一起示出的所述实时图像。
用于从控制台提供实时图像的所述相机可以有利地是立体相机，其优选地在相机观看方向上提供至少近似地与用户的双眼的观看方向一致的立体图像，该立体图像可以覆盖在显示装置、尤其是虚拟现实眼镜的相应位置。由此可以实现特别真实的用户感觉。
可替代地或另外地，也可以使用360°相机，该相机的周围环境的图像可以例如在所述虚拟现实眼镜中提供给起重机操作员。这种360°相机也简化了成像***的设计；相机图像尤其可以简单地跟随虚拟现实眼镜的佩戴者的头部运动，从而可以避免相机的复杂和/或昂贵的遥控。
然而，通常可以将遥控机械的图像和来自控制台的所述实时图像叠加在本身常规的屏幕上，这里例如用户能够在头部佩戴实时图像相机，该相机提供至少大致对应于用户的观看方向的图像，使得实时记录的用户手臂或实时记录的控制台的部分可以覆盖在显示装置(例如以多个屏幕的形式)上。然而，通过叠加在虚拟现实眼镜的可见表面上可以实现更逼真且因此更令人印象深刻的可感知模拟。
用于将控制台相机的实时图像与遥控机械的周围环境的表示叠加的叠加装置可以有利地被配置为根据所谓的绿屏技术作业，其中叠加装置识别实时图像中的具有预定颜色的颜色区域，然后用来自模拟模块的虚拟表示替换这些图像区域。为此目的，控制台可以有利地包括操作员驾驶室壁，其中窗口区域-例如，对应于真实起重机操作员驾驶室的观看窗口-被着色为关键颜色，该关键颜色尽可能多地与设置在相机视野中的其他部件的其余颜色(例如窗框的颜色)、输入装置的其余颜色以及操作员的衣服和皮肤颜色的其余颜色不同，使得记录在控制台中的实时图像以特定的颜色再现来显示所述颜色区域，而所有其他图像区域以不同的颜色显示。以所述关键颜色-例如，绿色-着色的实时图像区域或实时图像部分区域然后被机械周围环境和/或其中可见的机械部件的真实或虚拟表示替换，使得叠加的图像或叠加的表示一方面显示遥控装置的控制台、其部件以及位于现场相机视野中的用户的身体部位作为实时图像，另一方面显示相机在由现场相机记录的驾驶室壁的窗口区域中产生机械周围环境和机械部件的实际或虚拟表示。
机械周围环境的所述虚拟表示可以有利地由图形模拟模块改变，并且可以根据可以通过接口导入模拟模块的不同数据集适应于不同的场景。根据施工进度再现正在建造的建筑物或结构的规划数据(例如要建造的结构的CAD数据和/或施工工地的实际数据)尤其可以通过相应的数据接口导入到模拟模块中，并且可以由模拟模块用于根据导入的数据集、特别是根据导入的规划数据和/或施工工地的实际数据生成或适应机械周围环境的虚拟表示。
关于施工工地或结构的所述信息可以以上述方式是结构或施工工地的CAD数据或其他几何数据，可选地还可以使用再现实际结构及其施工进度的数字图像数据。可以将这样的图像数据作为所述CAD接口或合适的图像数据接口上的机械环境数据导入图形模拟模块，然后所述图形模拟模块使虚拟表示适应于接收到的CAD数据和/或图像数据。
通过图形模拟模块对规划的或已经存在的或部分完成的施工工地的建模以及机械周围环境的虚拟表示的相应生成尤其也是确保施工工地上的物流是有价值的资源并且能够在施工开始前模拟和实践关键程序。
如果运动确定装置-也-以上述方式使用模拟数据，则遥控装置可以有利地不具有模拟处理器进行运动模拟所需的所有运动参数，而是可以使用可以形成遥控装置的元件的实际移动硬件部件至少部分地通过数据仿真确定它们。遥控装置的这种数据仿真模块尤其可以包括实际执行调节运动的调节驱动部件和/或功率电子部件，该数据仿真模块模拟真实的起重机运动或机械运动并提供例如以再现所述驱动部件的调节运动的传感器信号的形式表征这些运动的数据。通过这样的数据仿真可以更快地并且以更少的处理能力提供可以进一步用于运动模拟的运动参数和/或位置参数，这允许实时或几乎实时地进行更逼真的模拟。
特别地，通过具有较小带宽的通信信道发生的这种数据仿真可以避免时间偏移问题和数据传输问题，例如如果遥控机械的根据输入控制命令发生的所有运动和/或变形必须在真实机械上检测并且然后发送回遥控装置的控制台的话，情况就是这样。
为了根据在控制台输入的控制命令实现机械部件的运动的特别快速、真实的确定，所述运动确定模块可以根据另一方面配置为混合装置或包括作为混合模块，一方面包括用于模拟运动参数和/或位置参数的处理器，另一方面包括硬件部件(例如驱动单元、旋转编码器或变频器)，该硬件部件至少类似于真正的起重机调节驱动装置或机械调节驱动装置，并且通过该硬件部件模拟调节运动并确定运动参数和/或位置参数。特别地使用“真实的”硬件部件，该硬件部件也作为调节驱动元件和/或控制装置元件安装在待模拟的起重机中或者安装在待模拟的机械中。
运动确定模块尤其可以包括开关柜或至少一些开关柜及其部件，其还用于待模拟的机械中并且形成机械控制的一部分。功率电子器件和/或至少一些功率电子器件(例如变频器)尤其可以用于模拟由控制台处的控制命令输入触发的调节运动。
此外，在本发明的进一步发展中，可以使用调节驱动单元，例如以伺服电动机的形式，该调节驱动单元用于仿真待模拟的机械或机械部件的调节驱动运动。例如以特别是通过前述变频器根据控制命令被控制的伺服驱动单元形式的驱动单元在此有利地用于相应的调节驱动轴线并且可以进一步有利地连接到另外的例如以伺服驱动单元形式的驱动单元，借助于该驱动单元可以施加反扭矩和/或反负载以模拟实际发生的负载、阻力或惯性值。例如，可以借助于抵消提升装置的所述第二驱动单元来模拟负载；或者可以模拟抵消回转装置驱动装置的绞车扭矩。
在考虑所施加的反扭矩或所施加的反负载的情况下可选地执行的第一驱动单元的调节运动可以通过合适的检测装置检测，其中相应的检测信号再现实际实现的调节运动并且是能够在进一步模拟中用作传感器信号，特别是以上述方式确定结构部件的运动和/或位置和/或变形和/或模拟机械周围环境和/或其中可见的机械部件的虚拟表示。
多个这样的驱动单元或多个这样的驱动单元对包括驱动装置和反负载驱动装置以及分别相关联的检测装置有利地用于能够确定关于其进行模拟的机械操作的不同调节运动轴线和调节运动。
因此，根据在控制台输入的控制命令而致动和移动的调节运动轴线的驱动单元的传感器值不是根据另一方面通过数学模型来模拟或计算的，而是参考硬件部件仿真或模拟的，该硬件部件尽可能接近待模拟的机械的真实调整驱动部件并作为实际传感器值直接输出。
由于这样的数据仿真***，运动确定模块可以更快地并且用更少的处理能力确定机械部件的运动和/或位置，使得机械周围环境和/或机械部件的虚拟表示以及机械台的伴随调节运动可以更快更真实地实现。另外，所生成的传感器信号可以在控制台处显示和/或可以用于进一步的监控措施，例如可以在控制台处显示和/或模拟的有效负载监控或作业范围限制。
如果遥控装置用于遥控旋转塔式起重机及其操作，则上述用于执行相应调节运动并用于提供相应反扭矩或反负载的驱动单元对尤其可对应于塔式回转装置-或具有对应于吊臂回转装置的顶部小回转装置–对应于起重装置，并且对应于吊车机构。
下面将参考优选实施例和相关附图更详细地解释本发明。附图中显示：
图1：旋转塔式起重机形式的遥控起重机的示意图，该遥控起重机的吊钩在建筑物后面的不可见区域内操纵负载，其中空中无人机具有观察吊钩的相机，以将相应的相机图像传输到遥控装置的控制台；以及
图2：根据本发明的有利实施例的具有用于操作员的控制台的遥控装置的部件的示意图。
如图1和2所示，遥控装置1可以被配置为起重机遥控装置，包括以起重机操作员驾驶室为形式的控制台2，该驾驶室基本上是例如可以用于起重机(例如旋转塔式起重机、港口起重机、海上起重机或移动式伸缩式起重机)的“真实的”起重机操作员驾驶室的形式。
起重机200在此可以配置为旋转塔式起重机，该旋转塔式起重机的塔架202承载吊臂203，吊车204可横向支撑在该吊臂上。吊臂203可以与塔架202一起围绕直立轴线旋转，或者也可以不与塔架202一起旋转-取决于作为顶部回转装置或底部回转装置的起重机的配置-为此提供回转装置驱动装置。吊臂203还可以可选地配置成能够围绕水平横向轴线上下变幅，并且能够提供合适的变幅驱动装置，例如，与吊臂装置相互作用。所述吊车204可以通过吊车行进绞车或不同的吊车行进驱动装置行进。
所述控制台2在此可以以本身已知的方式包括例如以操作员椅子20为形式的操作员座椅21，用于输入控制命令的各种输入装置18围绕该操作员座椅布置。所述输入装置18例如可以包括操纵杆、触摸屏、控制杆、输入按钮和输入开关、旋转调节器、滑动调节器等。
操作员的位置在这里由操作员的台壁22围绕，该台壁可以对应于驾驶室壳体并且可以具有窗户区域23，该窗户区域在真实的起重机操作员驾驶室中上釉但是在本情况下以某种颜色着色，例如涂有可以通过绿屏技术施加真实的相机生成或虚拟机环境的绿膜，如下所述。
控制台2安装在移动平台7上，控制台2可通过该移动平台以多轴方式移动。在此，运动平台7有利地构造成可以按照多轴方式移动，特别是可绕三个空间轴线x，y和z倾斜或旋转，并且可沿着这些轴线平移地移位。
驱动装置8的例如以电动机和/或液压缸和/或液压马达为形式的致动器与运动平台7的运动轴线x，y和z相关联，以能够围绕或沿着所述轴线移动控制台7。
驱动装置8在此由运动控制装置24控制，该运动控制装置例如可以由工业PC实现。
在此，所述运动控制装置24尤其可以是运动确定模块10的一部分，通过该运动确定模块，起重机部件(例如吊臂或塔架)的起重机运动和/或位置和/或定向以及结构部件的扭转现象例如可以根据在控制台2处输入的相应控制命令来确定。所述运动确定模块10可以确定输入控制命令对待控制的起重机的影响，即起重机部件的哪些运动、位置、定向和扭转现象将由于待控制的起重机处的输入控制命令而产生，并输出表征所述参数的相应运动信号。
所述运动确定模块10不确定所述运动参数或者不完全通过使用计算模型的计算来确定它们，而是利用以驱动部件和控制部件为形式的实际硬件部件来在真实的起重机处执行实际运动并模拟相应的硬件部件。
如图2所示，运动确定模块10至少包括例如可以在起重机的开关柜中实施的起重机控制装置25的主要部件。所述起重机控制装置25尤其包括不同起重机驱动装置(例如回转装置、吊车机构和提升装置)的变频器15。所述起重机控制装置25可以可选地包括其他控制部件和/或功率电子部件，特别是负载监控部件、作业区域限制部件等。
起重机控制装置25通信地连接到控制台2和其输入装置18，使得起重机控制装置25可以进一步处理输入控制命令，其中变频器特别是根据控制命令来控制例如以伺服驱动装置为形式的驱动单元12。因此，在控制台2处输入的控制命令被转换成驱动单元12的真实运动或驱动力矩和驱动力。
所述驱动单元12在此可与反向驱动单元14连接，通过所述反向驱动单元可将运动阻力施加到驱动单元12，以能够模拟实际阻力，例如提升负载、风力、惯性或动态负载。所述反向驱动单元14可以由还实现运动控制装置24的上述工业PC控制。反向驱动单元14的控制在此可以使用不同的指定值或程序(例如通过可预先设定的提升负载、可预先设定的风程序、或使用预定义的功能或表格，如对吊车驱动机构或旋转运动的制动的动态反应)进行。相应的模型、表格或功能可以存储在用于为此目的控制反向驱动单元14的控制装置的存储器模块中。
如图2所示，例如以旋转编码器或其他位置传感器和/或运动传感器为形式的检测装置13与驱动单元12相关联，并且表征驱动单元12的调节运动的运动信号或位置信号可以通过该检测装置提供。因此，运动确定模块10提供真实传感器信号作为运动参数，该传感器信号一方面可以在控制台2处显示，另一方面也可以用于进一步的模拟功能。诸如塔架偏转、吊臂偏转和类似变形之类的结构扭转现象尤其可以根据旋转编码器提供的所述运动信号使用数学模型来确定，并且可以控制运动平台7的驱动装置8以移动控制台2，并且可以产生和起重机周围环境的虚拟表示，在每种情况下都是根据实际产生的所述传感器信号。
如图2所示，运动确定模块10可以包括处理单元11，该处理单元又可以由前述工业PC实现，并且处理单元11根据在控制台12处输入的控制命令和/或者根据由数据仿真装置19产生的仿真数据或由与驱动单元12相关联的检测装置13产生的传感器信号确定结构扭转现象(特别是起重机塔架中和起重机吊臂中的偏转和扭转)，其中处理单元11使用考虑结构刚度的计算模型，如最初所解释的那样。
然而，作为这些仿真运动数据的替代或补充，运动确定还可以通过合适的传感器***检测遥控起重机的“真实”运动和/或变形，并且可以通过远程数据传输将它们传输到控制台2，然后参照这些真实的起重机反应控制遥控装置的控制台2的特定功能。
运动控制装置24使用所述模拟和/或检测到的真实运动数据以及由此确定的变形数据来控制运动平台7的驱动装置8，以移动控制台2并模拟将在真实的起重机中在输入相应的控制命令时发生的真实起重机操作员的驾驶室运动。
另一方面，所述运动数据和可选地所述变形数据用于考虑由图形模拟模块9生成的并在显示装置3上显示的虚拟表示中的起重机反应。这里的所述虚拟表示尤其示出了起重机周围环境和其中可见的起重机部件(例如起重机吊臂和吊钩)，并且可以基本上对应于起重机操作员将从起重机操作员驾驶室看到的图像。这里，所述虚拟表示可以以类似照片或类似胶片的数字图像的形式对应于例如多种颜色的像素表示。然而，替代地，也可以提供简化的图形表示，尽管优选的是尽可能逼真的类似照片或类似胶片的表示图像。
然而，作为这种虚拟表示的替代或补充，也可以在控制台2处使用真实相机生成的起重机周围环境和/或吊钩的表示。其实时图像被发送到控制台的至少一个相机为此目的可以安装在起重机200上。这样的相机220例如可以安装在遥控起重机200的起重机操作员驾驶室206上，并且可以有利地具有至少近似于与起重机操作员驾驶室206中的起重机操作员的观看轴线相对应和/或从起重机操作员驾驶室206到吊钩的观看轴线。
然而，可替代地或另外地，可以从不同的视角记录不同的相机和/或表示，并且可以将其发送到控制台以在那里显示。特别地，可以使用配备有至少一个相机并且可以通过遥控装置相对于起重机200移动的空中无人机209。
还能够看到吊钩208，当吊钩208在起重机操作员驾驶室206或起重机操作员的视线范围之外时，该吊钩可以连接到从吊车204或者在那里接收的负载或吊钩208的周围环境向下延伸的提升绳索207，例如当-如图1所示-将负载放置在建筑物后面时，提供空中无人机209，在该无人机处安装至少一个相机210，可以通过该相机提供吊钩208和/或吊钩周围环境的相机图像。所述相机图像有利地是电视图像或视频图像意义上的实时图像或真实图像，并且从无线电无人机209的相机210无线传输到显示单元211和/或起重机201的控制装置205，其中所述显示单元211例如能够是平板电脑或屏幕或可安装在起重机操作员驾驶室206中的监视器的机械操作员显示器。如果是遥控站或移动操作单元用于以先前提到的方式控制起重机201，所述显示单元211可以设置在遥控站或移动操作单元中。
空中无人机209设置有遥控装置212，该遥控装置212使得能够遥控空中无人机209，特别是诸如转子叶片的飞行控制单元被控制，以遥控空中无人机209的飞行位置和/或遥控相机210，特别是关于相机210相对于空中无人机209的机身的摇摄角度或观察轴线和/或相机210的焦距。
相应的遥控模块可以设置在起重机操作员驾驶室206和/或遥控站或移动操作单元中，并且例如可以配备有相应的操纵杆。然而，为了实现简单的操作，还可以为空中无人机209提供语音控制和/或菜单控制，例如从空中无人机209的多个预定相对位置相对于起重机选择期望的相对位置。例如，可以实现这一点，因为通过语音控制和/或通过菜单控制输入可以以预编程或预定的方式存储在位置控制设备213中的“无人机位置1”。
起重机周围环境和其中可见的起重机部件的所述实际或虚拟表示可以有利地具有叠加的实时图像，该实时图像显示来自控制台2的真实部件，特别是从遥控装置用户的头部在观看方向上可见的部件，例如输入装置18、双手和用户的下臂以及设置在视野中的其他部件。
为此目的有利地设置相机16，该相机可以被配置为头戴式相机，可以佩戴在用户的头部并且可以具有用于紧固到头部的相应的紧固装置和/或保持装置，例如以头盔相机的形式。如果显示装置3有利地以用户佩戴的虚拟现实眼镜4的形式配置，则相机16可以集成在这些VR眼镜中。
相机16在此有利地配置为立体相机，以能够提供与用户双眼的观看轴线相对应的立体图像。
用于叠加来自控制台2的起重机周围环境的表示和相机16的实时图像的叠加装置在此尤其可以包括基于颜色的图像处理模块26，该图像处理模块可以根据所谓的绿屏技术工作。所述基于颜色的图像处理模块26尤其可以识别相机16的实时图像中的具有与剩余的部分图像区域不同的特定颜色的图像区域，然后可以用来自模拟模块9的表示替换这些图像。
为此目的，控制台2可有利地包括操作员驾驶室壁22，其中窗口区域23(例如，对应于真实起重机操作员驾驶室的观察窗口)以关键颜色着色，该关键颜色尽可能多地与设置在相机视野中的其他部件的剩余颜色(例如窗框的颜色、输入装置18的颜色、以及操作员的衣服和皮肤颜色)不同，使得记录在控制台2中的实时图像显示出以所述特定颜色再现的彩色区域，而所有其他图像区域以不同颜色显示。以所述关键颜色(例如，绿色)着色的实时图像区域或部分实时图像区域然后被由图形模拟模块9生成的和/或由布置在起重机上的相机生成的机械周围环境的和/或其中可见机械部件的表示替换，使得叠加图像或叠加表示一方面显示遥控装置的控制台2、其部件和位于现场相机视野内的用户的身体部位作为实时图像存在，并且另一方面在实时相机16拍摄的操作员驾驶室壁22的窗口区域23中显示机械周围环境和其中可见的机械部件的真实或虚拟表示。

Claims (26)

1.一种用于机器的遥控装置，所述机器是起重机、施工机械或托盘搬运车，所述遥控装置包括控制站(2)，所述控制站具有至少一个用于输入控制命令的输入装置(18)，并具有用于将所述输入控制命令发送到所述起重机(200)、所述施工机械或所述托盘搬运车的控制装置(25)的信号传输装置；显示装置(3)，用于显示作业设备和/或所述机器的周围环境的表示；以及运动确定模块(10)，用于根据所述输入控制命令确定机器部件的运动和/或变形，其特征在于，提供至少一个相机(16)，用于在所述控制站(2)处检测实时图像，并且叠加装置是与至少一个显示装置(3)相关联，所述叠加装置被设置为将所述机器的周围环境和/或作业设备的表示与由所述显示装置(3)上的相机(16)提供的所述控制站(2)的实时图像叠加。
2.根据权利要求1所述的遥控装置，其中，所述控制站(2)可运动地受支撑，并且驱动装置(8)用于根据由所述运动确定模块(10)确定的运动和/或变形来移动所述控制站(2)。
3.根据权利要求2所述的遥控装置，其中，所述控制站(2)以多轴方式可运动地受支撑，并且所述驱动装置(8)具有多个运动轴线(x，y，z)。
4.根据权利要求2或3所述的遥控装置，其中，所述控制站(2)支撑在运动平台(7)上，所述驱动装置(8)集成在所述运动平台(7)中。
5.根据权利要求1所述的遥控装置，其中，提供至少一个相机(210)，所述相机(210)用于提供所述作业设备和/或所述机器的周围环境的实时图像；并且其中，所述控制站(2)具有至少一个用于接收所述相机(210)的实时图像的图像接收器，所述实时图像是在所述显示装置(3)上显示的表示的基础。
6.根据权利要求5所述的遥控装置，其中，所述至少一个相机(210)安装在遥控航拍无人机(209)上。
7.根据权利要求6所述的遥控装置，其中，用于控制所述航拍无人机(209)的位置控制装置(13)具有自动跟随控制模块，所述自动跟随控制模块用于根据所述机器的位置和/或作业设备的位置控制所述航拍无人机(209)，使得所述航拍无人机(209)自动跟随所述机器的运动和/或作业设备的运动，并且还根据所述机器的运动和/或作业设备的运动保持相对于所述机器和/或其作业设备的所需位置。
8.根据权利要求7所述的遥控装置，其中，所述位置控制装置(13)具有自主控制模块，所述自主控制模块用于所述航拍无人机(209)的自动遥控，使得相对于所述机器和/或其作业设备的不同期望位置由所述航拍无人机(209)飞过。
9.根据权利要求5至8中任一项所述的遥控装置，其中，在所述起重机(200)处、在所述施工机械处或者在所述托盘搬运车处提供至少一个用于提供所述机器的周围环境的实时图像的相机，视线方向至少近似朝向所述作业设备。
10.根据权利要求1所述的遥控装置，其中，所述相机(16)具有头部支架，所述头部支架用于将所述相机佩戴在所述遥控装置用户的头部上和/或被配置为头部相机和/或头盔相机。
11.根据权利要求1或10所述的遥控装置，其中，所述相机(16)被配置为立体相机，所述立体相机用于在所述遥控装置用户的视线方向上提供立体图像或近似在所述遥控装置用户的视线方向上提供立体图像。
12.根据权利要求1所述的遥控装置，其中，所述至少一个显示装置(3)具有头部支架，所述头部支架用于佩戴在所述遥控装置用户的头部上和/或被配置为显示眼镜。
13.根据权利要求1所述的遥控装置，其中，所述控制站(2)包括操作员驾驶室壁，在所述壁中形成观察窗，其中所述观察窗以特定颜色着色，并且其中，图形模拟模块(9)和/或所述叠加装置具有颜色敏感的覆盖装置，所述覆盖装置用于在由所述相机(16)提供的实时图像的着色上述特定颜色的图像区域中覆盖所述机器的周围环境的表示。
14.根据权利要求1所述的遥控装置，其中，提供用于针对多种机器类型之一选择性地预配置所述遥控装置的配置模块。
15.根据权利要求1所述的遥控装置，其中，提供图形模拟模块(9)，所述图形模拟模块(9)用于计算从所述控制站(2)可见的所述机器的周围环境和/或机器部件的虚拟表示，并且其中，所述图形模拟模块(9)具有用于导入结构数据和/或施工工地数据的数据接口，并且具有用于根据导入的施工工地数据和/或结构数据生成和/或适应所述机器的周围环境的虚拟表示的图像处理装置。
16.根据权利要求15所述的遥控装置，其中，所述数据接口是CAD接口，并且所述图像处理装置被配置为根据经由所述CAD接口导入的CAD数据生成和/或适应所述机器的周围环境的虚拟表示，和/或所述数据接口是图像数据接口，并且所述图像处理装置被配置为根据经由所述图像数据接口导入的图像数据来生成和/或适应所述机器的周围环境的虚拟表示。
17.根据权利要求15或16所述的遥控装置，其中，所述图形模拟模块(9)被配置为根据由所述运动确定模块(10)确定的运动和/或变形来计算所述虚拟表示。
18.根据权利要求17所述的遥控装置，其中，所述运动确定模块(10)具有确定装置，所述确定装置用于根据在所述控制站(2)输入的控制命令确定待模拟的机器的结构元件的变形，并且其中，所述确定装置具有处理单元(11)，用于参考存储的结构元件的变形模型计算所述变形。
19.根据权利要求18所述的遥控装置，其中，所述图形模拟模块(9)被配置为根据所计算的所述结构元件的变形来生成所述虚拟表示，和/或提供用于根据计算出的结构元件的变形控制驱动装置(8)的控制装置。
20.根据权利要求1所述的遥控装置，其中，所述机器部件为起重机吊杆或吊钩。
21.根据权利要求3所述的遥控装置，其中，所述多个运动轴线(x，y，z)包括可根据在所述控制站(2)处输入的控制命令而致动的多个旋转运动轴线和/或多个平移运动轴线。
22.根据权利要求9所述的遥控装置，其中，在所述起重机(200)的操作员驾驶室(206)处、在所述施工机械的操作员驾驶室处、或者在所述托盘搬运车的操作员驾驶室处提供至少一个用于提供所述机器的周围环境的实时图像的相机，视线方向至少近似朝向所述作业设备。
23.根据权利要求12所述的遥控装置，其中，所述显示眼镜为具有集成相机(16)的虚拟现实眼镜。
24.根据权利要求14所述的遥控装置，其中，所述配置模块用于将所述控制站(2)的输入装置适应于所选择的机器类型，和/或用于使所述运动确定模块(10)的参数适应于相应的所选机器类型。
25.根据权利要求16所述的遥控装置，其中，所述图像数据为数字图像数据。
26.一种***，包括：根据权利要求1至25中任一项所述的遥控装置(1)；以及起重机；施工机械；或者托盘搬运车，其中，能够将在所述遥控装置(1)的控制站(2)处输入的控制命令传输到所述起重机、所述施工机械和/或所述托盘搬运车的控制装置的通信连接设置在一方面所述起重机、所述施工机械和/或所述托盘搬运车与另一方面所述遥控装置(1)之间。
CN201780024872.3A 2016-01-14 2017-04-07 用于起重机、施工机械和/或托盘搬运车的遥控装置 Active CN109311639B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102016000353.7A DE102016000353A1 (de) 2016-01-14 2016-01-14 Kran-, Baumaschinen- oder Flurförderzeug-Simulator
DE202016002295.5U DE202016002295U1 (de) 2016-01-14 2016-04-08 Fernsteuer-Einrichtung für Kran, Baumaschine und/oder Flurförderzeug
DE202016002295.5 2016-04-08
PCT/EP2017/000460 WO2017174205A2 (de) 2016-01-14 2017-04-07 Fernsteuer-einrichtung für kran, baumaschine und/oder flurförderzeug

Publications (2)

Publication Number Publication Date
CN109311639A CN109311639A (zh) 2019-02-05
CN109311639B true CN109311639B (zh) 2021-01-12

Family

ID=57838340

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780006880.5A Active CN108701425B (zh) 2016-01-14 2017-01-10 起重机，建筑机械或工业卡车的模拟器
CN201780024872.3A Active CN109311639B (zh) 2016-01-14 2017-04-07 用于起重机、施工机械和/或托盘搬运车的遥控装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201780006880.5A Active CN108701425B (zh) 2016-01-14 2017-01-10 起重机，建筑机械或工业卡车的模拟器

Country Status (8)

Country Link
US (3) US10968082B2 (zh)
EP (2) EP3381027B1 (zh)
CN (2) CN108701425B (zh)
BR (2) BR112018013923A2 (zh)
DE (2) DE102016000353A1 (zh)
ES (1) ES2904634T3 (zh)
RU (3) RU2730697C2 (zh)
WO (2) WO2017121636A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6306552B2 (ja) * 2015-10-13 2018-04-04 株式会社タダノ 遠隔操作装置、及び案内システム
DE102016000353A1 (de) 2016-01-14 2017-07-20 Liebherr-Components Biberach Gmbh Kran-, Baumaschinen- oder Flurförderzeug-Simulator
DE102017112765A1 (de) * 2017-06-09 2018-12-13 Liebherr-Werk Biberach Gmbh Verfahren und Vorrichtung zum Heben einer Last
CN107403580B (zh) * 2017-07-20 2023-05-23 兰州安信铁路科技有限公司 一种铁路信号综合***实验平台
BR112020005835A2 (pt) 2017-09-26 2020-09-24 Palfinger Ag dispositivo de comando e guindaste de carregamento com dispositivo de comando
JP7206622B2 (ja) * 2018-04-20 2023-01-18 コベルコ建機株式会社 作業受発注システム、サーバ、及び作業受発注方法
JP7143634B2 (ja) * 2018-05-29 2022-09-29 コベルコ建機株式会社 技能評価システム及び技能評価方法
CN108510831A (zh) * 2018-06-04 2018-09-07 上海振华重工(集团)股份有限公司 自动化桥吊远程操作模拟器
JP7040304B2 (ja) * 2018-06-12 2022-03-23 コベルコ建機株式会社 施工管理システム
CN108877379A (zh) * 2018-09-10 2018-11-23 苏州大成有方数据科技有限公司 一种活动式工程模拟器的自动控制***
CN109972674B (zh) * 2019-03-04 2020-10-02 华中科技大学 基于自然交互的复杂施工环境下的无人挖掘***及方法
DE102019108689A1 (de) * 2019-04-03 2020-10-08 Liebherr-Werk Biberach Gmbh Verfahren und Vorrichtung zum Steuern einer Materialumschlags- und/oder Baumaschine
JP7302244B2 (ja) * 2019-04-05 2023-07-04 コベルコ建機株式会社 スキル情報提示システム及びスキル情報提示方法
JP2020170474A (ja) * 2019-04-05 2020-10-15 コベルコ建機株式会社 スキル情報提示システム及びスキル情報提示方法
CN110555913B (zh) * 2019-08-27 2023-04-14 正知（上海）智能技术有限公司 一种基于工业人机界面的虚拟成像方法及装置
JP7415480B2 (ja) * 2019-11-25 2024-01-17 コベルコ建機株式会社 作業支援サーバおよび作業支援システム
JP7310595B2 (ja) * 2019-12-24 2023-07-19 コベルコ建機株式会社 作業支援サーバおよび作業支援システム
US11486115B2 (en) * 2020-02-13 2022-11-01 Caterpillar Inc. Remote training system and method
CN111402559A (zh) * 2020-02-28 2020-07-10 三一重型装备有限公司 遥控***和采矿***
DE102020108592A1 (de) 2020-03-27 2021-09-30 Jungheinrich Aktiengesellschaft Vorrichtung sowie Verfahren zum Fernsteuern eines Flurförderzeugs
US11595618B2 (en) 2020-04-07 2023-02-28 Caterpillar Inc. Enhanced visibility system for work machines
CN111524414A (zh) * 2020-04-22 2020-08-11 江苏桅杆电子科技有限公司 一种用于汽车雷达的电控模拟***
US12019150B2 (en) * 2020-09-25 2024-06-25 Rohde & Schwarz Gmbh & Co. Kg Radar target simulation system and radar target simulation method
CN112479037B (zh) * 2020-12-01 2023-05-09 徐州重型机械有限公司 一种穿戴式监控***、起重机及工程机械
EP4033035A1 (en) * 2021-01-20 2022-07-27 Volvo Construction Equipment AB A system and method therein for remote operation of a working machine comprising a tool
CN112764357A (zh) * 2021-01-22 2021-05-07 郑州捷安高科股份有限公司 工程机械仿真方法、装置、设备及存储介质
CN113192382A (zh) * 2021-03-19 2021-07-30 徐州九鼎机电总厂 一种基于沉浸式人机交互的车辆机动性仿真***及方法
US11893902B1 (en) 2021-05-11 2024-02-06 Prabhu Swaminathan Educational training system using mechanical models
CN114327076A (zh) * 2022-01-04 2022-04-12 上海三一重机股份有限公司 作业机械与作业环境的虚拟交互方法、装置及***
JP2024007313A (ja) 2022-07-05 2024-01-18 吉谷土木株式会社 作付け支援方法と圃場作業支援システム等
US20240144588A1 (en) * 2022-11-02 2024-05-02 Rovi Guides, Inc. Systems and methods for emulating a user device in a virtual environment
WO2024135603A1 (ja) * 2022-12-20 2024-06-27 住友建機株式会社 ショベルの施工支援システム

Family Cites Families (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3557304A (en) * 1967-10-24 1971-01-19 Richard O Rue Remote control flying system
US4884137A (en) * 1986-07-10 1989-11-28 Varo, Inc. Head mounted video display and remote camera system
US20030224333A1 (en) * 2002-05-31 2003-12-04 Jan Vastvedt Suspended Motion system simulation theater
US20060040239A1 (en) * 2004-08-02 2006-02-23 J. J. Keller & Associates, Inc. Driving simulator having articial intelligence profiles, replay, hazards, and other features
US20060265664A1 (en) * 2005-05-17 2006-11-23 Hitachi, Ltd. System, method and computer program product for user interface operations for ad-hoc sensor node tracking
US7848698B2 (en) * 2005-07-22 2010-12-07 Appareo Systems Llc Flight training and synthetic flight simulation system and method
US8333592B2 (en) * 2005-12-06 2012-12-18 Andrew Warburton Swan Video-captured model vehicle simulator
DE102006044086B4 (de) * 2006-09-20 2013-05-29 Audi Ag System und Verfahren zur Simulation von Verkehrssituationen, insbesondere unfallkritischen Gefahrensituationen, sowie ein Fahrsimulator
US8139108B2 (en) * 2007-01-31 2012-03-20 Caterpillar Inc. Simulation system implementing real-time machine data
US20080249756A1 (en) * 2007-04-06 2008-10-09 Pongsak Chaisuparasmikul Method and system for integrating computer aided design and energy simulation
CN101046926A (zh) * 2007-04-28 2007-10-03 武汉科技大学 一种起重机虚拟操纵***
CN101231790A (zh) * 2007-12-20 2008-07-30 北京理工大学 基于多个固定摄像机的增强现实飞行模拟器
TWI444939B (zh) * 2008-01-10 2014-07-11 Univ Nat Taiwan 工程吊車之模擬系統及其方法
CN201172591Y (zh) * 2008-01-29 2008-12-31 黎峰 塔机远程智能操作装置
WO2010047562A2 (ko) * 2008-10-23 2010-04-29 Oh Seung-Kug 시뮬레이터
US8195368B1 (en) * 2008-11-07 2012-06-05 The United States Of America As Represented By The Secretary Of The Navy Coordinated control of two shipboard cranes for cargo transfer with ship motion compensation
CN101419756A (zh) * 2008-11-24 2009-04-29 常州基腾电气有限公司 港口起重机模拟操作***
US9206589B2 (en) * 2009-03-31 2015-12-08 Caterpillar Inc. System and method for controlling machines remotely
EP2280359A1 (en) 2009-07-31 2011-02-02 EADS Construcciones Aeronauticas, S.A. Training method and system using augmented reality
CN101661676B (zh) * 2009-09-16 2011-07-20 山东建筑大学 塔式起重机操作模拟培训***
DE102009045452B4 (de) * 2009-10-07 2011-07-07 Winter, York, 10629 Anordnung und Verfahren zur Durchführung einer interaktiven Simulation sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium
US8768580B2 (en) * 2009-10-19 2014-07-01 Hitachi Construction Machinery Co., Ltd. Operation machine
BR112012013204A2 (pt) * 2009-12-03 2016-03-01 John Deere Forestry Oy método para exibir uma área de trabalho, aparelho, produto de programa de computador armazenado em um meio legível por computador e executável em um dispositivo de processamento de dados, sistema e máquina florestal
BRPI0914277A2 (pt) * 2009-12-11 2012-05-02 Petroleo Brasileiro Sa simulador de operação de guindastes
CN201796514U (zh) * 2010-03-12 2011-04-13 中国人民解放军总后勤部建筑工程研究所 挖掘机模拟训练平台
DE102010016113A1 (de) * 2010-03-24 2011-09-29 Krauss-Maffei Wegmann Gmbh & Co. Kg Verfahren zur Ausbildung eines Besatzungsmitglieds eines insbesondere militärischen Fahrzeugs
US8909467B2 (en) * 2010-06-07 2014-12-09 Industry-Academic Cooperation Foundation, Yonsei University Tower crane navigation system
DE102010034671A1 (de) * 2010-08-18 2012-02-23 Volkswagen Ag Fahrzeugbremsanlage mit Pedalsimulator
DE102010035814B3 (de) * 2010-08-30 2011-12-29 Grenzebach Maschinenbau Gmbh Vorrichtung und Verfahren zum Betrieb eines Flugsimulators mit besonderer Realitäts-Anmutung
DE202010014309U1 (de) * 2010-10-14 2012-01-18 Liebherr-Werk Ehingen Gmbh Kran, insbesondere Raupen- oder Mobilkran
CN201864485U (zh) * 2010-11-12 2011-06-15 卫华集团有限公司 起重机三维组态仿真控制***
CN103563358A (zh) * 2011-06-02 2014-02-05 日立建机株式会社 作业机械的周围监视装置
CN102360396A (zh) * 2011-09-27 2012-02-22 浙江工业大学 一种基于Virtools的虚拟双梁桥式起重机的构建方法
JP2013116773A (ja) * 2011-12-01 2013-06-13 Shimizu Corp タワークレーンの遠隔操作システム
KR101220787B1 (ko) * 2012-02-01 2013-01-09 씨제이포디플렉스 주식회사 4자유도 모션 장치
DE102012004802A1 (de) * 2012-03-09 2013-09-12 Liebherr-Werk Nenzing Gmbh Kransteuerung mit Aufteilung einer kinematisch beschränkten Größe des Hubwerks
US9598836B2 (en) * 2012-03-29 2017-03-21 Harnischfeger Technologies, Inc. Overhead view system for a shovel
DE102012205291A1 (de) * 2012-03-30 2013-10-17 Siemens Aktiengesellschaft Sicherstellen der Positioniergenauigkeit von C-Bogensystemen durch numerische Optimierung
US10162797B1 (en) * 2012-04-13 2018-12-25 Design Data Corporation System for determining structural member liftability
DE102012216489A1 (de) 2012-09-17 2014-03-20 Terex Cranes Germany Gmbh Verfahren zum Bedienen eines Fernsteuerungssystems sowie derartiges Fernsteuerungssystem
US10410124B1 (en) * 2013-01-21 2019-09-10 Link-Belt Cranes, L.P., Lllp Display for displaying lifting capacity of a lifting machine and related methods
CN103150939B (zh) * 2013-03-01 2014-11-19 北京交通大学 一种冗余驱动的六自由度运动模拟器
JP6284302B2 (ja) * 2013-04-02 2018-02-28 株式会社タダノ ブームの伸縮パターン選択装置
DE102013011818B4 (de) 2013-07-15 2023-07-06 Liebherr-Werk Nenzing Gmbh Simulator für eine Arbeitsmaschine
KR101483106B1 (ko) * 2013-07-31 2015-01-16 한국항공우주산업 주식회사 표시영상화면의 시점변경기능이 구비된 비행시뮬레이터장치 및 그 제어방법
US20150321758A1 (en) * 2013-08-31 2015-11-12 II Peter Christopher Sarna UAV deployment and control system
CN103531051A (zh) * 2013-10-21 2014-01-22 武汉湾流新技术有限公司 一种起重机操作的虚拟现实训练方法及模拟器
ITVR20130046U1 (it) * 2013-10-25 2015-04-26 Giovanni Nicola Lopreiato Simulatore di volo trasportabile
BR112016018574B1 (pt) * 2014-02-14 2022-10-18 Sandvik Mining And Construction Oy Método para iniciação de um modo de operação remoto de uma máquina de trabalho e máquina de trabalho operável remotamente
CN103794103B (zh) 2014-02-26 2016-08-17 上海海事大学 一种便携式两通道港口起重机模拟器构建方法
DE202014001801U1 (de) * 2014-02-26 2015-05-27 Liebherr-Components Biberach Gmbh Kran
CN103871291A (zh) * 2014-04-06 2014-06-18 门立山 一种学驾照用的驾驶模拟***
JP6220961B2 (ja) * 2014-04-09 2017-10-25 株式会社日立製作所 作業機械の遠隔操縦システム
WO2015155878A1 (ja) * 2014-04-11 2015-10-15 株式会社日立製作所 遠隔操縦作業機
US20150310758A1 (en) * 2014-04-26 2015-10-29 The Travelers Indemnity Company Systems, methods, and apparatus for generating customized virtual reality experiences
US9741169B1 (en) * 2014-05-20 2017-08-22 Leap Motion, Inc. Wearable augmented reality devices with object detection and tracking
CN103995478B (zh) * 2014-05-30 2016-05-18 山东建筑大学 基于现实虚拟互动的模块化液压机械臂实验平台及方法
US9227821B1 (en) * 2014-07-31 2016-01-05 Trimble Navigation Limited Crane operation simulation
US20160035251A1 (en) * 2014-07-31 2016-02-04 Trimble Navigation Limited Crane operator guidance
US9690375B2 (en) * 2014-08-18 2017-06-27 Universal City Studios Llc Systems and methods for generating augmented and virtual reality images
CN204143671U (zh) * 2014-09-15 2015-02-04 孙波 赛车模拟器
US9446858B2 (en) * 2014-09-18 2016-09-20 Kevin Hess Apparatus and methods for tethered aerial platform and system
DE102014218749A1 (de) * 2014-09-18 2016-03-24 Bayerische Motoren Werke Aktiengesellschaft Unterstützung eines Bedieners einer Arbeitsmaschine mittels eines unbemannten Flugobjektes
WO2016053220A1 (en) * 2014-10-01 2016-04-07 Turgay Gürbüz Ground controlled tower crane with camera system
CN104361781A (zh) * 2014-11-25 2015-02-18 上海建工五建集团有限公司 塔机仿真模拟***
US10057534B2 (en) * 2015-02-27 2018-08-21 Badu Networks, Inc. Hybrid modular device
US9685009B2 (en) * 2015-04-01 2017-06-20 Caterpillar Inc. System and method for managing mixed fleet worksites using video and audio analytics
CN204557842U (zh) * 2015-04-13 2015-08-12 庄荣发 驾驶操纵模拟室
JP6496182B2 (ja) * 2015-04-28 2019-04-03 株式会社小松製作所 施工計画システム
CN105185184B (zh) * 2015-07-17 2018-06-12 北京大华旺达科技有限公司 一种六自由度并联动感平台
DE102016000353A1 (de) * 2016-01-14 2017-07-20 Liebherr-Components Biberach Gmbh Kran-, Baumaschinen- oder Flurförderzeug-Simulator
DE102016000351A1 (de) * 2016-01-14 2017-07-20 Liebherr-Werk Biberach Gmbh Kran-, Baumaschinen- oder Flurförderzeug-Simulator
CN107466384A (zh) * 2016-05-25 2017-12-12 深圳市大疆创新科技有限公司 一种追踪目标的方法及装置
US10242562B2 (en) * 2017-02-22 2019-03-26 Thames Technology Holdings, Inc. Control systems with modular configurable devices

Also Published As

Publication number Publication date
EP3381027B1 (de) 2021-07-21
RU2018138301A3 (zh) 2020-09-17
RU2018138301A (ru) 2020-05-12
US10968082B2 (en) 2021-04-06
US10850949B2 (en) 2020-12-01
ES2904634T3 (es) 2022-04-05
US11634306B2 (en) 2023-04-25
CN108701425B (zh) 2021-10-19
EP3381027A1 (de) 2018-10-03
WO2017174205A3 (de) 2018-01-25
BR112018070471A2 (pt) 2019-01-29
RU2021100284A (ru) 2021-02-03
CN108701425A (zh) 2018-10-23
RU2730697C2 (ru) 2020-08-25
US20190019429A1 (en) 2019-01-17
DE202016002295U1 (de) 2017-04-20
RU2018128141A (ru) 2020-02-03
BR112018013923A2 (pt) 2018-12-11
US20210139293A1 (en) 2021-05-13
WO2017121636A1 (de) 2017-07-20
DE102016000353A1 (de) 2017-07-20
WO2017174205A2 (de) 2017-10-12
US20190039862A1 (en) 2019-02-07
RU2018128141A3 (zh) 2020-05-26
CN109311639A (zh) 2019-02-05
EP3950558A1 (de) 2022-02-09
RU2741456C2 (ru) 2021-01-26

Similar Documents

Publication Publication Date Title
CN109311639B (zh) 用于起重机、施工机械和/或托盘搬运车的遥控装置
US11548768B2 (en) Remote control device for crane, construction machine, and/or industrial truck
US11455905B2 (en) Simulator for crane, construction machine or industrial truck
US11650564B2 (en) Method and device for planning and/or controlling and/or simulating the operation of a construction machine
WO2022166264A1 (zh) 作业机械的模拟训练***、方法、装置和电子设备
Duff et al. The development of a telerobotic rock breaker
CN106530892A (zh) 模拟三维场景六自由度传感的飞行模拟器及飞行模拟方法
CN203899120U (zh) 真实感的遥控体验游戏***
Ito et al. Development of a cross-platform cockpit for simulated and tele-operated excavators
Yoshinada et al. Dual-arm construction robot with remote-control function
EP3408210B1 (de) Fernsteuer-einrichtung für kran, baumaschine und/oder flurförderzeug
WO2021261593A1 (ja) 航空機のｖｒ訓練システム、航空機のｖｒ訓練方法及び航空機のｖｒ訓練プログラム
JP2024027840A (ja) プログラム及びシミュレーター
CN115148063A (zh) 一种基于unity3D的虚拟挖掘机***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220803

Address after: Rees sur Biberach Germany

Patentee after: LIEBHERR-WERK BIBERACH GmbH

Address before: Rees Hans - Germany sur Biberach Liebherr Street No. 45

Patentee before: LIEBHERR-COMPONENTS BIBERACH GmbH

TR01 Transfer of patent right