JP7143451B2 - Method and apparatus for operating an autonomously operating work machine - Google Patents

Description

本発明は、それぞれの独立請求項の上位概念に記載された、特に自律的に行動する作業機械、特に、少なくとも１つの運動学的機構又は工具を有する可動式の作業機械の、条件付きで衝突が許容される動作のための方法及び装置に関する。本発明の対象は、本方法を実施し得るコンピュータプログラムと、コンピュータプログラムを格納するための機械可読データ担体と、電子制御装置とにも関する。 The invention relates to the conditional collision detection of working machines, in particular autonomously acting working machines, in particular mobile working machines having at least one kinematic mechanism or tool, as defined in the preamble of the respective independent claim. relates to methods and apparatus for permitted operation. A subject of the invention is also a computer program capable of implementing the method, a machine-readable data carrier for storing the computer program and an electronic control device.

従来技術
本明細書に関連する機械、例えば、ショベル系掘削機のような移動式の建設機械、又は、トラクタ若しくはコンバインのような移動式の林業用機械若しくは農業用機械は、益々、自律的に動作し、又は、運転者支援システムによって支援若しくは補助されて動作するようになっている。このために不可欠な前提条件は、機械又は対応する車両の周辺における周囲状況又は交通状況の高信頼性の予測認識である。その場合に、公知のように使用される周囲モデルには、状況分析を導出して、操縦計画を実施可能にするために必要な情報が含まれる。即ち、周囲モデルは、車両の周囲を表現している。例えば、周囲モデルは、車両の周囲におけるインフラストラクチャ要素及び／又はその他の道路利用者、特に他の車両を含む。車両に取り付けられたセンサシステムは、このために、移動するオブジェクト又は位置可変のオブジェクトと、位置固定されたオブジェクトとを認識し、制動を行うべきかどうか、及び／又は、軌道計画及び適当なシステム介入に基づいて回避を行うべきかどうか、又は、介入操縦が不要であるかどうかを判断しなければならない。周囲モデルを作成するために、車両独自のセンサ及び／又は他の車両のセンサ及び／又は周囲に位置固定されて設置されたセンサによって提供されたデータ又は情報が、手元の地形データ又はインフラストラクチャデータと比較される。 PRIOR ART Machinery relevant here, e.g. mobile construction machines such as shovel-type excavators, or mobile forestry or agricultural machines such as tractors or combines, are increasingly autonomously in operation or adapted to operate with the assistance or assistance of a driver assistance system. An essential prerequisite for this is a reliable predictive recognition of the surrounding or traffic situation in the surroundings of the machine or the corresponding vehicle. In that case, the ambient model used, as is known, contains the information necessary to derive the situation analysis and to be able to implement the maneuver plan. That is, the surrounding model represents the surroundings of the vehicle. For example, the surroundings model includes infrastructure elements and/or other road users in the surroundings of the vehicle, in particular other vehicles. A sensor system mounted on the vehicle recognizes for this purpose moving or variable position objects and fixed position objects and whether braking should be performed and/or trajectory planning and suitable systems A decision must be made as to whether avoidance should be based on intervention or whether intervention maneuvers are unnecessary. Data or information provided by the vehicle's own sensors and/or sensors of other vehicles and/or fixedly mounted sensors in the surroundings are combined with local terrain data or infrastructure data to create a model of the surroundings. is compared with

作業機械の空間的な状態は、ロボティクスにおいて知られている「姿勢（ポーズ）」によって記述可能である。この姿勢は、装置の総ての空間自由度を定量化することにより、装置の完全な幾何学的記述を表す。空間的に剛性を有する装置の場合、例えば自動車の場合には、この姿勢は、空間内の車両の基準点の位置と、車両の空間的な向きとである。多関節式の作業機械の場合には、この姿勢は、追加的に、機械のそれぞれ個々の関節の位置も記述する。 The spatial state of a working machine can be described by a "pose" known in robotics. This pose represents a complete geometric description of the device by quantifying all spatial degrees of freedom of the device. In the case of a spatially rigid device, such as an automobile, this attitude is the position of the reference point of the vehicle in space and the spatial orientation of the vehicle. In the case of articulated working machines, this pose additionally describes the position of each individual joint of the machine.

姿勢という用語に基づいて、以下においては、「軌道」という用語を、それぞれの作業機械の姿勢の時間経過として理解すべきである。 Based on the term attitude, hereinafter the term "trajectory" should be understood as the course of the attitude of the respective work machine over time.

道路交通における車両の場合には、基本的に、車両とその周囲とのあらゆる衝突を回避すべきであり、衝突の可能性のあるオブジェクトへの接近によって概して警告がもたらされるべきであるが、作業機械及びその工具の場合には、必要に応じて、作業対象又は被加工物又は被加工材とのプロセスに起因した接触が発生する（「故意の衝突」）。 In the case of vehicles in road traffic, basically any collision between the vehicle and its surroundings should be avoided, and the approach to a potentially colliding object should generally result in a warning; In the case of machines and their tools, if necessary, process-induced contact with the work piece or workpiece or workpiece occurs ("intentional collision").

発明の開示
本発明は、作業機械の周囲における、手元の作業プロセスに起因した衝突が許容される空間（３Ｄ）領域と、例えば、人身保護の理由から衝突が許容されない領域とを認識又は特定するという着想に基づく。許容される衝突とは、例えば、材料を拾い上げるために若しくは放出するために、又は、運動学的機構を用いて機械の周囲を処理するために、機械又は運動学的機構の操作員によって所望されている衝突であると理解することが可能である。許容されない衝突とは、操作員によって所望されていない衝突、又は、物的損傷若しくは人身損傷を伴う事故をもたらす衝突であると理解することが可能である。 DISCLOSURE OF THE INVENTION The present invention recognizes or identifies spatial (3D) areas around a work machine where collisions due to the work process at hand are acceptable and areas where collisions are not allowed for e.g. personal protection reasons. Based on the idea. Permissible collisions are those desired by the operator of a machine or kinematic mechanism, for example, to pick up or eject material, or to process the machine's surroundings with the kinematic mechanism. can be understood to be a collision with Unacceptable collisions can be understood as collisions that are not desired by the operator or which result in accidents involving property damage or personal injury.

そのような空間領域を認識することによって、好ましくはセマンティック（意味論（的）、独：ｓｅｍａｎｔｉｓｃｈ，英：ｓｅｍａｎｔｉｃ）に表現される周囲における、機械及び／又は運動学的機構若しくは工具及び／又は作業対象及び／又は人間の、予測可能であって、ひいては検証可能である相互作用が可能となる。この場合には、セマンティック３Ｄマップが使用され、このセマンティック３Ｄマップは、モバイルロボティクスにおいて既に使用されているメトリックマップであり、３Ｄ測定点に対する幾何学的又は地形的な情報に加えて、それぞれの測定点のセマンティックな指定もさらに含む。即ち、換言すれば、セマンティックマップとは、マップにおける各点の指定又は記述の形式における追加的な情報を有するメトリックマップ又は幾何学的マップ及び／又は地形マップとして理解可能である。このようなマップを用いて、相互作用が許容される領域と、相互作用が許容されない領域とを区別し、これに基づいて、衝突警告と、作業領域及び作業プロセスへのシステム介入とを実現することができる。 Machine and/or kinematic mechanisms or tools and/or operations in the surroundings preferably semantically expressed by recognizing such spatial regions Interactions of subjects and/or humans that are predictable and thus verifiable are enabled. In this case, a semantic 3D map is used, which is a metric map already used in mobile robotics and which, in addition to the geometric or topographical information for the 3D measurement points, is used for each measurement. It also contains a semantic specification of the point. In other words, a semantic map can be understood as a metric map or a geometric map and/or a terrain map that has additional information in the form of a designation or description of each point in the map. Such a map is used to distinguish between areas in which interaction is allowed and areas in which interaction is not allowed, and based on this, collision warnings and system interventions in work areas and work processes are realized. be able to.

センサを適当に配置し、対応して検出されたセンサ信号を適当に組み合わせることによって、本明細書に関連する作業機械及び／又は作業機械の工具の、周囲に対する空間的な位置及び向き、いわゆる「姿勢」を、例えば、工具の姿勢を定義するいわゆる「工具中心点」（Tool Center Point：ＴＣＰ）に基づいて正確に特定することができる。これによって、特に、自律的に行動又は動作する作業機械における対応する自動化機能が可能になる。 By suitable placement of the sensors and suitable combination of the correspondingly detected sensor signals, the spatial position and orientation of the work machine and/or work machine tool to which it is relevant herein relative to its surroundings, the so-called " "Position" can be accurately determined, for example, based on the so-called "Tool Center Point" (TCP), which defines the orientation of the tool. This enables corresponding automation functions, in particular in work machines that act or operate autonomously.

ＴＣＰを特定することは、公知のように、マニピュレータ運動学的機構（マニピュレータキネマティック）を有する機械、例えば、掘削機、伸縮式ハンドラ、林業用機械、建設用クレーン又はトラック積載用クレーンのためのほぼ総ての支援システムの基礎であることに留意すべきである。さらに、ＴＣＰを正確に把握することにより、特に、機械の自動的又は半自動的な動作において、機械の作業領域の正確な境界設定と、建設進捗の正確な記録とが可能になる。 Specifying TCP, as is known, is for machines with manipulator kinematics (manipulator kinematics), such as excavators, telescopic handlers, forestry machines, construction cranes or truck-mounted cranes. It should be noted that it is the basis of almost all support systems. Furthermore, an accurate understanding of the TCP allows for accurate demarcation of the working area of the machine and accurate recording of construction progress, especially in automatic or semi-automatic operation of the machine.

本発明は、本明細書に関連する作業機械の、条件付きで衝突が許容される動作のための方法であって、機械及び／又は運動学的機構若しくは工具の姿勢を、姿勢特定を実施する特に信号技術的な測定方法に基づいて特定し、このようにして特定された、機械又は運動学的機構の姿勢を、セマンティック３Ｄマップと比較し、機械の周囲にあるオブジェクトとの間において発生し得る、条件付きで許容される衝突又は許容されない衝突を認識又は特定する、方法を提案する。上記測定方法は、センサシステムによって生成された測定データに基づいて機械及び／又は工具の姿勢を検出することを含み得る。本方法においては、作業機械に配置された周囲センサによって、及び／又は、他の機械のセンサによって、及び／又は、機械の周囲に位置固定されて設置されたセンサによって、手元のセマンティックマップに基づいて、機械のための周囲モデルを作成することができる。 The present invention is a method for conditionally crash tolerant operation of a work machine to which the present invention relates, wherein the attitude of the machine and/or kinematic mechanism or tool implements attitude determination. The posture of the machine or kinematic mechanism determined in this way, determined in particular on the basis of signal-technical measurement methods, is compared with the semantic 3D map and occurs with objects in the machine's surroundings. We propose a method for recognizing or identifying conditionally acceptable or unacceptable collisions. The measurement method may include detecting the attitude of the machine and/or tool based on measurement data generated by the sensor system. In the method, based on the semantic map at hand, by ambient sensors located on the work machine and/or by sensors on other machines and/or by sensors installed in fixed locations around the machine. can be used to create a model of the surroundings for the machine.

本方法においては、さらに、セマンティックマップのうちの、オブジェクトとの衝突が発生し得る場合であっても機械の動作を許容し得る領域と、セマンティックマップのうちの、オブジェクトとの間において発生し得る衝突に関して、オブジェクトと衝突することなく機械が移動し得る領域とを識別することができる。セマンティックマップの、このようにして識別された領域を、運動学的機構のＴＣＰ位置データを用いて調整することができる。 The method further includes a region of the semantic map that allows motion of the machine even if a collision with the object may occur, and a collision that may occur between the semantic map and the object. With respect to collisions, it is possible to identify objects and areas in which the machine can move without collisions. The regions of the semantic map thus identified can be adjusted using the TCP position data of the kinematic mechanism.

本方法においては、セマンティックマップ内のオブジェクトを、機械及び／又は運動学的機構との間において発生し得る衝突に関して、条件付きで許容されるものとして又は許容されないものとして分類することもできる。さらに、機械の動作中に、機械及び／又は運動学的機構の計画又は予測された移動軌道に基づいて、計画又は予測された移動軌道の領域内における分類されたオブジェクトに関して許容し得ない相互作用を認識し、少なくとも１つの相互作用が認識された場合に、機械の操作員に警告メッセージを出力し、及び／又は、機械の動作への衝突防止介入を実施することができる。 The method may also classify objects in the semantic map as conditionally acceptable or unacceptable with respect to possible collisions with machines and/or kinematic mechanisms. Furthermore, based on the planned or predicted movement trajectory of the machine and/or the kinematic mechanism during operation of the machine, unacceptable interaction with respect to the classified objects within the area of the planned or predicted movement trajectory and can output a warning message to the machine operator and/or implement an anti-collision intervention in the operation of the machine if at least one interaction is recognized.

同様にして提案される装置は、前述したセンサシステム及び／又は信号技術によって検出された、機械又は運動学的機構の姿勢データを利用し、これにより、機械又は運動学的機構のセンサデータ又は姿勢データに基づいて、セマンティック３Ｄマップによって、機械の周囲にあるオブジェクトとの間において発生し得る、条件付きで許容される衝突又は許容されない衝突を確実に認識又は特定し、オブジェクトとの条件付きで許容される衝突のみが許容されるように、機械又は機械の運動学的機構に配置されたアクチュエータを制御する。 A similarly proposed device makes use of attitude data of a machine or kinematic mechanism detected by the sensor systems and/or signaling techniques described above, thereby providing sensor data or attitude of the machine or kinematic mechanism. Based on the data, the semantic 3D map reliably recognizes or identifies conditionally acceptable or unacceptable collisions that may occur with objects in the machine's surroundings and provides conditionally acceptable collisions with objects. It controls actuators located on the machine or the kinematic mechanism of the machine so that only crashes that occur are allowed.

本装置は、セマンティックマップによって機械を位置特定するための位置特定要素と、機械の側で実施されるべき作業タスク及び作業ステップを計画するための計画要素と、機械及び／又は運動学的機構の移動、及び／又は、機械の周囲に配置されたオブジェクトの移動を計画、予測及び監視するための軌道計画要素と、セマンティックマップに基づく周囲モデルと、少なくとも１つのオブジェクトとの潜在的な衝突を予測するためのシーン解釈要素と、少なくとも１つのオブジェクトとの許容されない衝突を回避するための適当な措置を実施するためのアクチュエータ管理要素とを有することができる。 The device comprises a locating element for locating the machine by means of a semantic map, a planning element for planning the work tasks and work steps to be performed on the part of the machine, a machine and/or a kinematic mechanism. A trajectory planning element for planning, predicting and monitoring movement and/or movement of objects placed around the machine, a semantic map-based surroundings model, and predicting potential collisions with at least one object. and an actuator management element for implementing appropriate measures to avoid unacceptable collisions with the at least one object.

さらに、本装置は、機械の運動力学と、機械の開ループ制御及び閉ループ制御の挙動とに関連する車両モデルを有する又は提供することができる。 In addition, the apparatus may have or provide a vehicle model relating to the kinematics of the machine and the open-loop control and closed-loop control behavior of the machine.

本装置においては、さらに、シーン解釈要素によって、機械の周囲に位置するさらなる機械、工具、被加工物又は作業対象の相互作用と、機械の周囲におけるこれに関連する変化とを予測、認識及び／又は妥当性検査することができる。 In the apparatus, the scene interpretation element further predicts, recognizes and/or anticipates, recognizes and/or interacts with further machines, tools, workpieces or work objects located in the surroundings of the machine and related changes in the surroundings of the machine. or can be validated.

従って、本発明は、有利には、本明細書に関連する作業機械の自律的又は自動化可能な動作を可能にする。 Accordingly, the present invention advantageously enables autonomous or automatable operation of work machines related herein.

本発明は、特に可動式の作業機械、例えば、ショベル系掘削機又は刈取機において使用可能である。 The invention is particularly applicable in mobile work machines, such as shovel-type excavators or reapers.

コンピュータプログラムは、特に計算装置上又は制御装置上において実行された場合に、本方法のそれぞれのステップを実施するために構成されている。これにより、電子制御装置の構造的な変更を加える必要なく、電子制御装置上に本方法を実装することができる。このために、コンピュータプログラムが格納されている機械可読データ担体が設けられている。コンピュータプログラムを電子制御装置上にインストールすることにより、本明細書に関連する機械を、提案する方法によって動作又は制御するように構成された電子制御装置が得られる。 The computer program is especially designed for implementing the respective steps of the method when run on a computing device or on a control device. This allows the method to be implemented on the electronic control device without the need to make structural changes to the electronic control device. For this purpose, a machine-readable data carrier is provided on which a computer program is stored. By installing a computer program on an electronic controller, an electronic controller is obtained which is arranged to operate or control the machine associated with this specification according to the proposed method.

本発明のさらなる利点及び構成は、本明細書及び添付図面から明らかになる。 Further advantages and features of the invention will become apparent from the specification and accompanying drawings.

言うまでもなく、上述した特徴及び以下においてさらに説明すべき特徴は、本発明の範囲から逸脱することなく、それぞれの記載された組合せにおいてのみならず、他の組合せにおいても又は単独でも使用可能である。 It goes without saying that the features mentioned above and those to be explained further below can be used not only in the respective stated combination, but also in other combinations or alone, without departing from the scope of the invention.

「工具中心点」（ＴＣＰ）の特定を説明するための従来技術による運動学的機構を有するショベル系掘削機の概略図である。1 is a schematic diagram of a shovel-type excavator with prior art kinematic mechanisms to illustrate the determination of a "tool center point" (TCP); FIG. 本発明に係る方法の実施例を、フローチャートに基づいて示す図である。Fig. 3 shows an embodiment of the method according to the invention on the basis of a flow chart; 本発明に係る装置の実施例を、ブロック図に基づいて示す図である。1 shows an embodiment of the device according to the invention on the basis of a block diagram; FIG.

実施例の説明
図１は、ショベル系掘削機の横断面を概略的に示し、掘削機アームの各部に配置された変位センサによって前述したＴＣＰ（Tool Center Point：工具中心点）を特定する様子を説明する。 DESCRIPTION OF THE EMBODIMENTS FIG. 1 schematically shows a cross section of a shovel-type excavator, showing how the above-mentioned TCP (Tool Center Point) is specified by displacement sensors arranged at various parts of the excavator arm. explain.

ショベル系掘削機は、下部構造体１００と、回転接続部１０３を介して下部構造体１００に回転可能に支持された上部構造体１０５とを含む。上部構造体１０５には、掘削機アームの形態の運動学的機構が配置されており、即ち、第１の関節アーム１１０と、第１の関節アーム１１０に配置された第２の関節アーム１１５と、さらに第２の関節アーム１１５に配置された第３の関節アーム１２０とを有する運動学的機構が配置されている。第３の関節アーム１２０にはショベル１２５が設けられており、ショベル１２５の上側の領域にはＴＣＰ１２７が配置されている。第１の関節アーム１１０は、第１の接続部品１３０を介して上部構造体１０５に旋回可能に配置されていて、かつ、第２の接続部品１３５を介して第２の関節アーム１１５に旋回可能に接続されている。相応に、第３の関節アーム１２０及びショベル１２５も、対応する接続部品１３７，１３８を介して旋回可能に接続されている。 The shovel-type excavator includes a lower structure 100 and an upper structure 105 rotatably supported on the lower structure 100 via a rotary connection 103 . A kinematic mechanism in the form of an excavator arm is arranged on the superstructure 105 : a first articulated arm 110 and a second articulated arm 115 arranged on the first articulated arm 110 . , and a third articulated arm 120 arranged on the second articulated arm 115 . A shovel 125 is provided on the third articulated arm 120 and a TCP 127 is arranged in the upper region of the shovel 125 . The first articulated arm 110 is pivotably arranged to the superstructure 105 via a first connecting piece 130 and pivotable to the second articulated arm 115 via a second connecting piece 135 . It is connected to the. Correspondingly, the third articulated arm 120 and the shovel 125 are also pivotally connected via corresponding connecting pieces 137,138.

ショベル系掘削機の動作時には、関節アーム１１０，１１５，１２０は、完全にはねじれ不能にはなっておらず、接続部品１３０，１３５，１３７，１３８は、関節の遊びを有しているので、ショベル１２５の位置、特にＴＣＰ１２７の位置において予測し得ない不正確性又は誤差が生じる。さらに、関節アーム１１０，１１５，１２０及びショベル１２５は、液圧シリンダ１４０，１５５，１７０，１８５によって液圧的に動作させられ、これらの液圧シリンダの接続部品１４５，１５０，１６０，１６５，１７５，１８０，１９０，１９５においても関節の遊びが生じ、ひいては、ＴＣＰ１２７の位置を特定する際におけるさらなる不正確性又は誤差が生じる。 During operation of the excavator, the articulated arms 110, 115, 120 are not completely twistable and the connecting parts 130, 135, 137, 138 have articulation play, Unpredictable inaccuracies or errors occur in the position of the shovel 125, particularly the position of the TCP 127. In addition, the articulated arms 110, 115, 120 and the shovel 125 are hydraulically actuated by hydraulic cylinders 140, 155, 170, 185 and the connecting parts 145, 150, 160, 165, 175 of these hydraulic cylinders. , 180 , 190 , 195 also cause joint play and thus further inaccuracies or errors in locating TCP 127 .

図１に示されているショベル系掘削機の上部構造体１０５に対するＴＣＰ１２７の相対的な位置は、種々異なる方法により測定可能である。このために、慣性センサ及びロータリーエンコーダを使用することができる。しかしながら、慣性センサによる運動学的機構要素の***に基づいた姿勢の特定は、特に上部構造体が回転する場合には、比較的不正確であることが多い。従って、上部構造体上のそれぞれのセンサとＴＣＰ１２７との間に視覚的接触が存在する場合には、例えば、方向探知機を介して検出されたＴＣＰ１２７の実際の空間的な位置と、前述した慣性センサを介して及び／又は液圧シリンダに配置された圧力センサを介してモデル化された位置との間の調整を、モデル計算に基づいて実施することができる。代替的又は追加的に、直接的な測定方法が考慮され、この直接的な測定方法においては、少なくとも１つの高周波信号送信機又は高周波信号受信機によって、及び／又は、少なくとも１つの光学カメラによって、及び／又は、少なくとも１つのレーザ距離計によって、及び／又は、少なくとも１つの超音波センサによって、正確なＴＣＰ位置が検出される。 The position of TCP 127 relative to the shovel-type excavator superstructure 105 shown in FIG. 1 can be determined in a variety of ways. For this, inertial sensors and rotary encoders can be used. However, the body-based orientation determination of kinematic mechanism elements by inertial sensors is often relatively inaccurate, especially when the superstructure rotates. Thus, if there is visual contact between respective sensors on the superstructure and TCP 127, the actual spatial position of TCP 127 as detected, for example, via a direction finder, and the inertial An adjustment between the modeled positions via sensors and/or via pressure sensors arranged in the hydraulic cylinders can be performed on the basis of model calculations. Alternatively or additionally, direct measuring methods are considered, in which at least one high-frequency signal transmitter or high-frequency signal receiver and/or by at least one optical camera, and/or the precise TCP position is detected by at least one laser range finder and/or by at least one ultrasonic sensor.

本明細書に関連する作業機械の周囲にあるオブジェクトとの間において発生し得る、条件付きで許容される衝突又は許容されない衝突を認識又は特定するための、図２に示されたフローチャートに基づいて以下に説明する方法においては、先ず始めに、作業機械に配置された周囲センサ２０４により及び／又は他の機械のセンサにより、地形又はインフラストラクチャに基づいて、３Ｄ周囲モデル又は３Ｄ周囲マップ２００が作成される。さらに、機械視認又はパターン認識の公知の方法を使用して、位置固定されたオブジェクト、例えば、建物、道路／小道、建設ピット、電柱、樹木、又は、建築資材と、位置固定されていないオブジェクト、例えば、静止している機械、静止している車両、又は、静止している人間と、動いているオブジェクト、例えば、移動中の人間、走行中の車両、又は、作業中の機械とを認識して、分類することもできる。好ましくは、これらの認識されたオブジェクトをセマンティックマップにおいて検出して、このセマンティックマップを、任意選択的に、例えば、さらにグローバルナビゲーションシステム（ＧＮＳＳ）を使用して、かつ、追加的にいわゆる「リアルタイム運動学的機構（リアルタイムキネマティック）」（ＲＴＫ）を使用して、地理参照することもできる。従って、このようにして提供された作業機械を、独立して及び／又は支援を受けて、セマンティックマップにおいて位置特定し、かつ、セマンティックマップにおいてナビゲーションすることができる。 Based on the flowchart shown in FIG. 2 for recognizing or identifying conditionally permissible or impermissible collisions that may occur with objects in the surroundings of a work machine to which this specification relates. In the method described below, first a 3D ambient model or 3D ambient map 200 is created based on terrain or infrastructure by ambient sensors 204 located on the work machine and/or by sensors on other machines. be done. Furthermore, using known methods of machine vision or pattern recognition, fixed objects such as buildings, roads/paths, construction pits, utility poles, trees, or building materials, and non-fixed objects, For example, it recognizes stationary machines, stationary vehicles, or stationary humans and objects in motion, such as humans in motion, vehicles in motion, or machines at work. can also be categorized. Preferably, these recognized objects are detected in a semantic map and this semantic map is optionally, for example, also using a Global Navigation System (GNSS) and additionally so-called "real-time motion It can also be georeferenced using real-time kinematics (RTK). Thus, a work machine provided in this manner can be independently and/or assisted in localizing and navigating in the semantic map.

さらに、以下に説明する機能によって、セマンティックマップのうちの、機械を用いて作業を行い得る（衝突が許容される）それぞれの領域又は部分と、セマンティックマップのうちの、オブジェクトと衝突することなく機械が移動し得るそれぞれの領域又は部分とが識別２１０される。作業機械の運動学的機構又は工具と、周囲のオブジェクトとの間において発生し得る、実際に生じる衝突についての、場合によっては繰り返されるチェック２１５において、セマンティックマップのうちの前述した領域又は部分を、前述した方法により検出又は特定されたＴＣＰ位置データ２２５と比較２２０することができる。 In addition, the functions described below allow each region or portion of the semantic map to be worked with (collision allowed) with a machine and a machine to work without colliding with an object. A respective region or portion to which the can move is identified 210 . In a possibly repeated check 215 for actual collisions that may occur between kinematic mechanisms or tools of the work machine and surrounding objects, the aforementioned regions or portions of the semantic map are It can be compared 220 with TCP location data 225 detected or determined by the methods described above.

機械（又は車両）と、機械（又は車両）の工具との運動力学に基づいて、発生し得る予測可能な移動軌跡に加えて、処理されるべき被加工物若しくは作業材料及び／又は周囲との必要若しくは有用な接触も生じる。従って、例えば、ホイールローダは、ばら積み材を拾い上げるために、自身のショベルを堆土の中に移動させる必要があり、圧縮空気ハンマは、材料を削り取るために、石材の被加工物若しくは作業材料に鈍角でたがねを入れる場合があり、又は、ドリルは、それぞれの土壌の中に垂直に前進する場合がある。これによって、関連するオブジェクト（被加工物又は作業材料）との必要な接触と、これらのオブジェクトにおける工具又はそれぞれの作業プロセスに基づいた変化とが生じ、これらを、本明細書において説明する方法及び装置によって、安全かつ確実に認識することが可能である。 Based on the kinematics of the machine (or vehicle) and the tools of the machine (or vehicle), in addition to possible predictable movement trajectories, the workpiece or work material to be processed and/or the surroundings. Necessary or useful contact also occurs. Thus, for example, a wheel loader must move its shovel into the mound to pick up bulk material, and a compressed air hammer must be applied to a masonry work piece or working material to scrape off the material. The chisel may enter at an obtuse angle, or the drill may advance vertically into the respective soil. This results in the necessary contact with the relevant objects (workpiece or work material) and changes in these objects based on the tool or respective work process, which are combined with the methods and methods described herein. The device allows safe and reliable recognition.

セマンティックマップにおいて、工具、被加工物及び作業プロセスに論理的に関係がある領域／部分が識別される。従って、認識又は分類された被加工物への予測された軌道に沿った工具の接近、及び／又は、被加工物における、作業プロセスの観点から妥当である相互作用及び変化が、許容される衝突領域としてセマンティックマップにおいてマーキングされる。 In the semantic map, regions/parts that are logically related to tools, workpieces and work processes are identified. Therefore, the approach of the tool along the predicted trajectory to the recognized or classified work piece and/or the interactions and changes in the work piece that are plausible from the point of view of the work process are allowed collisions. It is marked in the semantic map as a region.

作業機械の、破線２３０によって区切られた動作プロセスにおいて、計画又は予測２３５された移動軌道と、分類されたオブジェクトとに基づいて、軌道の領域内に許容し得ない相互作用が認識２４０された場合には、機械及び／又は運動学的機構若しくは工具を停止させるために、及び／又は、それぞれのオブジェクトを回避するために、警告及び／又は介入２４５が行われる。従って、予測された軌道は、人間又は他の作業機械を通過してはならないが、手元の作業プロセスの枠内において所望されている、機械又は工具とそれぞれのオブジェクトとの間の以下に説明する接触は、許容される。 In the working process of the work machine delimited by the dashed line 230, based on the planned or predicted 235 movement trajectory and the classified objects, if an impermissible interaction within the region of the trajectory is recognized 240. , warnings and/or interventions 245 are made to stop the machine and/or kinematic mechanism or tool and/or to avoid the respective object. Therefore, the predicted trajectory must not pass through a human or other work machine, but is desired within the framework of the work process at hand, between the machine or tool and the respective object described below. Contact is allowed.

軌道計画時においては、機械又は工具の運動力学と、操作員の制御命令とに基づいて、工具又は機械の軌道を予測することができる。予測された軌道が人間の身体と重なった場合には、機械又は工具が、即刻又は即座に停止させられる。人間が動いていて、その移動軌道を推定することができる場合には、この軌道を衝突管理に共に含め入れることができる。 During trajectory planning, the trajectory of the tool or machine can be predicted based on machine or tool kinematics and operator control commands. If the predicted trajectory overlaps the human body, the machine or tool is immediately or immediately stopped. If a person is moving and their movement trajectory can be estimated, this trajectory can be included together in collision management.

さらに、追加的ないわゆる「運転者監視」システムにより、機械の操作員の視線方向に基づいて、この操作員が、自身の機械の相互作用領域内に存在している人間を知覚したかどうかと、機械の移動時にも視界に入れているどうかとを認識することができる。その場合、分類された人間は、対応する「運転者監視」カメラによって認識された、操作員の視線の遮られていない又は覆われていない延長線上に位置している。これが当てはまらない場合には、機械を即座に停止させることができる。 In addition, an additional so-called "operator monitoring" system determines whether or not the machine operator perceives a human being present within the interaction area of his machine, based on the line-of-sight direction of the machine operator. , it is possible to recognize whether or not the machine is in sight even when the machine is moving. In that case, the classified person is located in an unobstructed or uncovered extension of the operator's line of sight as perceived by the corresponding "driver monitoring" camera. If this is not the case, the machine can be stopped immediately.

前述したカメラシステムがさらにジェスチャ認識を有する場合には、このジェスチャ認識も、衝突管理に含め入れることができる。従って、機械の操作員に指示を出す人間は、機械の相互作用領域内において、例えば、手の合図によって、工具若しくは移動させるべき積荷の目標位置に到達したこと、工具の方向を変更しなければならないこと、又は、積荷を例えば上方に移動させるべき若しくは降ろすべきであることを、指示することができる。 If the camera system described above also has gesture recognition, this gesture recognition can also be included in collision management. Thus, the person giving the instructions to the machine operator must change the direction of the tool, for example by hand signals, that the target position of the tool or the load to be moved has been reached, and the direction of the tool must be changed within the interaction area of the machine. or that the load should be moved up or down, for example.

さらに、セマンティック３Ｄマップにおいて、人間の上方の領域を、概して、機械又は工具の許容されない移動領域としてマーキングすることも有用である。 In addition, it is also useful to mark the region above humans in the semantic 3D map as the region of unacceptable movement of machines or tools in general.

作業機械において工具が交換された場合には、この交換が装置によって認識され、衝突管理において考慮される。従って、掘削機においてショベルからたがねに交換すると、他の必要な、許容し得る又は有用な作業タスク、周囲、シーン、軌道、操作、衝突管理及びシステム介入をもたらすことがあり得る。 If a tool is changed on the work machine, this change is recognized by the system and taken into account in collision management. Thus, switching from shovel to chisel in an excavator can result in other necessary, acceptable or useful work tasks, surroundings, scenes, trajectories, maneuvers, crash management and system interventions.

前述した作業プロセスに関する又は技術的な関係性を、事前に、例えば、開発段階及び適用段階に特定して、機械の既存の制御ユニットに保存することができる。 The aforementioned working process-related or technical relationships can be specified in advance, for example during development and application stages, and stored in the existing control unit of the machine.

以下においては、農業用作業機械即ちコンバインを例にして、このコンバインを、その周囲において、前述したセマンティックマップに基づいて開ループ制御及び閉ループ制御するために、前述した衝突監視がどのように実施されるかを説明する。 In the following, an agricultural working machine, a combine harvester, is taken as an example, and how the aforementioned collision monitoring is implemented in order to perform open-loop control and closed-loop control of this combine harvester around it based on the aforementioned semantic map. explain how

この農業用機械においては、衝突管理のための基礎として、センサ又は他のソースによって提供される以下の情報、即ち、
・周辺情報、例えば、地形、植生、生物、天気、動いているオブジェクト又は動かないオブジェクト；
・機械及び周囲のオブジェクトの現在の位置特定又は現在地、セマンティック及び／又はグローバルなマップ情報、フィールドマップ；
・機械の周辺及び内部における収穫物及び作物の流れの情報；
・機械成分及び動作成分の情報、例えば、機械部品の動作点、状態情報、物理量；
・操作員の情報、例えば、機械における操作要素の位置、運転者／操作員の視線／注意／疲労及び作業プロセスの意図；
・現在の時間及び日付
を考慮することができる。 In this agricultural machine, as a basis for crash management, the following information provided by sensors or other sources:
- Surrounding information, such as terrain, vegetation, organisms, weather, moving or non-moving objects;
current localization or location of machines and surrounding objects, semantic and/or global map information, field maps;
- information about the harvest and crop flow around and inside the machine;
- Information on mechanical and operating components, e.g. operating points of mechanical parts, state information, physical quantities;
- operator information, e.g. position of operating elements on the machine, driver/operator line of sight/attention/fatigue and work process intentions;
• Can take into account the current time and date.

これらの情報に基づいて、衝突を回避するための、それぞれの機械技術的又は作業プロセス的な状況に関する結論が導き出される。このように特定された状況は、装置によって自身の挙動を調整するために使用される。というのも、コンバインの収穫走行中には、機械が刈取部によって潜在的に危険なオブジェクトを拾い上げることなく、かつ、コンバインの処理コンポーネントへと搬送することなく、収穫物を拾い上げて処理することが重要だからである。 Based on this information, conclusions can be drawn regarding the respective mechanical or work process situation in order to avoid collisions. The conditions thus identified are used by the device to adjust its behavior. This is because during the harvesting run of the combine, the machine can pick up and process the harvest without picking up potentially dangerous objects by the reaping station and transporting them to the processing components of the combine. Because it is important.

この用途例においては、コンバインが、収穫物と非収穫物とをそのセンサシステムによって能動的に区別し、衝突が認識された場合には、さらなる収穫走行を停止させることによって、又は、それぞれの障害物を回避することによって、セマンティックマップを用いた衝突回避を実現することができる。周囲データに基づいた現在の分析結果をセマンティックマップに保存することができ、これにより、畑を改めて収穫走行又は処理する際に、この分析結果を再利用することができる。 In this application example, the combine actively distinguishes between harvested and non-harvested material by means of its sensor system, either by stopping further harvesting runs if a collision is recognized, or by stopping the respective obstacle. Collision avoidance using semantic maps can be achieved by avoiding objects. The current analysis results based on ambient data can be saved in a semantic map so that they can be reused when the field is harvested or processed again.

コンバインと周囲のオブジェクトとの間の最初の許容される衝突は、未収穫の作物を有する収穫されるべき畑に到着したときに特定される。コンバインは、取り付けられた工具、例えば刈取工具と共にその畑の植物に接近し、許容される衝突と共にそれらを刈り取り、続いて、刈り取った植物部分を機械内部の処理コンポーネントに供給する。コンバインが畑の作物の並びに追従するとき、コンバインは、ある時点に畑の走行軌跡の端に到着する。畑の作物の存在は、そこで終端し、機械は、その場所において、刈取工具と周囲のオブジェクト、例えば茂み又は樹木との間の衝突を阻止して、例えば、刈取工具の損傷を回避しなければならないことになる。 The first permissible collision between the combine and surrounding objects is identified upon arrival at the field to be harvested with unharvested crops. A combine, with an attached tool, such as a cutting tool, approaches the plants in the field, mows them with a permissible impact, and then feeds the mown plant parts to the processing components inside the machine. As the combine follows the line of crops in the field, at some point the combine will reach the end of the field's track. The presence of crops in the field ends there and the machine must prevent collisions between the cutting tool and surrounding objects, such as bushes or trees, at that location to avoid damage to the cutting tool, for example. It will not be.

収穫走行の過程において、収穫物はまた、コンバインの穀物タンクから搬送車両へと定期的に積み替えられる。この積み替えは、停止状態において又は収穫走行中においても実施可能である。このために、排出用又は充填用チューブが、折り畳まれた状態から搬送トレーラに向かって旋回され、続いて、材料が積み替えられる。この旋回プロセス中、充填用チューブの移動軌跡に起因して、少なくとも短時間、トレーラと充填用チューブとの間に許容されない接近が生じる可能性がある。この衝突状態も、上述した方法によって認識することができ、コンバインは、状況に応じて、衝突が発生する可能性がないように制御される。 During the course of the harvest run, the harvest is also periodically transshipped from the grain tanks of the combine to the transport vehicle. This transshipment can also be carried out at rest or during the harvesting run. For this, the emptying or filling tube is swiveled from the folded state towards the transport trailer and the material is subsequently transferred. During this turning process, due to the travel trajectory of the filling tube, impermissible proximity can occur between the trailer and the filling tube, at least for a short period of time. This collision state can also be recognized by the method described above, and the combine is controlled according to the situation so that there is no possibility of collision.

農業分野からの他の用途例は、耕運機又は播種機が装備されたトラクタと、処理されるべき畑との間の必要な衝突である。従って、例えば、土壌の反転又は混合を達成するために、耕墾器又は中耕機の歯先又は犂刃が意図的に地中に沈め降ろされる。この場合、均一な処理及び均一な混合が特に重要である。この用途例においては、衝突管理のため使用される状況システムの課題は、装置を、処理プロセスにおける一定の作業深度及び一定の速度で維持することである。例えば、前方の地面において比較的多数の残留植物、又は、石だらけ若しくは固まった地面が認識された場合には、状況に応じて、土壌処理装置が持ち上げられ、又は、土壌処理装置の移動速度が変更される。 Another application example from the agricultural sector is the necessary collision between a tractor equipped with a cultivator or seeder and the field to be treated. Thus, for example, the tines or coulters of a cultivator or intercultivator are intentionally lowered into the ground in order to achieve inversion or mixing of the soil. Uniform processing and uniform mixing are of particular importance here. In this application example, the challenge of the situational system used for collision management is to keep the device at a constant working depth and constant speed in the treatment process. For example, if a relatively large number of residual vegetation, or stony or hardened ground is recognized in the ground ahead, the soil treatment device is raised or the speed of movement of the soil treatment device is reduced, depending on the circumstances. Be changed.

さらなる対応する又は類似の用途例は、例えば、飼料収穫機、ヤードローダ、伸縮式ローダ等の分野において考えられる。 Further corresponding or similar application examples are conceivable, for example, in the field of forage harvesters, yard loaders, telescopic loaders and the like.

建設の分野においても、既に説明したように、建設機械の使用時に、機械の運転者自身が（意図的に）移動又は接近を開始したにもかかわらず、機械的なアルゴリズムによって自機械への衝突又は危険として潜在的に認識されるような故意の衝突又は移動パターンが発生することがしばしばある。従って、一方では、作業プロセスにおいて土壌材料若しくはばら積み材との意図的な衝突を必要とし、材料運搬用ショベルと搬送容器との衝突、又は、搬送容器内への材料運搬用ショベルの想定された降下を必要とするような掘削機及びホイールローダにおいても、本明細書に記載されている方法及び装置を使用することができる。 In the field of construction, as already explained, when a construction machine is in use, even though the operator of the machine has (intentionally) started moving or approaching the machine, a collision with the own machine can be prevented by a mechanical algorithm. Or, there are often deliberate collisions or movement patterns that are potentially perceived as dangerous. Thus, on the one hand, the working process requires intentional collisions with soil material or bulk material, the collision of the material-handling shovel with the transport container, or the supposed lowering of the material-handling shovel into the transport container. Excavators and wheel loaders such as those requiring

他の用途例は、フォークリフト又は伸縮式ローダによってトラックへの積載を行う際における２つの車両コンパートメントの旋回である。この場合、積載されるべき物品は、トラックトレーラの車両包絡線においてフォークリフトの歯先に移動される。この接近は、衝突警告システムにとっては許容し得ない衝突を意味し得るが、この接近は、状況に応じて運転者によって意識的に引き起こされるものである。 Another example of application is the pivoting of two vehicle compartments when loading a truck with a forklift or telescopic loader. In this case, the goods to be loaded are moved to the tip of the forklift in the vehicle envelope of the truck trailer. Although this approach may represent an unacceptable collision for the collision warning system, this approach is consciously induced by the driver depending on the circumstances.

図３は、本明細書に関連する作業機械の、条件付きで衝突が許容される動作のための装置の機能要素を示している。位置特定要素３００によって、セマンティックマップ、特にセマンティック３Ｄマップに基づいた位置特定と、それぞれの機械若しくは機械の工具及び／又は人間及び／又は相互作用領域及び／又はオブジェクトの、グローバルな即ちＧＮＳＳベースの位置特定とが実施される。 FIG. 3 shows the functional elements of the device for conditionally crash-tolerant operation of the work machine to which this description relates. The localization element 300 allows localization based on semantic maps, in particular semantic 3D maps, and global or GNSS-based positioning of respective machines or tools of machines and/or humans and/or interaction areas and/or objects. Identification is performed.

ここでは、本明細書に関連する作業機械を動作させるために最大限に装備された装置について説明する。従って、装置の分離及び／又は掛合せ及び／又はさらなる組合せが考えられる。 A fully equipped apparatus for operating the work machine to which this specification relates is described herein. Separation and/or mating and/or further combinations of devices are therefore conceivable.

第２の機能要素３０２は、作業タスク及び作業ステップ若しくは作業プロセス又はそれらの一部の計画を実施する（いわゆる「タスク計画」）。計画は、操作員３０５及び／又は「ビルディング・インフォメーション・モデリング」（ＢＩＭ）によって実施され、及び／又は、事前に学習された操作シーケンス及び／又は作業シーケンスに基づいて実施される。第３の機能要素３１０は、機械及び／又は工具の移動だけでなく人間の移動の計画、予測及び観察を実施する（いわゆる「軌道計画」）。第４の機能要素３２０に基づいて、軌道計画３１０と、セマンティック３Ｄマップ３１２に基づいた周囲モデル３１５と、シーン解釈３３５とにおいて予測された潜在的な衝突及び不確かさが認識され、第５の機能要素３３０に基づいて、システム介入（いわゆる「アクチュエータ管理」）による措置、又は、タスク計画３０２及び軌道計画３１０の更新を回避するための措置が実施される（いわゆる「衝突管理」３２０）。 A second functional element 302 carries out the planning of work tasks and work steps or work processes or parts thereof (so-called "task planning"). The planning is performed by the operator 305 and/or "Building Information Modeling" (BIM) and/or based on pre-learned operational sequences and/or work sequences. A third functional element 310 performs planning, prediction and observation of human movements as well as machine and/or tool movements (so-called "trajectory planning"). Based on a fourth functional element 320, potential collisions and uncertainties predicted in the trajectory plan 310, the surrounding model 315 based on the semantic 3D map 312, and the scene interpretation 335 are recognized; Based on element 330, measures are taken by system intervention (so-called "actuator management") or to avoid updating task plan 302 and trajectory plan 310 (so-called "collision management" 320).

操作員と操作要素及び表示要素との間の相互作用、並びに、運転者監視は、マンマシンインタフェース３２２によって実施される。車両モデル３２５（「車両モデル」）は、それぞれの走行可能な機械の運動学（キネマティクス）及び動力学（ダイナミクス）と、機械の開ループ制御及び閉ループ制御の挙動とを含む。前述したアクチュエータ管理３３０（「アクチュエータ管理」）は、手元の動作戦略に応じて、対応するアクチュエータへの車両及び工具の縦方向移動及び横方向移動の割り当てを考慮する。前述したシーン評価３３５（「シーン解釈」）により、機械、工具、被加工物又は作業対象の相互作用と、周囲又はオブジェクトにおけるこれに関連する変化とが、予測、認識及び妥当性検査され、衝突管理及びシステム介入３４０のための対応する示唆及び指示が、前述した「アクチュエータ管理」３３０によって出力される。 Interaction between the operator and the operating and display elements as well as driver monitoring is performed by man-machine interface 322 . A vehicle model 325 (“vehicle model”) includes the kinematics and dynamics of each drivable machine and the open-loop and closed-loop control behavior of the machine. Actuator management 330 ("actuator management"), previously described, takes into account the allocation of longitudinal and lateral movement of vehicles and tools to corresponding actuators, depending on the operating strategy at hand. Scene evaluation 335 ("scene interpretation"), previously described, predicts, recognizes and validates interactions of machines, tools, workpieces or work objects and associated changes in the surroundings or objects to prevent collisions. Corresponding suggestions and instructions for management and system intervention 340 are output by the "Actuator Management" 330 previously described.

上述した方法又は装置は、このために独自に開発された制御装置においても使用可能である。 The methods or devices described above can also be used in control devices developed independently for this purpose.

上述した方法は、本明細書に関連する機械を制御するための電子制御装置のための制御プログラムの形態において、又は、１つ若しくは複数の対応する電子制御ユニット（ＥＣＵ）の形態において、実現することが可能である。 The method described above is implemented in the form of a control program for an electronic controller for controlling the machine to which this specification relates, or in the form of one or more corresponding electronic control units (ECUs). It is possible.

Claims (10)

運動学的機構（１１０，１１５，１２０）を有する機械（１００，１０５）を動作させるための方法であって、
前記機械（１００，１０５）及び／又は前記運動学的機構（１１０，１１５，１２０）の姿勢を特定する、
方法において、
特定された、前記機械（１００，１０５）及び／又は前記運動学的機構（１１０，１１５，１２０）の姿勢を、セマンティックマップ（２００，３１２）と比較（２１５）し、
前記機械（１００，１０５）の周囲にあるオブジェクトとの間において発生し得る、条件付きで許容される衝突又は許容されない衝突を認識し、
前記機械に配置された周囲センサ（２０５）によって、及び／又は、他の機械のセンサによって、及び／又は、前記機械の周囲に位置固定されて設置されたセンサによって、手元の前記セマンティックマップ（３１２）に基づいて、前記機械（１００，１０５）のための周囲モデル（３１５）を作成（２００）し、
前記セマンティックマップ（３１２）のうちの、前記オブジェクトとの衝突が発生し得る場合であっても前記機械（１００，１０５）の動作を許容し得る領域と、
前記セマンティックマップ（３１２）のうちの、前記オブジェクトとの間において発生し得る衝突に関して、前記オブジェクトと衝突することなく前記機械（１００，１０５）が移動し得る領域とを識別（２１０）する、
ことを特徴とする方法。 A method for operating a machine (100, 105) having a kinematic mechanism (110, 115, 120), comprising:
determining the pose of the machine (100, 105) and/or the kinematic mechanism (110, 115, 120);
In the method
comparing (215) the identified pose of the machine (100, 105) and/or the kinematic mechanism (110, 115, 120) to a semantic map (200, 312);
recognizing conditionally permissible or impermissible collisions that may occur between said machine (100, 105) and surrounding objects ;
The semantic map at hand (312 ) to create (200) an ambient model (315) for said machine (100, 105) based on
a region of the semantic map (312) that allows motion of the machine (100, 105) even if a collision with the object may occur;
identifying (210) areas of the semantic map (312) with respect to possible collisions with the object in which the machine (100, 105) may move without colliding with the object;
A method characterized by: 前記セマンティックマップ（３１２）の識別された前記領域を、前記運動学的機構（１１０，１１５，１２０）のＴＣＰ位置データ（２２５）と比較（２２０）する、
請求項１に記載の方法。 comparing (220) the identified region of the semantic map (312) with TCP position data (225) of the kinematic mechanism (110, 115, 120);
The method of claim 1 . 前記セマンティックマップ（３１２）内の前記オブジェクトを、前記機械（１００，１０５）及び／又は前記運動学的機構（１１０，１１５，１２０）との間において発生し得る衝突に関して、条件付きで許容されるものとして又は許容されないものとして分類する、
請求項１又は２に記載の方法。 The objects in the semantic map (312) are conditionally tolerated with respect to collisions that may occur between the machine (100, 105) and/or the kinematic mechanism (110, 115, 120) classified as unacceptable or unacceptable,
3. A method according to claim 1 or 2 . 前記機械（１００，１０５）の動作中に、前記機械（１００，１０５）及び／又は前記運動学的機構（１１０，１１５，１２０）の計画（２３５）又は予測された移動軌道に基づいて、計画（２３５）又は予測された前記移動軌道の領域内における分類された前記オブジェクトに関して許容し得ない相互作用を認識（２４０）し、
少なくとも１つの許容し得ない相互作用が認識された場合に、前記機械（１００，１０５）の操作員に警告メッセージを出力し、及び／又は、前記機械（１００，１０５）の動作への衝突防止介入を実施（２４５）する、
請求項３に記載の方法。 during operation of said machine (100, 105), based on a plan (235) or predicted movement trajectory of said machine (100, 105) and/or said kinematic mechanism (110, 115, 120); (235) or recognizing (240) an impermissible interaction with the classified object within the region of the predicted movement trajectory;
outputting a warning message to an operator of said machine (100, 105) and/or anti-collision to the operation of said machine (100, 105) if at least one impermissible interaction is recognized; implementing 245 the intervention;
4. The method of claim 3 . 運動学的機構（１１０，１１５，１２０）を有する機械（１００，１０５）を動作させるための装置であって、
前記機械（１００，１０５）及び／又は前記運動学的機構（１１０，１１５，１２０）の姿勢を特定可能である、
装置において、
特定された、前記機械（１００，１０５）及び／又は前記運動学的機構（１１０，１１５，１２０）の姿勢を、セマンティックマップ（３１２）と比較（２１５）し、
前記機械（１００，１０５）の周囲に配置された少なくとも１つのオブジェクトとの間において発生し得る、条件付きで許容される衝突又は許容されない衝突を認識する、
ための計算手段が設けられており、さらに、
前記セマンティックマップ（３１２）によって前記機械（１００，１０５）を位置特定するための位置特定要素（３００）と、
前記機械（１００，１０５）の側で実施されるべき作業タスク及び作業ステップを計画するための計画要素（３０２）と、
前記機械（１００，１０５）及び／又は前記運動学的機構（１１０，１１５，１２０）の移動、及び／又は、前記機械（１００，１０５）の周囲に配置されたオブジェクトの移動を計画、予測及び監視するための軌道計画要素（３１０）と、
前記セマンティックマップ（３１２）に基づく周囲モデル（３１５）と、
前記少なくとも１つのオブジェクトとの潜在的な衝突を予測（３２０）するためのシーン解釈要素（３３５）と、
前記少なくとも１つのオブジェクトとの許容されない衝突を回避するための適当な措置を実施するためのアクチュエータ管理要素（３３０）と、
が設けられており、
前記計算手段は、前記位置特定要素（３００）、前記計画要素（３０２）、前記軌道計画要素（３１０）、前記周囲モデル（３１５）、前記シーン解釈要素（３３５）及び前記アクチュエータ管理要素（３３０）を用いて、
前記セマンティックマップ（３１２）のうちの、前記オブジェクトとの衝突が発生し得る場合であっても前記機械（１００，１０５）の動作を許容し得る領域と、
前記セマンティックマップ（３１２）のうちの、前記オブジェクトとの間において発生し得る衝突に関して、前記オブジェクトと衝突することなく前記機械（１００，１０５）が移動し得る領域とを識別（２１０）する、
ように構成されている、
ことを特徴とする装置。 An apparatus for operating a machine (100, 105) having a kinematic mechanism (110, 115, 120), comprising:
a pose of the machine (100, 105) and/or the kinematic mechanism (110, 115, 120) is determinable;
in the device,
comparing (215) the identified pose of the machine (100, 105) and/or the kinematic mechanism (110, 115, 120) to a semantic map (312);
Recognizing conditionally permissible or impermissible collisions that may occur between said machine (100, 105) and at least one object placed around it;
Calculation means are provided for
a locating element (300) for locating said machine (100, 105) by said semantic map (312);
a planning element (302) for planning work tasks and work steps to be performed on the part of said machine (100, 105);
planning, predicting and predicting movement of said machine (100, 105) and/or said kinematic mechanism (110, 115, 120) and/or movements of objects placed around said machine (100, 105); a trajectory planning element (310) for monitoring;
an ambient model (315) based on said semantic map (312);
a scene interpretation element (335) for predicting (320) a potential collision with said at least one object;
an actuator management element (330) for implementing appropriate measures to avoid impermissible collisions with said at least one object;
is provided,
Said computational means comprises said localization element (300), said planning element (302), said trajectory planning element (310), said surroundings model (315), said scene interpretation element (335) and said actuator management element (330) Using,
a region of the semantic map (312) that allows motion of the machine (100, 105) even if a collision with the object may occur;
identifying (210) areas of the semantic map (312) with respect to possible collisions with the object in which the machine (100, 105) may move without colliding with the object;
configured as
A device characterized by: 前記機械（１００，１０５）の運動力学と、前記機械（１００，１０５）の制御の挙動とに関連する車両モデル（３２５）が設けられている、
請求項５に記載の装置。 A vehicle model (325) is provided that relates kinematics of the machine (100, 105) and control behavior of the machine (100, 105);
6. Apparatus according to claim 5 . 前記シーン解釈要素（３３５）によって、前記機械（１００，１０５）の周囲に位置するさらなる機械、工具、被加工物又は作業対象の相互作用と、前記機械（１００，１０５）の周囲におけるこれに関連する変化とが予測、認識及び／又は妥当性検査される、
請求項５又は６に記載の装置。 Said scene interpretation element (335) allows the interaction of further machines, tools, workpieces or work objects located around said machine (100, 105) and their relation to this around said machine (100, 105). changes are predicted, recognized and/or validated,
7. Apparatus according to claim 5 or 6 . 請求項１乃至４のいずれか一項に記載の方法のそれぞれのステップを実施するために構成されたコンピュータプログラム。 A computer program arranged to implement the respective steps of the method according to any one of claims 1 to 4 . 請求項８に記載のコンピュータプログラムが格納されている機械可読データ担体。 A machine-readable data carrier on which a computer program according to claim 8 is stored. 請求項１乃至４のいずれか一項に記載の方法によって前記機械を制御するように構成された電子制御装置。 An electronic controller arranged to control the machine according to the method of any one of claims 1-4 .

Images