WO2023089936A1 - 監視領域設定システム - Google Patents
監視領域設定システム Download PDFInfo
- Publication number
- WO2023089936A1 WO2023089936A1 PCT/JP2022/034636 JP2022034636W WO2023089936A1 WO 2023089936 A1 WO2023089936 A1 WO 2023089936A1 JP 2022034636 W JP2022034636 W JP 2022034636W WO 2023089936 A1 WO2023089936 A1 WO 2023089936A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- monitoring area
- work machine
- area
- exclusion
- monitoring
- Prior art date
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 135
- 230000007717 exclusion Effects 0.000 claims abstract description 64
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 230000033001 locomotion Effects 0.000 claims description 32
- 238000000034 method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 11
- 239000004576 sand Substances 0.000 description 6
- 238000009412 basement excavation Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 3
- 238000007599 discharging Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 1
- 239000002440 industrial waste Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/24—Safety devices, e.g. for preventing overload
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
Definitions
- the present invention relates to a monitoring area setting system that sets a monitoring area for monitoring intrusion of objects.
- Patent Document 1 it is known to have a work machine automatically repeat a series of operations from excavation to soil removal.
- An object of the present invention is to provide a monitoring area setting system capable of reducing the amount of calculation required for monitoring.
- the monitoring area setting system includes a point cloud data acquisition unit that has a preset detection range and acquires point cloud data, which is data indicating the distance from a predetermined reference point to an object within the detection range; Acquiring information about a reference monitoring area that is an area set to include a work machine positioned within the detection range, specifying an operation range of the work machine as an exclusion area based on the point cloud data, and determining the reference monitoring area. a controller that excludes the exclusion area from the monitoring area and sets an actual monitoring area for the work machine.
- FIG. 1 is a configuration diagram of a monitoring area setting system according to one embodiment of the present invention.
- FIG. 2 is a side view of a work machine to which a monitoring area setting system according to one embodiment of the invention is applied.
- FIG. 3 is a circuit diagram of the monitoring area setting system and working machine according to one embodiment of the present invention.
- FIG. 4A is a diagram showing point cloud data of the surveillance area setting system according to one embodiment of the present invention.
- FIG. 4B is a diagram showing point cloud data of the surveillance area setting system according to one embodiment of the present invention.
- FIG. 5 is a diagram showing exclusion areas of the monitoring area setting system according to one embodiment of the present invention.
- FIG. 6A is a diagram showing monitor regions and exclusion regions for each operation of the work machine.
- FIG. 6B is a diagram showing monitoring regions and exclusion regions for each operation of the work machine.
- FIG. 1 is a configuration diagram of a monitoring area setting system 1. As shown in FIG. A surveillance area setting system 1 has a camera 2 , a LiDAR 3 and an alarm device 4 .
- the camera 2 captures an image of the monitoring area 70 provided at the work site and acquires image information.
- the camera 2 is provided outside the monitoring area 70 , but may be provided inside the monitoring area 70 . Also, a plurality of cameras 2 may be provided at the work site.
- the monitoring area 70 is set around the work machine 20 placed at the work site.
- the work machine 20 is working within the monitoring area 70 .
- the work machine 20 may be a work machine 20 with an operator on board, a remotely controlled work machine 20, or an automatically operated work machine 20.
- the LiDAR (Light Detection and Ranging or Laser Imaging Detection and Ranging) (point cloud data acquisition unit) 3 is provided outside the monitoring area 70 together with the camera 2, but may be provided within the monitoring area 70.
- the LiDAR 3 has a preset detection range, and measures the distance from the position (predetermined reference point) where the LiDAR 3 is attached to an object (working machine 20 or an intruder) located within the monitoring area 70. Get the point cloud data shown.
- the point cloud data is data indicating the distance from the reference point to the object within the detection range of the LiDAR 3 .
- a plurality of LiDARs 3 may be provided at the work site.
- a stereo camera or a TOF (Time Of Flight) sensor may be used instead of the LiDAR 3 as the point cloud data acquisition unit according to the present invention.
- the alarm device 4 is capable of issuing an alarm.
- the alarm device 4 includes a lamp and a speaker, and issues a warning to a worker or the like in the work site by turning on the lamp and generating a warning sound from the speaker.
- FIG. 2 is a side view of work machine 20.
- the work machine 20 is a hydraulic excavator and includes a machine body 25 including a lower travel body 21 and an upper revolving body 22 , an attachment 30 , and a work drive device 40 .
- the lower traveling body 21 includes a pair of crawlers, and can travel on the ground by moving the pair of crawlers.
- the upper rotating body 22 is attached to the lower traveling body 21 via a rotating device 24 so as to be able to rotate.
- the turning device 24 is a turning driving device that turns the upper turning body 22 .
- the upper revolving body 22 includes a cab (operator's cab) 23 located in its front portion.
- the attachment 30 is a working device, and is attached to the upper revolving body 22 so as to be able to perform work operations including vertical rotation.
- Attachment 30 includes boom 31 , arm 32 and bucket 33 .
- the boom 31 has a base end attached to the upper revolving body 22 so as to be vertically rotatable (raising and lowering), and a tip end on the opposite side.
- the arm 32 has a base end attached to the tip of the boom 31 so as to be vertically rotatable with respect to the boom 31 and a tip on the opposite side.
- the bucket 33 is attached to the tip of the arm 32 so as to be rotatable in the front-rear direction with respect to the arm 32 .
- the bucket 33 is a part for excavating, leveling, and scooping earth and sand (transported material).
- the material to be transported held by the bucket 33 is not limited to earth and sand, and may be stones or waste (industrial waste, etc.).
- the work drive device 40 hydraulically moves the attachment 30 to perform the work operation.
- the work drive device 40 in this embodiment includes a plurality of hydraulic cylinders, each of which is extendable, including a boom cylinder 41 , an arm cylinder 42 and a bucket cylinder 43 .
- the boom cylinder 41 rotates the boom 31 with respect to the upper swing body 22 .
- the boom cylinder 41 has a base end rotatably connected to the upper swing body 22 and a tip end rotatably connected to the boom 31 .
- the arm cylinder 42 rotates the arm 32 with respect to the boom 31 .
- the arm cylinder 42 has a base end rotatably connected to the boom 31 and a tip end rotatably connected to the arm 32 .
- the bucket cylinder 43 rotates the bucket 33 with respect to the arm 32 .
- the bucket cylinder 43 has a base end rotatably connected to the arm 32 and a tip end rotatably connected to the link member 34 .
- the link member 34 is rotatably connected to the bucket 33 and connects the bucket cylinder 43 and the bucket 33 to each other.
- the working machine 20 further includes a turning angle sensor 52 that is a turning angle detector, and a working attitude detector 60 .
- the turning angle sensor 52 detects the turning angle of the upper turning body 22 with respect to the lower traveling body 21 .
- the turning angle sensor 52 is, for example, an encoder, resolver, or gyro sensor.
- the turning angle of the upper turning body 22 is 0° when the front of the upper turning body 22 and the front of the lower traveling body 21 match.
- the working posture detector 60 detects the working posture of the attachment 30.
- the working attitude detector 60 includes a boom tilt angle sensor 61 , an arm tilt angle sensor 62 and a bucket tilt angle sensor 63 .
- a boom tilt angle sensor 61 is attached to the boom 31 and detects the attitude of the boom 31 .
- the boom tilt angle sensor 61 acquires the tilt angle of the boom 31 with respect to the horizontal line.
- the boom tilt angle sensor 61 is, for example, a tilt (acceleration) sensor.
- the working posture detector 60 may include a rotation angle sensor for detecting the rotation angle of the boom foot pin (base end of the boom) or a stroke sensor for detecting the stroke amount of the boom cylinder 41 instead of the boom tilt angle sensor 61. good.
- the arm tilt angle sensor 62 is attached to the arm 32 and detects the posture of the arm 32 .
- the arm tilt angle sensor 62 acquires the tilt angle of the arm 32 with respect to the horizontal line.
- the arm tilt angle sensor 62 is, for example, a tilt (acceleration) sensor.
- the working posture detector 60 may include a rotation angle sensor for detecting the rotation angle of the arm connecting pin (arm proximal end) or a stroke sensor for detecting the stroke amount of the arm cylinder 42 instead of the arm tilt angle sensor 62. good.
- the bucket tilt angle sensor 63 is attached to the link member 34 and detects the attitude of the bucket 33 .
- the bucket tilt angle sensor 63 acquires the tilt angle of the bucket 33 with respect to the horizontal line.
- the bucket tilt angle sensor 63 is, for example, a tilt (acceleration) sensor.
- the working posture detector 60 may include a rotation angle sensor for detecting the rotation angle of the bucket connecting pin (bucket proximal end) or a stroke sensor for detecting the stroke amount of the bucket cylinder 43. good.
- the working machine 20 performs a series of operations for excavating and discharging earth and sand.
- a series of operations includes an excavation operation, a lifting and turning operation, an earth discharging operation, and a return turning operation.
- the excavation operation is an operation of excavating earth and sand with the bucket 33 .
- the lifting and turning operation is an operation of turning the upper turning body 22 while holding the earth and sand.
- the dumping operation is an operation for dumping earth and sand onto a loading platform of a dump truck or the like.
- the return turning operation is an operation of turning the upper turning body 22 to the excavation position after the earth is discharged.
- FIG. 3 is a circuit diagram of the monitoring area setting system 1 and the work machine 20. As shown in FIG. The work machine 20 has a work machine control unit 11 , a storage device 12 and a work machine communication device 14 .
- Information regarding the turning angle (attitude) of the upper turning body 22 with respect to the lower traveling body 21 detected by the turning angle sensor 52 is input to the work machine side control unit 11 . Further, information regarding the posture of the boom 31 detected by the boom tilt angle sensor 61 is input to the work machine side control unit 11 . Further, information regarding the posture of the arm 32 detected by the arm tilt angle sensor 62 is input to the work machine control unit 11 . Further, information regarding the posture of the bucket 33 detected by the bucket tilt angle sensor 63 is input to the work machine control unit 11 .
- the work machine side control unit 11 automatically controls the work machine 20.
- the work machine side control unit 11 controls movements of the upper revolving body 22 and the attachment 30 so that the upper revolving body 22 and the attachment 30 perform the series of operations described above.
- the work machine control unit 11 automatically operates the turning device 24 and the attachment 30 based on the detection values of the turning angle sensor 52 and the working attitude detector 60 .
- the storage device 12 stores the series of operations described above.
- the contents of a series of operations are set by, for example, teaching by an operator and stored in the storage device 12 .
- the work machine side communication device 14 can communicate with a communication device 6 of the monitoring area setting system 1, which will be described later.
- the monitoring area setting system 1 further includes a controller 5 and a communication device 6.
- the communication device 6 can communicate with the work machine side communication device 14 of the work machine 20 .
- the controller 5 is a computer that performs signal input/output, calculation (processing), information storage, and the like.
- the functions of the controller 5 are realized by executing a program stored in the storage section of the controller 5 by the arithmetic section.
- the controller 5 is provided with functional units including a monitoring area setting unit 81, a specifying unit 82, an exclusion unit 83, a detection unit 85, and a countermeasure unit 86 by the operation unit executing the program stored in the storage unit. function.
- These functional units do not have substance, but correspond to units of functions executed by the program. In other words, it can be said that the control executed by these functional units is substantially centrally executed by the controller 5 .
- each functional unit may be divided and arranged in a plurality of controllers.
- the monitoring area setting unit 81 sets the monitoring area 70 . Specifically, the monitoring area setting unit 81 superimposes the two-dimensional coordinates of each point of the point cloud data acquired by the LiDAR 3 on the two-dimensional image captured by the camera 2, thereby determining the position of the work machine 20 in three dimensions. Get at the source. Monitoring region setting unit 81 then sets monitoring region 70 around work machine 20 , centered on the position of work machine 20 . That is, the monitoring area 70 is an area set to include the work machine 20 positioned within the detection range of the LiDAR 3, and corresponds to the reference monitoring area of the present invention. Therefore, the detection range of LiDAR 3 is set to include the monitoring area 70 . At this time, a plurality of LiDARs 3 may be arranged so as to cover the monitoring area 70 by mutual detection ranges.
- the monitoring area 70 is set as an area obtained by adding a safety area around an exclusion area 71, which will be described later.
- the safe area is set in consideration of the time required to stop the work machine 20 and the like. Note that the monitoring area 70 may be set manually.
- the identifying unit 82 identifies the motion range of the work machine 20 as the exclusion area 71 based on the point cloud data corresponding to the work machine 20 acquired by the LiDAR 3 .
- Exclusion area 71 is illustrated in FIG. 4A and 4B are diagrams showing point cloud data. As shown in FIGS. 4A and 4B, the identifying unit 82 acquires point cloud data corresponding to the work machine 20 at different times (time 1, time 2, . , the operating range of the work machine 20 is identified and defined as the exclusion area 71 .
- the exclusion unit (exclusion means) 83 excludes the exclusion area 71 from the monitoring area 70 .
- the monitoring area 70 becomes narrower than before the exclusion area 71 is excluded. Therefore, the amount of calculation required for monitoring can be suppressed.
- the area obtained by excluding the exclusion area 71 from the monitoring area 70 corresponds to the actual monitoring area for the work machine 20 in the present invention.
- a detection unit (detection means) 85 detects whether an object has entered the monitoring area 70 (actual monitoring area) based on the point cloud data in the monitoring area 70 (actual monitoring area) after the exclusion area 71 has been excluded. to detect
- the countermeasure unit 86 performs a predetermined countermeasure when an object enters the monitoring area 70 after the exclusion area 71 is excluded. Specifically, as the countermeasures, the countermeasure unit 86 limits the operation of the work machine 20 or issues an alarm from the alarm device 4 .
- countermeasure unit 86 transmits and inputs an operation restriction instruction to work machine 20 via communication device 6 .
- the work machine-side control unit 11 of the work machine 20 restricts or stops the movement of the attachment 30 and the turning device 24 when receiving the operation restriction instruction.
- the work machine 20 By excluding the exclusion area 71 from the monitoring area 70, the work machine 20 will not be erroneously detected as an intruder. Therefore, an object detected within monitoring area 70 is an intruder and may come into contact with or interfere with work machine 20 . Therefore, by taking countermeasures such as restricting the operation of the work machine 20 when an intruder is detected, interference between the work machine 20 and the intruder can be suppressed.
- the identifying unit 82 identifies, as the exclusion area 71 , a range obtained by superimposing the motion ranges of the series of motions in the work machine 20 .
- the specifying unit 82 specifies, as the exclusion area 71 , a range obtained by superimposing the motion ranges of the excavation motion, the lifting turning motion, the soil discharging motion, and the return turning motion.
- Identification unit 82 receives information on each operation of work machine 20 from work machine 20 via communication device 6 .
- FIG. 5 shows an exclusion area 71 .
- the exclusion area 71 includes the entire motion range of the work machine 20 that performs the series of motions.
- the exclusion unit 83 excludes the exclusion area 71 from the monitoring area 70 .
- the entire motion range of work machine 20 that performs a series of motions is excluded from monitoring area 70 . Therefore, the range excluded from the monitoring area 70 is wider than the case where the motion range of only part of the motion in the series of motions is excluded as the exclusion region 71 . As a result, the amount of calculation required for monitoring can be suitably reduced.
- the identifying unit 82 also identifies the exclusion area 71 for each of a plurality of motions of the work machine 20 . For example, from the contents such as whether or not the work machine side control unit 11 of the work machine 20 is running the lower traveling body 21, whether or not the turning device 24 is turning, and whether or not the attachment 30 is operating, It is possible to estimate what kind of operation the work machine 20 is currently performing.
- the specifying unit 82 acquires this information via the communication device 6 and specifies the exclusion area 71 for each operation.
- the exclusion unit 83 switches (sets) the exclusion area 71 to be excluded from the monitoring area 70 according to the current operation of the work machine 20 .
- the exclusion area 71 is switched between when the lower running body 21 is running and when it is not running. Accordingly, it is possible to set the exclusion area 71 having an appropriate width according to the operation of the work machine 20 .
- the monitoring area setting unit 81 sets the monitoring area 70 according to the current operation of the working machine 20 . Specifically, monitoring region setting unit 81 sets monitoring region 70 (actual monitoring region) based on exclusion region 71 according to the current operation of work machine 20 . Accordingly, it is possible to set the monitoring area 70 having an appropriate size according to the operation of the work machine 20 .
- FIG. 6A and 6B are diagrams showing a monitoring area 70 (actual monitoring area) and an exclusion area 71 for each operation of the working machine 20.
- FIG. The exclusion area 71 is switched between when the work machine 20 is not traveling (FIG. 6A) and when it is traveling (FIG. 6B).
- Exclusion area 71a when work machine 20 is not traveling is narrower than exclusion area 71b when work machine 20 is traveling. Therefore, even if the monitoring area 70a when the work machine 20 is not running is made narrower than the monitoring area 70b when the work machine 20 is running, sufficient countermeasures against intruders can be taken. By narrowing the monitoring area 70, the amount of calculation required for monitoring can be suitably reduced.
- the monitoring area setting unit 81 minimizes the safety areas added to the exclusion area 71a in the top, bottom, left, and right of the working machine 20, thereby narrowing the monitoring area 70a.
- monitoring region setting unit 81 widens the safety region added in the traveling direction of work machine 20 (left side in the drawing) according to the running speed of work machine 20, so that monitoring region 70b becomes It is set wider than the monitoring area 70a.
- the operating range of the working machine 20 is specified as the exclusion area 71, and the exclusion area 71 is excluded from the monitoring area 70 as the reference monitoring area. By doing so, the actual monitoring area is set. By excluding the exclusion area 71 from the monitoring area 70, the monitoring area 70 becomes narrower than before the exclusion area 71 is excluded. Therefore, the amount of calculation required for monitoring can be reduced.
- any object detected within monitored area 70 is an intruder and may interfere with work machine 20 . Therefore, when an intruding object is detected, for example, by taking countermeasures such as restricting the operation of the working machine 20, interference between the working machine 20 and the intruding object can be suppressed.
- a range obtained by superimposing a series of motion ranges of the work machine 20 is specified as an exclusion area 71 and excluded from the monitoring area 70 .
- the entire motion range of work machine 20 that performs a series of motions is excluded from monitoring area 70 . Therefore, the range excluded from the monitoring region 70 is wider than the motion range of only a part of the motion in the series of motions is excluded as the exclusion region 71 . As a result, the amount of calculation required for monitoring can be suitably reduced.
- the exclusion area 71 is specified for each of a plurality of operations of the work machine 20, and the exclusion area 71 excluded from the monitoring area 70 is switched according to the current operation of the work machine 20. Accordingly, it is possible to set the exclusion area 71 having an appropriate width according to the operation of the work machine 20 . As a result, it is possible to set the monitoring area 70 (actual monitoring area) having an appropriate size according to the operation of the work machine 20 .
- the exclusion area 71 is switched between when the work machine 20 is running and when it is not running. Exclusion area 71 when work machine 20 is not traveling is narrower than exclusion area 71 when work machine 20 is traveling.
- the monitoring area 70 when the work machine 20 is not running is made narrower than the monitoring area 70 when the work machine 20 is running, sufficient countermeasures against intruders can be taken. By narrowing the monitoring area 70, the amount of calculation required for monitoring can be suitably reduced.
- the monitoring area setting system includes a point cloud data acquisition unit and a controller.
- the point cloud data acquisition unit acquires point cloud data, which has a preset detection range and indicates a distance from a predetermined reference point to an object within the detection range.
- the controller obtains information about a reference monitoring area, which is an area set to include the work machine positioned within the detection range, and identifies the operation range of the work machine as an exclusion area based on the point cloud data. Then, the actual monitoring area for the work machine is set by excluding the exclusion area from the reference monitoring area.
- the controller detects that an object has entered the actual monitoring area based on the point cloud data within the actual monitoring area.
- the controller identifies a range obtained by overlapping the motion ranges of each of the plurality of motions as the exclusion region. is desirable.
- the controller can specify a plurality of different exclusion areas according to a plurality of different operations of the work machine, and sets the exclusion area according to the current operation of the work machine. It is desirable to
- the controller identifies the position of the work machine within the detection range, and sets the reference monitoring area according to the identification result, thereby acquiring information about the reference monitoring area. desirable. Note that the operator may manually set the reference monitoring area.
Landscapes
- Engineering & Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Component Parts Of Construction Machinery (AREA)
Abstract
監視に要する計算量を抑制することが可能な監視領域設定システムを提供する。監視領域設定システム(1)は、点群データ取得部(3)と、コントローラ(5)とを備える。前記点群データ取得部は、予め設定された検出範囲を有し、所定の基準点から前記検知範囲内の対象物までの距離を示すデータである点群データを取得する。前記コントローラは、前記検出範囲内に位置する作業機械を含むように設定される領域である基準監視領域に関する情報を取得し、前記点群データに基づいて前記作業機械の動作範囲を除外領域として特定し、前記基準監視領域から前記除外領域を除外して前記作業機械に対する実監視領域を設定する。
Description
本発明は、物体の侵入を監視するための監視領域を設定する、監視領域設定システムに関する。
特許文献1に開示されているように、掘削から排土までの一連の動作を作業機械に自動で繰り返し行わせることが知られている。
ところで、物体の侵入を監視するための監視領域を設定して、当該監視領域内を監視する場合、監視領域内で作業中の作業機械と、監視領域内に侵入した物体とをそれぞれ監視する必要があり、監視に要する計算量が多くなる。
本発明の目的は、監視に要する計算量を抑制することが可能な監視領域設定システムを提供することである。
本発明によって提供されるのは、監視領域設定システムである。当該監視領域設定システムは、予め設定された検出範囲を有し、所定の基準点から前記検知範囲内の対象物までの距離を示すデータである点群データを取得する点群データ取得部と、前記検出範囲内に位置する作業機械を含むように設定される領域である基準監視領域に関する情報を取得し、前記点群データに基づいて前記作業機械の動作範囲を除外領域として特定し、前記基準監視領域から前記除外領域を除外して前記作業機械に対する実監視領域を設定するコントローラと、を備える。
以下、本発明の好適な一実施形態について、図面を参照しつつ説明する。
(監視領域設定システムの構成)
本実施形態による監視領域設定システムは、監視対象である作業機械以外の物体の侵入を監視するための監視領域を設定するものである。図1は、監視領域設定システム1の構成図である。監視領域設定システム1は、カメラ2と、LiDAR3と、警報装置4と、を有している。
本実施形態による監視領域設定システムは、監視対象である作業機械以外の物体の侵入を監視するための監視領域を設定するものである。図1は、監視領域設定システム1の構成図である。監視領域設定システム1は、カメラ2と、LiDAR3と、警報装置4と、を有している。
カメラ2は、作業現場に設けられた監視領域70を撮像し、画像情報を取得する。カメラ2は、監視領域70外に設けられているが、監視領域70内に設けられていてもよい。また、カメラ2は、作業現場に複数台設けられていてもよい。
ここで、監視領域70は、作業現場に配置された作業機械20の周囲に設定される。監視領域70内では、作業機械20が作業を行っている。この作業機械20は、オペレータが搭乗した作業機械20であってもよいし、遠隔操縦される作業機械20であってもよいし、自動運転される作業機械20であってもよい。
LiDAR(Light Detection and RangingまたはLaser Imaging Detection and Ranging)(点群データ取得部)3は、カメラ2とともに監視領域70外に設けられているが、監視領域70内に設けられていてもよい。LiDAR3は、予め設定された検出範囲を有しており、当該LiDAR3が取り付けられている位置(所定の基準点)から監視領域70内に位置する物体(作業機械20や侵入物)までの距離を示す点群データを取得する。換言すれば、前記点群データは、前記基準点からLiDAR3の検出範囲内の対象物までの距離を示すデータである。なお、複数台のLiDAR3が、作業現場に設けられてもよい。また、本発明に係る点群データ取得部として、LiDAR3の代わりに、ステレオカメラやTOF(Time Of Flight)センサを用いてもよい。
警報装置4は、警報を発することが可能である。具体的には、警報装置4は、ランプおよびスピーカを備え、ランプの点灯や、スピーカからの警告音の発生によって、作業現場内にいる作業者などに警告を行う。
(作業機械の構成)
図2は、作業機械20の側面図である。作業機械20は、油圧ショベルであり、下部走行体21および上部旋回体22を含む機械本体25と、アタッチメント30と、作業駆動装置40と、を備える。
図2は、作業機械20の側面図である。作業機械20は、油圧ショベルであり、下部走行体21および上部旋回体22を含む機械本体25と、アタッチメント30と、作業駆動装置40と、を備える。
下部走行体21は、一対のクローラを含み、当該一対のクローラが動くことにより地面上を走行することが可能である。上部旋回体22は、下部走行体21に旋回装置24を介して旋回可能に取り付けられる。前記旋回装置24は、前記上部旋回体22を旋回させる旋回駆動装置である。上部旋回体22は、その前部に位置するキャブ(運転室)23を含む。
アタッチメント30は、作業装置であり、上下方向の回動を含む作業動作を行うことが可能となるように上部旋回体22に取り付けられる。アタッチメント30は、ブーム31と、アーム32と、バケット33と、を含む。ブーム31は、上下方向に回動可能(起伏可能)となるように上部旋回体22に取り付けられる基端部と、その反対側の先端部とを有する。アーム32は、ブーム31に対して上下方向に回動可能となるようにブーム31の前記先端部に取り付けられる基端部と、その反対側の先端部とを有する。バケット33は、アーム32に対して前後方向に回動可能となるようにアーム32の先端部に取り付けられる。バケット33は、土砂(運搬物)の掘削、均し、すくいなどの作業を行う部分である。なお、バケット33が保持する運搬物は、土砂に限定されず、石でもよく、廃棄物(産業廃棄物など)でもよい。
作業駆動装置40は、アタッチメント30を油圧で動かして前記作業動作を行わせる。作業駆動装置40は、本実施形態では、それぞれが伸縮可能な複数の油圧シリンダを含み、当該複数のシリンダは、ブームシリンダ41と、アームシリンダ42と、バケットシリンダ43と、を含む。
ブームシリンダ41は、上部旋回体22に対してブーム31を回動させる。ブームシリンダ41は、上部旋回体22に回動可能に連結される基端部と、ブーム31に回動可能に連結される先端部とを有する。
アームシリンダ42は、ブーム31に対してアーム32を回動させる。アームシリンダ42は、ブーム31に回動可能に連結される基端部と、アーム32に回動可能に連結される先端部とを有する。
バケットシリンダ43は、アーム32に対してバケット33を回動させる。バケットシリンダ43は、アーム32に回動可能に連結される基端部と、リンク部材34に回動可能に連結される先端部と、を有する。前記リンク部材34は、バケット33に回動可能に連結され、バケットシリンダ43とバケット33とを相互に連結する。
また、作業機械20は、旋回角度検出器である旋回角度センサ52と、作業姿勢検出器60と、を更に備える。
旋回角度センサ52は、下部走行体21に対する上部旋回体22の旋回角度を検出する。旋回角度センサ52は、例えば、エンコーダ、レゾルバ、又は、ジャイロセンサである。本実施形態では、上部旋回体22の前方が下部走行体21の前方と一致するときの上部旋回体22の旋回角度が0°である。
作業姿勢検出器60は、アタッチメント30の作業姿勢を検出する。作業姿勢検出器60は、ブーム傾斜角センサ61と、アーム傾斜角センサ62と、バケット傾斜角センサ63と、を含む。
ブーム傾斜角センサ61は、ブーム31に取り付けられ、ブーム31の姿勢を検出する。ブーム傾斜角センサ61は、水平線に対するブーム31の傾斜角度を取得する。ブーム傾斜角センサ61は、例えば、傾斜(加速度)センサである。なお、作業姿勢検出器60は、ブーム傾斜角センサ61の代わりに、ブームフットピン(ブーム基端)の回転角度を検出する回転角度センサまたはブームシリンダ41のストローク量を検出するストロークセンサを含んでもよい。
アーム傾斜角センサ62は、アーム32に取り付けられ、アーム32の姿勢を検出する。アーム傾斜角センサ62は、水平線に対するアーム32の傾斜角度を取得する。アーム傾斜角センサ62は、例えば、傾斜(加速度)センサである。なお、作業姿勢検出器60は、アーム傾斜角センサ62の代わりに、アーム連結ピン(アーム基端)の回転角度を検出する回転角度センサまたはアームシリンダ42のストローク量を検出するストロークセンサを含んでもよい。
バケット傾斜角センサ63は、リンク部材34に取り付けられ、バケット33の姿勢を検出する。バケット傾斜角センサ63は、水平線に対するバケット33の傾斜角度を取得する。バケット傾斜角センサ63は、例えば、傾斜(加速度)センサである。なお、作業姿勢検出器60は、バケット傾斜角センサ63の代わりに、バケット連結ピン(バケット基端)の回転角度を検出する回転角度センサまたはバケットシリンダ43のストローク量を検出するストロークセンサを含んでもよい。
本実施形態において、作業機械20は、土砂を掘削して排土する一連の動作を行う。一連の動作には、掘削動作、持ち上げ旋回動作、排土動作、および、復帰旋回動作が含まれる。掘削動作は、バケット33で土砂を掘削する動作である。持ち上げ旋回動作は、土砂を保持した状態で上部旋回体22を旋回させる動作である。排土動作は、ダンプカーの荷台などに土砂を排土する動作である。復帰旋回動作は、排土後に掘削位置まで上部旋回体22を旋回させる動作である。
(監視領域設定システムおよび作業機械の回路構成)
図3は、監視領域設定システム1および作業機械20の回路図である。作業機械20は、作業機械側コントロールユニット11と、記憶装置12と、作業機械側通信装置14と、を有している。
図3は、監視領域設定システム1および作業機械20の回路図である。作業機械20は、作業機械側コントロールユニット11と、記憶装置12と、作業機械側通信装置14と、を有している。
作業機械側コントロールユニット11には、旋回角度センサ52によって検出された、下部走行体21に対する上部旋回体22の旋回角度(姿勢)に関する情報が入力される。また、作業機械側コントロールユニット11には、ブーム傾斜角センサ61によって検出された、ブーム31の姿勢に関する情報が入力される。また、作業機械側コントロールユニット11には、アーム傾斜角センサ62によって検出された、アーム32の姿勢に関する情報が入力される。また、作業機械側コントロールユニット11には、バケット傾斜角センサ63によって検出された、バケット33の姿勢に関する情報が入力される。
作業機械20が自動運転される場合、作業機械側コントロールユニット11は、作業機械20を自動制御する。作業機械側コントロールユニット11は、前述の一連の動作を上部旋回体22およびアタッチメント30が行うように、上部旋回体22およびアタッチメント30の動きを制御する。具体的には、作業機械側コントロールユニット11は、旋回角度センサ52および作業姿勢検出器60の検出値に基づいて、旋回装置24およびアタッチメント30を自動で動作させる。
このように作業機械20が自動運転される場合、記憶装置12は、上記の一連の動作を記憶する。一連の動作の内容は、例えば、作業者によるティーチングにより設定され、記憶装置12に記憶される。
作業機械側通信装置14は、監視領域設定システム1の後述する通信装置6と通信可能である。
監視領域設定システム1は、コントローラ5と、通信装置6と、を更に有している。
通信装置6は、作業機械20の作業機械側通信装置14と通信可能である。
コントローラ5は、信号の入出力、演算(処理)、情報の記憶などを行うコンピュータである。例えば、コントローラ5の機能は、コントローラ5の記憶部に記憶されたプログラムが演算部で実行されることにより実現される。コントローラ5は、前記演算部が前記記憶部に記憶されたプログラムを実行することにより、監視領域設定部81、特定部82、除外部83、検出部85、対策部86の各機能部を備えるように機能する。これらの機能部は、実体を有するものではなく、前記プログラムによって実行される機能の単位に相当する。すなわち、これらの機能部が実行する制御は、実質的にコントローラ5が統括的に実行するということができる。なお、各機能部は、複数のコントローラに分かれて配置されるものでもよい。
監視領域設定部81は、監視領域70を設定する。具体的には、監視領域設定部81は、カメラ2が撮像した二次元の画像に、LiDAR3が取得した点群データの各点の二次元座標を重畳させることで、作業機械20の位置を三次元で取得する。そして、監視領域設定部81は、作業機械20の位置を中心とする監視領域70を作業機械20の周囲に設定する。すなわち、監視領域70は、LiDAR3の前記検出範囲内に位置する作業機械20を含むように設定される領域であり、本発明の基準監視領域に相当する。このため、LiDAR3の検出範囲は監視領域70を含むように設定されている。この際、複数のLiDAR3が互いの検出範囲によって監視領域70をカバーするように配置されてもよい。
ここで、図1に示すように、監視領域70は、後述する除外領域71の周囲に安全領域を加えた領域として設定される。安全領域は、作業機械20を停止させるのに要する時間などを考慮して設定される。なお、監視領域70は、手動で設定されてもよい。
図3に戻って、特定部82は、LiDAR3が取得した、作業機械20に対応する点群データに基づいて、作業機械20の動作範囲を除外領域71として特定する。図1に除外領域71を図示する。また、図4A、図4Bは、点群データを示す図である。図4A、図4Bに示すように、特定部82は、異なる時刻(時刻1、時刻2、・・・)毎に、作業機械20に対応する点群データを取得し、これらの差分を取ることで、作業機械20の動作範囲を特定し、これを除外領域71とする。
図3に戻って、除外部(除外手段)83は、監視領域70から除外領域71を除外する。監視領域70から除外領域71が除外されることで、除外領域71が除外される前と比べて、監視領域70が狭くなる。よって、監視に要する計算量を抑制することができる。監視領域70から除外領域71が除外された領域は、本発明における作業機械20に対する実監視領域に相当する。
検出部(検出手段)85は、除外領域71が除外された後の監視領域70(実監視領域)内の点群データに基づいて、監視領域70(実監視領域)内に物体が侵入したことを検出する。対策部86は、除外領域71が除外された後の監視領域70内に物体が侵入した場合に、所定の対策を行う。具体的には、前記対策として、対策部86は作業機械20の動作を制限したり、警報装置4から警報を発生させたりする。対策として作業機械20の動作制限が行われる場合、対策部86は通信装置6を介して作業機械20に動作制限指示を送信し、入力する。作業機械20の作業機械側コントロールユニット11は、動作制限指示を受け取ると、アタッチメント30および旋回装置24の動作を制限したり停止させたりする。
監視領域70から除外領域71が除外されることで、作業機械20が侵入物として誤検出されることがなくなる。よって、監視領域70内で検出される物体は侵入物であり、作業機械20に接触、干渉する可能性がある。そこで、侵入物が検出された場合に、作業機械20の動作を制限するなどの対策を行うことで、作業機械20と侵入物との干渉を抑制することができる。
ここで、特定部82は、作業機械20における一連の動作の動作範囲を重畳させた範囲を、除外領域71として特定する。具体的には、特定部82は、掘削動作、持ち上げ旋回動作、排土動作、および、復帰旋回動作の各々の動作範囲を重畳させた範囲を、除外領域71として特定する。特定部82は、作業機械20の各動作の情報を、通信装置6を介して作業機械20から受信する。図5は、除外領域71を示す。この除外領域71には、前記一連の動作を行う作業機械20の動作範囲がすべて含まれる。
除外部83は、除外領域71を監視領域70から除外する。これにより、一連の動作を行う作業機械20の動作範囲の全てが監視領域70から除外されることになる。よって、一連の動作のうち一部のみの動作の動作範囲を除外領域71として除外する場合と比較して、監視領域70から除外される範囲が広くなる。この結果、監視に要する計算量を好適に小さくすることができる。
また、特定部82は、作業機械20の複数の動作毎に、除外領域71を特定する。例えば、作業機械20の作業機械側コントロールユニット11が、下部走行体21を走行させているか否か、旋回装置24を旋回させているか否か、アタッチメント30を動作させているか否かといった内容から、作業機械20が現在どのような動作を行っているかを推定することができる。特定部82は、この情報を通信装置6経由で取得し、動作毎に、除外領域71を特定する。
そして、除外部83は、現在の作業機械20の動作に応じて、監視領域70から除外する除外領域71を切り替える(設定する)。例えば、下部走行体21が走行しているときと、走行していないときとで、除外領域71を切り替える。これにより、作業機械20の動作に応じた適切な広さの除外領域71を設定することができる。
監視領域設定部81は、現在の作業機械20の動作に応じた監視領域70を設定する。具体的には、監視領域設定部81は、現在の作業機械20の動作に応じた除外領域71に基づいて、監視領域70(実監視領域)を設定する。これにより、作業機械20の動作に応じた適切な広さの監視領域70を設定することができる。
図6A、図6Bは、作業機械20の動作毎の監視領域70(実監視領域)および除外領域71を示す図である。作業機械20が走行していないとき(図6A)と、走行しているとき(図6B)とで、除外領域71が切り替えられる。そして、作業機械20が走行していないときの除外領域71aは、作業機械20が走行しているときの除外領域71bよりも狭い。よって、作業機械20が走行していないときの監視領域70aを、作業機械20が走行しているときの監視領域70bよりも狭くしても、侵入物に対する対策を十分に行うことができる。そして、監視領域70を狭くすることで、監視に要する計算量を好適に小さくすることができる。
ここで、図6Aでは、監視領域設定部81が、作業機械20の上下左右において、除外領域71aに追加される安全領域を最小にすることで、監視領域70aが狭くされている。一方、図6Bでは、監視領域設定部81が、作業機械20の進行方向(図中左側)に追加される安全領域を、作業機械20の走行速度に応じて広くすることで、監視領域70bが監視領域70aよりも広く設定されている。
以上に述べたように、本実施形態に係る監視領域設定システム1によれば、作業機械20の動作範囲が除外領域71として特定され、基準監視領域としての監視領域70から除外領域71が除外されることで、実監視領域が設定される。監視領域70から除外領域71が除外されることで、除外領域71が除外される前と比べて、監視領域70が狭くなる。よって、監視に要する計算量を小さくすることができる。
また、除外領域71が除外された後の監視領域70内の点群データに基づいて、監視領域70内に物体が侵入したことが検出される。監視領域70から除外領域71が除外されることで、作業機械20が侵入物として誤検出されることがなくなる。よって、監視領域70内で検出される物体は侵入物であり、作業機械20に干渉する可能性がある。そこで、侵入物が検出された場合に、例えば、作業機械20の動作を制限するなどの対策を行うことで、作業機械20と侵入物との干渉を抑制することができる。
また、作業機械20における一連の動作の動作範囲を重畳させた範囲が、除外領域71として特定され、監視領域70から除外される。これにより、一連の動作を行う作業機械20の動作範囲の全てが監視領域70から除外されることになる。よって、一連の動作のうち一部のみの動作の動作範囲を除外領域71として除外するよりも、監視領域70から除外される範囲が広くなる。この結果、監視に要する計算量を好適に小さくすることができる。
また、作業機械20の複数の動作毎に、除外領域71が特定され、現在の作業機械20の動作に応じて、監視領域70から除外される除外領域71が切り替えられる。これにより、作業機械20の動作に応じた適切な広さの除外領域71を設定することができる。この結果、作業機械20の動作に応じた適切な広さの監視領域70(実監視領域)を設定することができる。例えば、作業機械20が走行しているときと、走行していないときとで、除外領域71が切り替えられる。そして、作業機械20が走行していないときの除外領域71は、作業機械20が走行しているときの除外領域71よりも狭い。よって、作業機械20が走行していないときの監視領域70を、作業機械20が走行しているときの監視領域70よりも狭くしても、侵入物に対する対策を十分に行うことができる。そして、監視領域70を狭くすることで、監視に要する計算量を好適に小さくすることができる。
以上、本発明の実施形態を説明したが、具体例を例示したに過ぎず、特に本発明を限定するものではなく、具体的構成などは、適宜設計変更可能である。また、上記の実施形態に記載された、作用及び効果は、本発明から生じる最も好適な作用及び効果を列挙したに過ぎず、本発明による作用及び効果は、上記の実施形態に記載されたものに限定されるものではない。
本発明によって提供されるのは、作業機械の監視領域設定システムである。当該監視領域設定システムは、点群データ取得部と、コントローラとを備える。前記点群データ取得部は、予め設定された検出範囲を有し、所定の基準点から前記検知範囲内の対象物までの距離を示すデータである点群データを取得する。前記コントローラは、前記検出範囲内に位置する作業機械を含むように設定される領域である基準監視領域に関する情報を取得し、前記点群データに基づいて前記作業機械の動作範囲を除外領域として特定し、前記基準監視領域から前記除外領域を除外して前記作業機械に対する実監視領域を設定する。
上記の構成において、前記コントローラは、前記実監視領域内の前記点群データに基づいて、前記実監視領域内に物体が侵入したことを検出することが望ましい。
また、上記の構成において、前記作業機械が複数の動作を含む一連の動作を行った場合、前記コントローラは、前記複数の動作の各々の前記動作範囲を重畳させた範囲を前記除外領域として特定することが望ましい。
上記の構成において、前記コントローラは、前記作業機械の複数の異なる動作に応じた複数の異なる前記除外領域を特定することが可能であり、現在の前記作業機械の動作に応じた前記除外領域を設定することが望ましい。
上記の構成において、前記コントローラは、前記検出範囲内における前記作業機械の位置を特定し、その特定結果に応じて前記基準監視領域を設定することで、前記基準監視領域に関する情報を取得することが望ましい。なお、作業者が手動で基準監視領域を設定してもよい。
Claims (5)
- 予め設定された検出範囲を有し、所定の基準点から前記検知範囲内の対象物までの距離を示すデータである点群データを取得する点群データ取得部と、
前記検出範囲内に位置する作業機械を含むように設定される領域である基準監視領域に関する情報を取得し、前記点群データに基づいて前記作業機械の動作範囲を除外領域として特定し、前記基準監視領域から前記除外領域を除外して前記作業機械に対する実監視領域を設定するコントローラと、
を備える、監視領域設定システム。 - 前記コントローラは、前記実監視領域内の前記点群データに基づいて、前記実監視領域内に物体が侵入したことを検出する、請求項1に記載の監視領域設定システム。
- 前記作業機械が複数の動作を含む一連の動作を行った場合、前記コントローラは、前記複数の動作の各々の前記動作範囲を重畳させた範囲を前記除外領域として特定する、請求項1又は2に記載の監視領域設定システム。
- 前記コントローラは、前記作業機械の複数の異なる動作に応じた複数の異なる前記除外領域を特定することが可能であり、現在の前記作業機械の動作に応じた前記除外領域を設定する、請求項1又は2に記載の監視領域設定システム。
- 前記コントローラは、前記検出範囲内における前記作業機械の位置を特定し、その特定結果に応じて前記基準監視領域を設定することで、前記基準監視領域に関する情報を取得する、請求項1乃至4の何れか1項に記載の監視領域設定システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202280075036.9A CN118215772A (zh) | 2021-11-17 | 2022-09-15 | 监视区域设定*** |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021186761A JP2023074040A (ja) | 2021-11-17 | 2021-11-17 | 監視エリア設定システム |
JP2021-186761 | 2021-11-17 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023089936A1 true WO2023089936A1 (ja) | 2023-05-25 |
Family
ID=86396772
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/034636 WO2023089936A1 (ja) | 2021-11-17 | 2022-09-15 | 監視領域設定システム |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP2023074040A (ja) |
CN (1) | CN118215772A (ja) |
WO (1) | WO2023089936A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11293708A (ja) | 1998-04-15 | 1999-10-26 | Hitachi Constr Mach Co Ltd | 自動運転建設機械 |
JP2005180943A (ja) * | 2003-12-16 | 2005-07-07 | Azuma Systems:Kk | 作業車両用周辺監視装置 |
JP2020152473A (ja) * | 2019-03-18 | 2020-09-24 | 住友重機械工業株式会社 | 作業機械 |
JP2020189750A (ja) * | 2019-05-17 | 2020-11-26 | コベルコ建機株式会社 | 作業機械および作業機械における映像表示制御方法 |
KR20210061159A (ko) * | 2019-11-19 | 2021-05-27 | 두산인프라코어 주식회사 | 건설기계의 제어 시스템 및 제어 방법 |
-
2021
- 2021-11-17 JP JP2021186761A patent/JP2023074040A/ja active Pending
-
2022
- 2022-09-15 WO PCT/JP2022/034636 patent/WO2023089936A1/ja active Application Filing
- 2022-09-15 CN CN202280075036.9A patent/CN118215772A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11293708A (ja) | 1998-04-15 | 1999-10-26 | Hitachi Constr Mach Co Ltd | 自動運転建設機械 |
JP2005180943A (ja) * | 2003-12-16 | 2005-07-07 | Azuma Systems:Kk | 作業車両用周辺監視装置 |
JP2020152473A (ja) * | 2019-03-18 | 2020-09-24 | 住友重機械工業株式会社 | 作業機械 |
JP2020189750A (ja) * | 2019-05-17 | 2020-11-26 | コベルコ建機株式会社 | 作業機械および作業機械における映像表示制御方法 |
KR20210061159A (ko) * | 2019-11-19 | 2021-05-27 | 두산인프라코어 주식회사 | 건설기계의 제어 시스템 및 제어 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP2023074040A (ja) | 2023-05-29 |
CN118215772A (zh) | 2024-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10544567B2 (en) | Method and system for monitoring a rotatable implement of a machine | |
US20170073935A1 (en) | Control System for a Rotating Machine | |
US11898331B2 (en) | System and method for detecting objects within a working area | |
US20170002547A1 (en) | Operation state detection system of work machine and work machine | |
JP2008163719A (ja) | 作業機械の周囲監視装置 | |
US9454147B1 (en) | Control system for a rotating machine | |
CN114450453B (zh) | 运输车位置判定装置 | |
WO2021059730A1 (ja) | 動作教示システム | |
WO2023089936A1 (ja) | 監視領域設定システム | |
JP2023181369A (ja) | 建設機械の障害物検出装置 | |
KR102579791B1 (ko) | 건설 기계 | |
WO2023164348A1 (en) | Work machine safety zone control | |
JP7484630B2 (ja) | 積込ポイント決定システム | |
US20170314381A1 (en) | Control system for determining sensor blockage for a machine | |
JP2023141847A (ja) | 死角検出システム | |
JP2023012254A (ja) | 異常動作検出システム | |
WO2023281988A1 (ja) | 作業機械システム | |
JP7349947B2 (ja) | 情報処理装置、作業機械、情報処理方法、情報処理プログラム | |
US20240242370A1 (en) | Work machine management system and work machine | |
WO2022091519A1 (ja) | 経路設定システム | |
KR20210061004A (ko) | 건설기계의 주변 환경 인지 시스템 | |
US20240240435A1 (en) | System and method for monitoring work area | |
JP2023058204A (ja) | 作業現場監視システム | |
JP2023004180A (ja) | 監視システム | |
KR20220132753A (ko) | 굴착기에서 타겟 객체에 대한 거리를 측정하는 장치 및 그의 동작 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22895222 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2022895222 Country of ref document: EP |
|
ENP | Entry into the national phase |
Ref document number: 2022895222 Country of ref document: EP Effective date: 20240510 |