JP7443947B2 - Work vehicle contact suppression device and work vehicle equipped with a boom having a work vehicle contact suppression device - Google Patents
Work vehicle contact suppression device and work vehicle equipped with a boom having a work vehicle contact suppression device Download PDFInfo
- Publication number
- JP7443947B2 JP7443947B2 JP2020101276A JP2020101276A JP7443947B2 JP 7443947 B2 JP7443947 B2 JP 7443947B2 JP 2020101276 A JP2020101276 A JP 2020101276A JP 2020101276 A JP2020101276 A JP 2020101276A JP 7443947 B2 JP7443947 B2 JP 7443947B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- boom
- crane
- image processing
- processing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001629 suppression Effects 0.000 title claims description 63
- 238000012545 processing Methods 0.000 claims description 132
- 230000002265 prevention Effects 0.000 claims description 8
- 238000004891 communication Methods 0.000 description 14
- 230000008859 change Effects 0.000 description 12
- 238000001514 detection method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 5
- 238000010276 construction Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 239000010720 hydraulic oil Substances 0.000 description 3
- 230000032258 transport Effects 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005339 levitation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Landscapes
- Component Parts Of Construction Machinery (AREA)
- Jib Cranes (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、作業車両の接触抑制装置および作業車両の接触抑制装置を有するブームを備えた作業車両に関する。 The present invention relates to a work vehicle contact suppression device and a work vehicle equipped with a boom having the work vehicle contact suppression device.
従来、大規模な建築現場等においては、建築作業の効率化を図るために建築現場内にブームを備えた作業車両である複数のクレーンを配置し、複数の箇所で荷物の搬送作業が行われる。この際、建築現場内に配置されているクレーンは、互いの作業可能範囲が重複するように配置されている場合がある。つまり、クレーンは、搬送タイミング、作業姿勢によってクレーン同士が接触する可能性がある位置に配置されている。各クレーンの操縦者は、無線等によって他の操縦者と連絡を密にとりながらクレーン同士の接触を回避しつつ搬送作業を行っている。そこで、衝突の可能性が生じた場合に警報装置等によって操縦者に報知するとともにクレーンを自動的に停止させるクレーン近接警報装置が知られている。例えば、特許文献１の如くである。 Traditionally, at large-scale construction sites, multiple cranes, which are work vehicles equipped with booms, are placed on the construction site to improve the efficiency of construction work, and cargo is transported at multiple locations. . At this time, cranes placed within the construction site may be placed such that their workable ranges overlap with each other. In other words, the cranes are placed in positions where there is a possibility that the cranes may come into contact with each other depending on the transport timing and working posture. The operator of each crane performs transportation work while avoiding contact between cranes while maintaining close communication with other operators via radio or other means. Therefore, a crane proximity warning device is known which notifies the operator using an alarm device or the like when a possibility of a collision occurs and also automatically stops the crane. For example, as in Patent Document 1.
特許文献１に記載のクレーン近接警報装置は、自機（クレーン）の制御装置と複数の相手機（クレーン）の制御装置とが無線通信等により接続されている。クレーン近接警報装置は、それぞれの制御装置が制御情報等の各種情報を互いに取得し、制御信号を送信することができる。クレーン近接警報装置は、取得した各クレーンの情報に基づいて、各クレーンのシミュレーションモデルを作成して衝突をシミュレーションする。クレーン近接警報装置は、クレーン同士が衝突すると判定した場合、操縦者に報知するとともに近接が継続されるとクレーンを停止させる。 In the crane proximity warning device described in Patent Document 1, the control device of the own machine (crane) and the control devices of a plurality of partner machines (cranes) are connected by wireless communication or the like. In the crane proximity warning device, each control device can mutually acquire various information such as control information and transmit control signals. The crane proximity warning device creates a simulation model for each crane based on the acquired information about each crane and simulates a collision. The crane proximity warning device notifies the operator when it is determined that the cranes will collide with each other, and stops the cranes if the proximity continues.
特許文献１に記載のクレーン近接警報装置は、自機の制御装置と相手機の制御装置との間で制御情報等の各種情報を互いに取得できることが前提となる。しかし、大規模な建築現場等には、様々なクレーンメーカーのクレーンが配置されることが多い。このため、前記クレーン近接警報装置は、相手機が通信機能を有していない、通信フォーマットが一致しない等、クレーンメーカー等が異なることで相手機の制御情報等の各種情報を取得できない場合があった。 The crane proximity warning device described in Patent Document 1 is based on the premise that various information such as control information can be mutually acquired between the control device of the own machine and the control device of the partner machine. However, at large-scale construction sites, cranes from various crane manufacturers are often installed. Therefore, the crane proximity warning device may not be able to obtain various information such as control information of the other machine because the other machine does not have a communication function, the communication format does not match, or the crane manufacturer is different. Ta.
本発明の目的は、通信によってブームを備えた複数の作業車両から各種情報を取得することなく複数の前記作業車両のブーム同士の接触を抑制することができる作業車両の接触抑制装置および作業車両の接触抑制装置を有するブームを備えた作業車両の提供を目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide a contact suppression device for a work vehicle that can suppress contact between booms of a plurality of work vehicles without acquiring various information from a plurality of work vehicles equipped with booms through communication, and a work vehicle contact suppression device that can suppress contact between booms of a plurality of work vehicles. An object of the present invention is to provide a work vehicle equipped with a boom having a contact suppression device.
本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。 The problem to be solved by the present invention is as described above, and next, means for solving this problem will be explained.
即ち、第１の発明は、ブームを備えた作業車両を上方から撮影する撮影部と、前記撮影部が撮影した画像を表示する表示部と、前記撮影部が撮影した前記ブームを備えた作業車両の画像から前記ブームを検出する画像処理部と、を備えた作業車両の接触抑制装置である。前記画像処理部は、前記画像から検出した複数の前記作業車両のブーム毎に前記作業車両の作業領域とブーム先端の移動方向とを算出し、算出した前記作業車両の作業領域とブーム先端の移動方向とのうち少なくとも一つを前記表示部に表示させる。 That is, a first invention provides a photographing section for photographing a working vehicle equipped with a boom from above, a display section displaying an image photographed by the photographing section, and a working vehicle equipped with the boom photographed by the photographing section. and an image processing unit that detects the boom from an image of the boom. The image processing unit calculates a working area of the working vehicle and a moving direction of the boom tip for each of the booms of the plurality of working vehicles detected from the image, and calculates the working area of the working vehicle and the movement direction of the boom tip of the working vehicle. At least one of the directions is displayed on the display section.
第２の発明は、記画像処理部は、前記作業車両の作業領域とブーム先端の移動方向とのうち少なくとも一つを前記撮影部が撮影した前記作業車両の画像に対応するように重畳表示させる。 In a second invention, the image processing unit displays at least one of the work area of the work vehicle and the movement direction of the boom tip in a superimposed manner so as to correspond to the image of the work vehicle photographed by the photographing unit. .
第３の発明は、前記撮影部は、無人飛行体と、前記無人飛行体に設けられているカメラとから構成される接触抑制装置である。 A third invention is a contact suppression device in which the photographing unit includes an unmanned flying vehicle and a camera provided on the unmanned flying vehicle.
第４の発明は、前記画像処理部は、前記画像において複数の前記作業車両のブームの間隔が所定値未満である場合、前記表示装置に接触の可能性を報知する表示を行う。 In a fourth aspect of the present invention, the image processing unit displays, on the display device, a display notifying the possibility of contact when the interval between the booms of the plurality of work vehicles is less than a predetermined value in the image.
第５の発明は、前記画像処理部は、前記画像において複数の前記作業車両のブーム間の間隔が所定値未満である場合、前記ブーム間の間隔が所定値未満である複数の前記作業車両のうち少なくとも一つに所定の制御信号を送信する。 According to a fifth aspect of the present invention, when the interval between the booms of the plurality of work vehicles is less than a predetermined value in the image, the image processing unit is configured to control the number of the plurality of work vehicles whose interval between the booms is less than the predetermined value. A predetermined control signal is transmitted to at least one of them.
第６の発明は、第１の発明から第５の発明のいずれか一項に記載の作業車両の接触抑制装置を有するブームを備えた作業車両である。 A sixth invention is a work vehicle including a boom having the contact suppression device for a work vehicle according to any one of the first to fifth inventions.
本発明は、以下に示すような効果を奏する。 The present invention has the following effects.
第１の発明および第６の発明において、接触抑制装置の画像処理部は、複数のブームを備えた作業車両が含まれる最新の画像と単位時間以前の画像とから検出した各ブームの大きさおよび位置に基づいて前記複数の作業車両の作業領域と各作業車両のブーム先端の移動方向とを算出する。前記画像処理部は、前記複数の作業車両の作業領域と前記ブーム先端の移動方向とを表示部に表示させる。これにより、前記接触抑制装置および前記接触抑制装置を備える作業車両は、通信によって複数の前記移動式クレーンから各種情報を取得することなく前記複数の作業車両のブーム同士の接触を抑制することができる。 In the first invention and the sixth invention, the image processing unit of the contact suppression device detects the size of each boom and the size of each boom detected from the latest image including a work vehicle equipped with a plurality of booms and an image before a unit time. A working area of the plurality of work vehicles and a moving direction of a boom tip of each work vehicle are calculated based on the positions. The image processing section causes the display section to display the work areas of the plurality of work vehicles and the moving direction of the boom tip. Thereby, the contact suppression device and the work vehicle equipped with the contact suppression device can suppress contact between the booms of the plurality of work vehicles without acquiring various information from the plurality of mobile cranes through communication. .
第２の発明において、接触抑制装置の画像処理部は、複数の作業車両の画像に、各作業車両の作業領域と各ブームの移動方向を示す画像を重畳表示させた拡張現実（ＡＲ）を生成することができる。これにより、前記接触抑制装置は、通信によって前記複数の作業車両から各種情報を取得することなく前記複数の作業車両のブーム同士の接触を抑制することができる。 In the second invention, the image processing unit of the contact suppression device generates augmented reality (AR) in which images of the plurality of work vehicles are superimposed with images showing the work area of each work vehicle and the movement direction of each boom. can do. Thereby, the contact suppression device can suppress contact between the booms of the plurality of work vehicles without acquiring various information from the plurality of work vehicles through communication.
第３の発明において、接触抑制装置は、無人飛行体に設けられたカメラによって複数の作業車両の俯瞰画像を撮影するので前記複数の作業車両の各ブームの相対位置を容易に把握することができる。これにより、前記接触抑制装置は、通信によって前記複数の作業車両から各種情報を取得することなく前記複数の作業車両のブーム同士の接触を抑制することができる。 In the third invention, the contact suppression device captures bird's-eye images of the plurality of work vehicles using a camera provided on the unmanned flying vehicle, so that the relative positions of the respective booms of the plurality of work vehicles can be easily grasped. . Thereby, the contact suppression device can suppress contact between the booms of the plurality of work vehicles without acquiring various information from the plurality of work vehicles through communication.
第４の発明において、接触抑制装置の画像処理部は、複数の作業車両の画像における各ブームの間隔が所定値未満である場合、前記各ブーム同士が接触する可能性が高いと判定する。前記画像処理部は、色、図形、文字等を表示部に表示することで接触の可能性を報知する。これにより、前記接触抑制装置は、通信によって前記複数の作業車両から各種情報を取得することなく前記複数の作業車両のブーム同士の接触を抑制することができる。 In the fourth invention, the image processing unit of the contact prevention device determines that the booms are likely to contact each other when the interval between the booms in the images of the plurality of work vehicles is less than a predetermined value. The image processing unit notifies the possibility of contact by displaying colors, graphics, characters, etc. on the display unit. Thereby, the contact suppression device can suppress contact between the booms of the plurality of work vehicles without acquiring various information from the plurality of work vehicles through communication.
第５の発明において、接触抑制装置の画像処理部は、複数の作業車両の画像における各ブームの間隔が所定値未満である場合、前記各ブーム同士が接触する可能性が高いと判定し、前記各ブームの間隔が所定値未満である複数の作業車両のうち少なくとも一つに警報信号、停止信号等の所定の制御信号を送信する。これにより、前記接触抑制装置は、通信によって前記複数の作業車両から各種情報を取得することなく前記複数の作業車両のブーム同士の接触を抑制することができる。 In the fifth invention, the image processing unit of the contact prevention device determines that there is a high possibility that the booms will contact each other when the interval between the booms in the images of the plurality of work vehicles is less than a predetermined value; A predetermined control signal such as an alarm signal or a stop signal is transmitted to at least one of the plurality of work vehicles in which the interval between each boom is less than a predetermined value. Thereby, the contact suppression device can suppress contact between the booms of the plurality of work vehicles without acquiring various information from the plurality of work vehicles through communication.
以下に、図１と図２とを用いて、本発明の第一実施形態に係る接触抑制装置１について説明する。なお、以下の実施形態において、作業車両は、移動式クレーンであるラフテレーンクレーンとして説明を行うが、オールテレーンクレーンでもよい。また、作業車両は、高所作業車等のブームを備える作業車両であればよい。 A contact suppression device 1 according to a first embodiment of the present invention will be described below with reference to FIGS. 1 and 2. In the following embodiments, the work vehicle will be described as a rough terrain crane that is a mobile crane, but it may be an all-terrain crane. Further, the work vehicle may be any work vehicle provided with a boom such as an aerial work vehicle.
図１に示すように、接触抑制装置１は、複数の作業車両である移動式クレーンの作動状態を画像から検出し、各移動式クレーンのブーム同士の接触を抑制する装置である。接触抑制装置１は、撮影部を構成する無人飛行体２、カメラ４および遠隔操作端末５、表示部である表示装置６および画像処理部である画像処理装置７を具備する。
As shown in FIG. 1, the contact suppression device 1 is a device that detects the operating states of mobile cranes, which are a plurality of work vehicles, from images and suppresses contact between the booms of the mobile cranes. The contact suppression device 1 includes an unmanned
カメラ４は、複数の移動式クレーンを撮影する。撮影部は、無人飛行体２、カメラ４、遠隔操作端末５を備える。
無人飛行体２は、制御信号によって遠隔操作および自立飛行可能な自立型無人飛行体（ドローン）である。無人飛行体２は、例えば、複数のプロペラを有するマルチコプターである。無人飛行体２は、遠隔操作端末５と制御信号等を送受信可能に構成されている。これにより、無人飛行体２は、遠隔操作端末５によって任意の位置に移動可能に構成されている。また、無人飛行体２は、ＧＮＳＳ受信機３を有している。ＧＮＳＳ受信機３は、全球測位衛星システム（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）を構成する受信機であって、衛星から測距電波を受信し、受信機の位置座標である緯度、経度、標高を算出するものである。無人飛行体２は、指定された位置座標でホバリング可能に構成されている。なお、無人飛行体２は、移動式クレーンのブーム１８等に取り付けられたビーコン、画像処理装置７が検出したクレーンのブーム画像、ブーム１８に設けられたＡＲタグ等に追従するように構成されていてもよい。
The unmanned
カメラ４は、複数の移動式クレーンを撮影する。カメラ４は、無人飛行体２に設けられている。カメラ４は、遠隔操作端末５からの制御信号等を取得可能に構成されている。また、カメラ４は、遠隔操作端末５に撮影した画像データを送信可能に構成されている。これにより、カメラ４は、遠隔操作端末５によって、撮影の開始、停止、撮影方向の決定、ズーム等の操作を行うことができる。
遠隔操作端末５は、無人飛行体２およびカメラ４の操作を行う操作端末である。遠隔操作端末５は、携帯可能な筐体に無人飛行体２の操作具およびカメラ４の操作具が設けられている。遠隔操作端末５は、操作具の操作によって無人飛行体２をクレーンの上方に配置し、任意の位置でホバリングさせることができる。遠隔操作端末５は、無人飛行体２およびカメラ４に制御信号を送受信可能に構成されている。また、遠隔操作端末５には、表示部である表示装置６が設けられている。
The
表示部である表示装置６は、カメラ４が撮影した画像を表示する。表示装置６は、液晶モニタ等から構成されている。表示装置６は、移動式クレーンの操縦者が視認可能な位置に配置されている。本実施形態において、表示装置６は、遠隔操作端末５に設けられている。つまり、表示装置６を有する遠隔操作端末５は、移動式クレーンの操縦席近傍に配置されている。表示装置６には、カメラ４が撮影した画像、およびカメラ４が撮影した画像に基づいて算出された複数の移動式クレーンに関する情報が表示される。
A
画像処理部である画像処理装置７は、カメラ４が撮影した画像を処理するコンピュータの一部である。画像処理装置７は、実体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等がバスで接続される構成であってもよく、あるいはワンチップのＬＳＩ等からなる構成であってもよい。本実施形態において、画像処理装置７は、遠隔操作端末５に設けられている。画像処理装置７は、カメラ４が撮影した画像から移動式クレーンのブーム１８を検出する。画像処理装置７は、カメラ４が撮影した画像を既知の手法でベクトル化し、特徴量を算出する。また、画像処理装置７は、カメラ４が撮影した画像を記憶する記憶部７ａを有する。
The
画像処理装置７は、本実施形態において、画像のカラーヒストグラムによるベクトル化、オートエンコーダによるベクトル化および局所特徴量によるベクトル化等を併用してそれぞれのベクトル化による特徴量の算出を行う。カラーヒストグラムによるベクトル化は、色の強度と出現頻度を特徴量としてベクトル化する手法である。オートエンコーダによるベクトル化は、オートエンコーダの中間層を、画像を代表する特徴量とする手法である。オートエンコーダは、３層ニューラルネットにおいて、入力層と出力層に同じデータを用いて教師あり学習をさせたものである。局所特徴量によるベクトル化は、ＫＡＺＥ局所特徴量を用いて画像をベクトル化する手法である。
In this embodiment, the
画像処理装置７は、画像のカラーヒストグラムによるベクトル化、オートエンコーダによるベクトル化および局所特徴量によるベクトル化により、３つの特徴量を算出する。なお、特徴量としては、画像に含まれる輝度値、エッジのヒストグラム、色とエッジの相関関数等でもよい。また、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）等の画像の局所特徴量を算出するようにしてもよい。
The
以下に、図２と図３とを用いて、画像処理装置７による画像処理について説明する。なお、カメラ４が撮影する画像には、複数の移動式クレーンが含まれている。本実施形態において複数の移動式クレーンは、接触抑制装置１が設けられている自機である第１クレーン１１と他機である第２クレーン４１とを含む。
Image processing by the
図２に示すように、作業車両である第１クレーン１１は、車両１２、クレーン装置１５を有する。クレーン装置１５は、荷物Ｗをワイヤロープによって吊り上げる装置である。クレーン装置１５は、旋回台１６、ブーム１８、キャビン２９等を具備する。
As shown in FIG. 2, the
作業車両である第２クレーン４１は、車両４２、作業装置であるクレーン装置４５を有する。クレーン装置４５は、旋回台４６、ブーム４８、キャビン５９等を具備する。
The
第１クレーン１１と第２クレーン４１とは、第１クレーン１１の作業領域である第１作業領域ＢＲ１と第２クレーン４１の作業領域である第２作業領域ＢＲ２とが重複する状態で配置されている。また、第１クレーン１１と第２クレーン４１とは、互いに通信によって情報を共有できない状態であるものとする。
The
画像処理装置７は、カメラ４が撮影した最新の画像Ｐから第１クレーン１１の第１ブーム画像Ｂｂ１と第２クレーン４１の第２ブーム画像Ｂｂ２とを検出する。画像処理装置７には、様々なクレーンのブーム画像からＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて検出されたクレーンのブーム画像のブーム特徴マップＭが予め格納されている（図１参照）。
The
図３に示すように、画像処理装置７は、ブーム特徴マップＭに基づいてＣＮＮを用いた画像分類により、最新の画像Ｐから第１ブーム画像Ｂｂ１と第２ブーム画像Ｂｂ２とを検出する。画像処理装置７は、検出した第１ブーム画像Ｂｂ１の軸線上の両端部を示す画像上の先端位置座標Ｔｂ１と基端位置座標Ａｂ１とを取得する。同様に、画像処理装置７は、第２ブーム画像Ｂｂ２との軸線上の両端部を示す画像上の先端位置座標Ｔｂ２と基端位置座標Ａｂ２とを取得する。
As shown in FIG. 3, the
画像処理装置７は、第１ブーム画像Ｂｂ１と第２ブーム画像Ｂｂ２とを検出した最新の画像Ｐを記憶部７ａに記憶する。以下の説明において、第１ブーム画像Ｂｂ１と第２ブーム画像Ｂｂ２とを検出した最新の画像Ｐを「最新検出画像Ｐｂ」と記す。画像処理装置７は、最新検出画像Ｐｂを単位時間毎に時系列で記憶する。記憶部７ａは、記憶した最新検出画像Ｐｂを所定期間経過するまで保持する。以下の説明において、記憶部７ａに記憶されている最新検出画像Ｐｂよりも単位時間以前に記憶された過去の最新検出画像Ｐｂを「過去検出画像Ｐａ」と記す。
The
画像処理装置７は、単位時間前の過去検出画像Ｐａにおいて、最新検出画像Ｐｂに含まれる第１ブーム画像Ｂｂ１と第２ブーム画像Ｂｂ２とに一致している部分をそれぞれ検出する。画像処理装置７は、画像のカラーヒストグラムによるベクトル化、オートエンコーダによるベクトル化および局所特徴量によるベクトル化によって算出した最新検出画像Ｐｂにおける第１ブーム画像Ｂｂ１の特徴量Ｆｂ１および第２ブーム画像Ｂｂ２の特徴量Ｆｂ２と、過去検出画像Ｐａにおける第１ブーム画像Ｂａ１の特徴量Ｆａ１および第２ブーム画像Ｂａ２の特徴量Ｆａ２とを比較する。
The
画像処理装置７は、特徴量Ｆｂ１と特徴量Ｆａ１との差異が所定範囲内である場合、第１ブーム画像Ｂｂ１の単位時間前の画像が第１ブーム画像Ｂａ１であるとして第１ブーム画像Ｂａ１を検出する。同様に、画像処理装置７は、特徴量Ｆｂ２と特徴量Ｆａ２との差異が所定範囲内である場合、第２ブーム画像Ｂｂ２の単位時間前の画像が第２ブーム画像Ｂａ２であるとして第２ブーム画像Ｂａ２を検出する。
When the difference between the feature amount Fb1 and the feature amount Fa1 is within a predetermined range, the
画像処理装置７は、第１ブーム画像Ｂｂ１の先端位置座標Ｔｂ１および基端位置座標Ａｂ１と第１ブーム画像Ｂａ１の先端位置座標Ｔａ１および基端位置座標Ａａ１から、最新検出画像Ｐｂに含まれる第１ブーム画像Ｂｂ１の第１ブーム長さＢＬ１および第１旋回中心ＢＣ１を算出する。なお、第１ブーム長さＢＬ１は、最新検出画像Ｐｂにおける第１旋回中心ＢＣ１から先端位置座標Ｔａ１までの長さとする。同様に、画像処理装置７は、第２ブーム画像Ｂｂ２の先端位置座標Ｔｂ２および基端位置座標Ａｂ２と第２ブーム画像Ｂａ２の先端位置座標Ｔａ２および基端位置座標Ａａ２から、最新検出画像Ｐｂに含まれる第２ブーム画像Ｂｂ２の第２ブーム長さＢＬ２、第２旋回中心ＢＣ２を算出する。なお、第１ブーム長さＢＬ１は、最新検出画像Ｐｂにおける第２旋回中心ＢＣ２から先端位置座標Ｔａ２までの長さとする。
The
図４に示すように、画像処理装置７は、算出した第１ブーム長さＢＬ１および第１旋回中心ＢＣ１から最新検出画像Ｐｂにおける第１クレーン１１の第１作業領域ＢＲ１およびブーム１８の第１移動方向ＢＭ１を算出する。同様に、画像処理装置７は、算出した第２ブーム長さＢＬ２および第２旋回中心ＢＣ２から最新検出画像Ｐｂにおける第２クレーン４１の第２作業領域ＢＲ２およびブーム４８の第２移動方向ＢＭ２を算出する。
As shown in FIG. 4, the
画像処理装置７は、表示装置６に最新検出画像Ｐｂを表示させる。更に、画像処理装置７は、表示装置６に第１クレーン１１の画像に第１作業領域ＢＲ１を示す画像と第１ブーム画像Ｂｂ１のブーム先端の第１移動方向ＢＭ１を示す画像とのうち少なくとも一つを表示させる。本実施形態において、画像処理装置７は、第１作業領域ＢＲ１を示す円形図形とブーム先端の第１移動方向ＢＭ１を示す矢印とのうち少なくとも一つを第１クレーン１１の画像に重畳表示させる。つまり、画像処理装置７は、第１クレーン１１の実画像である最新検出画像Ｐｂに、第１クレーン１１の作動状態に関する情報を仮想の画像として重畳表示させた拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を生成する。同様に、画像処理装置７は、第２作業領域ＢＲ２を示す円形図形とブーム先端の第２移動方向ＢＭ２を示す矢印とのうち少なくとも一つを第２クレーン４１の画像に重畳表示させる。
The
画像処理装置７は、単位時間経過後に、カメラ４が撮影した最新の画像Ｐから第１クレーン１１の第１作業領域ＢＲ１および第２クレーン４１の第２作業領域ＢＲ２と、第１ブーム画像Ｂｂ１のブーム先端の第１移動方向ＢＭ１および第２ブーム画像Ｂｂ２のブーム先端の第２移動方向ＢＭ２を算出する。画像処理装置７は、表示装置６に最新検出画像Ｐｂを表示させるとともに、第１クレーン１１の画像に第１作業領域ＢＲ１を示す画像と第１ブーム画像Ｂｂ１の第１移動方向ＢＭ１を示す画像とを重畳表示させる。同様に、画像処理装置７は、第２クレーン４１の画像に第２作業領域ＢＲ２を示す画像と第２ブーム画像Ｂｂ２の第２移動方向ＢＭ２を示す画像とを重畳表示させる。なお、画像処理装置７は、最新検出画像Ｐｂに作業領域と移動方向とのうちいずれか一方を選択して表示する構成でもよい。
After a unit time has elapsed, the
このように構成される接触抑制装置１の画像処理装置７は、第１クレーン１１および第２クレーン４１が含まれる最新検出画像Ｐｂから検出した第１ブーム画像Ｂｂ１の画像上の位置座標である先端位置座標Ｔｂ１および基端位置座標Ａｂ１と、単位時間以前の過去検出画像Ｐａから検出した第１ブーム画像Ｂａ１の画像上の位置座標である先端位置座標Ｔａ１および基端位置座標Ａａ１とから第１クレーン１１の第１作業領域ＢＲ１とブーム先端の第１移動方向ＢＭ１とを算出する。同様に、画像処理装置７は、第２クレーン４１の第２作業領域ＢＲ２とブーム先端の第２移動方向ＢＭ２とを算出する。画像処理装置７は、第１クレーン１１の第１作業領域ＢＲ１を示す画像と第１移動方向ＢＭ１を示す画像および第２クレーン４１の第２作業領域ＢＲ２を示す画像と第２移動方向ＢＭ２を示す画像とを最新検出画像Ｐｂに重畳表示させる。
The
これにより、接触抑制装置１は、通信によって第１クレーン１１と第２クレーン４１とから各種情報を取得することなく第１クレーン１１の第１作業領域ＢＲ１と第２クレーン４１の第２作業領域ＢＲ２との相対的位置関係と第１クレーン１１と第２クレーン４１との相対的移動方向とを視覚的に表示することができる。つまり、接触抑制装置１は、第１クレーン１１と第２クレーン４１とが通信不能な状態でも第１クレーン１１のブーム１８と第２クレーン４１のブーム４８との接触を抑制することができる。
Thereby, the contact suppression device 1 can operate the first working area BR1 of the
更に、画像処理装置７は、第１クレーン１１のブーム１８と第２クレーン４１のブーム４８との距離に基づいた距離判定制御を行ってもよい。なお、画像処理装置７は、画面上の距離を実際の距離に換算する縮尺情報を保持しているものとする。
Furthermore, the
図５に示すように、画像処理装置７は、最新検出画像Ｐｂから検出した第１ブーム画像Ｂｂ１の画像上の位置座標である先端位置座標Ｔｂ１および基端位置座標Ａｂ１と、第２ブーム画像Ｂｂ２の画像上の位置座標である先端位置座標Ｔｂ２および基端位置座標Ａｂ２とから第１ブーム画像Ｂｂ１と第２ブーム画像Ｂｂ２との実距離Ｌｂを算出する。更に、画像処理装置７は、単位時間前に算出した過去検出画像Ｐａにおける第１ブーム画像Ｂａ１と第２ブーム画像Ｂａ２との実距離Ｌａに対する実距離Ｌｂの変化量ＤＬを算出する。
As shown in FIG. 5, the
画像処理装置７は、算出した実距離Ｌｂが所定値Ｌｓ未満であるか否か判定する。画像処理装置７は、実距離Ｌｂが所定値Ｌｓ未満である場合、算出した実距離Ｌａに対する実距離Ｌｂの変化量ＤＬがマイナスか否か判定する。すなわち、画像処理装置７は、実距離Ｌｂが単位時間前の実距離Ｌａよりも減少し、第１クレーン１１のブーム１８と第２クレーン４１のブーム４８とが近づいているか否か判定する。画像処理装置７は、変化量ＤＬがマイナスであると判定した場合、第１クレーン１１のブーム１８と第２クレーン４１のブーム４８とのブーム間の間隔が所定値未満の間隔で配置され、且つブーム１８とブーム４８とが近づいているとして、表示装置６に接触の可能性を作業者に報知する。
The
また、画像処理装置７は、実距離Ｌｂが所定値Ｌｓ未満、且つ変化量ＤＬが減少している場合、少なくとも第１クレーン１１にブームの移動を停止させる制御信号、警報を発報させる制御信号等の所定の制御信号を送信してもよい。
Further, when the actual distance Lb is less than the predetermined value Ls and the amount of change DL is decreasing, the
更に、画像処理装置７は、距離判定制御に代えて、第１クレーン１１の第１作業領域ＢＲ１と第２クレーン４１の第２作業領域ＢＲ２とに基づいた領域判定制御を行ってもよい。
Furthermore, the
画像処理装置７は、最新検出画像Ｐｂから検出した第１クレーン１１の第１作業領域ＢＲ１と第２クレーン４１の第２作業領域ＢＲ２が重複している領域を算出する。すなわち、画像処理装置７は、第１クレーン１１のブーム１８と第２クレーン４１のブーム４８とが接触する可能性がある接触領域Ｃ（図４、図５の薄墨部分）を算出する。
The
画像処理装置７は、第１クレーン１１の第１ブーム画像Ｂｂ１と第２クレーン４１の第２ブーム画像Ｂｂ２とのうち一方のブーム画像が接触領域Ｃ内に含まれ、第１ブーム画像Ｂｂ１と第２ブーム画像Ｂｂ２との間の実距離Ｌａに対する実距離Ｌｂの変化量ＤＬがマイナスである場合、少なくとも第１クレーン１１にブーム１８を停止させる制御信号を送信する。また、画像処理装置７は、第１ブーム画像Ｂｂ１と第２ブーム画像Ｂｂ２とが接触領域Ｃに含まれている場合、少なくとも第１クレーン１１にブーム１８を停止させる制御信号を送信する。なお、画像処理装置７は、第２クレーン４１の作業者に警報等によって接触の可能性を放置するように構成されていてもよい。
The
以下に、図６から図８を用いて、接触抑制装置１による第１クレーン１１と第２クレーン４１との接触抑制制御について説明する。本実施形態において、接触抑制装置１は、カメラ４を構成しているカメラ４を備えた無人飛行体２が所定の位置にホバリングしながら下方の第１クレーン１１と第２クレーン４１とを撮影しているものとする。
Contact suppression control between the
図６に示すように、接触抑制制御のステップＳ１１０において、画像処理装置７は、カメラ４が撮影した最新の画像Ｐを取得する。画像処理装置７は、ステップをステップＳ１２０に移行させる。
As shown in FIG. 6, in step S110 of contact suppression control, the
ステップＳ１２０において、画像処理装置７は、取得した最新の画像ＰからＣＮＮを用いた画像分類により、第１クレーン１１の第１ブーム画像Ｂｂ１と第２クレーン４１の第２ブーム画像Ｂｂ２とを検出する。画像処理装置７は、ステップをステップＳ１３０に移行させる。
In step S120, the
ステップＳ１３０において、画像処理装置７は、検出した第１ブーム画像Ｂｂ１の軸線上の両端部を示す画像上の先端位置座標Ｔｂ１と基端位置座標Ａｂ１、および第２ブーム画像Ｂｂ２の軸線上の両端部を示す画像上の先端位置座標Ｔｂ２と基端位置座標Ａｂ２とを取得する。画像処理装置７は、ステップをステップＳ１４０に移行させる。
In step S130, the
ステップＳ１４０において、画像処理装置７は、第１ブーム画像Ｂｂ１の特徴量Ｆｂ１と第２ブーム画像Ｂｂ２の特徴量Ｆｂ２とを用いて過去検出画像Ｐａから第１ブーム画像Ｂｂ１の単位時間前の画像である第１ブーム画像Ｂａ１と、第２ブーム画像Ｂｂ２の単位時間前の画像である第２ブーム画像Ｂａ２と、を検出する。画像処理装置７は、ステップをＳ１５０に移行させる。
In step S140, the
ステップＳ１５０において、画像処理装置７は、第１ブーム画像Ｂｂ１の先端位置座標Ｔｂ１および基端位置座標Ａｂ１と第１ブーム画像Ｂａ１の先端位置座標Ｔａ１および基端位置座標Ａａ１から、第１ブーム画像Ｂｂ１の第１ブーム長さＢＬ１および第１旋回中心ＢＣ１およびブーム先端の第１移動方向ＢＭ１を算出する。同様に、画像処理装置７は、第２ブーム画像Ｂｂ２の先端位置座標Ｔｂ２および基端位置座標Ａｂ２と第２ブーム画像Ｂａ２の先端位置座標Ｔａ２および基端位置座標Ａａ２から、第２ブーム画像Ｂｂ２の第２ブーム長さＢＬ２、第２旋回中心ＢＣ２およびブーム先端の第２移動方向ＢＭ２を算出する。画像処理装置７は、ステップをステップＳ１６０に移行させる。
In step S150, the
ステップＳ１６０において、画像処理装置７は、算出した第１ブーム画像Ｂｂ１の第１ブーム長さＢＬ１および第１旋回中心ＢＣ１から第１作業領域ＢＲ１を算出する。同様に、画像処理装置７は、第２ブーム画像Ｂｂ２の第２ブーム長さＢＬ２および第２旋回中心ＢＣ２から第２作業領域ＢＲ２を算出する。画像処理装置７は、ステップをステップＳ１７０に移行させる。
In step S160, the
ステップＳ１７０において、画像処理装置７は、表示装置６に最新検出画像Ｐｂを表示する。更に、表示装置６は、第１作業領域ＢＲ１を示す画像と第１ブーム画像Ｂｂ１のブーム先端の第１移動方向ＢＭ１を示す画像を重畳表示させる。同様に、表示装置６は、第２作業領域ＢＲ２を示す画像と第２ブーム画像Ｂｂ２のブーム先端の第２移動方向ＢＭ２を示す画像を重畳表示させる。画像処理装置７は、ステップをステップＳ２００に移行させる。
In step S170, the
ステップＳ２００において、画像処理装置７は、距離判定制御Ａを開始し、ステップをステップＳ２１０に移行させる（図７参照）。画像処理装置７は、距離判定制御Ａが終了するとステップをステップＳ１１０に移行させる（図６参照）。
In step S200, the
図７に示すように、距離判定制御ＡのステップＳ２１０において、画像処理装置７は、第１ブーム画像Ｂｂ１の画像上の位置座標である先端位置座標Ｔｂ１および基端位置座標Ａｂ１と、第２ブーム画像Ｂｂ２の画像上の位置座標である先端位置座標Ｔｂ２および基端位置座標Ａｂ２とから第１ブーム画像Ｂｂ１と第２ブーム画像Ｂｂ２との最新検出画像Ｐｂ上の実距離Ｌｂを算出する。画像処理装置７は、ステップをステップＳ２２０に移行させる。
As shown in FIG. 7, in step S210 of distance determination control A, the
ステップＳ２２０において、画像処理装置７は、単位時間前に算出した過去検出画像Ｐａにおける第１ブーム画像Ｂａ１と第２ブーム画像Ｂａ２との実距離Ｌａに対する実距離Ｌｂの変化量ＤＬを算出する。画像処理装置７は、ステップをステップＳ２３０に移行させる。
In step S220, the
ステップＳ２３０において、画像処理装置７は、算出した実距離Ｌｂが所定値Ｌｓ未満であるか否か判定する。
その結果、実距離Ｌｂが所定値Ｌｓ未満である場合、画像処理装置７はステップをステップＳ２４０に移行させる。
一方、実距離Ｌｂが所定値Ｌｓ未満でない場合、画像処理装置７は距離判定制御Ａを終了する。画像処理装置７は、ステップをステップＳ１１０に移行させる（図６参照）。
In step S230, the
As a result, if the actual distance Lb is less than the predetermined value Ls, the
On the other hand, if the actual distance Lb is not less than the predetermined value Ls, the
ステップＳ２４０において、画像処理装置７は、算出した実距離Ｌａに対する実距離Ｌｂの変化量ＤＬがマイナスか否か判定する。
その結果、実距離Ｌａに対する実距離Ｌｂの変化量ＤＬがマイナスである場合、画像処理装置７はステップをステップＳ２５０に移行させる。
一方、実距離Ｌａに対する実距離Ｌｂの変化量ＤＬがゼロ以上である場合、画像処理装置７は距離判定制御Ａを終了する。画像処理装置７は、ステップをステップＳ１１０に移行させる（図６参照）。
In step S240, the
As a result, if the amount of change DL of the actual distance Lb with respect to the actual distance La is negative, the
On the other hand, if the amount of change DL of the actual distance Lb with respect to the actual distance La is greater than or equal to zero, the
ステップＳ２５０において、画像処理装置７は、他機である第２クレーン４１のブーム４８が近接しているとして、表示装置６に自機である第１クレーン１１のブーム１８と第２クレーン４１のブーム４８との接触の可能性を報知する文字、図形、色、発光等の表示を所定時間継続して行う。画像処理装置７は、ステップをステップＳ２６０に移行させる。
In step S250, the
ステップＳ２６０において、画像処理装置７は、第１クレーン１１のブーム１８を停止させる制御信号を第１クレーン１１の制御装置３７（図１０参照）に送信する。画像処理装置７は距離判定制御Ａを終了する。画像処理装置７は、ステップをステップＳ１１０に移行させる（図６参照）。
In step S260, the
なお、接触抑制制御の別実施形態として、接触抑制装置１は、接触抑制制御における距離判定制御Ａに代えて、領域判定制御Ｂを実施してもよい。 Note that, as another embodiment of contact prevention control, the contact prevention device 1 may perform area determination control B instead of distance determination control A in contact prevention control.
接触抑制制御における接触抑制装置１の画像処理装置７は、表示装置６に最新検出画像Ｐｂ、第１作業領域ＢＲ１を示す画像、第１ブーム画像Ｂｂ１のブーム先端の第１移動方向ＢＭ１を示す画像、第２作業領域ＢＲ２を示す画像および第２ブーム画像Ｂｂ２のブーム先端の第２移動方向ＢＭ２を示す画像を重畳表示させた後（図の接触抑制制御におけるステップＳ１７０参照）、領域判定制御Ｂを開始する。画像処理装置７は、ステップをステップＳ３１０に移行させる（図８参照）。
The
図８に示すように、領域判定制御ＢのステップＳ３１０において、画像処理装置７は、最新検出画像Ｐｂから検出した第１クレーン１１の第１作業領域ＢＲ１と第２クレーン４１の第２作業領域ＢＲ２が重複している接触領域Ｃを算出する。画像処理装置７は、ステップをステップＳ３２０に移行させる。
As shown in FIG. 8, in step S310 of area determination control B, the
ステップＳ３２０において、画像処理装置７は、第１クレーン１１の第１ブーム画像Ｂｂ１と第２クレーン４１の第２ブーム画像Ｂｂ２とのうち少なくとも一方のブーム画像が接触領域Ｃ内に含まれているか否か判定する。
その結果、第１ブーム画像Ｂｂ１と第２ブーム画像Ｂｂ２とのうち少なくとも一方のブーム画像が接触領域Ｃ内に含まれている場合、画像処理装置７はステップをステップＳ３３０に移行させる。
一方、第１ブーム画像Ｂｂ１と第２ブーム画像Ｂｂ２とが接触領域Ｃ内に含まれていない場合、画像処理装置７は領域判定制御Ｂを終了する。画像処理装置７は、ステップをステップＳ１１０に移行させる（図６参照）。
In step S320, the
As a result, if at least one of the first boom image Bb1 and the second boom image Bb2 is included in the contact area C, the
On the other hand, if the first boom image Bb1 and the second boom image Bb2 are not included in the contact area C, the
ステップＳ３３０において、画像処理装置７は、第１ブーム画像Ｂｂ１または第２ブーム画像Ｂｂ２のいずれか一方が接触領域Ｃ内に含まれているか否か判定する。
その結果、第１ブーム画像Ｂｂ１または第２ブーム画像Ｂｂ２のいずれか一方が接触領域Ｃ内に含まれている場合、画像処理装置７はステップをステップＳ３４０に移行させる。
一方、第１ブーム画像Ｂｂ１および第２ブーム画像Ｂｂ２が接触領域Ｃ内に含まれている場合、画像処理装置７はステップをステップＳ３５０に移行させる。
In step S330, the
As a result, if either the first boom image Bb1 or the second boom image Bb2 is included in the contact area C, the
On the other hand, if the first boom image Bb1 and the second boom image Bb2 are included in the contact area C, the
ステップＳ３４０において、画像処理装置７は、第１ブーム画像Ｂｂ１と第２ブーム画像Ｂｂ２との間の実距離Ｌａに対する実距離Ｌｂの変化量ＤＬがマイナスか否か判定する。
その結果、実距離Ｌａに対する実距離Ｌｂの変化量ＤＬがマイナスである場合、画像処理装置７はステップをステップＳ３５０に移行させる。
一方、実距離Ｌａに対する実距離Ｌｂの変化量ＤＬがマイナスでない場合、画像処理装置７は領域判定制御Ｂを終了する。画像処理装置７は、ステップをステップＳ１１０に移行させる（図参照）。
In step S340, the
As a result, if the amount of change DL of the actual distance Lb with respect to the actual distance La is negative, the
On the other hand, if the amount of change DL of the actual distance Lb with respect to the actual distance La is not negative, the
ステップＳ３５０において、画像処理装置７は、自機である第１クレーン１１のブーム１８と他機である第２クレーン４１のブーム４８とが接触する可能性が高いとして、ブーム１８とブーム４８との接触の可能性を報知する文字、図形、色、発光等の表示を表示装置６に表示するとともに、少なくとも第１クレーン１１にブーム１８を停止させる制御信号を送信する。画像処理装置７は領域判定制御Ｂを終了する。画像処理装置７は、ステップをステップＳ１１０に移行させる（図６参照）。
In step S350, the
このように構成することで、接触抑制装置１は、無人飛行体２に設けられたカメラ４によって第１クレーン１１と第２クレーン４１とを俯瞰画像として撮影するので第１クレーン１１と第２クレーン４１との各ブームの相対位置を容易に把握することができる。加えて、接触抑制装置１の画像処理装置７は、第１クレーン１１と第２クレーン４１とが含まれる俯瞰画像である最新検出画像Ｐｂに、第１クレーン１１の第１作業領域ＢＲ１を示す画像と第１移動方向ＢＭ１を示す画像および第２クレーン４１の第２作業領域ＢＲ２を示す画像と第２移動方向ＢＭ２を示す画像を重畳表示させた拡張現実（ＡＲ）を生成することができる。
With this configuration, the contact suppression device 1 photographs the
また、接触抑制装置１の画像処理装置７は、最新検出画像Ｐｂにおける第１クレーン１１のブーム１８と第２クレーン４１のブーム４８とのブーム間の間隔が所定値Ｌｓ未満である場合、ブーム１８とブーム４８とが接触する可能性が高いと判定し、接触の可能性を報知する色、図形、文字等を用いて所定の態様で表示装置６に表示する。更に、画像処理装置７は、第１クレーン１１に警報信号、停止信号等の所定の制御信号を送信する。
Further, the
また、画像処理装置７は、第１クレーン１１の第１作業領域ＢＲ１と第２クレーン４１の第２作業領域ＢＲ２が重複している接触領域Ｃにブーム１８とブーム４８との少なくとも一方が含まれ、且つ近づいている場合、第１クレーン１１にブーム１８を停止させる制御信号を送信してもよい。これにより、接触抑制装置１は、通信によって第１クレーン１１と第２クレーン４１とから各種情報を取得することなく第１クレーン１１のブーム１８と第２クレーン４１のブーム４８との接触を抑制することができる。
The
本実施形態において、接触抑制装置１は、第１クレーン１１のブーム１８と第２クレーン４１のブーム４８との接触を抑制しているが、これに限定するものではない。接触抑制装置１は、ブームを備えた作業車両として高所作業車同士の接触、または移動式クレーンのブームと高所作業車のブームまたはバケットとの接触を抑制する構成でもよい。接触抑制装置１は、画像認識を用いた拡張現実を利用することで、メーカーが異なる作業車両同士だけでなく、機種が異なる作業車両同士の接触を抑制することができる。
In this embodiment, the contact suppression device 1 suppresses contact between the
次に、図９と図１０とを用いて、本発明の第２実施形態に係る接触抑制装置１を備えた作業車両である移動式クレーンについて説明する。なお、以下の実施形態に係る接触抑制装置１を備えた移動式クレーンは、図１から図１０に示す接触抑制装置１が適用されるものとして、その説明で用いた名称、図番、符号を用いることで、同じものを指す。よって、以下の実施形態において、既に説明した実施形態と同様の点に関してはその具体的説明を省略し、相違する部分を中心に説明する。なお、本実施形態においては、ラフテレーンクレーンついて説明を行うが、作業車両として、オールテレーンクレーン、トラッククレーン、積載型トラッククレーン、高所作業車等でもよい。 Next, a mobile crane that is a work vehicle equipped with a contact suppression device 1 according to a second embodiment of the present invention will be described using FIGS. 9 and 10. Note that the mobile crane equipped with the contact suppression device 1 according to the following embodiments is applicable to the contact suppression device 1 shown in FIGS. 1 to 10, and the names, drawing numbers, and symbols used in the description are When used, they refer to the same thing. Therefore, in the following embodiments, specific explanations of the same points as those of the already described embodiments will be omitted, and the explanation will focus on the different parts. In the present embodiment, a rough terrain crane will be described, but the work vehicle may be an all-terrain crane, a truck crane, a loading truck crane, an aerial work vehicle, or the like.
図９に示すように、第１クレーン１１は、不特定の場所に移動可能な移動式クレーンである。第１クレーン１１は、車両１２、作業装置であるクレーン装置１５を有する。
As shown in FIG. 9, the
車両１２は、クレーン装置１５を搬送する走行体である。車両１２は、複数の車輪１２ａを有し、エンジン１３を動力源として走行する。車両１２には、アウトリガ１４が設けられている。アウトリガ１４は、車両１２の幅方向両側に油圧によって延伸可能な張り出しビームと地面に垂直な方向に延伸可能な油圧式のジャッキシリンダとから構成されている。車両１２は、アウトリガ１４を車両１２の幅方向に延伸させるとともにジャッキシリンダを接地させることにより、クレーン１の作業可能範囲を広げることができる。
The
クレーン装置１５は、荷物Ｗをワイヤロープによって吊り上げる装置である。クレーン装置１５は、旋回台１６、ブーム１８、ジブ１８ａ、起伏用油圧シリンダ２０、メインフックブロック２１、メインワイヤロープ２２、サブフックブロック２３、サブワイヤロープ２４、メインウインチ２５、サブウインチ２７、キャビン２９、接触抑制装置１（図１０参照）等を具備する。
The
旋回台１６は、クレーン装置１５を旋回可能に構成する構造体である。旋回台１６は、円環状の軸受を介して車両１２のフレーム上に設けられる。旋回台１６は、円環状の軸受の中心を回転中心として回転自在に構成されている。旋回台１６には、アクチュエータである油圧式の旋回用油圧モータ１７が設けられている。旋回台１６は、旋回用油圧モータ１７によって一方向と他方向とに旋回可能に構成されている。
The
旋回用油圧モータ１７は、電磁比例切換バルブである旋回用バルブ３２（図１０参照）によって回転操作される。旋回用バルブ３２は、旋回用油圧モータ１７に供給される作動油の流量を任意の流量に制御することができる。
The swing
ブーム１８は、荷物Ｗを吊り上げ可能な状態にワイヤロープを支持する構造体である。ブーム１８は、複数のブーム部材から構成されている。ブーム１８は、ベースブーム部材の基端が旋回台１６の略中央に揺動可能に設けられている。ブーム１８は、各ブーム部材を伸縮用油圧シリンダ１９（図１０参照）で移動させることで軸方向に伸縮自在に構成されている。また、ブーム１８は、起伏用油圧シリンダ２０で移動させることで起伏自在に構成されている。ブーム１８には、ジブ１８ａが設けられている。
The
伸縮用油圧シリンダ１９は、電磁比例切換バルブである伸縮用バルブ３３（図１０参照）によって伸縮操作される。伸縮用バルブ３３は、伸縮用油圧シリンダ１９に供給される作動油の流量を任意の流量に制御することができる。
The telescoping
起伏用油圧シリンダ２０は、ブーム１８を起立および倒伏させ、ブーム１８の姿勢を保持するアクチュエータである。起伏用油圧シリンダ２０は、シリンダ部の端部が旋回台１６に揺動自在に連結され、ロッド部の端部がブーム１８のベースブーム部材に揺動自在に連結されている。起伏用油圧シリンダ２０は、電磁比例切換バルブである起伏用バルブ３４（図１０参照）によって伸縮操作される。起伏用バルブ３４は、起伏用油圧シリンダ２０に供給される作動油の流量を任意の流量に制御することができる。
The lifting
メインフックブロック２１とサブフックブロック２３とは、荷物Ｗを吊る部材である。メインフックブロック２１には、メインワイヤロープ２２が巻き掛けられる複数のフックシーブと、荷物Ｗを吊るメインフック２１ａとが設けられている。サブフックブロック２３には、荷物Ｗを吊るサブフック２３ａが設けられている。
The
メインウインチ２５は、メイン用油圧モータ２６（図１０参照）によってメインドラムを回転させ、メインワイヤロープ２２の繰り入れ、繰り出しを行う。サブウインチ２７は、サブ用油圧モータ２８（図１０参照）によってサブドラムを回転させ、サブワイヤロープ２４の繰り入れ、繰り出しを行う。
The
メイン用油圧モータ２６は、電磁比例切換バルブであるメイン用バルブ３５（図１０参照）によって回転操作される。サブ用油圧モータ２８は、電磁比例切換バルブであるサブ用バルブ３６（図１０参照）によって回転操作される。
The main
キャビン２９は、操縦席を覆う構造体である。キャビン２９は、旋回台１６に搭載されている。図示しない操縦席が設けられている。操縦席には、車両１２を走行操作するための走行用操作具３０（図１０参照）、クレーン装置１５を操作するための作業装置用操作具３１（図１０参照）等が設けられている。また、作業装置用操作具３１は、旋回用油圧モータ１７、伸縮用油圧シリンダ１９、起伏用油圧シリンダ２０、メイン用油圧モータ２６、サブ用油圧モータ２８等を操作することができる。
The
第１クレーン１１の制御装置３７（図１０参照）は、キャビン２９内に設けられている。制御装置３７は、実体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等がバスで接続される構成であってもよく、あるいはワンチップのＬＳＩ等からなる構成であってもよい。制御装置３７は、各アクチュエータ、切換えバルブ、センサ等の動作を制御するために種々のプログラム、データが格納されている。
A control device 37 (see FIG. 10) for the
図１０に示すように、制御装置３７は、走行用操作具３０および作業装置用操作具３１に接続され、走行用操作具３０および作業装置用操作具３１のそれぞれの操作量を取得することができる。
As shown in FIG. 10, the
制御装置３７は、旋回用バルブ３２、伸縮用バルブ３３、起伏用バルブ３４、メイン用バルブ３５およびサブ用バルブ３６に接続され、旋回用バルブ３２、伸縮用バルブ３３、起伏用バルブ３４、メイン用バルブ３５およびサブ用バルブ３６に制御信号を伝達することができる。
The
制御装置３７は、走行用操作具３０および作業装置用操作具３１の操作量に基づいて各操作具に対応した制御信号を生成することができる。
The
制御装置３７は、接触抑制装置１の画像処理装置７に接続され、画像処理装置７からの制御信号を取得することができる。
The
このように構成される第１クレーン１１は、車両１２を走行させることで任意の位置にクレーン装置１５を移動させることができる。また、クレーン１は、作業装置用操作具３１の操作によって起伏用油圧シリンダ２０でブーム１８を任意の起伏角度に起立させて、ブーム１８を任意のブーム長さに延伸させたりすることでクレーン装置１５の揚程、作業領域を拡大することができる。また、第１クレーン１１は、メインウインチ２５またはサブウインチ２７を回転させて荷物Ｗを吊り上げおよび吊り下げることができる。また、第１クレーン１１は、旋回台１６を旋回させることで荷物Ｗを搬送することができる。また、第１クレーン１１は、接触抑制装置１からの制御信号によって、ブーム１８の起伏、伸縮、旋回動作を停止させることができる。
The
また、第１クレーン１１は、接触抑制装置１によって自機である第１クレーン１１の画像と他機である第２クレーン４１の画像に各クレーンの作業領域と移動方向とが表示された拡張現実で第１クレーン１１の作動状態だけでなく第２クレーン４１の作動状態を操縦者に視覚的に伝達することができる。
In addition, the
第１クレーン１１は、第２クレーン４１と近接した場合、接触抑制装置１の表示装置６を介して操縦者に第２クレーン４１との近接を報知する。また、第１クレーン１１は、接触抑制装置１からブーム１８を停止させる制御信号を取得すると、ブーム１８を停止させる（図６および図７参照）。このように、第１クレーン１１は、接触抑制装置１のカメラ４が撮影した画像に基づいて、第１クレーン１１と第２クレーン４１との作業領域およびブーム１８の先端の移動方向を算出する。これにより、接触抑制装置１を備える第１クレーン１１は、通信によって第２クレーン４１を含む複数の移動式クレーンから作動状態に関する各種情報を取得することなく前記複数の移動式クレーンのブーム同士の接触を抑制することができる。
When the
また、第１クレーン１１は、接触抑制装置１の遠隔操作端末５によって、ブーム１８の制御を行うように構成されていてもよい。これにより、第１クレーン１１の操縦者は、表示装置６に表示される第２クレーン４１の作動状態等を視覚的に監視しながら、第１クレーン１１の操作を行うことができる。
Further, the
上述の実施形態は、代表的な形態を示したに過ぎず、一実施形態の骨子を逸脱しない範囲で種々変形して実施することができる。さらに種々なる形態で実施し得ることは勿論のことであり、本発明の範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲に記載の均等の意味、および範囲内のすべての変更を含む。 The above-described embodiment merely shows a typical form, and various modifications can be made without departing from the gist of the embodiment. Furthermore, it goes without saying that the present invention can be implemented in various forms, and the scope of the present invention is indicated by the description of the claims, and furthermore, the meaning of equivalents described in the claims and all the equivalents within the scope are Including changes.
１ 接触抑制装置
４ カメラ
６ 表示装置
７ 画像処理装置
１１ 第１クレーン
４１ 第２クレーン
ＢＲ１ 第１作業領域
ＢＲ２ 第２作業領域
ＢＭ１ 第１移動方向
ＢＭ２ 第２移動方向
1
Claims (6)
前記撮影部が撮影した画像を表示する表示部と、
前記撮影部が撮影した前記ブームを備えた作業車両の画像から前記ブームを検出する画像処理部と、を備え、
前記画像処理部は、
前記画像から検出した複数の前記作業車両のブーム毎に前記作業車両の作業領域とブーム先端の移動方向とを算出し、算出した前記作業車両の作業領域とブーム先端の移動方向とのうち少なくとも一つを前記表示部に表示させる作業車両の接触抑制装置。 A photography department that photographs a work vehicle equipped with a boom from above;
a display section that displays an image taken by the photographing section;
an image processing unit that detects the boom from an image of a work vehicle equipped with the boom taken by the photography unit;
The image processing unit includes:
A working area of the working vehicle and a moving direction of the boom tip are calculated for each of the plurality of booms of the working vehicles detected from the image, and at least one of the calculated working area of the working vehicle and the moving direction of the boom tip is calculated. A contact suppression device for a work vehicle that displays one on the display section.
前記作業車両の作業領域とブーム先端の移動方向とのうち少なくとも一つを前記撮影部が撮影した前記作業車両の画像に対応するように重畳表示させる請求項１に記載の作業車両の接触抑制装置。 The image processing unit includes:
The contact prevention device for a work vehicle according to claim 1, wherein at least one of a work area of the work vehicle and a moving direction of a boom tip is displayed in a superimposed manner so as to correspond to an image of the work vehicle photographed by the photographing unit. .
無人飛行体と、前記無人飛行体に設けられているカメラとから構成される請求項１または請求項２に記載の作業車両の接触抑制装置。 The photography department is
The contact suppression device for a work vehicle according to claim 1 or 2, comprising an unmanned flying vehicle and a camera provided on the unmanned flying vehicle.
前記画像において複数の前記作業車両のブームの間隔が所定値未満である場合、前記表示部に接触の可能性を報知する表示を行う請求項１から請求項３のいずれか一項に記載の作業車両の接触抑制装置。 The image processing unit includes:
The work according to any one of claims 1 to 3, wherein when the interval between the booms of the plurality of work vehicles is less than a predetermined value in the image, a display is displayed on the display unit to notify the possibility of contact. Vehicle contact suppression device.
前記画像において複数の前記作業車両のブーム間の間隔が所定値未満である場合、前記ブーム間の間隔が所定値未満である複数の前記作業車両のうち少なくとも一つに所定の制御信号を送信する請求項１から請求項４のいずれか一項に記載の作業車両の接触抑制装置。 The image processing unit includes:
If the distance between the booms of the plurality of work vehicles is less than a predetermined value in the image, a predetermined control signal is transmitted to at least one of the plurality of work vehicles in which the distance between the booms is less than the predetermined value. A contact suppression device for a work vehicle according to any one of claims 1 to 4.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020101276A JP7443947B2 (en) | 2020-06-10 | 2020-06-10 | Work vehicle contact suppression device and work vehicle equipped with a boom having a work vehicle contact suppression device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020101276A JP7443947B2 (en) | 2020-06-10 | 2020-06-10 | Work vehicle contact suppression device and work vehicle equipped with a boom having a work vehicle contact suppression device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021195196A JP2021195196A (en) | 2021-12-27 |
| JP7443947B2 true JP7443947B2 (en) | 2024-03-06 |
Family
ID=79197111
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020101276A Active JP7443947B2 (en) | 2020-06-10 | 2020-06-10 | Work vehicle contact suppression device and work vehicle equipped with a boom having a work vehicle contact suppression device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7443947B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000313588A (en) | 1999-04-28 | 2000-11-14 | Kyoritsu Denshi Kogyo Kk | Crane controller |
| JP2018095364A (en) | 2016-12-09 | 2018-06-21 | 株式会社タダノ | Crane contact monitoring system |
| JP2018095376A (en) | 2016-12-09 | 2018-06-21 | 株式会社タダノ | Crane |
| US20190016569A1 (en) | 2016-04-08 | 2019-01-17 | Michael PALBERG | Method and apparatus for controlling a crane, an excavator, a crawler-type vehicle or a similar construction machine |
| WO2020067201A1 (en) | 2018-09-25 | 2020-04-02 | 株式会社タダノ | Work machine and contact monitoring system for work machines |
-
2020
- 2020-06-10 JP JP2020101276A patent/JP7443947B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000313588A (en) | 1999-04-28 | 2000-11-14 | Kyoritsu Denshi Kogyo Kk | Crane controller |
| US20190016569A1 (en) | 2016-04-08 | 2019-01-17 | Michael PALBERG | Method and apparatus for controlling a crane, an excavator, a crawler-type vehicle or a similar construction machine |
| JP2018095364A (en) | 2016-12-09 | 2018-06-21 | 株式会社タダノ | Crane contact monitoring system |
| JP2018095376A (en) | 2016-12-09 | 2018-06-21 | 株式会社タダノ | Crane |
| WO2020067201A1 (en) | 2018-09-25 | 2020-04-02 | 株式会社タダノ | Work machine and contact monitoring system for work machines |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021195196A (en) | 2021-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6801421B2 (en) | crane | |
| JP6776861B2 (en) | Co-suspension control system for mobile cranes | |
| JP7416063B2 (en) | Mobile crane with remote control terminal and remote control terminal | |
| US11691855B2 (en) | Crane | |
| US11905145B2 (en) | Remote control terminal and work vehicle | |
| JP7091729B2 (en) | Work vehicle equipped with a remote control terminal and a remote control terminal | |
| CN113329966A (en) | Crane with a movable crane | |
| JP7443947B2 (en) | Work vehicle contact suppression device and work vehicle equipped with a boom having a work vehicle contact suppression device | |
| JP7255601B2 (en) | Work machine and work machine contact monitoring system | |
| JP7172199B2 (en) | Remote control terminal and work vehicle | |
| WO2020080434A1 (en) | Crane device | |
| JP7380685B2 (en) | Mobile crane with remote control terminal and remote control terminal | |
| US11905146B2 (en) | Movable range display system and crane equipped with movable range display system | |
| JP7501176B2 (en) | Mobile Crane | |
| JP7351231B2 (en) | Hanging load monitoring device, crane, hanging load monitoring method and program | |
| JP7167469B2 (en) | Remote control terminal and work vehicle equipped with remote control terminal | |
| JP7379990B2 (en) | An information display system, an aerial work vehicle equipped with the information display system, and a mobile crane equipped with the information display system. | |
| JP7167464B2 (en) | Remote control terminal and work vehicle equipped with remote control terminal | |
| JP2022081069A (en) | Work vehicle | |
| JP7505292B2 (en) | Mobile Crane | |
| JP2021038086A (en) | Mobile crane and remote terminal device | |
| JP2022015237A (en) | Work machine interference determination device, work machine interference determination system, and work machine interference determination method | |
| JP7443710B2 (en) | Work vehicle coordination system and aerial work vehicle | |
| US20230192455A1 (en) | Crane and transportation destination presentation method | |
| US20220340398A1 (en) | Crane information display system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230324 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240112 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240123 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240205 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7443947 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |