JP2020121871A - Driving support system and driving support method of crane - Google Patents
Driving support system and driving support method of crane Download PDFInfo
- Publication number
- JP2020121871A JP2020121871A JP2019015696A JP2019015696A JP2020121871A JP 2020121871 A JP2020121871 A JP 2020121871A JP 2019015696 A JP2019015696 A JP 2019015696A JP 2019015696 A JP2019015696 A JP 2019015696A JP 2020121871 A JP2020121871 A JP 2020121871A
- Authority
- JP
- Japan
- Prior art keywords
- crane
- image
- imaging
- imaging device
- traveling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 12
- 238000003384 imaging method Methods 0.000 claims abstract description 193
- 230000002093 peripheral effect Effects 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 8
- 238000012876 topography Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Landscapes
- Control And Safety Of Cranes (AREA)
Abstract
Description
本発明はクレーンの運転支援システム及び運転支援方法に関する。 The present invention relates to a crane driving support system and a driving support method.
クレーンは、その運転手の死角となる位置や運転手から遠方にある位置のように、運転手が目視し難い位置の映像を撮像する撮像装置を備える場合があり、さらに撮像した映像を表示する表示部を運転室に備える場合がある。
また、遠隔操作を行うクレーンは、クレーンから離れた場所に運転席を設ける場合が多く、運転席から荷役対象を目視し難いため、表示部を運転室に設ける必要がある。
特許文献1には、門型クレーンの遠隔操作パネルとして、該クレーンに設けられた監視カメラの映像を表示するカメラ映像部と、該クレーンの作業状況を表示するクレーン状態アニメーション表示部を備えたタッチパネルが記載されている。
クレーンに設けた撮像装置はズーム機能を備えるのが一般的である。例えば特許文献2には、カメラ画像を拡大して表示する機能を備えた表示部が記載されている。
The crane may be equipped with an image capturing device that captures an image of a position that is difficult for the driver to see, such as a position that is a blind spot of the driver or a position that is far from the driver, and further displays the captured image. The display may be provided in the cab.
In addition, since a crane that is remotely operated often has a driver's seat provided at a place distant from the crane, and it is difficult to visually check the cargo handling target from the driver's seat, it is necessary to provide a display unit in the operator's cab.
In
The image pickup device provided in the crane generally has a zoom function. For example,
特許文献1、2でクレーンを移動させると撮像装置は移動し、撮像範囲が変わる。撮像装置をコンテナクレーンのトロリのような可動部に設けると、可動部の移動でも撮像範囲が変わる。また、撮像装置の倍率を変更すると画角が変化し、撮像範囲が拡大又は縮小する。
When the crane is moved in
しかしながら特許文献1、2では、撮像装置の撮像範囲が変化した場合、変化後の撮像範囲を正確に運転手が把握することはできない。そのため、現在の撮像装置の撮像範囲が正確に分かりにくいという問題があった。
However, in
本発明は上記課題に鑑みてなされたもので、撮像装置の撮像範囲を正確に運転手が把握できるクレーンの運転支援システムの提供を目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a crane driving support system that enables a driver to accurately grasp the imaging range of an imaging device.
上記の課題を解決するため、本発明のクレーンの運転支援システムは、周囲の映像を逐次撮像する撮像装置を備えるクレーンの運転を支援するための、クレーンの運転支援システムであって、前記撮像装置の前記クレーンにおける現在位置を位置情報として逐次取得する位置取得部と、前記撮像装置に接続され、前記撮像装置が撮像した映像を取得して表示する映像表示部と、前記撮像装置、前記位置取得部、及び前記映像表示部に接続され、前記位置情報を前記位置取得部から逐次取得し、前記撮像装置の画角を示す画角情報を前記撮像装置から逐次取得し、前記位置情報及び前記画角情報を基に、前記クレーンにおける前記撮像装置の撮像範囲を示す撮像範囲画像を生成し、前記撮像範囲画像に前記クレーンの外形を示すクレーン画像を重ねて処理画像を生成する制御部と、前記制御部に接続され、前記処理画像を表示する撮像範囲表示部と、を備えることを特徴とする。 In order to solve the above problems, a crane driving assistance system of the present invention is a crane driving assistance system for assisting the operation of a crane including an imaging device that sequentially captures images of the surroundings. A position acquisition unit that sequentially acquires the current position of the crane as position information; an image display unit that is connected to the imaging device and acquires and displays an image captured by the imaging device; the imaging device; and the position acquisition. Unit and the image display unit, the position information is sequentially acquired from the position acquisition unit, the angle-of-view information indicating the angle of view of the imaging device is sequentially acquired from the imaging device, the position information and the image A control unit that generates an imaging range image indicating an imaging range of the imaging device in the crane based on angle information, and generates a processed image by superimposing a crane image indicating the outer shape of the crane on the imaging range image; An imaging range display unit that is connected to the control unit and displays the processed image.
本発明のクレーンの運転支援方法は、周囲の映像を逐次撮像する撮像装置を備えるクレーンの運転を支援するための、クレーンの運転支援方法であって、前記撮像装置の前記クレーンにおける現在位置を位置情報として逐次取得し、前記撮像装置が撮像した映像を取得して映像表示部に表示し、前記位置情報を逐次取得し、前記撮像装置の画角を示す画角情報を前記撮像装置から逐次取得し、前記位置情報及び前記画角情報を基に、前記クレーンにおける前記撮像装置の撮像範囲を示す撮像範囲画像を生成し、前記撮像範囲画像に前記クレーンを示すクレーン画像を重ねて処理画像を生成して撮像範囲表示部に表示させることを特徴とする。 A crane driving support method of the present invention is a crane driving support method for supporting driving of a crane including an imaging device that sequentially captures images of the surroundings, wherein the current position of the imaging device in the crane is located. Sequentially acquired as information, the image captured by the image capturing device is displayed and displayed on the image display unit, the position information is sequentially acquired, and the angle of view information indicating the angle of view of the image capturing device is sequentially acquired from the image capturing device. Then, based on the position information and the angle of view information, an imaging range image indicating the imaging range of the imaging device in the crane is generated, and a crane image indicating the crane is superimposed on the imaging range image to generate a processed image. And is displayed on the imaging range display section.
本発明では、現在の撮像装置の位置と画角を示す情報から、クレーンにおける現在の撮像装置の撮像範囲を示す画像が逐次生成され、クレーン画像と共に撮像範囲表示部に表示される。
そのため、撮像範囲表示部を見れば、撮像装置の撮像範囲を運転手が正確に把握できる。
According to the present invention, an image indicating the current imaging range of the imaging device in the crane is sequentially generated from the information indicating the current position and the angle of view of the imaging device, and displayed on the imaging range display unit together with the crane image.
Therefore, the driver can accurately grasp the imaging range of the imaging device by looking at the imaging range display unit.
本発明によれば、撮像装置の撮像範囲を正確に運転手が把握できるクレーンの運転支援システムを提供できる。 ADVANTAGE OF THE INVENTION According to this invention, the driving assistance system of a crane with which a driver can grasp|ascertain the imaging range of an imaging device correctly can be provided.
以下、図面に基づき本発明に好適な実施形態を詳細に説明する。
まず、図1を参照して本実施形態に係るクレーンの運転支援システムが適用されるクレーンの構成の概要を説明する。ここでは、クレーン1として、岸壁10に設置され、一対のレール5に沿って走行可能で、岸壁10に接岸したコンテナ船48との間で荷役対象としてのコンテナ49の荷役を行う岸壁クレーンが例示されている。
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.
First, an outline of the configuration of a crane to which the crane driving assistance system according to the present embodiment is applied will be described with reference to FIG. 1. Here, an example of the
図1に示すようにクレーン1は、一対の脚構造体3、脚構造体3の下端に設けられ、一対のレール5上をy方向(走行方向)に走行する走行装置7、脚構造体3の上部に支持され、走行方向に直交するx方向(横行方向)に延在する桁9を備える。クレーン1は、桁9に支持されて横行方向に走行するトロリ11、トロリ11に支持されて上下方向(z方向)に移動してコンテナ49を吊り上げる吊り具であるスプレッダ13も備える。クレーン1は、走行装置7、トロリ11、及びクレーン1の周囲を逐次撮像する撮像装置17、19、21、23、トロリ11を駆動するワイヤを巻き取るドラム等を備えた機械室34も備える。
As shown in FIG. 1, the
撮像装置17はトロリ11に設置されて、スプレッダ13及びスプレッダ13の着床目標である着床目標面を撮像する。撮像装置17はトロリ11の移動に伴って移動するため、撮像装置17のクレーン1における位置は、トロリ11の移動で変化する。撮像装置19、21は、クレーン1を走行させる際に走行方向を撮像する装置であり、撮像方向がクレーン1の走行方向を向くようにポータルタイ25に固定される。撮像装置23は、脚構造体3の間に進入する車両等を撮像する装置であり、撮像方向が地面側を向くようにポータルタイ25に固定される。図1に示すように、クレーン1は遠隔操作方式のクレーンであり、走行装置7、トロリ11、スプレッダ13等を操作する運転室15は、クレーン1と別の場所に設けられる。以上がクレーン1の概略構成の説明である。
The
次に、図1〜図5を参照して、本実施形態に係るクレーン1の運転支援システム27の構成を説明する。
図2に示すように、クレーン1の運転支援システム27は、位置取得部29、映像表示部31、制御部33、及び撮像範囲表示部35を備える。
Next, with reference to Drawing 1-
As shown in FIG. 2, the
位置取得部29は、撮像装置17、19、21、23のうち、映像を撮像中の装置の、クレーン1における現在位置を位置情報として逐次取得する。撮像装置17はトロリ11と一体となって移動するため、機械室34の図示しないドラムに設けたエンコーダ等でトロリ11の位置を検出することで、撮像装置17の位置を取得できる。この場合はこのエンコーダが位置取得部29になる。
撮像装置19、21、23は一対の脚構造体3を連結する梁であるポータルタイ25に固定されており、クレーン1に対して相対移動しないので、必ずしも位置取得部29として位置センサ等を設ける必要はない。例えばこれらの撮像装置の位置を予め図示しない記憶部等に記憶し、必要に応じて制御部33が記憶部から位置を取得してもよい。この場合、制御部33が位置取得部29を兼ねる。
位置取得部29を設ける位置や取得方式はこれらに限定しない。また、位置取得部29は、撮像装置17、19、21、23毎に設けてもよいし、1つの位置取得部29で撮像装置17、19、21、23のうちの複数の位置を検出してもよい。
The
The
The position at which the
映像表示部31は、撮像装置17、19、21、23のいずれかが撮像した映像を取得して表示する装置である。映像表示部31の具体的な構成は特に限定されず、液晶等の公知の表示装置を用いればよい。図2では撮像装置17、19、21、23に映像表示部31が接続されており、映像表示部31は、これらの装置から映像を取得して表示する。ただし、映像表示部31が映像を取得する経路は図1に構成に限定されない。例えば制御部33を介して映像を取得して映像表示部31に表示させる構成でもよい。
図1及び図2では映像表示部31は1つのみ図示している。この構成では、1つの映像表示部31の画面を分割して、撮像装置17、19、21、23の映像を表示する領域を割り当てることで、いずれの装置が撮影した映像も表示できる。しかしながら映像表示部31の数は1つに限定されない。撮像装置17、19、21、23の表示用に4つの異なる映像表示装置を用いてもよい。
撮像装置17が撮像した映像を映像表示部31に表示させた場合の例を図3に示す。
撮像装置17はスプレッダ13及びスプレッダ13の着床目標である着床目標面10aを撮像する装置である。そのため、撮像装置17が撮像した映像は、トロリ11の側方からスプレッダ13及び着床目標面10aを見下ろす映像となる。
The
1 and 2, only one
FIG. 3 shows an example in which a video image captured by the
The
制御部33は、クレーン1における撮像装置17、19、21、23の現在の撮像範囲を図示する画像である撮像範囲画像39を生成する装置である。
制御部33は、撮像範囲画像39とクレーン画像40を重ねて処理画像41を生成する装置でもある。
The
The
具体的には制御部33は、位置取得部29から撮像装置17、19、21、23の位置を示す位置情報を逐次取得し、撮像装置17、19、21、23の画角を示す画角情報を撮像装置17、19、21、23から逐次取得する。さらに位置情報及び画角情報を基に、撮像範囲画像39を生成する。撮像範囲画像39の例を図4に示す。図4の撮像範囲画像39aは撮像装置17の撮像範囲を示す画像であり、撮像範囲画像39bは撮像装置23の撮像範囲を示す画像である。撮像範囲画像39aは、撮像装置17の画角θaを反映した画像である。撮像範囲画像39bは、撮像装置23の画角θbを反映した画像である。撮像倍率は画角で決まるため、画角情報は撮像装置17、19、21、23が撮像の際の映像の倍率設定のために各々保持している情報である。そのため、画角情報は、撮像装置17、19、21、23から制御部33が取得すればよい。このように、撮像範囲画像39の生成に必要な画角情報の取得が容易である点も本実施形態の有利な点である。さらに、撮像範囲画像39は図4に示すように、撮像方向に直交する方向から見ると2等辺三角形で表示される。2等辺が交差する頂点は撮像装置の位置も示すため、撮像範囲画像39を見れば、撮像装置の位置が分かる点も本実施形態の有利な点である。
なお、ここでいう撮像範囲とは、正確には映像表示部31に表示される映像の範囲を意味する。例えば撮像装置17、19、21、23のレンズが光軸方向から見て円形の場合、撮像可能な範囲は、本来は円錐状になる。しかしながら映像表示部31の表示領域は通常は矩形であるため、映像表示部31に表示される映像の範囲は円錐の底面を矩形に切り取った領域を底面とする4角錐状になる。
Specifically, the
It should be noted that the term “imaging range” here means the range of the image displayed on the
制御部33は、必要に応じて位置情報を基にクレーン1における撮像装置17、19、21、23の位置を示す位置画像37を生成する。位置画像37の例を図4に示す。図4の位置画像37aは撮像装置17の位置を示す画像、ここでは撮像装置17を囲む円環状の画像である。図4の位置画像37bは撮像装置23の位置を示す円環状の画像である。図4では位置画像37aと位置画像37bは同じ形状と色彩で表示されているが、位置画像37aと位置画像37bが異なる装置を示すことを運転手が視覚的に認識できるように、異なる形状や色彩で表示してもよい。また、位置画像37aと位置画像37bに、撮像装置17、23を区別する文字等を付してもよい。
撮像範囲画像39に加えて位置画像37も生成することで、クレーン1における撮像装置17、19、21、23の位置を運転手がより正確に把握できる。
The
By generating the
さらに制御部33は、必要に応じてクレーン1の周辺にある地形及び構造物の形状を図示する周辺画像43を生成する。周辺画像43の例を図4に示す。図4では地形及び構造物の形状を図示する画像として、岸壁画像45、コンテナ船画像47、コンテナ画像51、及び海面画像53を示す。岸壁画像45は岸壁10の位置と形状を示す画像である。コンテナ船画像47はコンテナ船48の位置と形状を示す画像である。コンテナ画像51はコンテナ船48に蔵置されたコンテナ49の配置を示す画像である。海面画像53は海面の高さを示す画像である。
岸壁画像45、コンテナ船画像47、コンテナ画像51は、例えばクレーン1の周辺にある地形及び構造物の形状を示す情報を図2に示すTOS(Terminal Operation System)32から制御部33が取得して、取得した情報を基に、制御部33が画像化することで得られる。海面画像53は、例えばクレーン1に設けた図示しないレーザ変位計で潮位を測定することで得られる。
Further, the
The
制御部33は、クレーン1を示す画像であるクレーン画像40も取得する。
クレーン画像40はクレーン1の外形を示す画像である。クレーン画像40の表示の際は、トロリ11等の可動部が移動中の場合、移動に応じて逐次トロリ11の位置を変更した画像がクレーン画像40として用いられる。図4にクレーン画像40の例を示す。クレーン画像40はクレーン1の外形を視認できる画像であれば、具体的な表示態様は限定しない。例えば図4ではクレーン画像40として、クレーン1の全体図を示しているが、クレーン1と位置画像37及び撮像範囲画像39の位置関係が分かれば、必ずしもクレーン1全体の外形を表示しなくてもよい。
The
The
クレーン画像40の取得手段は特に限定しない。あらかじめ図示しない記憶部等に記憶されたクレーン1の模式図を示す画像を用いてもよいし、クレーン1を実際に撮像した映像に制御部33が画像処理等を施してクレーン画像40を生成してもよい。
The acquisition means of the
制御部33は、撮像範囲画像39にクレーン画像40を重ね、さらに必要に応じて位置画像37と周辺画像43を重ねて処理画像41を生成する。
処理画像41の例を図4に示す。処理画像41には位置画像37、撮像範囲画像39、クレーン画像40及び周辺画像43が重ねて表示されている。
そのため、処理画像41におけるクレーン画像40と撮像範囲画像39の位置関係を見れば、対応する撮像装置の現在の撮像範囲を運転手が正確に把握できる。
また、処理画像41におけるクレーン画像40と位置画像37の位置関係を見れば、対応する撮像装置のクレーン1における現在位置を運転手が正確に把握できる。
さらに、撮像範囲画像39と周辺画像43の位置関係を見れば、撮像蔵置の撮像範囲外にある地形や構造物も運転手が把握できる。
The
An example of the processed
Therefore, by looking at the positional relationship between the
Further, by looking at the positional relationship between the
Furthermore, by looking at the positional relationship between the
この点について、より具体的に説明する。
図1に示すように、コンテナ船48は多数のコンテナ49を船倉及び甲板に蔵置している。そのため、撮像装置17がコンテナ船48の上方に位置する場合、撮像装置17が撮像した画像は図3に示すように、コンテナ船48に蔵置されたコンテナ49で画面が埋め尽くされた画像となる。この画像には、撮像装置17の位置を示す目印となる情報がないので、撮像装置17のクレーン1における現在位置及び撮像範囲を運転手が把握するのが困難な場合がある。
この場合でも、図4に示す処理画像41におけるクレーン画像40と撮像範囲画像39aの位置関係を見れば、撮像装置17のクレーン1における撮像範囲を運転手が把握できる。
また、位置画像37を含む処理画像41を表示することで、撮像装置17のクレーン1における現在位置を正確に把握できる。
This point will be described more specifically.
As shown in FIG. 1, the
Even in this case, the driver can grasp the imaging range of the
Further, by displaying the processed
さらに、周辺画像43を含む処理画像41を表示することで、撮像装置17、19、21、23の撮像範囲外の地形や構造物の位置と大きさも撮像範囲表示部35に表示されるため、撮像範囲外の地形や構造物にクレーン1が衝突する事故を防止できる。
Furthermore, by displaying the processed
例えば、撮像装置17が図4に示す画角θcで下方を撮像しており、映像表示部31に表示されるコンテナ49の映像は図3の領域Rcで示す範囲の映像であったとする。図4に示すようにスプレッダ13が吊り上げているコンテナ49bのx方向海側には、コンテナ49bと略同じ鉛直方向高さでコンテナ49aがコンテナ船48に蔵置されている。そのため、スプレッダ13をこの鉛直方向高さのままでx方向海側に移動させると、コンテナ49bがコンテナ49aに接触する恐れがある。
For example, it is assumed that the
ここで、撮像装置17の撮像倍率を高くすることで、撮像装置17の画角が図4に示す画角θaに変更されたとする。この状態で映像表示部31に表示されるコンテナ49の映像範囲は図3の点線で囲んだ領域Raを拡大した映像となる。領域Raを表示した映像では領域Rcを表示した映像よりも個々のコンテナ49が拡大されて細部が見やすくなる。一方で画角θaは画角θcよりも角度が小さいため、撮像範囲が領域Raより狭くなる。例えば領域Rcに含まれていたコンテナ49aが、領域Raに含まれないので、映像表示部31に領域Raを映す場合、コンテナ49aは表示されない。ところが、領域Raが表示された映像表示部31を見た運転手は、コンテナ49の表示が大きくなったことから撮像範囲が狭くなったことはわかるが、コンテナ49aが表示されなくなったことに気付かない可能性がある。そのため、コンテナ49aが無いと運転手が誤認してx方向海側にスプレッダ13を移動させることで、両者が接触する恐れがある。
Here, it is assumed that the angle of view of the
一方で、図4に示す処理画像41を運転手が見れば、領域Raが映像表示部31に表示されている場合、コンテナ49aが撮像装置17の撮像範囲外にあり、コンテナ49bの鉛直方向高さが、コンテナ49aの鉛直方向高さと略等しいことが分かる。そのため、x方向海側にスプレッダ13を移動させると、コンテナ49bにコンテナ49aが接触する恐れがあることを運転手が認識できる。よって、x方向海側にスプレッダ13を移動させる前にコンテナ49bがコンテナ49aの上面よりも鉛直方向上方に位置する高さまでスプレッダ13を移動させる等の、適切な荷役操作を運転手が選択できる。これにより、コンテナ49aにコンテナ49bが接触する事故を回避できる。
On the other hand, when the driver sees the processed
処理画像41は、撮像装置17、19、21、23のうち、実際に撮像中の撮像装置に対応する撮像範囲画像39を少なくとも表示すればよい。この構成とすることで、映像表示部31に映像を表示中の装置と、その装置のクレーン1における撮像範囲を運転手が正確に把握できる。また、撮像範囲が表示されない装置は、映像表示部31に映像を表示中ではないこともわかる。例えば図4では撮像装置17、19、21、23のうち、撮像装置17、23の撮像範囲画像39のみを示しているが、これは撮像装置19、21が撮像中ではないことを意味する。
The processed
図4では処理画像41として、クレーン1の走行方向から見たクレーン1における撮像装置17の撮像範囲を示す画像が表示されている。図4ではy方向から見た画像が表示されている。
処理画像41として、y方向からみた画像を生成することで、トロリ11のような可動部に撮像装置17がある場合に、トロリ11の可動に伴う撮像装置17の位置の変化が撮像範囲表示部35に表示される。よって、トロリ11の移動に伴う撮像装置17の撮像範囲の変化を正確に運転手が把握できる。
In FIG. 4, as the processed
By generating an image viewed from the y direction as the processed
ただし、処理画像41はy方向から見た画像には限定されない。
例えば、クレーン1の上面図(図5のz方向から見た図)を示す画像を処理画像41としてもよい。これらはクレーン1の走行方向に直交する方向から見た画像である。図5に、処理画像41としてクレーン1のz方向から見た図を示す画像を用いた例を示す。
図5では、クレーン1の移動に伴い、クレーン画像40の位置が変化するのを運転手が視認できる。図5ではクレーン1の移動に伴い、撮像装置17、19、21の撮像範囲画像39a、39c、39dの位置が変化するのも運転手が視認できる。撮像装置17、19、23の位置画像37a、37c、37dの位置が変化するのも運転手が視認できる。
However, the processed
For example, an image showing a top view of the crane 1 (a view seen from the z direction in FIG. 5) may be the processed
In FIG. 5, the driver can visually recognize that the position of the
図5に示す処理画像41は、クレーン1の走行中に撮像範囲表示部35に表示させる画像として有用である。これはクレーン1の走行中は、走行方向前方にあるシャーシ等の構造物とクレーン1との衝突事故を防ぐために、走行方向を撮像する撮像装置19、21の撮像位置と撮像範囲を正確に運転手が認識する必要があるためである。
The processed
なお、処理画像41として、図5に示すようにx方向から見た図を表示する場合、クレーン1の現在位置に関する位置情報も取得する必要がある。この位置情報は、例えばクレーン1の走行装置7の駆動輪の回転数や回転方向に係る情報をPLC30から制御部33が取得することでも求められるが、変位計等でクレーン1の位置を実測してもよい。
In addition, when displaying the figure seen from the x direction as the
処理画像41として、クレーン1が走行している場合とそれ以外の場合で、異なる方向から見た画像を生成してもよい。
例えば、クレーン1の走行時は、処理画像41として、図5に示すように、z方向から見た図を生成し、それ以外は、図4に示すように、y方向から見た図を生成してもよい。この構成とすることで、クレーン1の走行中は、処理画像41として、クレーン1の走行方向に直交する方向から見た画像が表示されるので、クレーン1がレール5に沿って走行していることがわかる。また、クレーン1の荷役中は、クレーン1は走行しないので、処理画像41としてクレーン1の走行方向から見た画像が表示される。そのため、トロリ11が移動中であることも分かる。
なお、クレーン1が走行中であるか否かは、例えば走行装置7の駆動の有無に係る情報をクレーン1に設けられたPLC30等から取得し、当該情報を基に制御部33が判断する。
As the processed
For example, when the
Whether or not the
このように、クレーン1において動いている対象であるトロリ11又はクレーン1自体の動作が見える画像を処理画像41として常に表示することで、撮像装置17、19、21、23の撮像位置の変化をより正確に把握できる。
In this way, by always displaying the image in which the operation of the
あるいはトロリ11とクレーン1の両方の動作が見える画像を斜視図として処理画像41を生成してもよい。この構成では、クレーン1が走行している場合とそれ以外の場合で、異なる方向から見た画像を生成する必要がない点で有利である。ただし、処理画像41は、撮像装置17、19、21、23のうち、撮像中の装置の少なくとも1つの光軸に対して交差する方向である必要がある。
Alternatively, the processed
図2に示すように、制御部33は、撮像装置17、19、21、23、位置取得部29、映像表示部31、及び撮像範囲表示部35に接続されている。制御部33は例えばコンピュータの中央演算装置等である。クレーン1の運転を制御する図示しない運転制御部が、運転支援システム27の制御部33を兼ねてもよい。
As shown in FIG. 2, the
撮像範囲表示部35は処理画像41を表示する装置である。撮像範囲表示部35の具体的な構成は特に限定されず、液晶等の公知の表示部を用いればよい。
The imaging
撮像範囲表示部35は、映像表示部31と同じ表示部であってもよい。この場合、撮像装置17、19、21、23が撮像した映像と処理画像41を別々に映像表示部31に表示してもよいし、映像の一部分に処理画像41を重ねて表示してもよい。
映像と処理画像41を重ねて表示する場合は、処理画像41を表示する位置、大きさを運転手が調整できる構成が好ましく、必要なときのみ運転手の操作等で処理画像41を表示させる構成がより好ましい。
以上が本実施形態に係るクレーン1の運転支援システム27の概略構成の説明である。
The imaging
When the image and the processed
The above is the description of the schematic configuration of the driving
次に、本実施形態に係るクレーン1の運転支援システム27を用いた運転支援方法の例について、図6を参照して簡単に説明する。なお、以下に示す例は、クレーン1の走行中は処理画像41として図4のz方向から見た画像を生成し、それ以外は処理画像41として図4のy方向から見た画像を生成する場合を示す例である。
Next, an example of a driving support method using the driving
まず制御部33は撮像装置17、19、21、23のいずれかあるいは複数を用いてクレーン1の周囲の映像を撮像し、撮像した映像を映像表示部31に表示させる(図6のS0)。なお、撮像を行う撮像装置は、制御部33ではなく運転手が運転室15の操縦桿を操作する等して選択してもよい。この場合、制御部33には運転手が選択した撮像装置を示す情報が操縦桿等から入力される。
次に制御部33は、撮像装置17、19、21、23のうち、映像表示部31に映像を表示中の装置の、クレーン1における現在の位置情報を位置取得部29から取得する(図6のS1)。
次に制御部33は、撮像装置17、19、21、23のうち、映像表示部31に映像を表示中の装置の現在の画角情報を取得する(図6のS2)。
次に制御部33は、必要に応じてTOS32等から周辺情報を取得する(図6のS3)。なお、S1〜S3は必ずしも図6に示す順番で行う必要はなく、順番を入れ替えてもよい。
First, the
Next, the
Next, the
Next, the
次に、制御部33は、走行装置7の駆動の有無に係る情報をクレーン1に設けられたPLC30等から取得する等して、クレーン1が走行中であるか否かを判断し、走行中の場合はS5−1に進み、それ以外はS5−2に進む(図6のS4)。
Next, the
クレーン1が走行中であると判断した場合、制御部33は、位置情報及び画角情報を基に、撮像範囲画像39として、図4のz方向から見た画像を生成する(図6のS5−1)。
さらに制御部33は必要に応じて、位置情報を基に位置画像37として、図4のz方向から見た画像を生成する(図6のS6−1)。
さらに制御部33は、S3を実施している場合、周辺情報を基に周辺画像43として、図4のz方向から見た画像を生成する(図6の7−1)。なお、S5−1、S6−1、S7−1は必ずしも図6に示す順番で行う必要はなく、順番を入れ替えてもよい。
When it is determined that the
Furthermore, the
Further, when S3 is performed, the
制御部33は、クレーン1が走行中以外の状態にあると判断した場合、例えば走行装置7の動作が停止中と判断した場合、制御部33は、位置情報及び画角情報を基に、撮像範囲画像39として、図4のy方向から見た画像を生成する(図6のS5−2)。
さらに制御部33は必要に応じて、位置情報を基に位置画像37として、図4のy方向から見た画像を生成する(図6のS6−2)。
さらに制御部33は、S3を実施している場合、周辺情報を基に周辺画像43として、図4のy方向から見た画像を生成する(図6のS7−2)。なお、S5−2、S6−2、S7−2は必ずしも図6に示す順番で行う必要はなく、順番を入れ替えてもよい。
When the
Furthermore, the
Further, when S3 is performed, the
次に、制御部33は、位置画像37、撮像範囲画像39、周辺画像43をクレーン画像40に重ねて処理画像41を生成する(図6のS8)。
最後に制御部33は、処理画像41を撮像範囲表示部35に送信して、処理画像41を表示させ、S0に戻る(図6のS9)。
以上が、本実施形態に係るクレーン1の運転支援システム27を用いた運転支援方法の例の説明である。
Next, the
Finally, the
The above is the description of the example of the driving support method using the driving
このように、本実施形態の運転支援システム27では、撮像装置17の現在位置と画角から、クレーン1における撮像装置17の撮像範囲を示す画像を制御部33が生成して、クレーン画像40に重ねて撮像範囲表示部35に表示する。
そのため、撮像装置17の撮像範囲の変化を運転手が容易に把握できる。
As described above, in the driving
Therefore, the driver can easily grasp the change in the imaging range of the
以上、本発明を実施形態に基づき説明したが、本発明は実施形態に限定されない。当業者であれば本発明の技術思想の範囲内で各種変形例及び改良例を創出するのは当然のことであり、これらも本発明に含まれる。 Although the present invention has been described above based on the embodiment, the present invention is not limited to the embodiment. It is natural for those skilled in the art to create various modifications and improvements within the scope of the technical idea of the present invention, and these are also included in the present invention.
例えば、本実施形態では、運転支援システム27の適用対象として、岸壁クレーンを例示しているが、クレーンであれば、運転支援システム27の適用対象は岸壁クレーンに限定されない。例えばジブクレーン、門型クレーン、アンローダ等にも運転支援システム27は適用できる。
For example, in the present embodiment, a quay crane is illustrated as an application target of the driving
また、本実施形態では、運転支援システム27の適用対象として、遠隔操作方式のクレーン1を例示しているが、運転支援システム27の適用対象は遠隔操作方式に限定されない。例えば運転室15がクレーン1のトロリ11等に設けられる場合にも運転支援システム27は適用できる。この場合、運転室の位置を位置情報とし、運転室における運転手の視野を画角情報として、運転手の視野の範囲を撮像範囲画像39として生成してもよい。
Further, in the present embodiment, a remote
1 クレーン
3 脚構造体
5 レール
7 走行装置
9 桁
10 岸壁
10a 着床目標面
11 トロリ
13 スプレッダ
15 運転室
17、19、21、23 撮像装置
25 ポータルタイ
27 運転支援システム
29 位置取得部
30 PLC
31 映像表示部
32 TOS
33 制御部
34 機械室
35 撮像範囲表示部
37、37a、37b、37c、37d 位置画像
39、39a、39b、39c、39d 撮像範囲画像
40 クレーン画像
41 処理画像
43 周辺画像
45 岸壁画像
47 コンテナ船画像
48 コンテナ船
49、49a、49b コンテナ
51 コンテナ画像
53 海面画像
1 Crane 3
31
33
Claims (7)
前記撮像装置の前記クレーンにおける現在位置を位置情報として逐次取得する位置取得部と、
前記撮像装置に接続され、前記撮像装置が撮像した映像を取得して表示する映像表示部と、
前記撮像装置、前記位置取得部、及び前記映像表示部に接続され、
前記位置情報を前記位置取得部から逐次取得し、前記撮像装置の画角を示す画角情報を前記撮像装置から逐次取得し、
前記位置情報及び前記画角情報を基に、前記クレーンにおける前記撮像装置の撮像範囲を示す撮像範囲画像を生成し、
前記撮像範囲画像に前記クレーンの外形を示すクレーン画像を重ねて処理画像を生成する制御部と、
前記制御部に接続され、前記処理画像を表示する撮像範囲表示部と、
を備えることを特徴とするクレーンの運転支援システム。 A crane operation support system for supporting the operation of a crane including an imaging device that sequentially captures images of the surroundings,
A position acquisition unit that sequentially acquires the current position of the crane of the imaging device as position information,
A video display unit that is connected to the imaging device and acquires and displays a video imaged by the imaging device;
Connected to the imaging device, the position acquisition unit, and the video display unit,
The position information is sequentially acquired from the position acquisition unit, the angle of view information indicating the angle of view of the imaging device is sequentially acquired from the imaging device,
Based on the position information and the angle of view information, to generate an imaging range image showing the imaging range of the imaging device in the crane,
A control unit for generating a processed image by superimposing a crane image showing the outer shape of the crane on the imaging range image,
An imaging range display unit connected to the control unit and displaying the processed image;
A driving support system for a crane, comprising:
前記位置情報を基に前記撮像装置の現在位置を示す画像である位置画像を生成し、
前記位置画像と、前記撮像範囲画像に前記クレーン画像を重ねて前記処理画像を生成して前記撮像範囲表示部に表示させる請求項1に記載のクレーンの運転支援システム。 The control unit is
Generates a position image that is an image showing the current position of the imaging device based on the position information,
The driving support system for a crane according to claim 1, wherein the position image and the crane image are superimposed on the image capturing range image to generate the processed image and display the processed image on the image capturing range display unit.
前記クレーンの周辺にある地形及び構造物の形状を示す周辺情報を取得して、これらを図示する周辺画像を生成し、前記クレーン画像と、前記撮像範囲画像と、前記周辺画像を重ねて前記処理画像を生成し、前記撮像範囲表示部に表示させる請求項1に記載のクレーンの運転支援システム。 The control unit is
The peripheral information indicating the topography and the shape of the structure in the vicinity of the crane is acquired to generate peripheral images showing these, and the crane image, the imaging range image, and the peripheral image are overlapped to perform the processing. The driving support system for a crane according to claim 1, wherein an image is generated and displayed on the imaging range display unit.
前記処理画像として、前記クレーンの走行方向に直交する方向か、又は前記クレーンの走行方向から見た画像を生成する請求項1〜3のいずれかに記載のクレーンの運転支援システム。 The control unit is
The crane driving support system according to claim 1, wherein an image viewed from a traveling direction of the crane or a traveling direction of the crane is generated as the processed image.
前記制御部は、前記クレーンが走行中であるか否かを前記走行装置の駆動の有無から判断し、
前記クレーンの走行時は、前記処理画像として前記クレーンの走行方向に直交する方向から見た画像を生成し、
走行中でない場合、前記処理画像として、前記クレーンの走行方向から見た図を生成する請求項1〜3のいずれかに記載のクレーンの運転支援システム。 A traveling device for traveling the crane,
The control unit determines whether or not the crane is traveling, based on whether or not the traveling device is driven,
During traveling of the crane, generate an image viewed from a direction orthogonal to the traveling direction of the crane as the processed image,
The driving support system for a crane according to claim 1, wherein when the vehicle is not traveling, a diagram viewed from the traveling direction of the crane is generated as the processed image.
前記撮像装置の前記クレーンにおける現在位置を位置情報として逐次取得し、
前記撮像装置が撮像した映像を取得して映像表示部に表示し、
前記位置情報を逐次取得し、前記撮像装置の画角を示す画角情報を前記撮像装置から逐次取得し、
前記位置情報及び前記画角情報を基に、前記クレーンにおける前記撮像装置の撮像範囲を示す撮像範囲画像を生成し、
前記撮像範囲画像に前記クレーンを示すクレーン画像を重ねて処理画像を生成して撮像範囲表示部に表示させることを特徴とするクレーンの運転支援方法。 A method for supporting the operation of a crane, for supporting the operation of a crane including an imaging device for sequentially capturing images of the surroundings,
Sequentially acquiring the current position in the crane of the imaging device as position information,
The image captured by the image capturing device is acquired and displayed on the image display unit,
The position information is sequentially acquired, and the angle-of-view information indicating the angle of view of the imaging device is sequentially acquired from the imaging device.
Based on the position information and the angle of view information, to generate an imaging range image showing the imaging range of the imaging device in the crane,
A driving support method for a crane, characterized in that a processed image is generated by superimposing a crane image showing the crane on the imaging range image and displayed on the imaging range display unit.
前記クレーンが走行中であるか否かを前記クレーンの走行装置の駆動の有無から判断し、
前記クレーンが走行中であると判断した場合は、前記処理画像として前記クレーンの走行方向に直交する方向から見た画像を生成し、
走行中でないと判断した場合は、前記処理画像として、前記クレーンの走行方向から見た図を生成する請求項6に記載のクレーンの運転支援方法。 When generating the processed image,
Judge whether the crane is traveling from the presence or absence of driving of the traveling device of the crane,
If it is determined that the crane is traveling, to generate an image viewed from a direction orthogonal to the traveling direction of the crane as the processed image,
The driving support method for a crane according to claim 6, wherein when it is determined that the crane is not traveling, a diagram viewed from the traveling direction of the crane is generated as the processed image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019015696A JP6881781B2 (en) | 2019-01-31 | 2019-01-31 | Crane operation support system and operation support method. |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019015696A JP6881781B2 (en) | 2019-01-31 | 2019-01-31 | Crane operation support system and operation support method. |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020121871A true JP2020121871A (en) | 2020-08-13 |
JP6881781B2 JP6881781B2 (en) | 2021-06-02 |
Family
ID=71992106
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019015696A Active JP6881781B2 (en) | 2019-01-31 | 2019-01-31 | Crane operation support system and operation support method. |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6881781B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06312894A (en) * | 1993-04-28 | 1994-11-08 | Mitsubishi Heavy Ind Ltd | Operating device for crane |
JP2008005450A (en) * | 2006-06-20 | 2008-01-10 | Kubo Tex Corp | Method of grasping and controlling real-time status of video camera utilizing three-dimensional virtual space |
US20140107971A1 (en) * | 2011-05-20 | 2014-04-17 | Optilift As | System, Device And Method For Tracking Position And Orientation Of Vehicle, Loading Device And Cargo In Loading Device Operations |
-
2019
- 2019-01-31 JP JP2019015696A patent/JP6881781B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06312894A (en) * | 1993-04-28 | 1994-11-08 | Mitsubishi Heavy Ind Ltd | Operating device for crane |
JP2008005450A (en) * | 2006-06-20 | 2008-01-10 | Kubo Tex Corp | Method of grasping and controlling real-time status of video camera utilizing three-dimensional virtual space |
US20140107971A1 (en) * | 2011-05-20 | 2014-04-17 | Optilift As | System, Device And Method For Tracking Position And Orientation Of Vehicle, Loading Device And Cargo In Loading Device Operations |
Also Published As
Publication number | Publication date |
---|---|
JP6881781B2 (en) | 2021-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9667923B2 (en) | Camera attitude detection device and work region line display device | |
US10491818B2 (en) | Work vehicle with monitor to display overhead image of work vehicle, and image displaying method for displaying overhead image of work vehicle | |
CN110088035B (en) | Crane with a movable crane | |
EP2003018A2 (en) | Camera system and mechanical apparatus | |
JP6017691B2 (en) | Information presenting apparatus, crane system and information presenting method | |
CN111204662A (en) | System for recognizing state parameters, hoisting positioning system and hoisting equipment | |
JP5971994B2 (en) | Crane work monitoring device | |
CN111943050B (en) | Guide information display device, crane having the same, and guide information display method | |
JP2013159257A (en) | Surrounding monitoring apparatus for transporter vehicle | |
JP5380747B2 (en) | Monitoring system and monitoring method under suspended load | |
KR101243455B1 (en) | Navigation system for tower crane | |
JP2015139158A (en) | Heavy machine periphery monitoring device | |
JP2014161087A (en) | Work vehicle periphery monitoring system and work vehicle | |
JPH06312894A (en) | Operating device for crane | |
JP5595822B2 (en) | Image generation system | |
JP2012030948A (en) | Image generation system | |
JP2020121871A (en) | Driving support system and driving support method of crane | |
JP2006256848A (en) | Cargo handling support method and cargo handling support system | |
JP7351231B2 (en) | Hanging load monitoring device, crane, hanging load monitoring method and program | |
JP6686561B2 (en) | Crane operation support device | |
JP6879618B2 (en) | Crane operation support system and operation support method | |
JP2019218198A (en) | Operation support system | |
JP7345335B2 (en) | Crane operation support system and crane operation support method | |
JP6979863B2 (en) | Crane system and image compositing equipment | |
JP4365246B2 (en) | Container lifting operation support method and container spreader positioning device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A625 | Written request for application examination (by other person) |
Free format text: JAPANESE INTERMEDIATE CODE: A625 Effective date: 20200305 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210406 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210423 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6881781 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |