JP2020121871A - Driving support system and driving support method of crane - Google Patents

Driving support system and driving support method of crane Download PDF

Info

Publication number
JP2020121871A
JP2020121871A JP2019015696A JP2019015696A JP2020121871A JP 2020121871 A JP2020121871 A JP 2020121871A JP 2019015696 A JP2019015696 A JP 2019015696A JP 2019015696 A JP2019015696 A JP 2019015696A JP 2020121871 A JP2020121871 A JP 2020121871A
Authority
JP
Japan
Prior art keywords
crane
image
imaging
imaging device
traveling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019015696A
Other languages
Japanese (ja)
Other versions
JP6881781B2 (en
Inventor
高志 伊東
Takashi Ito
高志 伊東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsui E&S Machinery Co Ltd
Original Assignee
Mitsui E&S Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsui E&S Machinery Co Ltd filed Critical Mitsui E&S Machinery Co Ltd
Priority to JP2019015696A priority Critical patent/JP6881781B2/en
Publication of JP2020121871A publication Critical patent/JP2020121871A/en
Application granted granted Critical
Publication of JP6881781B2 publication Critical patent/JP6881781B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control And Safety Of Cranes (AREA)

Abstract

To provide a driving support system of a crane which enables a driver to accurately grasp an imaging range of an imaging device.SOLUTION: A driving support system 27 supports the driving of a crane including an imaging device 17 for successively photographing surrounding video images. The driving support system 27 includes: a position acquisition unit 29 which successively acquires a present position of a crane 1 of the imaging device 17 as positional information; a video display unit 31 which acquires and displays video images photographed by the imaging device 17; a control unit 33 which successively acquires the positional information from the position acquisition unit 29, successively acquires view angle information showing a view angle of the imaging device 17 from the imaging device 17, generates an imaging range image 39 showing an imaging range of the imaging device 17 in the crane 1 based on the positional information and the view angle information, and generates a processing image 41 by superimposing a crane image 40 showing an outer shape of the crane 1 on the imaging range image 39; and an imaging range display unit 35 which is connected to the control unit 33 to display the processing image 41.SELECTED DRAWING: Figure 2

Description

本発明はクレーンの運転支援システム及び運転支援方法に関する。 The present invention relates to a crane driving support system and a driving support method.

クレーンは、その運転手の死角となる位置や運転手から遠方にある位置のように、運転手が目視し難い位置の映像を撮像する撮像装置を備える場合があり、さらに撮像した映像を表示する表示部を運転室に備える場合がある。
また、遠隔操作を行うクレーンは、クレーンから離れた場所に運転席を設ける場合が多く、運転席から荷役対象を目視し難いため、表示部を運転室に設ける必要がある。
特許文献１には、門型クレーンの遠隔操作パネルとして、該クレーンに設けられた監視カメラの映像を表示するカメラ映像部と、該クレーンの作業状況を表示するクレーン状態アニメーション表示部を備えたタッチパネルが記載されている。
クレーンに設けた撮像装置はズーム機能を備えるのが一般的である。例えば特許文献２には、カメラ画像を拡大して表示する機能を備えた表示部が記載されている。 The crane may be equipped with an image capturing device that captures an image of a position that is difficult for the driver to see, such as a position that is a blind spot of the driver or a position that is far from the driver, and further displays the captured image. The display may be provided in the cab.
In addition, since a crane that is remotely operated often has a driver's seat provided at a place distant from the crane, and it is difficult to visually check the cargo handling target from the driver's seat, it is necessary to provide a display unit in the operator's cab.
In Patent Document 1, as a remote control panel of a gate-type crane, a touch panel including a camera image section for displaying an image of a surveillance camera provided on the crane and a crane state animation display section for displaying the working status of the crane. Is listed.
The image pickup device provided in the crane generally has a zoom function. For example, Patent Document 2 describes a display unit having a function of enlarging and displaying a camera image.

特開２０１２−０４１１３２号公報JP 2012-041132 A 特開２０１８−３４９４５号公報JP, 2018-34945, A

特許文献１、２でクレーンを移動させると撮像装置は移動し、撮像範囲が変わる。撮像装置をコンテナクレーンのトロリのような可動部に設けると、可動部の移動でも撮像範囲が変わる。また、撮像装置の倍率を変更すると画角が変化し、撮像範囲が拡大又は縮小する。 When the crane is moved in Patent Documents 1 and 2, the imaging device moves and the imaging range changes. When the imaging device is provided on a movable part such as a trolley of a container crane, the imaging range changes even when the movable part moves. Further, when the magnification of the image pickup apparatus is changed, the angle of view is changed, and the image pickup range is expanded or reduced.

しかしながら特許文献１、２では、撮像装置の撮像範囲が変化した場合、変化後の撮像範囲を正確に運転手が把握することはできない。そのため、現在の撮像装置の撮像範囲が正確に分かりにくいという問題があった。 However, in Patent Documents 1 and 2, when the imaging range of the imaging device changes, the driver cannot accurately grasp the changed imaging range. Therefore, there is a problem that the current image pickup range of the image pickup apparatus is difficult to accurately understand.

本発明は上記課題に鑑みてなされたもので、撮像装置の撮像範囲を正確に運転手が把握できるクレーンの運転支援システムの提供を目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a crane driving support system that enables a driver to accurately grasp the imaging range of an imaging device.

上記の課題を解決するため、本発明のクレーンの運転支援システムは、周囲の映像を逐次撮像する撮像装置を備えるクレーンの運転を支援するための、クレーンの運転支援システムであって、前記撮像装置の前記クレーンにおける現在位置を位置情報として逐次取得する位置取得部と、前記撮像装置に接続され、前記撮像装置が撮像した映像を取得して表示する映像表示部と、前記撮像装置、前記位置取得部、及び前記映像表示部に接続され、前記位置情報を前記位置取得部から逐次取得し、前記撮像装置の画角を示す画角情報を前記撮像装置から逐次取得し、前記位置情報及び前記画角情報を基に、前記クレーンにおける前記撮像装置の撮像範囲を示す撮像範囲画像を生成し、前記撮像範囲画像に前記クレーンの外形を示すクレーン画像を重ねて処理画像を生成する制御部と、前記制御部に接続され、前記処理画像を表示する撮像範囲表示部と、を備えることを特徴とする。 In order to solve the above problems, a crane driving assistance system of the present invention is a crane driving assistance system for assisting the operation of a crane including an imaging device that sequentially captures images of the surroundings. A position acquisition unit that sequentially acquires the current position of the crane as position information; an image display unit that is connected to the imaging device and acquires and displays an image captured by the imaging device; the imaging device; and the position acquisition. Unit and the image display unit, the position information is sequentially acquired from the position acquisition unit, the angle-of-view information indicating the angle of view of the imaging device is sequentially acquired from the imaging device, the position information and the image A control unit that generates an imaging range image indicating an imaging range of the imaging device in the crane based on angle information, and generates a processed image by superimposing a crane image indicating the outer shape of the crane on the imaging range image; An imaging range display unit that is connected to the control unit and displays the processed image.

本発明のクレーンの運転支援方法は、周囲の映像を逐次撮像する撮像装置を備えるクレーンの運転を支援するための、クレーンの運転支援方法であって、前記撮像装置の前記クレーンにおける現在位置を位置情報として逐次取得し、前記撮像装置が撮像した映像を取得して映像表示部に表示し、前記位置情報を逐次取得し、前記撮像装置の画角を示す画角情報を前記撮像装置から逐次取得し、前記位置情報及び前記画角情報を基に、前記クレーンにおける前記撮像装置の撮像範囲を示す撮像範囲画像を生成し、前記撮像範囲画像に前記クレーンを示すクレーン画像を重ねて処理画像を生成して撮像範囲表示部に表示させることを特徴とする。 A crane driving support method of the present invention is a crane driving support method for supporting driving of a crane including an imaging device that sequentially captures images of the surroundings, wherein the current position of the imaging device in the crane is located. Sequentially acquired as information, the image captured by the image capturing device is displayed and displayed on the image display unit, the position information is sequentially acquired, and the angle of view information indicating the angle of view of the image capturing device is sequentially acquired from the image capturing device. Then, based on the position information and the angle of view information, an imaging range image indicating the imaging range of the imaging device in the crane is generated, and a crane image indicating the crane is superimposed on the imaging range image to generate a processed image. And is displayed on the imaging range display section.

本発明では、現在の撮像装置の位置と画角を示す情報から、クレーンにおける現在の撮像装置の撮像範囲を示す画像が逐次生成され、クレーン画像と共に撮像範囲表示部に表示される。
そのため、撮像範囲表示部を見れば、撮像装置の撮像範囲を運転手が正確に把握できる。 According to the present invention, an image indicating the current imaging range of the imaging device in the crane is sequentially generated from the information indicating the current position and the angle of view of the imaging device, and displayed on the imaging range display unit together with the crane image.
Therefore, the driver can accurately grasp the imaging range of the imaging device by looking at the imaging range display unit.

本発明によれば、撮像装置の撮像範囲を正確に運転手が把握できるクレーンの運転支援システムを提供できる。 ADVANTAGE OF THE INVENTION According to this invention, the driving assistance system of a crane with which a driver can grasp|ascertain the imaging range of an imaging device correctly can be provided.

本実施形態に係るクレーンの運転支援システムの適用対象であるクレーンをクレーンの走行方向から見た図である。It is the figure which looked at the crane which is the target of application of the crane driving support system concerning this embodiment from the running direction of the crane. 本実施形態に係るクレーンの運転支援システムを示す機能ブロック図である。It is a functional block diagram which shows the driving support system of the crane which concerns on this embodiment. 図２の映像表示部に表示される映像の例を示す図であって、トロリに設置された撮像装置が撮像した映像を示す。FIG. 3 is a diagram showing an example of a video displayed on the video display unit of FIG. 2, showing a video captured by an imaging device installed in a trolley. 図２の撮像範囲表示部に表示される処理画像の例を示す図である。FIG. 3 is a diagram showing an example of a processed image displayed on the imaging range display unit of FIG. 2. 図２の撮像範囲表示部に表示される処理画像の例を示す図であって、図４のｚ方向から見た図である。It is a figure which shows the example of the processed image displayed on the imaging range display part of FIG. 2, and is the figure seen from the z direction of FIG. 本実施形態に係るクレーンの運転支援システムを用いた運転支援方法の例を示すフロー図である。It is a flowchart which shows the example of the driving assistance method using the driving assistance system of the crane which concerns on this embodiment.

以下、図面に基づき本発明に好適な実施形態を詳細に説明する。
まず、図１を参照して本実施形態に係るクレーンの運転支援システムが適用されるクレーンの構成の概要を説明する。ここでは、クレーン１として、岸壁１０に設置され、一対のレール５に沿って走行可能で、岸壁１０に接岸したコンテナ船４８との間で荷役対象としてのコンテナ４９の荷役を行う岸壁クレーンが例示されている。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.
First, an outline of the configuration of a crane to which the crane driving assistance system according to the present embodiment is applied will be described with reference to FIG. 1. Here, an example of the crane 1 is a quayside crane that is installed on the quayside 10, is capable of traveling along a pair of rails 5, and carries out loading and unloading of a container 49 as a loading and unloading target with a container ship 48 docked on the quayside 10. Has been done.

図１に示すようにクレーン１は、一対の脚構造体３、脚構造体３の下端に設けられ、一対のレール５上をｙ方向（走行方向）に走行する走行装置７、脚構造体３の上部に支持され、走行方向に直交するｘ方向（横行方向）に延在する桁９を備える。クレーン１は、桁９に支持されて横行方向に走行するトロリ１１、トロリ１１に支持されて上下方向（ｚ方向）に移動してコンテナ４９を吊り上げる吊り具であるスプレッダ１３も備える。クレーン１は、走行装置７、トロリ１１、及びクレーン１の周囲を逐次撮像する撮像装置１７、１９、２１、２３、トロリ１１を駆動するワイヤを巻き取るドラム等を備えた機械室３４も備える。 As shown in FIG. 1, the crane 1 is provided at the lower ends of the pair of leg structures 3 and the leg structure 3, and travels on a pair of rails 5 in the y direction (travel direction) 7 and the leg structure 3. A girder 9 that is supported on the upper part of and extends in the x direction (transverse direction) orthogonal to the traveling direction. The crane 1 also includes a trolley 11 that is supported by the girder 9 and travels in the transverse direction, and a spreader 13 that is a suspender that is supported by the trolley 11 and moves in the vertical direction (z direction) to suspend the container 49. The crane 1 also includes a traveling device 7, a trolley 11, an image pickup device 17, 19, 21, 23 for sequentially picking up images of the periphery of the crane 1, a machine room 34 including a drum for winding a wire for driving the trolley 11, and the like.

撮像装置１７はトロリ１１に設置されて、スプレッダ１３及びスプレッダ１３の着床目標である着床目標面を撮像する。撮像装置１７はトロリ１１の移動に伴って移動するため、撮像装置１７のクレーン１における位置は、トロリ１１の移動で変化する。撮像装置１９、２１は、クレーン１を走行させる際に走行方向を撮像する装置であり、撮像方向がクレーン１の走行方向を向くようにポータルタイ２５に固定される。撮像装置２３は、脚構造体３の間に進入する車両等を撮像する装置であり、撮像方向が地面側を向くようにポータルタイ２５に固定される。図１に示すように、クレーン１は遠隔操作方式のクレーンであり、走行装置７、トロリ１１、スプレッダ１３等を操作する運転室１５は、クレーン１と別の場所に設けられる。以上がクレーン１の概略構成の説明である。 The imaging device 17 is installed in the trolley 11 and images the spreader 13 and the landing target surface which is the landing target of the spreader 13. Since the imaging device 17 moves along with the movement of the trolley 11, the position of the imaging device 17 on the crane 1 changes as the trolley 11 moves. The imaging devices 19 and 21 are devices that image the traveling direction when the crane 1 travels, and are fixed to the portal tie 25 so that the imaging direction faces the traveling direction of the crane 1. The image pickup device 23 is a device for picking up an image of a vehicle or the like that enters between the leg structures 3, and is fixed to the portal tie 25 so that the image pickup direction faces the ground side. As shown in FIG. 1, the crane 1 is a remote control type crane, and a cab 15 for operating the traveling device 7, the trolley 11, the spreader 13 and the like is provided in a different place from the crane 1. The above is the description of the schematic configuration of the crane 1.

次に、図１〜図５を参照して、本実施形態に係るクレーン１の運転支援システム２７の構成を説明する。
図２に示すように、クレーン１の運転支援システム２７は、位置取得部２９、映像表示部３１、制御部３３、及び撮像範囲表示部３５を備える。 Next, with reference to Drawing 1-Drawing 5, composition of operation support system 27 of crane 1 concerning this embodiment is explained.
As shown in FIG. 2, the driving support system 27 of the crane 1 includes a position acquisition unit 29, a video display unit 31, a control unit 33, and an imaging range display unit 35.

位置取得部２９は、撮像装置１７、１９、２１、２３のうち、映像を撮像中の装置の、クレーン１における現在位置を位置情報として逐次取得する。撮像装置１７はトロリ１１と一体となって移動するため、機械室３４の図示しないドラムに設けたエンコーダ等でトロリ１１の位置を検出することで、撮像装置１７の位置を取得できる。この場合はこのエンコーダが位置取得部２９になる。
撮像装置１９、２１、２３は一対の脚構造体３を連結する梁であるポータルタイ２５に固定されており、クレーン１に対して相対移動しないので、必ずしも位置取得部２９として位置センサ等を設ける必要はない。例えばこれらの撮像装置の位置を予め図示しない記憶部等に記憶し、必要に応じて制御部３３が記憶部から位置を取得してもよい。この場合、制御部３３が位置取得部２９を兼ねる。
位置取得部２９を設ける位置や取得方式はこれらに限定しない。また、位置取得部２９は、撮像装置１７、１９、２１、２３毎に設けてもよいし、１つの位置取得部２９で撮像装置１７、１９、２１、２３のうちの複数の位置を検出してもよい。 The position acquisition unit 29 sequentially acquires, as position information, the current position in the crane 1 of the image capturing device 17, 19, 21, 23 that is currently capturing an image. Since the imaging device 17 moves integrally with the trolley 11, the position of the imaging device 17 can be acquired by detecting the position of the trolley 11 with an encoder or the like provided on a drum (not shown) in the machine room 34. In this case, this encoder serves as the position acquisition unit 29.
The image pickup devices 19, 21 and 23 are fixed to a portal tie 25 which is a beam connecting the pair of leg structures 3 and do not move relative to the crane 1. Therefore, a position sensor or the like is necessarily provided as the position acquisition unit 29. No need. For example, the positions of these imaging devices may be stored in advance in a storage unit or the like not shown, and the control unit 33 may acquire the positions from the storage unit as necessary. In this case, the control unit 33 also serves as the position acquisition unit 29.
The position at which the position acquisition unit 29 is provided and the acquisition method are not limited to these. The position acquisition unit 29 may be provided for each of the imaging devices 17, 19, 21, and 23, or one position acquisition unit 29 detects a plurality of positions among the imaging devices 17, 19, 21, and 23. May be.

映像表示部３１は、撮像装置１７、１９、２１、２３のいずれかが撮像した映像を取得して表示する装置である。映像表示部３１の具体的な構成は特に限定されず、液晶等の公知の表示装置を用いればよい。図２では撮像装置１７、１９、２１、２３に映像表示部３１が接続されており、映像表示部３１は、これらの装置から映像を取得して表示する。ただし、映像表示部３１が映像を取得する経路は図１に構成に限定されない。例えば制御部３３を介して映像を取得して映像表示部３１に表示させる構成でもよい。
図１及び図２では映像表示部３１は１つのみ図示している。この構成では、１つの映像表示部３１の画面を分割して、撮像装置１７、１９、２１、２３の映像を表示する領域を割り当てることで、いずれの装置が撮影した映像も表示できる。しかしながら映像表示部３１の数は１つに限定されない。撮像装置１７、１９、２１、２３の表示用に４つの異なる映像表示装置を用いてもよい。
撮像装置１７が撮像した映像を映像表示部３１に表示させた場合の例を図３に示す。
撮像装置１７はスプレッダ１３及びスプレッダ１３の着床目標である着床目標面１０ａを撮像する装置である。そのため、撮像装置１７が撮像した映像は、トロリ１１の側方からスプレッダ１３及び着床目標面１０ａを見下ろす映像となる。 The video display unit 31 is a device that acquires and displays a video imaged by any of the imaging devices 17, 19, 21, and 23. The specific configuration of the video display unit 31 is not particularly limited, and a known display device such as liquid crystal may be used. In FIG. 2, the image display unit 31 is connected to the imaging devices 17, 19, 21, and 23, and the image display unit 31 acquires and displays images from these devices. However, the route through which the video display unit 31 acquires the video is not limited to the configuration shown in FIG. For example, the configuration may be such that an image is acquired via the control unit 33 and displayed on the image display unit 31.
1 and 2, only one video display unit 31 is shown. With this configuration, by dividing the screen of one video display unit 31 and allocating the regions for displaying the video of the imaging devices 17, 19, 21, and 23, the video taken by any of the devices can be displayed. However, the number of video display units 31 is not limited to one. Four different video display devices may be used for the display of the imaging devices 17, 19, 21, 23.
FIG. 3 shows an example in which a video image captured by the imaging device 17 is displayed on the video display unit 31.
The imaging device 17 is a device that images the spreader 13 and the landing target surface 10a that is the landing target of the spreader 13. Therefore, the video imaged by the imaging device 17 is a video image of the spreader 13 and the landing target surface 10a looking down from the side of the trolley 11.

制御部３３は、クレーン１における撮像装置１７、１９、２１、２３の現在の撮像範囲を図示する画像である撮像範囲画像３９を生成する装置である。
制御部３３は、撮像範囲画像３９とクレーン画像４０を重ねて処理画像４１を生成する装置でもある。 The control unit 33 is a device that generates an imaging range image 39 that is an image showing the current imaging range of the imaging devices 17, 19, 21, and 23 in the crane 1.
The control unit 33 is also a device that overlaps the imaging range image 39 and the crane image 40 to generate the processed image 41.

具体的には制御部３３は、位置取得部２９から撮像装置１７、１９、２１、２３の位置を示す位置情報を逐次取得し、撮像装置１７、１９、２１、２３の画角を示す画角情報を撮像装置１７、１９、２１、２３から逐次取得する。さらに位置情報及び画角情報を基に、撮像範囲画像３９を生成する。撮像範囲画像３９の例を図４に示す。図４の撮像範囲画像３９ａは撮像装置１７の撮像範囲を示す画像であり、撮像範囲画像３９ｂは撮像装置２３の撮像範囲を示す画像である。撮像範囲画像３９ａは、撮像装置１７の画角θａを反映した画像である。撮像範囲画像３９ｂは、撮像装置２３の画角θｂを反映した画像である。撮像倍率は画角で決まるため、画角情報は撮像装置１７、１９、２１、２３が撮像の際の映像の倍率設定のために各々保持している情報である。そのため、画角情報は、撮像装置１７、１９、２１、２３から制御部３３が取得すればよい。このように、撮像範囲画像３９の生成に必要な画角情報の取得が容易である点も本実施形態の有利な点である。さらに、撮像範囲画像３９は図４に示すように、撮像方向に直交する方向から見ると２等辺三角形で表示される。２等辺が交差する頂点は撮像装置の位置も示すため、撮像範囲画像３９を見れば、撮像装置の位置が分かる点も本実施形態の有利な点である。
なお、ここでいう撮像範囲とは、正確には映像表示部３１に表示される映像の範囲を意味する。例えば撮像装置１７、１９、２１、２３のレンズが光軸方向から見て円形の場合、撮像可能な範囲は、本来は円錐状になる。しかしながら映像表示部３１の表示領域は通常は矩形であるため、映像表示部３１に表示される映像の範囲は円錐の底面を矩形に切り取った領域を底面とする４角錐状になる。 Specifically, the control unit 33 sequentially acquires the position information indicating the positions of the imaging devices 17, 19, 21, 23 from the position acquisition unit 29, and the angle of view indicating the angle of view of the imaging devices 17, 19, 21, 23. Information is sequentially acquired from the imaging devices 17, 19, 21, and 23. Further, the imaging range image 39 is generated based on the position information and the angle of view information. An example of the imaging range image 39 is shown in FIG. The imaging range image 39a in FIG. 4 is an image showing the imaging range of the imaging device 17, and the imaging range image 39b is an image showing the imaging range of the imaging device 23. The imaging range image 39a is an image that reflects the angle of view θa of the imaging device 17. The imaging range image 39b is an image that reflects the angle of view θb of the imaging device 23. Since the imaging magnification is determined by the angle of view, the angle-of-view information is information held by the imaging devices 17, 19, 21, and 23 for setting the magnification of the image at the time of imaging. Therefore, the angle of view information may be acquired by the control unit 33 from the imaging devices 17, 19, 21, and 23. As described above, it is also an advantage of this embodiment that the angle of view information necessary for generating the imaging range image 39 can be easily obtained. Further, as shown in FIG. 4, the imaging range image 39 is displayed as an isosceles triangle when viewed from a direction orthogonal to the imaging direction. Since the apex where two isosceles sides also indicate the position of the image pickup device, the position of the image pickup device can be known from the image pickup range image 39, which is an advantage of this embodiment.
It should be noted that the term “imaging range” here means the range of the image displayed on the image display unit 31. For example, when the lenses of the imaging devices 17, 19, 21, and 23 are circular when viewed from the optical axis direction, the imageable range is essentially a cone. However, since the display area of the video display unit 31 is usually rectangular, the range of the video displayed on the video display unit 31 is a quadrangular pyramid with the bottom surface of the cone being a rectangular cutout area.

制御部３３は、必要に応じて位置情報を基にクレーン１における撮像装置１７、１９、２１、２３の位置を示す位置画像３７を生成する。位置画像３７の例を図４に示す。図４の位置画像３７ａは撮像装置１７の位置を示す画像、ここでは撮像装置１７を囲む円環状の画像である。図４の位置画像３７ｂは撮像装置２３の位置を示す円環状の画像である。図４では位置画像３７ａと位置画像３７ｂは同じ形状と色彩で表示されているが、位置画像３７ａと位置画像３７ｂが異なる装置を示すことを運転手が視覚的に認識できるように、異なる形状や色彩で表示してもよい。また、位置画像３７ａと位置画像３７ｂに、撮像装置１７、２３を区別する文字等を付してもよい。
撮像範囲画像３９に加えて位置画像３７も生成することで、クレーン１における撮像装置１７、１９、２１、２３の位置を運転手がより正確に把握できる。 The control unit 33 generates a position image 37 indicating the positions of the imaging devices 17, 19, 21, and 23 in the crane 1 based on the position information as needed. An example of the position image 37 is shown in FIG. The position image 37a in FIG. 4 is an image showing the position of the image pickup device 17, which is an annular image surrounding the image pickup device 17 here. The position image 37b in FIG. 4 is an annular image showing the position of the imaging device 23. In FIG. 4, the position image 37a and the position image 37b are displayed with the same shape and color, but the position image 37a and the position image 37b have different shapes and shapes so that the driver can visually recognize that the position image 37b indicates a different device. It may be displayed in color. Further, the position image 37a and the position image 37b may be provided with a character or the like for distinguishing the imaging devices 17 and 23.
By generating the position image 37 in addition to the imaging range image 39, the driver can more accurately grasp the positions of the imaging devices 17, 19, 21, 23 in the crane 1.

さらに制御部３３は、必要に応じてクレーン１の周辺にある地形及び構造物の形状を図示する周辺画像４３を生成する。周辺画像４３の例を図４に示す。図４では地形及び構造物の形状を図示する画像として、岸壁画像４５、コンテナ船画像４７、コンテナ画像５１、及び海面画像５３を示す。岸壁画像４５は岸壁１０の位置と形状を示す画像である。コンテナ船画像４７はコンテナ船４８の位置と形状を示す画像である。コンテナ画像５１はコンテナ船４８に蔵置されたコンテナ４９の配置を示す画像である。海面画像５３は海面の高さを示す画像である。
岸壁画像４５、コンテナ船画像４７、コンテナ画像５１は、例えばクレーン１の周辺にある地形及び構造物の形状を示す情報を図２に示すＴＯＳ（Terminal Operation System）３２から制御部３３が取得して、取得した情報を基に、制御部３３が画像化することで得られる。海面画像５３は、例えばクレーン１に設けた図示しないレーザ変位計で潮位を測定することで得られる。 Further, the control unit 33 generates a peripheral image 43 that illustrates the shape of the terrain and the structures around the crane 1 as needed. An example of the peripheral image 43 is shown in FIG. In FIG. 4, a quay image 45, a container ship image 47, a container image 51, and a sea surface image 53 are shown as images showing the topography and the shapes of structures. The quay image 45 is an image showing the position and shape of the quay 10. The container ship image 47 is an image showing the position and shape of the container ship 48. The container image 51 is an image showing the arrangement of the containers 49 stored in the container ship 48. The sea surface image 53 is an image showing the height of the sea surface.
The quay wall image 45, the container ship image 47, and the container image 51 are obtained by the control unit 33 from the TOS (Terminal Operation System) 32 shown in FIG. , And is obtained by the control unit 33 imaging based on the acquired information. The sea surface image 53 is obtained, for example, by measuring the tide level with a laser displacement meter (not shown) provided on the crane 1.

制御部３３は、クレーン１を示す画像であるクレーン画像４０も取得する。
クレーン画像４０はクレーン１の外形を示す画像である。クレーン画像４０の表示の際は、トロリ１１等の可動部が移動中の場合、移動に応じて逐次トロリ１１の位置を変更した画像がクレーン画像４０として用いられる。図４にクレーン画像４０の例を示す。クレーン画像４０はクレーン１の外形を視認できる画像であれば、具体的な表示態様は限定しない。例えば図４ではクレーン画像４０として、クレーン１の全体図を示しているが、クレーン１と位置画像３７及び撮像範囲画像３９の位置関係が分かれば、必ずしもクレーン１全体の外形を表示しなくてもよい。 The control unit 33 also acquires a crane image 40 that is an image showing the crane 1.
The crane image 40 is an image showing the outer shape of the crane 1. When the crane image 40 is displayed, when the movable part such as the trolley 11 is moving, an image in which the position of the trolley 11 is sequentially changed according to the movement is used as the crane image 40. FIG. 4 shows an example of the crane image 40. The crane image 40 is not limited to a specific display mode as long as it is an image in which the outer shape of the crane 1 can be visually recognized. For example, in FIG. 4, an overall view of the crane 1 is shown as the crane image 40, but if the positional relationship between the crane 1 and the position image 37 and the imaging range image 39 is known, the outer shape of the entire crane 1 may not necessarily be displayed. Good.

クレーン画像４０の取得手段は特に限定しない。あらかじめ図示しない記憶部等に記憶されたクレーン１の模式図を示す画像を用いてもよいし、クレーン１を実際に撮像した映像に制御部３３が画像処理等を施してクレーン画像４０を生成してもよい。 The acquisition means of the crane image 40 is not particularly limited. You may use the image which shows the schematic diagram of the crane 1 memorize|stored in the memory|storage part etc. which are not shown in advance, or the control part 33 performs image processing etc. to the image which imaged the crane 1 actually, and produces|generates the crane image 40. May be.

制御部３３は、撮像範囲画像３９にクレーン画像４０を重ね、さらに必要に応じて位置画像３７と周辺画像４３を重ねて処理画像４１を生成する。
処理画像４１の例を図４に示す。処理画像４１には位置画像３７、撮像範囲画像３９、クレーン画像４０及び周辺画像４３が重ねて表示されている。
そのため、処理画像４１におけるクレーン画像４０と撮像範囲画像３９の位置関係を見れば、対応する撮像装置の現在の撮像範囲を運転手が正確に把握できる。
また、処理画像４１におけるクレーン画像４０と位置画像３７の位置関係を見れば、対応する撮像装置のクレーン１における現在位置を運転手が正確に把握できる。
さらに、撮像範囲画像３９と周辺画像４３の位置関係を見れば、撮像蔵置の撮像範囲外にある地形や構造物も運転手が把握できる。 The control unit 33 superimposes the crane image 40 on the imaging range image 39, and further superimposes the position image 37 and the peripheral image 43 as necessary to generate the processed image 41.
An example of the processed image 41 is shown in FIG. A position image 37, an imaging range image 39, a crane image 40, and a peripheral image 43 are displayed on the processed image 41 in an overlapping manner.
Therefore, by looking at the positional relationship between the crane image 40 and the imaging range image 39 in the processed image 41, the driver can accurately grasp the current imaging range of the corresponding imaging device.
Further, by looking at the positional relationship between the crane image 40 and the position image 37 in the processed image 41, the driver can accurately grasp the current position of the corresponding imaging device in the crane 1.
Furthermore, by looking at the positional relationship between the imaging range image 39 and the peripheral image 43, the driver can also grasp the terrain and structures outside the imaging range of the imaging storage.

この点について、より具体的に説明する。
図１に示すように、コンテナ船４８は多数のコンテナ４９を船倉及び甲板に蔵置している。そのため、撮像装置１７がコンテナ船４８の上方に位置する場合、撮像装置１７が撮像した画像は図３に示すように、コンテナ船４８に蔵置されたコンテナ４９で画面が埋め尽くされた画像となる。この画像には、撮像装置１７の位置を示す目印となる情報がないので、撮像装置１７のクレーン１における現在位置及び撮像範囲を運転手が把握するのが困難な場合がある。
この場合でも、図４に示す処理画像４１におけるクレーン画像４０と撮像範囲画像３９ａの位置関係を見れば、撮像装置１７のクレーン１における撮像範囲を運転手が把握できる。
また、位置画像３７を含む処理画像４１を表示することで、撮像装置１７のクレーン１における現在位置を正確に把握できる。 This point will be described more specifically.
As shown in FIG. 1, the container ship 48 stores a large number of containers 49 in a hold and a deck. Therefore, when the imaging device 17 is located above the container ship 48, the image captured by the imaging device 17 becomes an image in which the screen is filled with the containers 49 stored in the container ship 48, as shown in FIG. .. Since this image does not have information that serves as a mark indicating the position of the image pickup device 17, it may be difficult for the driver to grasp the current position and the image pickup range of the crane 1 of the image pickup device 17.
Even in this case, the driver can grasp the imaging range of the crane 1 of the imaging device 17 by looking at the positional relationship between the crane image 40 and the imaging range image 39a in the processed image 41 shown in FIG.
Further, by displaying the processed image 41 including the position image 37, the current position of the imaging device 17 on the crane 1 can be accurately grasped.

さらに、周辺画像４３を含む処理画像４１を表示することで、撮像装置１７、１９、２１、２３の撮像範囲外の地形や構造物の位置と大きさも撮像範囲表示部３５に表示されるため、撮像範囲外の地形や構造物にクレーン１が衝突する事故を防止できる。 Furthermore, by displaying the processed image 41 including the peripheral image 43, the position and size of the terrain and structures outside the imaging range of the imaging devices 17, 19, 21, and 23 are also displayed on the imaging range display unit 35. It is possible to prevent the crane 1 from colliding with a terrain or a structure outside the imaging range.

例えば、撮像装置１７が図４に示す画角θｃで下方を撮像しており、映像表示部３１に表示されるコンテナ４９の映像は図３の領域Ｒｃで示す範囲の映像であったとする。図４に示すようにスプレッダ１３が吊り上げているコンテナ４９ｂのｘ方向海側には、コンテナ４９ｂと略同じ鉛直方向高さでコンテナ４９ａがコンテナ船４８に蔵置されている。そのため、スプレッダ１３をこの鉛直方向高さのままでｘ方向海側に移動させると、コンテナ４９ｂがコンテナ４９ａに接触する恐れがある。 For example, it is assumed that the imaging device 17 is imaging the lower part at the angle of view θc shown in FIG. 4, and the image of the container 49 displayed on the image display unit 31 is the image in the range indicated by the region Rc in FIG. As shown in FIG. 4, on the sea side in the x direction of the container 49b on which the spreader 13 is lifted, the container 49a is stored in the container ship 48 at a height substantially the same as the vertical direction of the container 49b. Therefore, if the spreader 13 is moved to the sea side in the x direction while maintaining the vertical height, the container 49b may come into contact with the container 49a.

ここで、撮像装置１７の撮像倍率を高くすることで、撮像装置１７の画角が図４に示す画角θａに変更されたとする。この状態で映像表示部３１に表示されるコンテナ４９の映像範囲は図３の点線で囲んだ領域Ｒａを拡大した映像となる。領域Ｒａを表示した映像では領域Ｒｃを表示した映像よりも個々のコンテナ４９が拡大されて細部が見やすくなる。一方で画角θａは画角θｃよりも角度が小さいため、撮像範囲が領域Ｒａより狭くなる。例えば領域Ｒｃに含まれていたコンテナ４９ａが、領域Ｒａに含まれないので、映像表示部３１に領域Ｒａを映す場合、コンテナ４９ａは表示されない。ところが、領域Ｒａが表示された映像表示部３１を見た運転手は、コンテナ４９の表示が大きくなったことから撮像範囲が狭くなったことはわかるが、コンテナ４９ａが表示されなくなったことに気付かない可能性がある。そのため、コンテナ４９ａが無いと運転手が誤認してｘ方向海側にスプレッダ１３を移動させることで、両者が接触する恐れがある。 Here, it is assumed that the angle of view of the image pickup device 17 is changed to the angle of view θa shown in FIG. 4 by increasing the image pickup magnification of the image pickup device 17. In this state, the image range of the container 49 displayed on the image display unit 31 is an enlarged image of the area Ra surrounded by the dotted line in FIG. In the image displaying the region Ra, the individual containers 49 are enlarged and the details are easier to see than in the image displaying the region Rc. On the other hand, since the angle of view θa is smaller than the angle of view θc, the imaging range is narrower than the region Ra. For example, since the container 49a included in the area Rc is not included in the area Ra, when the area Ra is displayed on the video display unit 31, the container 49a is not displayed. However, the driver who looks at the image display unit 31 in which the region Ra is displayed knows that the imaging range has narrowed because the display of the container 49 has become large, but he/she notices that the container 49a has disappeared. May not be. Therefore, if the container 49a is not present, the driver may mistakenly move the spreader 13 to the sea side in the x direction, and the two may come into contact with each other.

一方で、図４に示す処理画像４１を運転手が見れば、領域Ｒａが映像表示部３１に表示されている場合、コンテナ４９ａが撮像装置１７の撮像範囲外にあり、コンテナ４９ｂの鉛直方向高さが、コンテナ４９ａの鉛直方向高さと略等しいことが分かる。そのため、ｘ方向海側にスプレッダ１３を移動させると、コンテナ４９ｂにコンテナ４９ａが接触する恐れがあることを運転手が認識できる。よって、ｘ方向海側にスプレッダ１３を移動させる前にコンテナ４９ｂがコンテナ４９ａの上面よりも鉛直方向上方に位置する高さまでスプレッダ１３を移動させる等の、適切な荷役操作を運転手が選択できる。これにより、コンテナ４９ａにコンテナ４９ｂが接触する事故を回避できる。 On the other hand, when the driver sees the processed image 41 shown in FIG. 4, when the region Ra is displayed on the video display unit 31, the container 49a is outside the imaging range of the imaging device 17, and the height of the container 49b in the vertical direction is high. It can be seen that is approximately equal to the vertical height of the container 49a. Therefore, when the spreader 13 is moved to the sea side in the x direction, the driver can recognize that the container 49b may come into contact with the container 49a. Therefore, before moving the spreader 13 to the sea side in the x direction, the driver can select an appropriate cargo handling operation such as moving the spreader 13 to a height where the container 49b is vertically above the upper surface of the container 49a. As a result, it is possible to avoid an accident in which the container 49b comes into contact with the container 49a.

処理画像４１は、撮像装置１７、１９、２１、２３のうち、実際に撮像中の撮像装置に対応する撮像範囲画像３９を少なくとも表示すればよい。この構成とすることで、映像表示部３１に映像を表示中の装置と、その装置のクレーン１における撮像範囲を運転手が正確に把握できる。また、撮像範囲が表示されない装置は、映像表示部３１に映像を表示中ではないこともわかる。例えば図４では撮像装置１７、１９、２１、２３のうち、撮像装置１７、２３の撮像範囲画像３９のみを示しているが、これは撮像装置１９、２１が撮像中ではないことを意味する。 The processed image 41 may display at least the image capturing range image 39 corresponding to the image capturing device that is actually capturing the image among the image capturing devices 17, 19, 21, and 23. With this configuration, the driver can accurately grasp the device that is displaying the image on the image display unit 31 and the imaging range of the device in the crane 1. It can also be seen that the device in which the imaging range is not displayed is not displaying the image on the image display unit 31. For example, in FIG. 4, only the imaging range image 39 of the imaging devices 17, 23 among the imaging devices 17, 19, 21, 23 is shown, but this means that the imaging devices 19, 21 are not imaging.

図４では処理画像４１として、クレーン１の走行方向から見たクレーン１における撮像装置１７の撮像範囲を示す画像が表示されている。図４ではｙ方向から見た画像が表示されている。
処理画像４１として、ｙ方向からみた画像を生成することで、トロリ１１のような可動部に撮像装置１７がある場合に、トロリ１１の可動に伴う撮像装置１７の位置の変化が撮像範囲表示部３５に表示される。よって、トロリ１１の移動に伴う撮像装置１７の撮像範囲の変化を正確に運転手が把握できる。 In FIG. 4, as the processed image 41, an image showing the imaging range of the imaging device 17 in the crane 1 viewed from the traveling direction of the crane 1 is displayed. In FIG. 4, an image viewed from the y direction is displayed.
By generating an image viewed from the y direction as the processed image 41, when the moving device such as the trolley 11 has the image pickup device 17, a change in the position of the image pickup device 17 due to the movement of the trolley 11 causes a change in the image pickup range display portion. 35 is displayed. Therefore, the driver can accurately grasp the change in the imaging range of the imaging device 17 due to the movement of the trolley 11.

ただし、処理画像４１はｙ方向から見た画像には限定されない。
例えば、クレーン１の上面図（図５のｚ方向から見た図）を示す画像を処理画像４１としてもよい。これらはクレーン１の走行方向に直交する方向から見た画像である。図５に、処理画像４１としてクレーン１のｚ方向から見た図を示す画像を用いた例を示す。
図５では、クレーン１の移動に伴い、クレーン画像４０の位置が変化するのを運転手が視認できる。図５ではクレーン１の移動に伴い、撮像装置１７、１９、２１の撮像範囲画像３９ａ、３９ｃ、３９ｄの位置が変化するのも運転手が視認できる。撮像装置１７、１９、２３の位置画像３７ａ、３７ｃ、３７ｄの位置が変化するのも運転手が視認できる。 However, the processed image 41 is not limited to the image viewed from the y direction.
For example, an image showing a top view of the crane 1 (a view seen from the z direction in FIG. 5) may be the processed image 41. These are images viewed from a direction orthogonal to the traveling direction of the crane 1. FIG. 5 shows an example in which an image showing a view of the crane 1 viewed from the z direction is used as the processed image 41.
In FIG. 5, the driver can visually recognize that the position of the crane image 40 changes as the crane 1 moves. In FIG. 5, the driver can visually recognize that the positions of the imaging range images 39a, 39c, 39d of the imaging devices 17, 19, 21 change as the crane 1 moves. The driver can also visually recognize that the positions of the position images 37a, 37c, 37d of the image pickup devices 17, 19, 23 change.

図５に示す処理画像４１は、クレーン１の走行中に撮像範囲表示部３５に表示させる画像として有用である。これはクレーン１の走行中は、走行方向前方にあるシャーシ等の構造物とクレーン１との衝突事故を防ぐために、走行方向を撮像する撮像装置１９、２１の撮像位置と撮像範囲を正確に運転手が認識する必要があるためである。 The processed image 41 shown in FIG. 5 is useful as an image displayed on the imaging range display unit 35 while the crane 1 is traveling. While the crane 1 is traveling, in order to prevent a collision accident between the crane 1 and a structure such as a chassis in front of the traveling direction, the image capturing positions and the image capturing ranges of the image capturing devices 19 and 21 capturing the traveling direction are accurately driven. This is because the hand needs to recognize it.

なお、処理画像４１として、図５に示すようにｘ方向から見た図を表示する場合、クレーン１の現在位置に関する位置情報も取得する必要がある。この位置情報は、例えばクレーン１の走行装置７の駆動輪の回転数や回転方向に係る情報をＰＬＣ３０から制御部３３が取得することでも求められるが、変位計等でクレーン１の位置を実測してもよい。 In addition, when displaying the figure seen from the x direction as the processing image 41 as shown in FIG. 5, it is necessary to also acquire the positional information regarding the present position of the crane 1. This position information can be obtained, for example, by the control unit 33 acquiring from the PLC 30 the information on the rotation speed and the rotation direction of the drive wheels of the traveling device 7 of the crane 1, but the position of the crane 1 is measured by a displacement meter or the like. May be.

処理画像４１として、クレーン１が走行している場合とそれ以外の場合で、異なる方向から見た画像を生成してもよい。
例えば、クレーン１の走行時は、処理画像４１として、図５に示すように、ｚ方向から見た図を生成し、それ以外は、図４に示すように、ｙ方向から見た図を生成してもよい。この構成とすることで、クレーン１の走行中は、処理画像４１として、クレーン１の走行方向に直交する方向から見た画像が表示されるので、クレーン１がレール５に沿って走行していることがわかる。また、クレーン１の荷役中は、クレーン１は走行しないので、処理画像４１としてクレーン１の走行方向から見た画像が表示される。そのため、トロリ１１が移動中であることも分かる。
なお、クレーン１が走行中であるか否かは、例えば走行装置７の駆動の有無に係る情報をクレーン１に設けられたＰＬＣ３０等から取得し、当該情報を基に制御部３３が判断する。 As the processed image 41, an image viewed from different directions may be generated when the crane 1 is traveling and other cases.
For example, when the crane 1 is traveling, as the processed image 41, a diagram viewed from the z direction is generated as shown in FIG. 5, and other than that, a diagram viewed from the y direction is generated as shown in FIG. You may. With this configuration, while the crane 1 is traveling, an image viewed from a direction orthogonal to the traveling direction of the crane 1 is displayed as the processed image 41, so the crane 1 is traveling along the rail 5. I understand. Further, since the crane 1 does not travel while the crane 1 is loading and unloading, an image viewed from the traveling direction of the crane 1 is displayed as the processed image 41. Therefore, it can be seen that the trolley 11 is moving.
Whether or not the crane 1 is traveling is acquired by, for example, information regarding whether or not the traveling device 7 is driven from the PLC 30 or the like provided in the crane 1, and the control unit 33 determines based on the information.

このように、クレーン１において動いている対象であるトロリ１１又はクレーン１自体の動作が見える画像を処理画像４１として常に表示することで、撮像装置１７、１９、２１、２３の撮像位置の変化をより正確に把握できる。 In this way, by always displaying the image in which the operation of the trolley 11 which is the moving object in the crane 1 or the crane 1 itself is displayed as the processed image 41, the change of the imaging position of the imaging devices 17, 19, 21, 23 is performed. You can grasp it more accurately.

あるいはトロリ１１とクレーン１の両方の動作が見える画像を斜視図として処理画像４１を生成してもよい。この構成では、クレーン１が走行している場合とそれ以外の場合で、異なる方向から見た画像を生成する必要がない点で有利である。ただし、処理画像４１は、撮像装置１７、１９、２１、２３のうち、撮像中の装置の少なくとも１つの光軸に対して交差する方向である必要がある。 Alternatively, the processed image 41 may be generated by using an image in which both the trolley 11 and the crane 1 are visible as a perspective view. This configuration is advantageous in that it is not necessary to generate images viewed from different directions when the crane 1 is traveling and other cases. However, the processed image 41 needs to be in a direction intersecting with the optical axis of at least one of the imaging devices 17, 19, 21, and 23 that is being imaged.

図２に示すように、制御部３３は、撮像装置１７、１９、２１、２３、位置取得部２９、映像表示部３１、及び撮像範囲表示部３５に接続されている。制御部３３は例えばコンピュータの中央演算装置等である。クレーン１の運転を制御する図示しない運転制御部が、運転支援システム２７の制御部３３を兼ねてもよい。 As shown in FIG. 2, the control unit 33 is connected to the imaging devices 17, 19, 21, 23, the position acquisition unit 29, the video display unit 31, and the imaging range display unit 35. The control unit 33 is, for example, a central processing unit of a computer. An operation control unit (not shown) that controls the operation of the crane 1 may also serve as the control unit 33 of the driving support system 27.

撮像範囲表示部３５は処理画像４１を表示する装置である。撮像範囲表示部３５の具体的な構成は特に限定されず、液晶等の公知の表示部を用いればよい。 The imaging range display unit 35 is a device that displays the processed image 41. The specific configuration of the imaging range display unit 35 is not particularly limited, and a known display unit such as liquid crystal may be used.

撮像範囲表示部３５は、映像表示部３１と同じ表示部であってもよい。この場合、撮像装置１７、１９、２１、２３が撮像した映像と処理画像４１を別々に映像表示部３１に表示してもよいし、映像の一部分に処理画像４１を重ねて表示してもよい。
映像と処理画像４１を重ねて表示する場合は、処理画像４１を表示する位置、大きさを運転手が調整できる構成が好ましく、必要なときのみ運転手の操作等で処理画像４１を表示させる構成がより好ましい。
以上が本実施形態に係るクレーン１の運転支援システム２７の概略構成の説明である。 The imaging range display unit 35 may be the same display unit as the video display unit 31. In this case, the video imaged by the imaging devices 17, 19, 21, and 23 and the processed image 41 may be separately displayed on the video display unit 31, or the processed image 41 may be displayed so as to overlap a part of the video image. ..
When the image and the processed image 41 are displayed in an overlapping manner, it is preferable that the driver can adjust the position and size of the processed image 41 to be displayed, and the processed image 41 is displayed only when necessary by the driver's operation or the like. Is more preferable.
The above is the description of the schematic configuration of the driving support system 27 of the crane 1 according to the present embodiment.

次に、本実施形態に係るクレーン１の運転支援システム２７を用いた運転支援方法の例について、図６を参照して簡単に説明する。なお、以下に示す例は、クレーン１の走行中は処理画像４１として図４のｚ方向から見た画像を生成し、それ以外は処理画像４１として図４のｙ方向から見た画像を生成する場合を示す例である。 Next, an example of a driving support method using the driving support system 27 of the crane 1 according to the present embodiment will be briefly described with reference to FIG. In the following example, an image viewed from the z direction of FIG. 4 is generated as the processed image 41 while the crane 1 is traveling, and an image viewed from the y direction of FIG. 4 is generated as the processed image 41 in other cases. It is an example showing a case.

まず制御部３３は撮像装置１７、１９、２１、２３のいずれかあるいは複数を用いてクレーン１の周囲の映像を撮像し、撮像した映像を映像表示部３１に表示させる（図６のＳ０）。なお、撮像を行う撮像装置は、制御部３３ではなく運転手が運転室１５の操縦桿を操作する等して選択してもよい。この場合、制御部３３には運転手が選択した撮像装置を示す情報が操縦桿等から入力される。
次に制御部３３は、撮像装置１７、１９、２１、２３のうち、映像表示部３１に映像を表示中の装置の、クレーン１における現在の位置情報を位置取得部２９から取得する（図６のＳ１）。
次に制御部３３は、撮像装置１７、１９、２１、２３のうち、映像表示部３１に映像を表示中の装置の現在の画角情報を取得する（図６のＳ２）。
次に制御部３３は、必要に応じてＴＯＳ３２等から周辺情報を取得する（図６のＳ３）。なお、Ｓ１〜Ｓ３は必ずしも図６に示す順番で行う必要はなく、順番を入れ替えてもよい。 First, the control unit 33 takes an image of the surroundings of the crane 1 using any one or a plurality of the imaging devices 17, 19, 21, and 23, and displays the taken image on the image display unit 31 (S0 in FIG. 6). Note that the image capturing device that captures an image may be selected by a driver operating the control stick in the cab 15 instead of the control unit 33. In this case, information indicating the image pickup device selected by the driver is input to the control unit 33 from the control stick or the like.
Next, the control unit 33 acquires, from the position acquisition unit 29, the current position information of the crane 1, which is one of the imaging devices 17, 19, 21, and 23 that is displaying an image on the image display unit 31 (FIG. 6). S1).
Next, the control unit 33 acquires the current angle-of-view information of the device that is displaying an image on the image display unit 31 out of the imaging devices 17, 19, 21, and 23 (S2 in FIG. 6).
Next, the control unit 33 acquires peripheral information from the TOS 32 or the like as needed (S3 in FIG. 6). Note that S1 to S3 do not necessarily have to be performed in the order shown in FIG. 6, and the order may be changed.

次に、制御部３３は、走行装置７の駆動の有無に係る情報をクレーン１に設けられたＰＬＣ３０等から取得する等して、クレーン１が走行中であるか否かを判断し、走行中の場合はＳ５−１に進み、それ以外はＳ５−２に進む（図６のＳ４）。 Next, the control unit 33 determines whether or not the crane 1 is traveling, for example, by acquiring information regarding whether or not the traveling device 7 is driven from the PLC 30 or the like provided in the crane 1, and If so, the process proceeds to S5-1, and otherwise proceeds to S5-2 (S4 in FIG. 6).

クレーン１が走行中であると判断した場合、制御部３３は、位置情報及び画角情報を基に、撮像範囲画像３９として、図４のｚ方向から見た画像を生成する（図６のＳ５−１）。
さらに制御部３３は必要に応じて、位置情報を基に位置画像３７として、図４のｚ方向から見た画像を生成する（図６のＳ６−１）。
さらに制御部３３は、Ｓ３を実施している場合、周辺情報を基に周辺画像４３として、図４のｚ方向から見た画像を生成する（図６の７−１）。なお、Ｓ５−１、Ｓ６−１、Ｓ７−１は必ずしも図６に示す順番で行う必要はなく、順番を入れ替えてもよい。 When it is determined that the crane 1 is traveling, the control unit 33 generates an image viewed from the z direction in FIG. 4 as the imaging range image 39 based on the position information and the view angle information (S5 in FIG. 6). -1).
Furthermore, the control unit 33 generates an image viewed from the z direction in FIG. 4 as the position image 37 based on the position information, if necessary (S6-1 in FIG. 6).
Further, when S3 is performed, the control unit 33 generates an image viewed from the z direction in FIG. 4 as the peripheral image 43 based on the peripheral information (7-1 in FIG. 6). Note that S5-1, S6-1, and S7-1 do not necessarily have to be performed in the order shown in FIG. 6, and the order may be changed.

制御部３３は、クレーン１が走行中以外の状態にあると判断した場合、例えば走行装置７の動作が停止中と判断した場合、制御部３３は、位置情報及び画角情報を基に、撮像範囲画像３９として、図４のｙ方向から見た画像を生成する（図６のＳ５−２）。
さらに制御部３３は必要に応じて、位置情報を基に位置画像３７として、図４のｙ方向から見た画像を生成する（図６のＳ６−２）。
さらに制御部３３は、Ｓ３を実施している場合、周辺情報を基に周辺画像４３として、図４のｙ方向から見た画像を生成する（図６のＳ７−２）。なお、Ｓ５−２、Ｓ６−２、Ｓ７−２は必ずしも図６に示す順番で行う必要はなく、順番を入れ替えてもよい。 When the control unit 33 determines that the crane 1 is in a state other than traveling, for example, when the operation of the traveling device 7 is stopped, the control unit 33 performs imaging based on the position information and the angle of view information. An image viewed from the y direction in FIG. 4 is generated as the range image 39 (S5-2 in FIG. 6).
Furthermore, the control unit 33 generates an image viewed from the y direction in FIG. 4 as the position image 37 based on the position information, if necessary (S6-2 in FIG. 6).
Further, when S3 is performed, the control unit 33 generates an image viewed from the y direction in FIG. 4 as the peripheral image 43 based on the peripheral information (S7-2 in FIG. 6). Note that S5-2, S6-2, and S7-2 do not necessarily have to be performed in the order shown in FIG. 6, and the order may be interchanged.

次に、制御部３３は、位置画像３７、撮像範囲画像３９、周辺画像４３をクレーン画像４０に重ねて処理画像４１を生成する（図６のＳ８）。
最後に制御部３３は、処理画像４１を撮像範囲表示部３５に送信して、処理画像４１を表示させ、Ｓ０に戻る（図６のＳ９）。
以上が、本実施形態に係るクレーン１の運転支援システム２７を用いた運転支援方法の例の説明である。 Next, the control unit 33 superimposes the position image 37, the imaging range image 39, and the peripheral image 43 on the crane image 40 to generate the processed image 41 (S8 in FIG. 6).
Finally, the control unit 33 transmits the processed image 41 to the imaging range display unit 35, displays the processed image 41, and returns to S0 (S9 in FIG. 6).
The above is the description of the example of the driving support method using the driving support system 27 of the crane 1 according to the present embodiment.

このように、本実施形態の運転支援システム２７では、撮像装置１７の現在位置と画角から、クレーン１における撮像装置１７の撮像範囲を示す画像を制御部３３が生成して、クレーン画像４０に重ねて撮像範囲表示部３５に表示する。
そのため、撮像装置１７の撮像範囲の変化を運転手が容易に把握できる。 As described above, in the driving support system 27 of the present embodiment, the control unit 33 generates an image showing the imaging range of the imaging device 17 in the crane 1 from the current position and the angle of view of the imaging device 17, and the crane image 40 is displayed. The images are overlapped and displayed on the imaging range display unit 35.
Therefore, the driver can easily grasp the change in the imaging range of the imaging device 17.

以上、本発明を実施形態に基づき説明したが、本発明は実施形態に限定されない。当業者であれば本発明の技術思想の範囲内で各種変形例及び改良例を創出するのは当然のことであり、これらも本発明に含まれる。 Although the present invention has been described above based on the embodiment, the present invention is not limited to the embodiment. It is natural for those skilled in the art to create various modifications and improvements within the scope of the technical idea of the present invention, and these are also included in the present invention.

例えば、本実施形態では、運転支援システム２７の適用対象として、岸壁クレーンを例示しているが、クレーンであれば、運転支援システム２７の適用対象は岸壁クレーンに限定されない。例えばジブクレーン、門型クレーン、アンローダ等にも運転支援システム２７は適用できる。 For example, in the present embodiment, a quay crane is illustrated as an application target of the driving support system 27, but the application target of the driving support system 27 is not limited to the quay crane as long as it is a crane. For example, the driving support system 27 can be applied to a jib crane, a gate crane, an unloader, and the like.

また、本実施形態では、運転支援システム２７の適用対象として、遠隔操作方式のクレーン１を例示しているが、運転支援システム２７の適用対象は遠隔操作方式に限定されない。例えば運転室１５がクレーン１のトロリ１１等に設けられる場合にも運転支援システム２７は適用できる。この場合、運転室の位置を位置情報とし、運転室における運転手の視野を画角情報として、運転手の視野の範囲を撮像範囲画像３９として生成してもよい。 Further, in the present embodiment, a remote operation type crane 1 is illustrated as an application target of the driving support system 27, but the application target of the driving support system 27 is not limited to the remote operation system. For example, the driving support system 27 can be applied even when the cab 15 is provided in the trolley 11 or the like of the crane 1. In this case, the position of the driver's cab may be used as the position information, the driver's field of view in the driver's cab may be used as the angle of view information, and the driver's field of view may be generated as the imaging range image 39.

１ クレーン
３ 脚構造体
５ レール
７ 走行装置
９ 桁
１０ 岸壁
１０ａ 着床目標面
１１ トロリ
１３ スプレッダ
１５ 運転室
１７、１９、２１、２３ 撮像装置
２５ ポータルタイ
２７ 運転支援システム
２９ 位置取得部
３０ ＰＬＣ
３１ 映像表示部
３２ ＴＯＳ
３３ 制御部
３４ 機械室
３５ 撮像範囲表示部
３７、３７ａ、３７ｂ、３７ｃ、３７ｄ 位置画像
３９、３９ａ、３９ｂ、３９ｃ、３９ｄ 撮像範囲画像
４０ クレーン画像
４１ 処理画像
４３ 周辺画像
４５ 岸壁画像
４７ コンテナ船画像
４８ コンテナ船
４９、４９ａ、４９ｂ コンテナ
５１ コンテナ画像
５３ 海面画像 1 Crane 3 Leg Structure 5 Rail 7 Traveling Device 9 Girder 10 Quay 10a Landing Target Surface 11 Trolley 13 Spreader 15 Driver's Room 17, 19, 21, 23 Imaging Device 25 Portal Tie 27 Driving Support System 29 Position Acquisition Unit 30 PLC
31 video display unit 32 TOS
33 Control Unit 34 Machine Room 35 Imaging Range Display 37, 37a, 37b, 37c, 37d Position Image 39, 39a, 39b, 39c, 39d Imaging Range Image 40 Crane Image 41 Processed Image 43 Peripheral Image 45 Quay Image 47 Container Ship Image 48 Container Ship 49, 49a, 49b Container 51 Container Image 53 Sea Surface Image

Claims (7)

周囲の映像を逐次撮像する撮像装置を備えるクレーンの運転を支援するための、クレーンの運転支援システムであって、
前記撮像装置の前記クレーンにおける現在位置を位置情報として逐次取得する位置取得部と、
前記撮像装置に接続され、前記撮像装置が撮像した映像を取得して表示する映像表示部と、
前記撮像装置、前記位置取得部、及び前記映像表示部に接続され、
前記位置情報を前記位置取得部から逐次取得し、前記撮像装置の画角を示す画角情報を前記撮像装置から逐次取得し、
前記位置情報及び前記画角情報を基に、前記クレーンにおける前記撮像装置の撮像範囲を示す撮像範囲画像を生成し、
前記撮像範囲画像に前記クレーンの外形を示すクレーン画像を重ねて処理画像を生成する制御部と、
前記制御部に接続され、前記処理画像を表示する撮像範囲表示部と、
を備えることを特徴とするクレーンの運転支援システム。 A crane operation support system for supporting the operation of a crane including an imaging device that sequentially captures images of the surroundings,
A position acquisition unit that sequentially acquires the current position of the crane of the imaging device as position information,
A video display unit that is connected to the imaging device and acquires and displays a video imaged by the imaging device;
Connected to the imaging device, the position acquisition unit, and the video display unit,
The position information is sequentially acquired from the position acquisition unit, the angle of view information indicating the angle of view of the imaging device is sequentially acquired from the imaging device,
Based on the position information and the angle of view information, to generate an imaging range image showing the imaging range of the imaging device in the crane,
A control unit for generating a processed image by superimposing a crane image showing the outer shape of the crane on the imaging range image,
An imaging range display unit connected to the control unit and displaying the processed image;
A driving support system for a crane, comprising: 前記制御部は、
前記位置情報を基に前記撮像装置の現在位置を示す画像である位置画像を生成し、
前記位置画像と、前記撮像範囲画像に前記クレーン画像を重ねて前記処理画像を生成して前記撮像範囲表示部に表示させる請求項１に記載のクレーンの運転支援システム。 The control unit is
Generates a position image that is an image showing the current position of the imaging device based on the position information,
The driving support system for a crane according to claim 1, wherein the position image and the crane image are superimposed on the image capturing range image to generate the processed image and display the processed image on the image capturing range display unit. 前記制御部は、
前記クレーンの周辺にある地形及び構造物の形状を示す周辺情報を取得して、これらを図示する周辺画像を生成し、前記クレーン画像と、前記撮像範囲画像と、前記周辺画像を重ねて前記処理画像を生成し、前記撮像範囲表示部に表示させる請求項１に記載のクレーンの運転支援システム。 The control unit is
The peripheral information indicating the topography and the shape of the structure in the vicinity of the crane is acquired to generate peripheral images showing these, and the crane image, the imaging range image, and the peripheral image are overlapped to perform the processing. The driving support system for a crane according to claim 1, wherein an image is generated and displayed on the imaging range display unit. 前記制御部は、
前記処理画像として、前記クレーンの走行方向に直交する方向か、又は前記クレーンの走行方向から見た画像を生成する請求項１〜３のいずれかに記載のクレーンの運転支援システム。 The control unit is
The crane driving support system according to claim 1, wherein an image viewed from a traveling direction of the crane or a traveling direction of the crane is generated as the processed image. 前記クレーンを走行させる走行装置を備え、
前記制御部は、前記クレーンが走行中であるか否かを前記走行装置の駆動の有無から判断し、
前記クレーンの走行時は、前記処理画像として前記クレーンの走行方向に直交する方向から見た画像を生成し、
走行中でない場合、前記処理画像として、前記クレーンの走行方向から見た図を生成する請求項１〜３のいずれかに記載のクレーンの運転支援システム。 A traveling device for traveling the crane,
The control unit determines whether or not the crane is traveling, based on whether or not the traveling device is driven,
During traveling of the crane, generate an image viewed from a direction orthogonal to the traveling direction of the crane as the processed image,
The driving support system for a crane according to claim 1, wherein when the vehicle is not traveling, a diagram viewed from the traveling direction of the crane is generated as the processed image. 周囲の映像を逐次撮像する撮像装置を備えるクレーンの運転を支援するための、クレーンの運転支援方法であって、
前記撮像装置の前記クレーンにおける現在位置を位置情報として逐次取得し、
前記撮像装置が撮像した映像を取得して映像表示部に表示し、
前記位置情報を逐次取得し、前記撮像装置の画角を示す画角情報を前記撮像装置から逐次取得し、
前記位置情報及び前記画角情報を基に、前記クレーンにおける前記撮像装置の撮像範囲を示す撮像範囲画像を生成し、
前記撮像範囲画像に前記クレーンを示すクレーン画像を重ねて処理画像を生成して撮像範囲表示部に表示させることを特徴とするクレーンの運転支援方法。 A method for supporting the operation of a crane, for supporting the operation of a crane including an imaging device for sequentially capturing images of the surroundings,
Sequentially acquiring the current position in the crane of the imaging device as position information,
The image captured by the image capturing device is acquired and displayed on the image display unit,
The position information is sequentially acquired, and the angle-of-view information indicating the angle of view of the imaging device is sequentially acquired from the imaging device.
Based on the position information and the angle of view information, to generate an imaging range image showing the imaging range of the imaging device in the crane,
A driving support method for a crane, characterized in that a processed image is generated by superimposing a crane image showing the crane on the imaging range image and displayed on the imaging range display unit. 前記処理画像を生成する際に、
前記クレーンが走行中であるか否かを前記クレーンの走行装置の駆動の有無から判断し、
前記クレーンが走行中であると判断した場合は、前記処理画像として前記クレーンの走行方向に直交する方向から見た画像を生成し、
走行中でないと判断した場合は、前記処理画像として、前記クレーンの走行方向から見た図を生成する請求項６に記載のクレーンの運転支援方法。 When generating the processed image,
Judge whether the crane is traveling from the presence or absence of driving of the traveling device of the crane,
If it is determined that the crane is traveling, to generate an image viewed from a direction orthogonal to the traveling direction of the crane as the processed image,
The driving support method for a crane according to claim 6, wherein when it is determined that the crane is not traveling, a diagram viewed from the traveling direction of the crane is generated as the processed image.
JP2019015696A 2019-01-31 2019-01-31 Crane operation support system and operation support method. Active JP6881781B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019015696A JP6881781B2 (en) 2019-01-31 2019-01-31 Crane operation support system and operation support method.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019015696A JP6881781B2 (en) 2019-01-31 2019-01-31 Crane operation support system and operation support method.

Publications (2)

Publication Number Publication Date
JP2020121871A true JP2020121871A (en) 2020-08-13
JP6881781B2 JP6881781B2 (en) 2021-06-02

Family

ID=71992106

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019015696A Active JP6881781B2 (en) 2019-01-31 2019-01-31 Crane operation support system and operation support method.

Country Status (1)

Country Link
JP (1) JP6881781B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06312894A (en) * 1993-04-28 1994-11-08 Mitsubishi Heavy Ind Ltd Operating device for crane
JP2008005450A (en) * 2006-06-20 2008-01-10 Kubo Tex Corp Method of grasping and controlling real-time status of video camera utilizing three-dimensional virtual space
US20140107971A1 (en) * 2011-05-20 2014-04-17 Optilift As System, Device And Method For Tracking Position And Orientation Of Vehicle, Loading Device And Cargo In Loading Device Operations

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06312894A (en) * 1993-04-28 1994-11-08 Mitsubishi Heavy Ind Ltd Operating device for crane
JP2008005450A (en) * 2006-06-20 2008-01-10 Kubo Tex Corp Method of grasping and controlling real-time status of video camera utilizing three-dimensional virtual space
US20140107971A1 (en) * 2011-05-20 2014-04-17 Optilift As System, Device And Method For Tracking Position And Orientation Of Vehicle, Loading Device And Cargo In Loading Device Operations

Also Published As

Publication number Publication date
JP6881781B2 (en) 2021-06-02

Similar Documents

Publication Publication Date Title
US9667923B2 (en) Camera attitude detection device and work region line display device
US10491818B2 (en) Work vehicle with monitor to display overhead image of work vehicle, and image displaying method for displaying overhead image of work vehicle
CN110088035B (en) Crane with a movable crane
EP2003018A2 (en) Camera system and mechanical apparatus
JP6017691B2 (en) Information presenting apparatus, crane system and information presenting method
CN111204662A (en) System for recognizing state parameters, hoisting positioning system and hoisting equipment
JP5971994B2 (en) Crane work monitoring device
CN111943050B (en) Guide information display device, crane having the same, and guide information display method
JP2013159257A (en) Surrounding monitoring apparatus for transporter vehicle
JP5380747B2 (en) Monitoring system and monitoring method under suspended load
KR101243455B1 (en) Navigation system for tower crane
JP2015139158A (en) Heavy machine periphery monitoring device
JP2014161087A (en) Work vehicle periphery monitoring system and work vehicle
JPH06312894A (en) Operating device for crane
JP5595822B2 (en) Image generation system
JP2012030948A (en) Image generation system
JP2020121871A (en) Driving support system and driving support method of crane
JP2006256848A (en) Cargo handling support method and cargo handling support system
JP7351231B2 (en) Hanging load monitoring device, crane, hanging load monitoring method and program
JP6686561B2 (en) Crane operation support device
JP6879618B2 (en) Crane operation support system and operation support method
JP2019218198A (en) Operation support system
JP7345335B2 (en) Crane operation support system and crane operation support method
JP6979863B2 (en) Crane system and image compositing equipment
JP4365246B2 (en) Container lifting operation support method and container spreader positioning device

Legal Events

Date Code Title Description
A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20200305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210423

R150 Certificate of patent or registration of utility model

Ref document number: 6881781

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250