JP7505292B2

JP7505292B2 - Mobile Crane

Info

Publication number: JP7505292B2
Application number: JP2020107897A
Authority: JP
Inventors: 浩平元木
Original assignee: Tadano Ltd
Current assignee: Tadano Ltd
Filing date: 2020-06-23
Publication date: 2024-06-25
Anticipated expiration: 2040-06-23

Description

本発明は、移動式クレーンに関する。 The present invention relates to a mobile crane.

従来、移動式クレーンにおいて、柱部材等を設置する場合、移動式クレーンは、柱部材等の端部をクレーンのフックに玉掛けした状態で設置位置まで搬送する。柱部材等は、長手方向を略鉛直方向に向けた設置時の状態に近い姿勢で搬送される。設置位置まで搬送された柱部材等は、設置位置に配置され、建方ベース等によって傾き等が調整される。アンカーボルトで設置位置に固定された柱部材等は、玉掛けワイヤーが緩められ、クレーンから分離される。一方、移動式クレーンは、柱部材の長手方向を略水平方向に向けた姿勢で搬送する場合、設置位置で柱部材の長手方向を略鉛直方向に向ける立て起こしを部材立て起こし装置によって行う。これにより、移動式クレーンは、柱部材を設置時の状態と異なる姿勢で搬送することができる。例えば、特許文献１の如くである。 Conventionally, when a mobile crane is used to install a column member or the like, the mobile crane transports the column member or the like to the installation position with the end of the column member or the like slinging on the crane hook. The column member or the like is transported in a posture close to the state at the time of installation, with its longitudinal direction oriented in a substantially vertical direction. The column member or the like transported to the installation position is placed at the installation position, and its inclination is adjusted using an erection base or the like. The column member or the like fixed to the installation position with an anchor bolt has its sling wire loosened and is separated from the crane. On the other hand, when the mobile crane transports the column member in a posture with its longitudinal direction oriented in a substantially horizontal direction, the column member is raised at the installation position so that its longitudinal direction is oriented in a substantially vertical direction using a member raising device. This allows the mobile crane to transport the column member in a posture different from the state at the time of installation. For example, see Patent Document 1.

特許文献１に記載の部材立て起こし装置は、ワイヤーを巻き取ることで内部に格納する円筒状の本体と、前記本体の内部に設けられ、前記ワイヤーを巻き取り可能な回転軸と、ラチェット機構と、ロータリーダンパーと、前記ワイヤーを前記回転軸に巻き取るように付勢するぜんまいばねと、前記回転軸の回転位置を保持可能なブレーキ機構を備えている。前記部材立て起こし装置は、前記本体から前記回転軸に巻き付けられているワイヤーが任意の長さだけ繰り出しまたは繰り入れ可能に構成されている。前記部材立て起こし装置は、一方の端部が移動式クレーンのフックに吊るされた柱部材の他方の端部と移動式クレーンのフックとを連結している。柱部材は、前記部材立て起こし装置の本体に巻き取られているワイヤーが柱部材の自重によって繰り出されることで柱部材の他方の端部が下方に降ろされる。これにより、前記部材立て起こし装置は、柱部材の立て起こしを行うことができる。 The member erecting device described in Patent Document 1 includes a cylindrical main body that stores the wire by winding it up inside, a rotating shaft that is provided inside the main body and can wind up the wire, a ratchet mechanism, a rotary damper, a power spring that urges the wire to be wound around the rotating shaft, and a brake mechanism that can hold the rotational position of the rotating shaft. The member erecting device is configured so that the wire wound around the rotating shaft from the main body can be reeled in or out by any length. The member erecting device connects one end of a pillar member, the other end of which is hung from the hook of a mobile crane, to the hook of the mobile crane. The wire wound around the main body of the member erecting device is reeled out by the weight of the pillar member, and the other end of the pillar member is lowered downward. This allows the member erecting device to erect the pillar member.

しかし、特許文献１に記載の部材立て起こし装置では、柱部材の他方の端部を下方に降ろして柱部材の長手方向を略鉛直方向に向けることができるが、柱部材の一方の端部の玉掛け位置によっては、柱部材が鉛直な姿勢に立て起こされない。移動式クレーンは、部材立て起こし装置を用いて柱部材を立て起こしても柱部材が鉛直な姿勢に立て起こされているかどうか判定できない問題があった。 However, with the member erecting device described in Patent Document 1, the other end of the pillar member can be lowered downward to orient the longitudinal direction of the pillar member in a substantially vertical direction, but depending on the slinging position of one end of the pillar member, the pillar member may not be erected in a vertical position. Mobile cranes have a problem in that even if a pillar member is erected using a member erecting device, it is not possible to determine whether the pillar member is erected in a vertical position.

特開２０１８－３１１７７号公報JP 2018-31177 A

本発明の目的は、荷物の姿勢が任意の姿勢を基準とする所定の範囲内に含まれているか判定することができる移動式クレーンの提供を目的とする。 The objective of the present invention is to provide a mobile crane that can determine whether the posture of a load is within a predetermined range based on an arbitrary posture.

本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。 The problem that the present invention aims to solve is as described above, and the means for solving this problem will be explained next.

即ち、第１の発明は、旋回台に起伏自在のブームが設けられた移動式クレーンであって、前記ブームと、前記ブームからウインチによって繰り出しおよび繰り入れ自在に構成されているフックと、の少なくとも一方に設けられる撮影装置と、前記撮影装置が撮影した画像を解析する画像処理装置と、を備える。 That is, the first invention is a mobile crane having a boom that can be raised and lowered on a rotating base, comprising a camera device provided on at least one of the boom and a hook that can be extended and retracted from the boom by a winch, and an image processing device that analyzes images captured by the camera device.

前記撮影装置は、搬送される荷物を撮影し、前記画像処理装置は、自立している前記荷物の画像の少なくとも一部を前記荷物の姿勢を算出するための基準画像として取得し、前記撮影装置が撮影した前記荷物を含む画像を取得し、前記荷物を含む画像から前記基準画像に該当する判定画像を検出し、前記基準画像に対する前記判定画像の歪み量から前記撮影装置が撮影した際の前記荷物が自立する姿勢か傾倒する姿勢かを判定する。
The photographing device photographs the luggage being transported, and the image processing device acquires at least a portion of an image of the free-standing luggage as a reference image for calculating the posture of the luggage, acquires an image including the luggage photographed by the photographing device, detects a determination image corresponding to the reference image from the image including the luggage, and determines whether the luggage was in a free-standing or tilted posture when photographed by the photographing device based on the amount of distortion of the determination image relative to the reference image.

第３の発明において、前記画像処理装置は、自立している前記荷物の画像の少なくとも一部を前記基準画像として、前記基準画像に対する前記判定画像の歪み量から前記撮影装置が撮影した際の前記荷物の傾倒方向を算出する。 In a third invention, the image processing device uses at least a portion of an image of the freestanding luggage as the reference image, and calculates the tilt direction of the luggage when captured by the imaging device from the amount of distortion of the determination image relative to the reference image.

第４の発明において、前記ウインチを制御する制御装置をさらに備え、前記制御装置は、前記荷ウインチの状態から前記フックに吊り下げられている前記荷物が接地していると判定し、且つ前記画像処理装置から前記荷物が傾倒している旨の信号を取得すると、前記ウインチを停止させる。 In the fourth invention, a control device is further provided for controlling the winch, and the control device stops the winch when it determines from the state of the load winch that the load suspended from the hook is on the ground and receives a signal from the image processing device indicating that the load is tilted.

第５の発明において、前記基準画像は、前記荷物に設けられたマーカを含む画像である。 In the fifth invention, the reference image is an image that includes a marker attached to the luggage.

第６の発明において、前記基準画像は、前記荷物における複数の特徴点を含む画像である。 In the sixth invention, the reference image is an image that includes multiple feature points of the luggage.

本発明は、以下に示すような効果を奏する。 The present invention has the following advantages:

第１の発明において、移動式クレーンの画像処理装置は、撮影装置によって撮影されたに荷物の画像から、予め取得している前記荷物の姿勢を算出するための基準となる基準画像に該当する部分を判定画像として検出する。前記画像処理装置は、前記基準画像に対する前記判定画像のひずみ量から前記基準画像を撮影した際の前記荷物の姿勢と現在の前記荷物の姿勢との差異を算出する。つまり、前記移動式クレーンは、ジャイロセンサ等によって前記荷物の姿勢についての絶対値を計測することなく、前記基準画像を撮影した際の前記荷物の姿勢に対する現在の前記荷物の姿勢の相対値を算出する。これにより、前記移動式クレーンは、前記荷物の姿勢が任意の姿勢を基準とする所定の範囲内に含まれているか判定することができる。 In the first invention, the image processing device of the mobile crane detects, as a judgment image, a portion of an image of the luggage captured by an image capture device that corresponds to a reference image that serves as a reference for calculating the posture of the luggage, which has been acquired in advance. The image processing device calculates the difference between the posture of the luggage when the reference image was captured and the current posture of the luggage from the amount of distortion of the judgment image relative to the reference image. In other words, the mobile crane calculates the relative value of the current posture of the luggage to the posture of the luggage when the reference image was captured, without measuring the absolute value of the posture of the luggage using a gyro sensor or the like. This allows the mobile crane to determine whether the posture of the luggage is within a predetermined range based on an arbitrary posture.

第２の発明において、移動式クレーンの画像処理装置は、自立している状態の荷物の画像の少なくとも一部を任意に定めた基準画像として、撮影装置によって撮影された現在の前記荷物の姿勢の相対値を算出する。つまり、前記移動式クレーンは、前記撮影装置が撮影した現在の前記荷物が自立可能な姿勢かどうかを算出する。これにより、前記移動式クレーンは、前記荷物の姿勢が任意の姿勢を基準とする所定の範囲内に含まれているか判定することができる。 In the second invention, the image processing device of the mobile crane calculates the relative value of the current posture of the load captured by the camera using at least a portion of the image of the load in a free-standing state as an arbitrarily defined reference image. In other words, the mobile crane calculates whether the current posture of the load captured by the camera is such that it can stand on its own. This allows the mobile crane to determine whether the posture of the load is within a predetermined range based on an arbitrary posture.

第３の発明において、移動式クレーンの画像処理装置は、基準画像に対する判定画像の歪みの状態から撮影装置が撮影した現在の前記荷物の傾倒方向を算出することができる。これにより、前記移動式クレーンは、前記荷物の姿勢が任意の姿勢を基準とする所定の範囲内に含まれているか判定するだけでなく、前記荷物を自立させるために必要な前記荷物の移動方向を算出することができる。 In the third invention, the image processing device of the mobile crane can calculate the current tilt direction of the load captured by the image capture device from the state of distortion of the judgment image relative to the reference image. This allows the mobile crane to not only determine whether the posture of the load is within a predetermined range based on an arbitrary posture, but also to calculate the movement direction of the load required to make the load stand upright.

第４の発明において、移動式クレーンは、荷物が自立できる範囲を超えて傾倒している姿勢で接地された場合、接地による前記荷物の姿勢の変化を抑制することができる。これにより、前記移動式クレーンは、前記荷物の姿勢が任意の姿勢を基準とする所定の範囲内に含まれているか判定するだけでなく、前記荷物を自立させるために必要な操作を作業者に提示することができる。 In the fourth invention, when a load is landed in a tilted position beyond the range in which the load can stand on its own, the mobile crane can suppress changes in the load's position due to the load being landed. This allows the mobile crane to not only determine whether the load's position is within a predetermined range based on an arbitrary position, but also to present to the worker the operations required to make the load stand on its own.

第５の発明において、移動式クレーンの画像処理装置は、撮影装置によって撮影されたに荷物の画像から、マーカ画像で構成される判定画像を検出する。前記画像処理装置は、予め取得している前記マーカ画像で構成される基準画像に対する前記判定画像のひずみ量から前記基準画像を撮影した際の前記荷物の姿勢との現在の前記荷物の姿勢との差異を算出する。つまり、前記移動式クレーンは、前記基準画像のマーカ画像と前記判定画像のマーカ画像との対比によって前記基準画像を撮影した際の前記荷物の姿勢に対する現在の前記荷物の姿勢の相対値を算出する。これにより、前記移動式クレーンは、前記荷物の姿勢が任意の姿勢を基準とする所定の範囲内に含まれているか判定することができる。 In the fifth invention, the image processing device of the mobile crane detects a judgment image composed of marker images from an image of the luggage captured by a camera. The image processing device calculates the difference between the luggage's posture when the reference image was captured and the current posture of the luggage from the amount of distortion of the judgment image relative to a reference image composed of the marker images acquired in advance. In other words, the mobile crane calculates the relative value of the luggage's current posture with respect to the luggage's posture when the reference image was captured by comparing the marker image of the reference image with the marker image of the judgment image. This allows the mobile crane to determine whether the posture of the luggage is within a predetermined range based on an arbitrary posture.

第６の発明において、移動式クレーンの画像処理装置は、撮影装置によって撮影されたに荷物の特徴点から判定画像を検出する。前記画像装置は、予め取得している前記基準画像に対する前記判定画像のひずみ量から前記基準画像を撮影した際の前記荷物の姿勢との差異を算出する。つまり、前記移動式クレーンは、前記基準画像と前記判定画像との対比によって前記基準画像を撮影した際の前記荷物の姿勢に対する現在の前記荷物の姿勢の相対値を算出する。これにより、前記移動式クレーンは、前記荷物の姿勢が任意の姿勢を基準とする所定の範囲内に含まれているか判定することができる。 In the sixth invention, the image processing device of the mobile crane detects a judgment image from the characteristic points of the luggage captured by the imaging device. The imaging device calculates the difference between the posture of the luggage when the reference image was captured from the amount of distortion of the judgment image relative to the reference image acquired in advance. In other words, the mobile crane calculates the relative value of the current posture of the luggage to the posture of the luggage when the reference image was captured by comparing the reference image with the judgment image. This allows the mobile crane to determine whether the posture of the luggage is within a predetermined range based on an arbitrary posture.

本発明の第１実施形態に係るクレーンの全体構成を示す側面図。FIG. 1 is a side view showing an overall configuration of a crane according to a first embodiment of the present invention. 本発明の第１実施形態に係るクレーンの制御構成を示すブロック図。FIG. 2 is a block diagram showing a control configuration of the crane according to the first embodiment of the present invention. 本発明の第１実施形態に係るクレーンにおける画像処理装置の制御構成を示すブロック図。FIG. 2 is a block diagram showing a control configuration of an image processing device in the crane according to the first embodiment of the present invention. 図４は本発明の第１実施形態に係るクレーンにおける画像処理装置による基準画像を選択する状態を示す。（Ａ）はメインフックに吊り下げれている荷物を示す斜視図、（Ｂ）は画像処理装置の基準画像保持部における基準画像を選択する状態を示す模式図。4A and 4B are diagrams showing a state in which a reference image is selected by an image processing device in a crane according to a first embodiment of the present invention, in which (A) is a perspective view showing a load suspended from a main hook, and (B) is a schematic diagram showing a state in which a reference image is selected in a reference image holding unit of the image processing device. 本発明の第１実施形態に係る画像処理装置の判定画像検出部が特徴点から判定画像を検出する状態を示す模式図。3 is a schematic diagram showing a state in which a decision image detection unit of the image processing apparatus according to the first embodiment of the present invention detects a decision image from feature points. 図６は本発明の第１実施形態に係るクレーンにおける画像処理装置による荷物の傾倒方向と傾倒量を算出する状態を示す。（Ａ）は画像処理装置の姿勢判定部における判定画像の歪み量を算出している状態を示す模式図、（Ｂ）は荷物Ｗの傾倒量を示す模式図。6A and 6B show a state in which the image processing device in the crane according to the first embodiment of the present invention calculates the tilt direction and tilt amount of the luggage W. (A) is a schematic diagram showing a state in which the distortion amount of the determined image is calculated in the posture determination unit of the image processing device, and (B) is a schematic diagram showing the tilt amount of the luggage W. 本発明の第１実施形態に係る画像処理装置の姿勢判定部における荷物Ｗの傾倒方向と傾倒量の表示状態を示す模式図。5A and 5B are schematic diagrams showing a display state of the tilt direction and tilt amount of the luggage W in the attitude determination unit of the image processing device according to the first embodiment of the present invention. 本発明の第１実施形態に係るクレーンにおける画像処理装置での制御の態様を示すフローチャート図。FIG. 4 is a flowchart showing a control mode of the image processing device in the crane according to the first embodiment of the present invention. 本発明の第２実施形態に係るクレーンにおける画像処理装置の制御構成を示すブロック図。FIG. 11 is a block diagram showing a control configuration of an image processing device in a crane according to a second embodiment of the present invention. 図１０は本発明の第２実施形態に係る画像処理装置の画像処理の状態を示す。（Ａ）は基準マーカ画像保持部が保持している基準マーカ画像を示す図、（Ｂ）は画像処理装置の姿勢判定部における荷物Ｗの傾倒方向と傾倒量の表示状態を示す模式図。10A and 10B show the image processing state of the image processing device according to the second embodiment of the present invention, in which (A) is a diagram showing a reference marker image stored in a reference marker image storage unit, and (B) is a schematic diagram showing the display state of the tilt direction and tilt amount of the luggage W in the posture determination unit of the image processing device.

以下に、図１と図２とを用いて、本発明の第１実施形態に係る移動式クレーン（ラフテレーンクレーン）であるクレーン１について説明する。なお、本実施形態においては、ラフテレーンクレーンついて説明を行うが、オールテレーンクレーン、トラッククレーン、積載型トラッククレーン等でもよい。 Below, using Figures 1 and 2, we will explain crane 1, which is a mobile crane (rough terrain crane) according to the first embodiment of the present invention. Note that in this embodiment, we will explain a rough terrain crane, but it may also be an all-terrain crane, a truck crane, a loaded truck crane, etc.

図１に示すように、クレーン１は、不特定の場所に移動可能な移動式クレーンである。クレーン１は、車両２、クレーン装置６、画像処理装置２５、制御装置２９を有する。 As shown in FIG. 1, the crane 1 is a mobile crane that can be moved to any location. The crane 1 has a vehicle 2, a crane device 6, an image processing device 25, and a control device 29.

車両２は、クレーン装置６を搬送する走行体である。車両２は、複数の車輪３を有し、エンジン４を動力源として走行する。車両２には、アウトリガ５が設けられている。アウトリガ５は、車両２の幅方向両側に油圧によって延伸可能な張り出しビームと地面に垂直な方向に延伸可能な油圧式のジャッキシリンダとから構成されている。 The vehicle 2 is a vehicle that transports the crane device 6. The vehicle 2 has multiple wheels 3 and runs using an engine 4 as a power source. The vehicle 2 is provided with outriggers 5. The outriggers 5 are composed of an extension beam that can be hydraulically extended on both sides in the width direction of the vehicle 2, and a hydraulic jack cylinder that can be extended in a direction perpendicular to the ground.

クレーン装置６は、荷物Ｗをワイヤロープによって吊り上げる作業装置である。クレーン装置６は、旋回台７、ブーム９、ジブ９ｂ、メインフックブロック１０、サブフックブロック１１、起伏用油圧シリンダ１２、メインウインチ１３、メインワイヤロープ１４、サブウインチ１５、サブワイヤロープ１６およびキャビン１８等を具備する。 The crane device 6 is a work device that hoists cargo W with a wire rope. The crane device 6 includes a swivel base 7, a boom 9, a jib 9b, a main hook block 10, a sub-hook block 11, a hydraulic cylinder 12 for raising and lowering the load, a main winch 13, a main wire rope 14, a sub-winch 15, a sub-wire rope 16, and a cabin 18.

旋回台７は、クレーン装置６を旋回可能に構成する回転装置である。旋回台７は、円環状の軸受を介して車両２のフレーム上に設けられる。旋回台７は、円環状の軸受の中心を回転中心として回転自在に構成されている。旋回台７には、アクチュエータである油圧式の旋回用油圧モータ８が設けられている。旋回台７は、旋回用油圧モータ８によって一方向と他方向とに旋回可能に構成されている。 The swivel table 7 is a rotating device that allows the crane device 6 to rotate. The swivel table 7 is mounted on the frame of the vehicle 2 via annular bearings. The swivel table 7 is configured to be freely rotatable around the center of the annular bearing. The swivel table 7 is provided with a hydraulic swivel motor 8, which is an actuator. The swivel table 7 is configured to be swivelable in one direction and the other direction by the swivel hydraulic motor 8.

ブーム９は、荷物Ｗを吊り上げ可能な状態にワイヤロープを支持する可動支柱である。ブーム９は、複数のブーム部材から構成されている。ブーム９は、ベースブーム部材の基端が旋回台７の略中央に起伏自在に設けられている。ブーム９は、各ブーム部材をアクチュエータである伸縮用油圧シリンダ９ａ（図２参照）で移動させることで軸方向に伸縮自在に構成されている。また、ブーム９には、ジブ９ｂが設けられている。 The boom 9 is a movable support that supports the wire rope so that it can hoist the cargo W. The boom 9 is made up of multiple boom members. The base end of the base boom member of the boom 9 is mounted approximately at the center of the swivel base 7 so that it can be raised and lowered. The boom 9 is configured to be able to be extended and retracted in the axial direction by moving each boom member with an actuator, an extension hydraulic cylinder 9a (see Figure 2). The boom 9 is also provided with a jib 9b.

撮影装置であるブームカメラ９ｃ（図２参照）は、荷物Ｗおよび荷物Ｗ周辺の地物等を撮影するものである。ブームカメラ９ｃは、ブーム９の先端部に設けられている。ブームカメラ９ｃは、荷物Ｗの鉛直上方から荷物Ｗおよびクレーン１周辺の地物や地形を撮影可能に構成されている。ブームカメラ９ｃは、撮影した画像を画像処理装置２５に送信することができる。 The imaging device, boom camera 9c (see FIG. 2), images the luggage W and the features around the luggage W. Boom camera 9c is provided at the tip of the boom 9. Boom camera 9c is configured to be able to image the luggage W and the features and topography around the crane 1 from vertically above the luggage W. Boom camera 9c can transmit the captured images to image processing device 25.

メインフックブロック１０とサブフックブロック１１とは、荷物Ｗを吊るものである。メインフックブロック１０には、メインワイヤロープ１４が巻き掛けられる複数のフックシーブと、荷物Ｗを吊るメインフック１０ａとが設けられている。サブフックブロック１１には、荷物Ｗを吊るサブフック１１ａが設けられている。 The main hook block 10 and the sub-hook block 11 are used to suspend cargo W. The main hook block 10 is provided with multiple hook sheaves around which the main wire rope 14 is wound, and a main hook 10a for suspending cargo W. The sub-hook block 11 is provided with a sub-hook 11a for suspending cargo W.

起伏用油圧シリンダ１２は、ブーム９を起立および倒伏させ、ブーム９の姿勢を保持するアクチュエータである。起伏用油圧シリンダ１２は、シリンダ部の端部が旋回台７に揺動自在に連結され、ロッド部の端部がブーム９のベースブーム部材に揺動自在に連結されている。 The hoisting hydraulic cylinder 12 is an actuator that raises and lowers the boom 9 and maintains the position of the boom 9. The end of the cylinder section of the hoisting hydraulic cylinder 12 is swingably connected to the swivel base 7, and the end of the rod section is swingably connected to the base boom member of the boom 9.

メインウインチ１３とサブウインチ１５とは、メインワイヤロープ１４とサブワイヤロープ１６との繰り入れ（巻き上げ）および繰り出し（巻き下げ）を行うものである。メインウインチ１３は、メインワイヤロープ１４が巻きつけられるメインドラムがアクチュエータである図示しないメイン用油圧モータによって回転され、サブウインチ１５は、サブワイヤロープ１６が巻きつけられるサブドラムがアクチュエータである図示しないサブ用油圧モータによって回転されるように構成されている。メインウインチ１３とサブウインチ１５とには、重量センサ１７が設けられている。重量センサ１７は、メインフック１０ａまたはサブフック１１ａの吊り荷荷重を検出する。 The main winch 13 and the sub winch 15 are used to wind up (hoist up) and unwind (lower down) the main wire rope 14 and the sub wire rope 16. The main winch 13 is configured so that the main drum around which the main wire rope 14 is wound is rotated by a main hydraulic motor (not shown) which serves as an actuator, and the sub winch 15 is configured so that the sub drum around which the sub wire rope 16 is wound is rotated by a sub hydraulic motor (not shown) which serves as an actuator. The main winch 13 and the sub winch 15 are provided with weight sensors 17. The weight sensors 17 detect the load of the load suspended by the main hook 10a or the sub hook 11a.

キャビン１８は、操縦席を覆う筐体である。キャビン１８は、旋回台７に搭載されている。図示しない操縦席が設けられている。操縦席には、車両２を走行操作するための走行用操作具１９やクレーン装置６を操作するためのクレーン装置用操作具２０等が設けられている（図２参照）。 The cabin 18 is a housing that covers the driver's seat. The cabin 18 is mounted on the swivel base 7. A driver's seat (not shown) is also provided. The driver's seat is provided with a travel operating tool 19 for operating the vehicle 2 and a crane device operating tool 20 for operating the crane device 6 (see FIG. 2).

図２に示すように、ＧＮＳＳ受信機２１は、全球測位衛星システム（ＧｌｏｂａｌＮａｖｉｇａｔｉｏｎＳａｔｅｌｌｉｔｅＳｙｓｔｅｍ）を構成する受信機であって、衛星から測距電波を受信し、受信機の座標である緯度、経度、標高を算出するものである。ＧＮＳＳ受信機２１は、ブーム９の先端に設けられている。クレーン１は、ＧＮＳＳ受信機２１によって、ブーム９の先端の座標を取得することができる。 As shown in FIG. 2, the GNSS receiver 21 is a receiver that constitutes the Global Navigation Satellite System, and receives ranging radio waves from satellites to calculate the receiver's coordinates, which are latitude, longitude, and altitude. The GNSS receiver 21 is provided at the tip of the boom 9. The crane 1 can obtain the coordinates of the tip of the boom 9 by using the GNSS receiver 21.

撮影装置であるフックカメラ２２は、荷物Ｗの姿勢等を測定するための画像を撮影する機器である。フックカメラ２２は、磁石等によりメインフックブロック１０とサブフックブロック１１とのうち、使用するフックブロックに着脱自在に設けられている。本実施形態において、フックカメラ２２は、メインフックブロック１０に設けられているものとする。フックカメラ２２は、撮影した荷物Ｗの画像を、通信機２３を介して画像処理装置２５に送信することができる。なお、フックカメラ２２は、メインフックブロック１０とサブフックブロック１１とのうち、少なくとも一つに組み込まれていてもよい。 The hook camera 22, which is an imaging device, is a device that captures images to measure the posture, etc., of the luggage W. The hook camera 22 is detachably attached to the hook block to be used, either the main hook block 10 or the sub-hook block 11, by a magnet or the like. In this embodiment, the hook camera 22 is provided on the main hook block 10. The hook camera 22 can transmit the captured image of the luggage W to the image processing device 25 via the communication device 23. The hook camera 22 may be incorporated in at least one of the main hook block 10 and the sub-hook block 11.

通信機２３は、画像データや制御信号を送受信するものである。通信機２３は、キャビン１８に設けられている。通信機２３は、ブームカメラ９ｃ及びフックカメラ２２が撮影した画像のデータを受信することができる。また、通信機２３は、外部のサーバー等で運用されているＢＩＭ（ｂｕｉｌｄｉｎｇｉｎｆｏｒｍａｔｉｏｎｍｏｄｅｌｉｎｇ）から荷物Ｗの情報や構造物の３次元データを取得することができる。また、通信機２３は、表示装置２４から入力された制御信号を受信することができる。通信機２３は、画像、３次元データ、制御信号を受信すると図示しない通信線を介して画像処理装置２５に送信するように構成されている。また、通信機２３は、画像処理装置２５からの制御情報をブームカメラ９ｃおよびフックカメラ２２に送信するように構成されている。 The communicator 23 transmits and receives image data and control signals. The communicator 23 is provided in the cabin 18. The communicator 23 can receive image data captured by the boom camera 9c and the hook camera 22. The communicator 23 can also obtain information on the luggage W and three-dimensional data on structures from BIM (building information modeling) operated on an external server or the like. The communicator 23 can also receive control signals input from the display device 24. When the communicator 23 receives an image, three-dimensional data, or a control signal, it is configured to transmit the received image, three-dimensional data, or control signal to the image processing device 25 via a communication line (not shown). The communicator 23 is also configured to transmit control information from the image processing device 25 to the boom camera 9c and the hook camera 22.

表示装置２４は、ブームカメラ９ｃおよびフックカメラ２２からの画像や画像処理された画像等を表示する装置である。表示装置２４は、キャビン１８内に設けられている。また、表示装置２４は、ブームカメラ９ｃ、フックカメラ２２、画像処理装置２５に制御信号を入力可能なタッチパネル等の入力装置として構成されている。また、表示装置２４は、通信機能を有し、携帯可能に構成されている。すなわち、表示装置２４は、荷物Ｗの設置場所において、作業者が荷物Ｗの上方からの画像を確認できるように構成されている。 The display device 24 is a device that displays images from the boom camera 9c and hook camera 22, processed images, etc. The display device 24 is provided inside the cabin 18. The display device 24 is also configured as an input device such as a touch panel that can input control signals to the boom camera 9c, hook camera 22, and image processing device 25. The display device 24 also has a communication function and is configured to be portable. In other words, the display device 24 is configured so that the worker can check an image of the luggage W from above at the location where the luggage W is placed.

画像処理装置２５は、ブームカメラ９ｃおよびフックカメラ２２が撮影した画像を解析する。画像処理装置２５は、実体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等がバスで接続される構成であってもよく、あるいはワンチップのＬＳＩ等からなる構成であってもよい。画像処理装置２５は、各ブームカメラ９ｃ、フックカメラ２２等の動作を制御したり画像データを処理したりするために種々のプログラムおよびデータが格納されている。画像処理装置２５は、ブームカメラ９ｃおよびフックカメラ２２からの画像データから特定画像の検出、特徴点の算出等の画像処理を行う。なお、画像処理装置２５は、制御装置２９と一体に構成されていてもよい。 The image processing device 25 analyzes the images captured by the boom camera 9c and the hook camera 22. The image processing device 25 may be configured with a CPU, ROM, RAM, HDD, etc. connected via a bus, or may be configured with a one-chip LSI, etc. The image processing device 25 stores various programs and data for controlling the operation of each boom camera 9c, hook camera 22, etc. and for processing image data. The image processing device 25 performs image processing such as detecting specific images and calculating feature points from image data from the boom camera 9c and hook camera 22. The image processing device 25 may be configured integrally with the control device 29.

画像処理装置２５は、制御装置２９を介してブームカメラ９ｃおよびフックカメラ２２が撮影した画像データを取得することができる。また、画像処理装置２５は、制御装置２９を介してブームカメラ９ｃおよびフックカメラ２２に制御信号を送信することができる。なお、画像処理装置２５は、通信機２３と接続され、ブームカメラ９ｃおよびフックカメラ２２と無線または有線で接続される構成でもよい。 The image processing device 25 can acquire image data captured by the boom camera 9c and the hook camera 22 via the control device 29. The image processing device 25 can also transmit control signals to the boom camera 9c and the hook camera 22 via the control device 29. The image processing device 25 can be connected to the communication device 23 and can be connected to the boom camera 9c and the hook camera 22 wirelessly or via a wire.

画像処理装置２５は、制御装置２９を介して表示装置２４に接続されている。画像処理装置２５は、表示装置２４から入力される操作信号を取得することができる。画像処理装置２５は、制御装置２９を介して表示装置２４に画像処理後の画像を送信することができる。 The image processing device 25 is connected to the display device 24 via the control device 29. The image processing device 25 can acquire an operation signal input from the display device 24. The image processing device 25 can transmit an image after image processing to the display device 24 via the control device 29.

制御装置２９は、クレーン１の各アクチュエータを制御する。制御装置２９は、キャビン１８内に設けられている。制御装置２９は、実体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等がバスで接続される構成であってもよく、あるいはワンチップのＬＳＩ等からなる構成であってもよい。制御装置２９は、各アクチュエータや切換え弁、センサ等の動作を制御したり画像データを処理したりするために種々のプログラムおよびデータが格納されている。 The control device 29 controls each actuator of the crane 1. The control device 29 is provided in the cabin 18. The control device 29 may be configured with a CPU, ROM, RAM, HDD, etc. connected via a bus, or may be configured with a one-chip LSI, etc. The control device 29 stores various programs and data for controlling the operation of each actuator, switching valve, sensor, etc., and for processing image data.

制御装置２９は、走行用操作具１９およびクレーン装置用操作具２０に接続されている。制御装置２９は、走行用操作具１９、クレーン装置用操作具２０のそれぞれの操作量を取得することができる。制御装置２９は、走行用操作具１９の操作により生成される操作信号に基づいて、車両２の制御信号を生成する。同様に、制御装置２９は、クレーン装置用操作具２０の操作により生成される操作信号に基づいて、クレーン装置６の制御信号を生成する。 The control device 29 is connected to the traveling operation tool 19 and the crane operation tool 20. The control device 29 can acquire the operation amounts of each of the traveling operation tool 19 and the crane operation tool 20. The control device 29 generates a control signal for the vehicle 2 based on an operation signal generated by the operation of the traveling operation tool 19. Similarly, the control device 29 generates a control signal for the crane 6 based on an operation signal generated by the operation of the crane operation tool 20.

制御装置２９は、重量センサ１７に接続されている。制御装置２９は、重量センサ１７の検出信号からメインフック１０ａまたはサブフック１１ａの吊り荷荷重を算出することができる。また、制御装置２９は、重量センサ１７の検出信号の変化から荷物Ｗが接地したか否かを判定することができる。 The control device 29 is connected to the weight sensor 17. The control device 29 can calculate the load of the main hook 10a or the sub-hook 11a from the detection signal of the weight sensor 17. The control device 29 can also determine whether the cargo W has landed on the ground from a change in the detection signal of the weight sensor 17.

制御装置２９は、ＧＮＳＳ受信機２１に接続されている。制御装置２９は、ＧＮＳＳ受信機２１の検出信号からブーム０の先端の絶対座標を取得することができる。つまり、制御装置２９は、ＧＮＳＳ受信機２１の検出信号からメインフック１０ａに吊り下げられいる荷物Ｗの鉛直上方の絶対座標を検出することができる。 The control device 29 is connected to the GNSS receiver 21. The control device 29 can obtain the absolute coordinates of the tip of the boom 0 from the detection signal of the GNSS receiver 21. In other words, the control device 29 can detect the absolute coordinates vertically above the luggage W suspended from the main hook 10a from the detection signal of the GNSS receiver 21.

制御装置２９は、通信機２３に接続されている。制御装置２９は、通信機２３を介してブームカメラ９ｃおよびフックカメラ２２からの画像を取得することができる。また制御装置２９は、通信機２３を介してブームカメラ９ｃおよびフックカメラ２２に制御信号を送信することができる。また、制御装置２９は、通信機２３を介してＢＩＭから荷物Ｗの情報や構造物の３次元データを取得することができる。 The control device 29 is connected to the communication device 23. The control device 29 can acquire images from the boom camera 9c and the hook camera 22 via the communication device 23. The control device 29 can also transmit control signals to the boom camera 9c and the hook camera 22 via the communication device 23. The control device 29 can also acquire information about the luggage W and three-dimensional data about the structure from the BIM via the communication device 23.

制御装置２９は、表示装置２４に通信機２３を介して無線または有線で接続されている。制御装置２９は、通信機２３を介して表示装置２４から入力される操作信号を取得することができる。制御装置２９は、通信機２３を介して表示装置２４に画像処理後の画像を送信することができる。 The control device 29 is connected to the display device 24 wirelessly or by wire via the communication device 23. The control device 29 can acquire an operation signal input from the display device 24 via the communication device 23. The control device 29 can transmit an image after image processing to the display device 24 via the communication device 23.

制御装置２９は、画像処理装置２５に接続されている。制御装置２９は、画像処理装置２５から制御信号を取得することができる。また、制御装置２９は、画像処理装置２５に重量センサ１７の検出値を送信することができる。 The control device 29 is connected to the image processing device 25. The control device 29 can acquire a control signal from the image processing device 25. The control device 29 can also transmit the detection value of the weight sensor 17 to the image processing device 25.

このように構成されるクレーン１は、走行用操作具１９の操作によって車両２を任意の位置に移動させることができる。また、クレーン１は、クレーン装置用操作具２０の操作によって、起伏用油圧シリンダ１２でブーム９を任意の起伏角度に起立させたり、図示しない伸縮用油圧シリンダ９ａでブーム９を任意のブーム９長さに延伸させたりすることができる。また、クレーン１は、クレーン装置用操作具２０の操作によって、メインウインチ１３等で荷物Ｗを吊り上げたり吊り下げたりすることができる。また、クレーン１は、クレーン装置用操作具２０の操作によって、油圧式の旋回用油圧モータ８で旋回台７を旋回させることができる。 The crane 1 configured in this manner can move the vehicle 2 to any position by operating the travel operating tool 19. In addition, the crane 1 can raise the boom 9 to any hoisting angle using the hoisting hydraulic cylinder 12 and extend the boom 9 to any boom 9 length using the telescopic hydraulic cylinder 9a (not shown) by operating the crane device operating tool 20. In addition, the crane 1 can hoist or lower cargo W using the main winch 13 or the like by operating the crane device operating tool 20. In addition, the crane 1 can rotate the swivel base 7 using the hydraulic swivel motor 8 by operating the crane device operating tool 20.

次に、図３を用いて、クレーン１の画像処理装置２５における荷物Ｗの姿勢の算出について説明する。画像処理装置２５は、基準画像保持部２６、判定画像検出部２７、姿勢判定部２８を有している。 Next, the calculation of the posture of the luggage W in the image processing device 25 of the crane 1 will be described with reference to FIG. 3. The image processing device 25 has a reference image storage unit 26, a judgment image detection unit 27, and a posture judgment unit 28.

図３に示すように、基準画像保持部２６は、画像処理装置２５の一部であり、荷物Ｗ毎に基準画像Ｉｓを予め保持している。基準画像Ｉｓは、荷物Ｗの姿勢を判定するための基準となる画像である。基準画像Ｉｓは、任意に定めた基準姿勢での荷物Ｗの画像の少なくとも一部の画像から構成される。つまり、基準画像Ｉｓは、荷物Ｗの基準姿勢を示す画像である。本実施形態において、基準姿勢は、設置面で自立している荷物Ｗの姿勢とする。また、基準画像Ｉｓは、自立している荷物Ｗを上方から撮影した画像の少なくとも一部から構成されている。 As shown in FIG. 3, the reference image storage unit 26 is part of the image processing device 25, and stores a reference image Is for each piece of luggage W in advance. The reference image Is is an image that serves as a reference for determining the posture of the luggage W. The reference image Is is composed of at least a portion of an image of the luggage W in an arbitrarily determined reference posture. In other words, the reference image Is is an image that shows the reference posture of the luggage W. In this embodiment, the reference posture is the posture of the luggage W standing independently on the placement surface. The reference image Is is also composed of at least a portion of an image of the independently standing luggage W photographed from above.

基準画像保持部２６は、様々な形状の各荷物Ｗについて、基準姿勢における荷物Ｗをブームカメラ９ｃまたはフックカメラ２２等で荷物Ｗの上方から撮影した画像の少なくとも一部を基準画像Ｉｓとして予め保持している。基準画像Ｉｓは、例えば自立した状態で設置場所に設置された荷物Ｗの上端面の形状である。または、基準画像保持部２６は、ＢＩＭから取得した荷物Ｗの３次元データにおいて、基準姿勢における荷物Ｗの上方に相当する方向を視線の方向とする３次元データの少なくとも一部を基準画像Ｉｓとして保持している。 The reference image holding unit 26 holds in advance, as a reference image Is, at least a portion of an image of the luggage W in a reference position taken from above the luggage W by a boom camera 9c or hook camera 22, etc., for each luggage W of various shapes. The reference image Is is, for example, the shape of the top surface of the luggage W placed at the installation location in a free-standing state. Alternatively, the reference image holding unit 26 holds, as the reference image Is, at least a portion of the three-dimensional data of the luggage W acquired from the BIM, in which the line of sight is in a direction corresponding to the top of the luggage W in the reference position.

判定画像検出部２７は、画像処理装置２５の一部であり、現在の荷物Ｗの現在画像Ｉｎから基準画像Ｉｓに該当する部分の画像を判定画像Ｉｊとして検出する。現在画像Ｉｎは、荷物Ｗの現在姿勢を判定するための画像である。つまり、現在画像Ｉｎは、荷物Ｗの現在姿勢を示す画像である。現在姿勢は、荷物Ｗの搬送中の姿勢、接地させた際の姿勢など、メインフック１０ａまたはサブフック１１ａに吊り下げられている状態での姿勢である。判定画像Ｉｊは、荷物Ｗの基準姿勢に対する荷物Ｗの現在姿勢の相対的な姿勢を算出するための画像である。判定画像Ｉｊは、荷物Ｗの現在画像Ｉｎの少なくとも一部の画像から構成される。 The judgment image detection unit 27 is part of the image processing device 25, and detects an image of a portion of the current image In of the current luggage W that corresponds to the reference image Is as a judgment image Ij. The current image In is an image for judging the current posture of the luggage W. In other words, the current image In is an image that shows the current posture of the luggage W. The current posture is the posture of the luggage W while it is being transported, the posture when it is on the ground, etc., while it is hanging from the main hook 10a or the sub hook 11a. The judgment image Ij is an image for calculating the relative posture of the current posture of the luggage W with respect to the reference posture of the luggage W. The judgment image Ij is composed of at least a portion of the current image In of the luggage W.

判定画像検出部２７は、作業者の入力信号に基づいて、基準画像保持部２６から荷物Ｗの基準画像Ｉｓを選択することができる。判定画像検出部２７は、現在の荷物Ｗの上方からブームカメラ９ｃまたはフックカメラ２２が撮影した荷物Ｗの現在画像Ｉｎから、荷物Ｗの基準画像Ｉｓに該当する部分を判定画像Ｉｊとして検出可能に構成されている。なお、判定画像検出部２７は、ブーム９カメラまたはフックカメラ２２が撮影した画像とＢＩＭの情報とから、搬送する荷物Ｗの基準画像Ｉｓを自動的に選択するように構成してもよい。 The judgment image detection unit 27 can select a reference image Is of the luggage W from the reference image storage unit 26 based on an input signal from the worker. The judgment image detection unit 27 is configured to be able to detect, as a judgment image Ij, a portion of the current image In of the luggage W captured by the boom camera 9c or hook camera 22 from above the current luggage W that corresponds to the reference image Is of the luggage W. The judgment image detection unit 27 may be configured to automatically select a reference image Is of the luggage W to be transported based on the image captured by the boom camera 9c or hook camera 22 and information on the BIM.

図に示すように、判定画像検出部２７は、選択した基準画像Ｉｓの特徴点を算出することができる。さらに、判定画像検出部２７は、現在の荷物Ｗの現在画像Ｉｎから特徴点を算出することができる。判定画像検出部２７は、基準画像Ｉｓの特徴点と現在画像Ｉｎの特徴点とを比較し、現在画像Ｉｎから基準画像Ｉｓに該当する部分を判定画像Ｉｊとして検出することができる。なお、判定画像検出部２７は、現在画像Ｉｎの特徴点と基準画像保持部２６が保持している各基準画像Ｉｓの特徴点とを比較して、基準画像Ｉｓを選択するように構成されていてもよい。 As shown in the figure, the judgment image detection unit 27 can calculate feature points of the selected reference image Is. Furthermore, the judgment image detection unit 27 can calculate feature points from the current image In of the current luggage W. The judgment image detection unit 27 can compare the feature points of the reference image Is with the feature points of the current image In, and detect a portion of the current image In that corresponds to the reference image Is as a judgment image Ij. Note that the judgment image detection unit 27 may be configured to compare the feature points of the current image In with the feature points of each reference image Is stored in the reference image storage unit 26, and select the reference image Is.

姿勢判定部２８は、画像処理装置２５の一部であり、荷物Ｗの基準姿勢に対する現在の荷物Ｗの現在姿勢を判定する。姿勢判定部２８は、基準画像Ｉｓと判定画像Ｉｊとの比較から基準画像Ｉｓに対する判定画像Ｉｊの形状、向きおよび傾きを算出可能に構成されている。姿勢判定部２８は、基準画像Ｉｓの各部の座標である第１基準座標Ｓ１（ｘ１、ｙ１）、第２基準座標Ｓ２（ｘ２、ｙ２）・・（以下、単に第ｎ基準座標Ｓｎと記す）と、判定画像Ｉｊの各部の座標である第１判定座標Ｐ１（ｘ１、ｙ１）、第２判定座標Ｐ２（ｘ２、ｙ２）・・（以下、単に第ｎ判定座標Ｐｎと記す）とを算出することができる。姿勢判定部２８は、算出した基準画像Ｉｓの第ｎ基準座標Ｓｎと、第ｎ基準座標Ｓｎに対応する判定画像Ｉｊの第ｎ判定座標Ｐｎから、荷物Ｗの基準姿勢に対する現在の荷物Ｗの相対的な姿勢である現在姿勢を算出することができる。 The posture determination unit 28 is a part of the image processing device 25, and determines the current posture of the luggage W relative to the reference posture of the luggage W. The posture determination unit 28 is configured to be able to calculate the shape, direction, and inclination of the judgment image Ij relative to the reference image Is by comparing the reference image Is with the judgment image Ij. The posture determination unit 28 can calculate the first reference coordinates S1 (x1, y1), the second reference coordinates S2 (x2, y2), etc. (hereinafter simply referred to as the nth reference coordinates Sn) which are the coordinates of each part of the reference image Is, and the first judgment coordinates P1 (x1, y1), the second judgment coordinates P2 (x2, y2), etc. (hereinafter simply referred to as the nth judgment coordinate Pn) which are the coordinates of each part of the judgment image Ij. The attitude determination unit 28 can calculate the current attitude, which is the current attitude of the luggage W relative to the reference attitude of the luggage W, from the calculated nth reference coordinate Sn of the reference image Is and the nth judgment coordinate Pn of the judgment image Ij corresponding to the nth reference coordinate Sn.

また、姿勢判定部２８は、荷物Ｗ毎に、各傾倒方向Ｄにおける自立可能な傾倒量θの限界値を閾値θｔとして有している。姿勢判定部２８は、基準姿勢の鉛直方向に対する現在姿勢の傾倒量θが閾値θｔよりも大きい場合、現在の荷物Ｗが傾倒する可能性があると判定してクレーン装置６に判定結果を送信することができる。また、姿勢判定部２８は、判定結果を色、矢印、数値等で荷物Ｗの現在画像Ｉｎ上に重畳表示することができる。 The posture determination unit 28 also has a threshold value θt, which is the limit value of the amount of tilt θ at which each piece of luggage W can stand on its own in each tilt direction D. If the amount of tilt θ of the current posture relative to the vertical direction of the reference posture is greater than the threshold value θt, the posture determination unit 28 can determine that there is a possibility that the current luggage W may tilt, and transmit the determination result to the crane device 6. The posture determination unit 28 can also superimpose the determination result on the current image In of the luggage W using a color, an arrow, a numerical value, or the like.

次に図４から図７を用いて、画像処理装置２５における荷物Ｗの傾倒方向Ｄと傾倒量θを算出する画像処理について説明する。 Next, using Figures 4 to 7, we will explain the image processing that calculates the tilt direction D and tilt amount θ of the luggage W in the image processing device 25.

図４（Ａ）に示すように、クレーン１は、メインフック１０ａに吊り上げられた荷物Ｗをブームカメラ９ｃまたフックカメラ２２で常時撮影する。クレーン１の画像処理装置２５は、荷物Ｗの現在画像Ｉｎを単位時間毎に取得する。 As shown in FIG. 4(A), the crane 1 constantly photographs the cargo W hoisted by the main hook 10a with the boom camera 9c or the hook camera 22. The image processing device 25 of the crane 1 acquires a current image In of the cargo W every unit time.

図４（Ｂ）に示すように、クレーン１は、メインフック１０ａで荷物Ｗを吊り下げているものとする。画像処理装置２５の判定画像検出部２７は、作業者の入力信号に基づいて、吊り上げられている荷物Ｗの基準画像Ｉｓを基準画像保持部２６から選択する。 As shown in FIG. 4(B), the crane 1 is suspending a load W from the main hook 10a. The judgment image detection unit 27 of the image processing device 25 selects a reference image Is of the load W being hoisted from the reference image storage unit 26 based on an input signal from the operator.

図５に示すように、判定画像検出部２７は、取得した荷物Ｗの現在画像Ｉｎの特徴点と選択した基準画像Ｉｓの特徴点とを算出する。さらに、判定画像検出部２７は、現在画像Ｉｎの特徴点と基準画像Ｉｓの特徴点とを比較し、現在画像Ｉｎから基準画像Ｉｓに該当する判定画像Ｉｊ（網掛け部分）を検出する。 As shown in FIG. 5, the judgment image detection unit 27 calculates the feature points of the acquired current image In of the luggage W and the feature points of the selected reference image Is. Furthermore, the judgment image detection unit 27 compares the feature points of the current image In with the feature points of the reference image Is, and detects a judgment image Ij (shaded portion) that corresponds to the reference image Is from the current image In.

図６（Ａ）に示すように、画像処理装置２５の姿勢判定部２８は、基準画像Ｉｓの形状と検出した判定画像Ｉｊの形状とを比較する。姿勢判定部２８は、基準画像Ｉｓの第１基準座標Ｓ１、・・第８基準座標Ｓ８と、第１基準座標Ｓ１に対応する判定画像Ｉｊの第１判定座標Ｐ１、・・第８基準座標Ｓ８に対応する判定画像Ｉｊの第４判定座標Ｐ４をそれぞれ算出する。 As shown in FIG. 6(A), the posture determination unit 28 of the image processing device 25 compares the shape of the reference image Is with the shape of the detected judgment image Ij. The posture determination unit 28 calculates the first reference coordinate S1, ... the eighth reference coordinate S8 of the reference image Is, and the first judgment coordinate P1, ... the fourth judgment coordinate P4 of the judgment image Ij corresponding to the first reference coordinate S1, ... the eighth reference coordinate S8.

図６（Ｂ）に示すように、姿勢判定部２８は、第１基準座標Ｓ１、・・第８基準座標Ｓ８のうち第１基準座標Ｓ１と第１判定座標Ｐ１とを原点とした際の、第２基準座標Ｓ２に対応する第２判定座標Ｐ２の差異、第３基準座標Ｓ３に対応する第３判定座標Ｐ３の差異・・・第８基準座標Ｓ８に対応する第８判定座標Ｐ８の差異から荷物Ｗの基準姿勢に対する荷物Ｗの現在姿勢を算出する。つまり、姿勢判定部２８は、基準画像Ｉｓに対する判定画像Ｉｊの歪み量を座標値で算出している。姿勢判定部２８は、判定画像Ｉｊの歪み量に基づいて基準姿勢の鉛直方向に対する現在姿勢の傾倒方向Ｄおよび傾倒量θを算出する。 As shown in FIG. 6B, the posture determination unit 28 calculates the current posture of the luggage W with respect to the reference posture of the luggage W from the difference between the second judgment coordinate P2 corresponding to the second reference coordinate S2, the difference between the third judgment coordinate P3 corresponding to the third reference coordinate S3, and the difference between the eighth judgment coordinate P8 corresponding to the eighth reference coordinate S8, when the first reference coordinate S1 and the first judgment coordinate P1 among the first reference coordinate S1, ..., and the eighth reference coordinate S8 are set as the origin. In other words, the posture determination unit 28 calculates the amount of distortion of the judgment image Ij with respect to the reference image Is in coordinate values. The posture determination unit 28 calculates the tilt direction D and tilt amount θ of the current posture with respect to the vertical direction of the reference posture based on the amount of distortion of the judgment image Ij.

姿勢判定部２８は、算出した基準姿勢の鉛直方向に対する現在姿勢の傾倒方向Ｄおよび傾倒量θに基づいて、荷物Ｗが自立する姿勢か傾倒する姿勢かを判定する。つまり、姿勢判定部２８は、荷物Ｗの現在姿勢の傾倒量θが基準姿勢を基準とする自立可能な所定の傾倒範囲内に含まれているか否か判定する。姿勢判定部２８は、荷物Ｗの傾倒方向Ｄにおける傾倒量θがその傾倒方向Ｄにおける閾値θｔよりも大きい場合、荷物Ｗは接地すると自立できずに傾倒すると判定する。一方、姿勢判定部２８は、荷物Ｗの傾倒方向Ｄにおける傾倒量θがその傾倒方向Ｄにおける閾値θｔ以下の場合、荷物Ｗは接地すると自立可能な所定の範囲内に含まれていると判定する。姿勢判定部２８は、荷物Ｗが自立できずに傾倒すると判定した場合、制御装置２９に判定結果を送信する。 The posture determination unit 28 determines whether the luggage W is in a self-supporting or tilted posture based on the tilt direction D and tilt amount θ of the current posture relative to the calculated vertical direction of the reference posture. In other words, the posture determination unit 28 determines whether the tilt amount θ of the current posture of the luggage W is within a predetermined tilt range in which the luggage W can stand on its own, based on the reference posture. If the tilt amount θ in the tilt direction D of the luggage W is greater than the threshold value θt in that tilt direction D, the posture determination unit 28 determines that the luggage W will be unable to stand on its own and will tilt when it touches the ground. On the other hand, if the tilt amount θ in the tilt direction D of the luggage W is equal to or less than the threshold value θt in that tilt direction D, the posture determination unit 28 determines that the luggage W is within the predetermined range in which the luggage W can stand on its own when it touches the ground. If the posture determination unit 28 determines that the luggage W will be unable to stand on its own and will tilt, it transmits the determination result to the control device 29.

図７に示すように、姿勢判定部２８は、算出した基準姿勢の鉛直方向に対する現在姿勢の傾倒方向Ｄ、傾倒量θおよび判定結果に基づいて、荷物Ｗの傾倒量θ、傾倒方向Ｄおよび判定結果を示す矢印、色、図形、数値等を現在画像Ｉｎに重畳表示させる。本実施形態において、姿勢判定部２８は、現在の荷物Ｗの傾倒方向Ｄを矢印Ａｒで示す。矢印Ａｒは。傾倒量θを矢印Ａｒの長さで示し、判定結果を矢印Ａｒの色で示している。 As shown in FIG. 7, the posture determination unit 28 superimposes the amount of tilt θ of the luggage W, the tilt direction D, and an arrow, color, figure, numerical value, etc. indicating the determination result based on the calculated tilt direction D of the current posture relative to the vertical direction of the reference posture and the amount of tilt θ and the determination result on the current image In. In this embodiment, the posture determination unit 28 indicates the current direction of tilt D of the luggage W with an arrow Ar. The length of the arrow Ar indicates the amount of tilt θ, and the determination result is indicated by the color of the arrow Ar.

制御装置２９は、荷物Ｗが自立できずに傾倒する判定結果を取得した場合に、重量センサ１７の検出値から荷物Ｗが接地していると判定すると、メインウインチ１３の繰り出しを停止させる。制御装置２９は、クレーン装置６のブーム９操作等により荷物Ｗの姿勢が変更され、姿勢判定部２８によって自立できる姿勢であると判定されると、メインウインチ１３またはサブウインチ１５の繰り出しを可能にする。 When the control device 29 obtains a determination result that the luggage W cannot stand on its own and will tip over, and determines from the detection value of the weight sensor 17 that the luggage W is on the ground, it stops the payout of the main winch 13. When the attitude of the luggage W is changed by operating the boom 9 of the crane device 6 or the like and the attitude determination unit 28 determines that the luggage W is in an attitude that allows it to stand on its own, the control device 29 enables the payout of the main winch 13 or sub winch 15.

次に図８を用いて、画像処理装置２５における荷物Ｗの傾倒量算出制御について説明する。 Next, the control of calculating the amount of tilt of the luggage W in the image processing device 25 will be explained using FIG.

図８に示すように、ステップＳ１１０において、画像処理装置２５は、ブームカメラ９ｃまたはフックカメラ２２が撮影した荷物Ｗの現在画像Ｉｎを取得する。画像処理装置２５は、ステップをステップＳ１２０に移行させる。 As shown in FIG. 8, in step S110, the image processing device 25 acquires a current image In of the luggage W captured by the boom camera 9c or the hook camera 22. The image processing device 25 transitions to step S120.

ステップ１２０において、画像処理装置２５は、作業者の入力信号に基づいて、基準画像保持部２６から荷物Ｗの基準画像Ｉｓを選択する。画像処理装置２５は、ステップをステップ１２０に移行させる。 In step 120, the image processing device 25 selects a reference image Is of the luggage W from the reference image storage unit 26 based on the input signal from the worker. The image processing device 25 transitions to step 120.

ステップ１３０において、画像処理装置２５の判定画像検出部２７は、取得した荷物Ｗの現在画像Ｉｎの特徴点と選択した基準画像Ｉｓの特徴点とを比較し、現在画像Ｉｎから基準画像Ｉｓに該当する判定画像Ｉｊを検出する。 In step 130, the judgment image detection unit 27 of the image processing device 25 compares the feature points of the acquired current image In of the luggage W with the feature points of the selected reference image Is, and detects a judgment image Ij that corresponds to the reference image Is from the current image In.

ステップ１４０において、画像処理装置２５の姿勢判定部２８は、基準画像Ｉｓの第１基準座標Ｓ１から第ｎ基準座標Ｓｎと、判定画像Ｉｊの第１判定座標Ｐ１から第ｎ判定座標Ｐｎを算出する。画像処理装置２５は、ステップをステップＳ１５０に移行させる。 In step S140, the posture determination unit 28 of the image processing device 25 calculates the first reference coordinate S1 to the nth reference coordinate Sn of the reference image Is and the first judgment coordinate P1 to the nth judgment coordinate Pn of the judgment image Ij. The image processing device 25 transitions to step S150.

ステップ１５０において、画像処理装置２５の姿勢判定部２８は、基準画像Ｉｓの第１基準座標Ｓ１から第ｎ基準座標Ｓｎと、判定画像Ｉｊの第１判定座標Ｐ１から第ｎ判定座標Ｐｎとから基準画像Ｉｓに対する判定画像Ｉｊの歪み量を算出する。画像処理装置２５は、ステップをステップＳ１６０に移行させる。 In step S150, the posture determination unit 28 of the image processing device 25 calculates the amount of distortion of the judgment image Ij relative to the reference image Is from the first reference coordinate S1 to the nth reference coordinate Sn of the reference image Is and the first judgment coordinate P1 to the nth judgment coordinate Pn of the judgment image Ij. The image processing device 25 transitions to step S160.

ステップＳ１６０において、画像処理装置２５の姿勢判定部２８は、判定画像Ｉｊの歪み量に基づいて基準姿勢の鉛直方向に対する現在姿勢の傾倒方向Ｄおよび傾倒量θを算出する。画像処理装置２５は、ステップをステップＳ１７０に移行させる。 In step S160, the posture determination unit 28 of the image processing device 25 calculates the tilt direction D and tilt amount θ of the current posture relative to the vertical direction of the reference posture based on the distortion amount of the determination image Ij. The image processing device 25 transitions to step S170.

ステップＳ１７０において、画像処理装置２５の姿勢判定部２８は、基準姿勢の鉛直方向に対する現在姿勢の傾倒方向Ｄおよび傾倒量θに基づいて、荷物Ｗが自立する姿勢か否かを判定する。
その結果、荷物Ｗの傾倒方向Ｄにおける傾倒量θがその傾倒方向Ｄにおける閾値θｔよりも小さいと判定した場合、姿勢判定部２８は荷物Ｗが接地時に自立すると判定する。画像処理部は、ステップをＳ１８０に移行させる。
一方、荷物Ｗの傾倒方向Ｄにおける傾倒量θがその傾倒方向Ｄにおける閾値θｔ以上の場合、姿勢判定部２８は、荷物Ｗが接地時に自立出来ずに傾倒すると判定する。画像処理部は、ステップをＳ１８５に移行させる。 In step S170, the attitude determination unit 28 of the image processing device 25 determines whether or not the baggage W is in a self-supporting attitude based on the tilt direction D and the tilt amount θ of the current attitude with respect to the vertical direction of the reference attitude.
As a result, when it is determined that the amount of tilt θ of the luggage W in the tilt direction D is smaller than the threshold value θt in the tilt direction D, the posture determination unit 28 determines that the luggage W will stand on its own when it touches the ground. The image processing unit shifts to step S180.
On the other hand, if the amount of tilt θ of the luggage W in the tilt direction D is equal to or greater than the threshold value θt in the tilt direction D, the posture determination unit 28 determines that the luggage W cannot stand on its own and will tilt when it touches the ground. The image processing unit shifts the step to S185.

ステップＳ１８０において、画像処理装置２５の姿勢判定部２８は、制御装置２９にメインウインチ１３またはサブウインチ１５の繰り出しを可能にする信号を送信する。画像処理装置２５は、ステップをＳ１９０に移行させる。 In step S180, the attitude determination unit 28 of the image processing device 25 sends a signal to the control device 29 to enable the main winch 13 or sub winch 15 to be reeled out. The image processing device 25 transitions to step S190.

ステップＳ１８５において、画像処理装置２５の姿勢判定部２８は、制御装置２９にメインウインチ１３またはサブウインチ１５の繰り出しを停止する信号を送信する。画像処理装置２５は、ステップをＳ１９０に移行させる。 In step S185, the attitude determination unit 28 of the image processing device 25 sends a signal to the control device 29 to stop the payout of the main winch 13 or the sub winch 15. The image processing device 25 transitions to step S190.

ステップＳ１９０において、画像処理装置２５の姿勢判定部２８は、基準姿勢の鉛直方向に対する現在姿勢の傾倒方向Ｄ、傾倒量θおよび判定結果に基づいて、荷物Ｗの傾倒量θ、傾倒方向Ｄおよび判定結果を示す矢印、色、図形、数値等を現在画像Ｉｎに重畳表示させる。画像処理装置２５は、ステップをＳ１１０に移行させる。 In step S190, the posture determination unit 28 of the image processing device 25 superimposes the amount of tilt θ of the luggage W, the direction of tilt D, and an arrow, color, figure, numerical value, etc. indicating the determination result on the current image In based on the direction of tilt D of the current posture relative to the vertical direction of the reference posture, the amount of tilt θ, and the determination result. The image processing device 25 transitions to step S110.

このように構成されるクレーン１の画像処理装置２５は、荷物Ｗの基準画像Ｉｓの特徴点に基づいて、荷物Ｗの現在画像Ｉｎの特徴点から荷物Ｗの基準画像Ｉｓに該当する部分を判定画像Ｉｊとして検出する。さらに画像処理装置２５は、基準画像Ｉｓに対する判定画像Ｉｊのひずみ量から荷物Ｗの基準姿勢と現在姿勢との差異を算出する。つまり、クレーン１は、特徴点の比較によって検出した判定画像Ｉｊと基準画像Ｉｓとの対比によって荷物Ｗの基準姿勢に対する現在姿勢の相対値を算出することができる。つまり、クレーン１の画像処理装置２５は、ジャイロセンサ等によって荷物Ｗの姿勢についての傾倒量θや座標の絶対値を計測することなく、荷物Ｗの基準姿勢に対する現在姿勢の相対値を算出することができる。これにより、クレーン１は、荷物Ｗの現在姿勢が基準姿勢を基準とする自立可能な所定の範囲内に含まれているか判定することができる。 The image processing device 25 of the crane 1 configured in this way detects the portion of the current image In of the luggage W that corresponds to the reference image Is of the luggage W from the feature points of the reference image Is of the luggage W as a judgment image Ij. Furthermore, the image processing device 25 calculates the difference between the reference posture and the current posture of the luggage W from the amount of distortion of the judgment image Ij relative to the reference image Is. In other words, the crane 1 can calculate the relative value of the current posture of the luggage W to the reference posture by comparing the judgment image Ij detected by comparing the feature points with the reference image Is. In other words, the image processing device 25 of the crane 1 can calculate the relative value of the current posture of the luggage W to the reference posture without measuring the amount of tilt θ or the absolute value of the coordinates for the posture of the luggage W using a gyro sensor or the like. This allows the crane 1 to determine whether the current posture of the luggage W is within a predetermined range in which the luggage W can stand on its own with the reference posture as a reference.

さらに、画像処理装置２５は、荷物Ｗの傾倒方向Ｄを算出する。これにより、画僧処理装置は、荷物Ｗを自立させるために必要な荷物Ｗの移動方向を作業者に報知することができる。また、画像処理装置２５は、荷物Ｗが自立できる範囲を超えて傾倒している姿勢で接地された場合、制御装置２９にメインウインチ１３またはサブウインチ１５の繰り出しを停止する信号を送信する。これにより、クレーン１は、荷物Ｗの姿勢が自立可能な所定の範囲内に含まれているか判定するだけでなく、前記荷物Ｗを自立させるために必要な操作を報知することができる。 Furthermore, the image processing device 25 calculates the tilt direction D of the luggage W. This allows the image processing device to notify the worker of the direction of movement of the luggage W required to make the luggage W stand upright. Furthermore, if the luggage W is touched down in a tilted position beyond the range in which it can stand upright, the image processing device 25 sends a signal to the control device 29 to stop payout of the main winch 13 or sub winch 15. This allows the crane 1 to not only determine whether the position of the luggage W is within a predetermined range in which it can stand upright, but also to notify the worker of the operation required to make the luggage W stand upright.

さらに、画像処理装置２５は、前記荷物Ｗを自立させるために必要な操作を制御装置２９にフィードバックするように構成されてもよい。制御装置２９は、画像処理装置２５から傾倒方向Ｄと傾倒量θとを取得すると、傾倒量θが傾倒方向Ｄにおける閾値θｔ未満になるようにクレーン装置６を制御する補正制御を実施する。この際、制御装置２９は、重量センサ１７が検出する吊り荷荷重に基づいて、玉掛ワイヤーが緩まないようにメインウインチ１３を制御する。これにより、クレーン１は、荷物Ｗが自立できない姿勢で接地されても、荷物Ｗの状態を監視しながら自動的に自立可能な姿勢に補正することができる。なお、クレーン１は、作業者から補正についての制御信号の入力があった場合に、補正制御を行うように構成されていてもよい。 Furthermore, the image processing device 25 may be configured to feed back to the control device 29 the operation required to make the luggage W stand on its own. When the control device 29 acquires the tilt direction D and the tilt amount θ from the image processing device 25, it performs correction control to control the crane device 6 so that the tilt amount θ becomes less than the threshold value θt in the tilt direction D. At this time, the control device 29 controls the main winch 13 based on the suspended load detected by the weight sensor 17 so that the sling wire does not loosen. As a result, even if the luggage W is grounded in a position where it cannot stand on its own, the crane 1 can automatically correct the position to one where it can stand on its own while monitoring the state of the luggage W. The crane 1 may be configured to perform correction control when a control signal for correction is input from the operator.

次に、図９と図１０とを用いて、本発明の第２実施形態に係るクレーン１Ａについて具体的に説明する。なお、以下の実施形態に係るクレーン１Ａは、図１から図８に示すクレーン１において、クレーン１に替えて適用されるものとして、その説明で用いた名称、図番、符号を用いることで、同じものを指すこととする。以下の実施形態において、既に説明した実施形態と同様の点に関してはその具体的説明を省略し、相違する部分を中心に説明する。 Next, a crane 1A according to a second embodiment of the present invention will be described in detail with reference to Figures 9 and 10. Note that the crane 1A according to the following embodiments is applied in place of the crane 1 shown in Figures 1 to 8, and the names, drawing numbers, and symbols used in the description will be used to refer to the same thing. In the following embodiments, specific descriptions of the same points as in the embodiments already described will be omitted, and the description will focus on the differences.

図９に示すように、クレーン１Ａは、画像処理装置３０を有する。画像処理装置３０は、基準マーカ画像保持部３１、判定マーカ画像検出部３２、マーカ姿勢判定部３３を有している。 As shown in FIG. 9, the crane 1A has an image processing device 30. The image processing device 30 has a reference marker image storage unit 31, a judgment marker image detection unit 32, and a marker posture judgment unit 33.

基準マーカ画像保持部３１は、画像処理装置３０の一部であり、複数のＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）マーカからなる基準マーカ画像Ｍｓを予め保持している。基準マーカ画像Ｍｓは、荷物Ｗの姿勢を判定するための基準となるＡＲマーカの画像である。基準マーカ画像Ｍｓは、任意に定めた基準姿勢での荷物Ｗに設けられたＡＲマーカの画像から構成される。つまり、基準マーカ画像Ｍｓは、荷物Ｗの基準姿勢を示す画像である。本実施形態において、基準姿勢は、自立している荷物Ｗの姿勢とする。また、基準マーカ画像Ｍｓは、自立している荷物Ｗの上面に設けられたマーカを上方から撮影したマーカ画像から構成されている。 The reference marker image storage unit 31 is part of the image processing device 30, and stores in advance a reference marker image Ms consisting of multiple AR (Augmented Reality) markers. The reference marker image Ms is an image of an AR marker that serves as a reference for determining the posture of the luggage W. The reference marker image Ms is composed of an image of an AR marker attached to the luggage W in an arbitrarily determined reference posture. In other words, the reference marker image Ms is an image that shows the reference posture of the luggage W. In this embodiment, the reference posture is the posture of the free-standing luggage W. In addition, the reference marker image Ms is composed of a marker image obtained by photographing a marker attached to the top surface of the free-standing luggage W from above.

基準マーカ画像保持部３１は、様々な形状の荷物Ｗ毎に関連付けされた基準マーカ画像Ｍｓを予め保持している。形状の異なる荷物Ｗには、それぞれ異なるパターンが記載されている基準マーカ画像Ｍｓが設けられている。各基準マーカ画像Ｍｓには、設けられている荷物Ｗについての情報が登録されている。 The reference marker image storage unit 31 stores in advance reference marker images Ms associated with various shapes of luggage W. Each of the different shapes of luggage W is provided with a reference marker image Ms with a different pattern. Each reference marker image Ms has registered information about the luggage W on which it is provided.

判定マーカ画像検出部３２は、画像処理装置３０の一部であり、荷物Ｗの現在画像Ｉｎから基準マーカ画像Ｍｓに該当するマーカ画像を判定マーカ画像Ｍｊとして検出する。判定マーカ画像Ｍｊは、荷物Ｗの基準姿勢に対する荷物Ｗの現在姿勢の相対的な姿勢を算出するための画像である。判定マーカ画像Ｍｊは、荷物Ｗの現在画像Ｉｎのマーカ画像から構成される。つまり、判定マーカ画像Ｍｊは、荷物Ｗの現在姿勢を示す画像である。 The judgment marker image detection unit 32 is part of the image processing device 30, and detects a marker image corresponding to the reference marker image Ms from the current image In of the luggage W as a judgment marker image Mj. The judgment marker image Mj is an image for calculating the relative posture of the current posture of the luggage W with respect to the reference posture of the luggage W. The judgment marker image Mj is composed of marker images of the current image In of the luggage W. In other words, the judgment marker image Mj is an image that indicates the current posture of the luggage W.

判定マーカ画像検出部３２は、現在の荷物Ｗの上方からブームカメラ９ｃまたはフックカメラ２２が撮影した荷物Ｗの現在画像Ｉｎから、判定マーカ画像Ｍｊを検出可能に構成されている。判定マーカ画像検出部３２は、現在画像Ｉｎのパターンを画像処理によって検出することができる。判定マーカ画像検出部３２は、現在画像Ｉｎのパターンからマーカ画像のパターンを検出することができる。つまり、判定マーカ画像検出部３２は、現在画像Ｉｎに含まれる判定マーカ画像Ｍｊを検出することができる。さらに、判定マーカ画像検出部３２は、検出した判定マーカ画像Ｍｊのパターンと所定値以上の一致度のパターンを有する基準マーカ画像Ｍｓを基準マーカ画像保持部３１から選択することができる。 The judgment marker image detection unit 32 is configured to be able to detect a judgment marker image Mj from a current image In of the luggage W captured by the boom camera 9c or hook camera 22 from above the current luggage W. The judgment marker image detection unit 32 can detect the pattern of the current image In by image processing. The judgment marker image detection unit 32 can detect the pattern of a marker image from the pattern of the current image In. In other words, the judgment marker image detection unit 32 can detect a judgment marker image Mj included in the current image In. Furthermore, the judgment marker image detection unit 32 can select a reference marker image Ms from the reference marker image storage unit 31 that has a pattern that matches the pattern of the detected judgment marker image Mj at a predetermined value or higher.

マーカ姿勢判定部３３は、荷物Ｗの基準姿勢に対する荷物Ｗの現在姿勢の傾倒方向Ｄおよび傾倒量θを判定する。マーカ姿勢判定部３３は、基準マーカ画像Ｍｓの形状および向きと判定マーカ画像Ｍｊの形状および向きとを比較可能に構成されている。基準マーカ画像Ｍｓのパターンは、基準マーカ画像Ｍｓの形状および向きの情報を含む。同様に、判定マーカ画像Ｍｊのパターンは、判定マーカ画像Ｍｊの形状および向きの情報を含む。マーカ姿勢判定部３３は、基準マーカ画像Ｍｓのパターンに対する判定マーカ画像Ｍｊのパターンの形状および向きから、荷物Ｗの基準姿勢に対する荷物Ｗの現在姿勢の相対的な向きを算出することができる。同様に、マーカ姿勢判定部３３は、基準マーカ画像Ｍｓのパターンに対する判定マーカ画像Ｍｊのパターンのひずみ量から、荷物Ｗの基準姿勢に対する荷物Ｗの現在姿勢の相対的な傾倒方向Ｄおよび傾倒量θを算出することができる。このように、マーカ姿勢判定部３３は、検出した基準マーカ画像Ｍｓ対する判定マーカ画像Ｍｊから、荷物Ｗの基準姿勢に対する現在姿勢を算出することができる。 The marker posture determination unit 33 determines the tilt direction D and tilt amount θ of the current posture of the luggage W relative to the reference posture of the luggage W. The marker posture determination unit 33 is configured to be able to compare the shape and orientation of the reference marker image Ms with the shape and orientation of the judgment marker image Mj. The pattern of the reference marker image Ms includes information on the shape and orientation of the reference marker image Ms. Similarly, the pattern of the judgment marker image Mj includes information on the shape and orientation of the judgment marker image Mj. The marker posture determination unit 33 can calculate the relative orientation of the current posture of the luggage W relative to the reference posture of the luggage W from the shape and orientation of the pattern of the judgment marker image Mj relative to the pattern of the reference marker image Ms. Similarly, the marker posture determination unit 33 can calculate the relative tilt direction D and tilt amount θ of the current posture of the luggage W relative to the reference posture of the luggage W from the distortion amount of the pattern of the judgment marker image Mj relative to the pattern of the reference marker image Ms. In this way, the marker posture determination unit 33 can calculate the current posture of the luggage W relative to the reference posture from the determination marker image Mj for the detected reference marker image Ms.

また、マーカ姿勢判定部３３は、各荷物Ｗの各傾倒方向Ｄにおいて、自立可能な傾倒量θの限界値を閾値θｔとして有している。マーカ姿勢判定部３３は、基準姿勢の鉛直方向に対する現在姿勢の傾倒量θが閾値θｔよりも大きい場合、現在の荷物Ｗが傾倒する可能性があると判定して制御装置２９に判定結果を送信することができる。また、マーカ姿勢判定部３３は、基準姿勢に対する現在姿勢および判定結果を矢印、数値等で荷物Ｗの現在画像Ｉｎ上に重畳表示することができる。 The marker posture determination unit 33 also has a threshold value θt, which is the limit value of the amount of tilt θ at which each piece of luggage W can stand on its own in each tilt direction D. If the amount of tilt θ of the current posture relative to the vertical direction of the reference posture is greater than the threshold value θt, the marker posture determination unit 33 can determine that the current luggage W may tilt and transmit the determination result to the control device 29. The marker posture determination unit 33 can also superimpose the current posture relative to the reference posture and the determination result on the current image In of the luggage W using an arrow, numerical value, etc.

図１０に示すように、このように構成されるクレーン１Ａは、メインフック１０ａに吊り上げられた荷物Ｗをブームカメラ９ｃまたフックカメラ２２で単位時間毎に常時撮影する。クレーン１Ａの画像処理装置３０は、荷物Ｗの現在画像Ｉｎを取得する。 As shown in FIG. 10, the crane 1A configured in this manner constantly photographs the cargo W hoisted by the main hook 10a at unit time intervals using the boom camera 9c or the hook camera 22. The image processing device 30 of the crane 1A acquires a current image In of the cargo W.

図に示すように、画像処理装置３０の判定マーカ画像検出部３２は、フックに吊り上げられた荷物Ｗの現在画像Ｉｎから判定マーカ画像Ｍｊを検出する。判定マーカ画像検出部３２は、検出した判定マーカ画像Ｍｊのパターンと一致度が所定値以上のパターンを有する基準マーカ画像Ｍｓを選択する。 As shown in the figure, the judgment marker image detection unit 32 of the image processing device 30 detects a judgment marker image Mj from the current image In of the luggage W lifted by the hook. The judgment marker image detection unit 32 selects a reference marker image Ms having a pattern that matches the pattern of the detected judgment marker image Mj at a predetermined value or higher.

マーカ姿勢判定部３３は、基準マーカ画像Ｍｓのパターンに対する判定マーカ画像Ｍｊのパターンの向きから、荷物Ｗの基準姿勢に対する荷物Ｗの現在姿勢の相対的な向きを算出する。同様に、マーカ姿勢判定部３３は、基準マーカ画像Ｍｓのパターンに対する判定マーカ画像Ｍｊのパターンのひずみ量から、荷物Ｗの基準姿勢に対する荷物Ｗの現在姿勢の相対的な傾倒方向Ｄおよび傾倒量θを算出する。 The marker posture determination unit 33 calculates the relative orientation of the current posture of the luggage W with respect to the reference posture of the luggage W from the orientation of the pattern of the determination marker image Mj with respect to the pattern of the reference marker image Ms. Similarly, the marker posture determination unit 33 calculates the relative tilt direction D and tilt amount θ of the current posture of the luggage W with respect to the reference posture of the luggage W from the amount of distortion of the pattern of the determination marker image Mj with respect to the pattern of the reference marker image Ms.

マーカ姿勢判定部３３は、基準姿勢の鉛直方向に対する現在姿勢の傾倒量θが閾値θｔよりも大きい場合、現在の荷物Ｗが傾倒する可能性があると判定して制御装置２９に判定結果を送信する。また、マーカ姿勢判定部３３は、基準姿勢に対する現在姿勢および判定結果を矢印、数値等で荷物Ｗの現在画像Ｉｎ上に重畳表示する。さらに、マーカ姿勢判定部３３は、基準マーカ画像Ｍｓに登録されている荷物Ｗについての情報を荷物Ｗの現在画像Ｉｎ上に重畳表示する。 When the amount of tilt θ of the current posture relative to the vertical direction of the reference posture is greater than a threshold value θt, the marker posture determination unit 33 determines that the current luggage W may tilt, and transmits the determination result to the control device 29. The marker posture determination unit 33 also displays the current posture relative to the reference posture and the determination result as an arrow, a numerical value, or the like, superimposed on the current image In of the luggage W. Furthermore, the marker posture determination unit 33 displays information about the luggage W registered in the reference marker image Ms, superimposed on the current image In of the luggage W.

このように構成することにより、クレーン１Ａの画像処理装置３０は、ブームカメラ９ｃまたはフックカメラ２２によって撮影されたに荷物Ｗの画像から、判定マーカ画像Ｍｊを検出する。画像処理装置３０は、予め取得している基準マーカ画像Ｍｓに対する判定マーカ画像Ｍｊのひずみ量から荷物Ｗの基準姿勢に対する荷物Ｗの現在姿勢の差異を算出する。つまり、クレーン１Ａは、基準マーカ画像Ｍｓと判定マーカ画像Ｍｊとの対比によって荷物Ｗの基準姿勢に対する荷物Ｗの現在姿勢の相対値を算出する。これにより、クレーン１Ａは、荷物Ｗの現在姿勢が基準姿勢を基準とする自立可能な所定の範囲内に含まれているか判定することができる。 With this configuration, the image processing device 30 of the crane 1A detects the judgment marker image Mj from the image of the luggage W captured by the boom camera 9c or hook camera 22. The image processing device 30 calculates the difference between the current posture of the luggage W and the reference posture of the luggage W from the amount of distortion of the judgment marker image Mj relative to the reference marker image Ms acquired in advance. In other words, the crane 1A calculates the relative value of the current posture of the luggage W with respect to the reference posture of the luggage W by comparing the reference marker image Ms with the judgment marker image Mj. This allows the crane 1A to determine whether the current posture of the luggage W is within a predetermined range within which the luggage W can stand on its own, based on the reference posture.

クレーン１およびクレーン１Ａは、ブームカメラ９ｃとフックカメラ２２のうちいずれか一方のカメラで他方のフックカメラ２２の機能を補完するバックアップ機能を持たせることで冗長性を有するシステムが構築される。これにより、荷物Ｗの形状や荷物Ｗの設置状況に影響されることなく、判定画像Ｉｊまたは判定マーカ画像Ｍｊを検出することができる。 Crane 1 and crane 1A are constructed as a redundant system by providing a backup function in which either the boom camera 9c or the hook camera 22 complements the function of the other hook camera 22. This makes it possible to detect the judgment image Ij or judgment marker image Mj without being affected by the shape of the luggage W or the placement condition of the luggage W.

なお、本実施形態において、移動式クレーンであるクレーン１、１Ａについて説明したが、荷物Ｗをワイヤーで吊り上げる装置に適用することが可能である。また、クレーン１、１Ａは、遠隔操作端末に画像処理装置２５、３０による荷物Ｗの傾倒方向Ｄおよび傾倒量θの情報を表示させてもよい。このように構成することで、クレーン１、１Ａは、荷物Ｗの設置位置の作業者に荷物Ｗの傾倒方向Ｄおよび傾倒量θを伝達することができる。 In this embodiment, the cranes 1 and 1A are described as mobile cranes, but the cranes can be applied to devices that hoist luggage W with a wire. The cranes 1 and 1A may also display information on the tilt direction D and tilt amount θ of luggage W from image processing devices 25 and 30 on a remote control terminal. By configuring in this way, the cranes 1 and 1A can communicate the tilt direction D and tilt amount θ of luggage W to a worker at the installation position of luggage W.

また、画像処理装置２５、３０は、制御装置２９からブーム９の先端の絶対座標を取得することができる。従って、画像処理装置２５、３０は、表示装置２４に、荷物Ｗの位置、傾倒方向Ｄを絶対座標で表示する構成でもよい。 The image processing devices 25 and 30 can also obtain the absolute coordinates of the tip of the boom 9 from the control device 29. Therefore, the image processing devices 25 and 30 may be configured to display the position and tilt direction D of the luggage W on the display device 24 in absolute coordinates.

また、クレーン１、１Ａは、画像処理装置２５、３０による荷物Ｗの傾倒方向Ｄおよび傾倒量θについての情報を制御装置２９にフィードバックすることにより荷物Ｗを自立させるための操作をアシストする構成でもよい。これにより、クレーン１、１Ａは、荷物Ｗの傾倒を抑制し、荷物Ｗの設置を容易にすることができる。 The cranes 1 and 1A may also be configured to assist in operations to make the luggage W stand upright by feeding back information about the tilt direction D and tilt amount θ of the luggage W from the image processing devices 25 and 30 to the control device 29. This allows the cranes 1 and 1A to suppress the tilting of the luggage W and make it easier to set up the luggage W.

上述の実施形態は、代表的な形態を示したに過ぎず、一実施形態の骨子を逸脱しない範囲で種々変形して実施することができる。さらに種々なる形態で実施し得ることは勿論のことであり、本発明の範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲に記載の均等の意味、および範囲内のすべての変更を含む。 The above-mentioned embodiment is merely a representative example, and various modifications can be made without departing from the gist of the embodiment. Of course, the present invention can be implemented in various other forms, and the scope of the present invention is indicated by the claims, and further includes the equivalent meanings described in the claims, and all modifications within the scope of the claims.

１クレーン
６クレーン装置
７旋回台
９ブーム
９ｃブームカメラ
１０ａメインフック
２２フックカメラ
２４表示装置
２５画像処理装置
２６基準画像保持部
２７判定画像検出部
２８姿勢判定部
２９制御装置
Ｉｓ基準画像
Ｉｎ現在画像
Ｉｊ判定画像
３５制御装置
Ｗ荷物 REFERENCE SIGNS LIST 1 Crane 6 Crane device 7 Swivel base 9 Boom 9c Boom camera 10a Main hook 22 Hook camera 24 Display device 25 Image processing device 26 Reference image storage unit 27 Judgement image detection unit 28 Posture judgement unit 29 Control device Is Reference image In Current image Ij Judgement image 35 Control device W Baggage

Claims

旋回台に起伏自在のブームが設けられた移動式クレーンであって、
前記ブームと、前記ブームからウインチによって繰り出しおよび繰り入れ自在に構成されているフックと、の少なくとも一方に設けられる撮影装置と、
前記撮影装置が撮影した画像を解析する画像処理装置と、を備え、
前記撮影装置は、
搬送される荷物を撮影し、
前記画像処理装置は、
自立している前記荷物の画像の少なくとも一部を前記荷物の姿勢を算出するための基準画像として取得し、前記撮影装置が撮影した前記荷物を含む画像を取得し、前記荷物を含む画像から前記基準画像に該当する判定画像を検出し、前記基準画像に対する前記判定画像の歪み量から前記撮影装置が撮影した際の前記荷物が自立する姿勢か傾倒する姿勢かを判定する、移動式クレーン。 A mobile crane having a swivel base and a freely raising and lowering boom,
a camera device provided on at least one of the boom and a hook configured to be freely reeled in and out from the boom by a winch;
an image processing device that analyzes the image captured by the imaging device;
The imaging device is
Photograph the luggage being transported,
The image processing device includes:
A mobile crane acquires at least a portion of an image of the luggage standing on its own as a reference image for calculating the posture of the luggage, acquires an image including the luggage captured by the photographing device, detects a determination image corresponding to the reference image from the image including the luggage, and determines whether the luggage was standing on its own or tilted when photographed by the photographing device based on the amount of distortion of the determination image relative to the reference image.

前記画像処理装置は、
自立している前記荷物の画像の少なくとも一部を前記基準画像として、前記基準画像に対する前記判定画像の歪み量から前記撮影装置が撮影した際の前記荷物の傾倒方向を算出する請求項１に記載の移動式クレーン。 The image processing device includes:
The mobile crane according to claim 1, wherein at least a portion of an image of the free-standing luggage is used as the reference image, and the tilt direction of the luggage when photographed by the photographing device is calculated from the amount of distortion of the determination image relative to the reference image.

前記ウインチを制御する制御装置をさらに備え、
前記制御装置は、
前記ウインチの状態から前記フックに吊り下げられている前記荷物が接地していると判定し、且つ前記画像処理装置から前記荷物が閾値を超えて傾倒している旨の信号を取得すると、前記ウインチの繰り出しを停止させる請求項１または請求項２に記載の移動式クレーン。 A control device for controlling the winch is further provided.
The control device includes:
3. A mobile crane as claimed in claim 1 or 2, wherein when it is determined from the state of the winch that the cargo suspended from the hook is on the ground, and a signal is received from the image processing device indicating that the cargo is tilted beyond a threshold, the payout of the winch is stopped.

前記基準画像は、
前記荷物に設けられたマーカを含む画像である請求項１から請求項３のいずれか一項に記載の移動式クレーン。 The reference image is
The mobile crane according to claim 1 , wherein the image includes a marker provided on the cargo.

前記基準画像は、
前記荷物における複数の特徴点を含む画像である請求項１から請求項３のいずれか一項に記載の移動式クレーン。
The reference image is
The mobile crane according to claim 1 , wherein the image includes a plurality of feature points of the load.