JP6389087B2

JP6389087B2 - 作業機用ブーム衝突回避装置

Info

Publication number: JP6389087B2
Application number: JP2014184943A
Authority: JP
Inventors: 悠吉田
Original assignee: 古河ユニック株式会社
Priority date: 2014-09-11
Filing date: 2014-09-11
Publication date: 2018-09-12
Anticipated expiration: 2034-09-11
Also published as: JP2016056006A

Description

本発明は、作業用のブームを有する作業機に用いられ、作業時にブームが障害物と干渉するのを防ぐために、ブームと障害物との衝突を回避する作業機用ブーム衝突回避装置に関する。

作業用のブームを有する作業機では、作業時にブームが障害物と干渉するのを防ぐために、ブームの位置や姿勢を制限する装置を備えているものがある。例えば特許文献１に記載の高さ制限装置は、作業時にブームが上方に位置する障害物と干渉するのを防ぐために、ブーム角度やブーム長等の検出値に基づいてクレーンのブームの位置を幾何学的に演算し、ブームの位置が指定する作業規制範囲を超えないように制御するものである。

特開２００３−２６７６６６号公報

しかしながら、特許文献１に記載の技術では、クレーンのブームの位置を幾何学的に演算することから、作業規制範囲を設定するためには、例えば、障害物となる２本の電柱間に懸架した電線が、クレーンのブームの頂点からどのくらい離れた位置に立設し、どの方向に渡って懸架しているか、どのくらいの高さなのか、といった、電線等の障害物との距離データ（以下、作業環境データ）が正確な値でなくてはならない。

また、クレーンのアウトリガ伸長分により、ブームの頂点高さはその都度変わってくるし、水平堅土でない場合やアウトリガの左右の伸長差による車両傾斜量により、どの方向にどのくらい傾斜するか、といった車両側の位置情報も掴まなければ、電線等の障害物に対するクレーンのブーム頂点の相対位置が把握出来ず、正確に作動しないのである。そのため、複雑な作業規制範囲の設定が困難であるという問題がある。また、作業環境データの、いわゆるポカミスと言われる入力ミスや、そもそもの作業環境データ自体が誤った情報である場合に、高さ制限設定値が障害物よりも高い位置に設定されてしまうと、ブームが障害物と衝突するおそれがある。

ここで、特許文献１に記載の技術は、障害物に対するブームの位置を幾何学的に演算するものであるが、障害物を回避するため、作業環境データを入力しない他の方策としては、超音波やレーザースキャンによることも可能である。例えば超音波を用いる場合であれば、超音波を発信し、反射して戻ってくるまでの時間から障害物までの距離を測定することができる。また、例えばレーザースキャンによる場合であれば、レーザーを周囲に照射し、照射点のずれ方などから障害物までの距離を測定することができる。

しかし、超音波センサを用いる場合、超音波の指向性が広ければ、ピンポイントでの測定ができずに検出精度が粗くなる一方、超音波の指向性が狭ければ、広範囲を測定するためには大量のセンサが必要になるという問題がある。また、レーザースキャンによる場合、障害物が黒色などのように光を吸収しやすいものであると検出が難しくなるし、太陽光照射条件下での計測を行うには、レーザー強度を上げる必要があるため、近傍に人がいるときには危険であるという問題がある。
そこで、本発明は、このような問題点に鑑みてなされたものであり、人為的な作業規制範囲の設定が不要であり、複雑形状の障害物に対しても迅速に且つ近傍に人がいても安全に作業を開始することができる作業機用ブーム衝突回避装置を提供することを目的とする。

上記課題を解決するために、本発明の一態様に係る作業機用ブーム衝突回避装置は、ブームを有する作業機に用いられ、作業時にブームが障害物と干渉するのを防ぐために、前記ブームと障害物との衝突を回避する作業機用ブーム衝突回避装置であって、前記ブームの先端に前記ブームおよび背景を撮影するように設けられたビデオカメラと、該ビデオカメラで撮影した前記ブームの起伏または旋回動作を行った際の画像に存する障害物の自然特徴点を追跡し、その自然特徴点の追跡結果に基づいて前記ブームに衝突するおそれのある障害物の情報を生成する画像処理部と、該画像処理部で生成された前記障害物の情報に基づいて前記ブームと障害物との衝突を回避する衝突回避制御を行う衝突回避制御部とを備えることを特徴とする。

なお、「自然特徴点」とは、撮影した画像中の物体の角や輪郭等が背景に対して明暗差や色相差が明瞭となっている特徴的な箇所を抽出した点をいう。
ここで、本発明の一態様に係る作業機用ブーム衝突回避装置において、前記画像処理部は、前記ブームの起伏または旋回動作を行った際に、前記自然特徴点の追跡結果に基づいて、背景の自然特徴点の動きと異なる動きをする対象物を障害物として認識するとともに一定時間経過後の当該障害物の自然特徴点の推定位置を前記障害物の情報として算出し、前記衝突回避制御部は、前記推定位置の情報に基づいて、オペレータへの警報、またはブームの減速、停止若しくは動作方向の規制等の衝突回避制御を行うことは好ましい。

また、本発明の一態様に係る作業機用ブーム衝突回避装置において、前記画像処理部は、前記障害物の自然特徴点の推定位置に基づいて、一定時間経過後にブームに衝突のおそれがある注意障害物と、一定時間経過後にブームに衝突すると判断する危険障害物と、一定時間経過後にブームに衝突する可能性のない非接触障害物とにブームに接触する危険度に応じて分類する分類処理を実行し、前記衝突回避制御部は、前記分類処理の結果に基づいて、前記非接触障害物と判定したときには、通常のブーム動作を継続し、前記注意障害物と判定したときには、オペレータへの警報を行い、前記危険障害物と判定したときには、障害物への接近方向へのブームの操作停止信号を出力することは好ましい。

また、本発明の一態様に係る作業機用ブーム衝突回避装置において、前記画像処理部は、ブームの起伏または旋回動作を行った際に前記ビデオカメラに写った対象物の自然特徴点を追跡してその動く方向とその移動速度を求める自然特徴点追跡手段と、該自然特徴点追跡手段で追跡した自然特徴点から障害物に属する自然特徴点を抽出する障害物抽出手段とを有することは好ましい。

そして、前記障害物抽出手段は、前記ブームの旋回中心軸に対し、旋回中心軸よりも手前側に位置する対象物の自然特徴点と、旋回中心軸よりも奥側に位置する対象物の自然特徴点との動きの違いから、手前に存在する自然特徴点であるか奥に存在する自然特徴点であるかを判定し、旋回中心軸よりも手前に存在すると判断した自然特徴点を障害物に属する自然特徴点として抽出することは好ましい。
また、前記自然特徴点追跡手段は、現在のカメラ画像から追跡が可能な対象物の自然特徴点を検索し、次いで、１サンプル前のカメラ画像と現在のカメラ画像の追跡可能な自然特徴点の対応付けを行い、さらに、カメラ画像上での自然特徴点の移動距離を１サンプルタイムで除することで自然特徴点の前記移動速度を求めることは好ましい。

本発明の一態様に係る作業機用ブーム衝突回避装置によれば、ビデオカメラと画像処理部を有し、画像処理に基づく衝突回避制御を行う構成なので、作業現場の状況にあわせて取得された画像情報に基づいて衝突可能性の有無を判定することができる。そして、ビデオカメラと画像処理部により、距離センサとしての機能を奏するので、作業規制範囲の設定を間違えるなどの人為的ミスを無くすことができる。また、作業環境のデータを入力するような事前のセッティングも不要なので、迅速且つ安全に作業を開始することができる。

また、画像処理に基づく衝突判定なので、障害物が複雑な形状であっても画像情報を取得可能であり、細かい障害物であっても検出することができる。また、ビデオカメラは環境光のみで撮影できるので、レーザースキャンによる場合と比べて安全である。
また、ガラスや鏡面以外であれば、障害物の認識が容易なので、作業現場の状況に対して高い汎用性をもって適用可能である。例えば、本発明に係る作業機用ブーム衝突回避装置の利用可能な作業現場の状況としては、作業機がクレーンであれば、市街地や線路内などで電柱の近くで吊荷作業をする際に、ブームと電柱との接触を防止することができる。また、例えば建設現場で吊荷作業をする際に、ブームと足場等との接触を回避しながら荷物を搬入することができる。

本発明の一態様に係る作業機用ブーム衝突回避装置を搭載した作業機の一実施形態である車両搭載型クレーンを説明する模式的斜視図である。ブーム衝突回避装置が実行する衝突回避処理（メイン処理）のフローチャートである。ブーム衝突回避装置が衝突回避処理中で実行する障害物検出処理のフローチャートである。クレーン本体を上方から俯瞰した模式的説明図である。ブームの旋回動作を行った際に、ビデオカメラ（下側）の視野からクレーン本体のブームおよびコラムを見たカメラ画像の説明図である。図５に対応する図であって、図３での自然特徴点追跡処理および障害物抽出処理を説明する図である。図５に対応する図であって、図３での自然特徴点追跡処理および障害物抽出処理を説明する図である。

以下、本発明の一態様に係る作業機用ブーム衝突回避装置を搭載した作業機の一実施形態である車両搭載型クレーンについて、図面を適宜参照しつつ説明する。なお、この実施形態は、市街地や線路内などで電柱の近くにて、車両搭載型クレーンで吊荷作業をする際に、ブームと電柱との接触（衝突）を防止する例を説明する。
図１に示すように、この車両搭載型クレーン（以下、単に「クレーン本体」ともいう）１は、トラック等の車両９の運転席９ａと荷台９ｂとの間に架装され、車両９のシャシフレーム（不図示）上にベース２が固定される。ベース２の左右には、車両幅方向に張り出し可能な一対のアウトリガ８が設けられている。ベース２上の車幅中央の位置にはコラム３が旋回自在に立設されている。そして、このコラム３の上端部に、ブーム４が伸縮および起伏自在に枢支されている。なお、コラム３にはウインチ（不図示）が設けられ、このウインチからのワイヤロープ５をブーム４の先端部４ｔのフック６に掛回している。

そして、このクレーン１には、上記ブーム４の起伏、伸縮、旋回およびウインチの駆動にそれぞれ対応する複数のアクチュエータ（不図示）が設けられている。これら複数のアクチュエータは、ベース２の近傍に設けられてブーム動作を制御するコントローラ３０の制御で駆動されることで、起伏、伸縮および旋回動作を含むブーム動作が可能になっている。

そして、クレーン作業に際しては、オペレータがクレーン本体１から離れた位置から不図示の遠隔操作器の各選択スイッチおよび速度レバーの操作により所望のクレーン操作の入力をすると、所望のクレーン操作に対応した信号が無線通信によって上記コントローラ３０に入力され、コントローラ３０は、クレーン本体１の各アクチュエータを作動させる作動指令を出力して所望のアクチュエータの作動を開始させるようになっている。
ここで、このクレーン本体１は、上記ブーム４の先端４ｔに、二台のビデオカメラ１０と画像処理装置２０が付設されている。そして、上記コントローラ３０は、衝突回避制御部としての機能を有し、画像処理部である画像処理装置２０から出力された障害物の推定位置（後述）に基づいて、衝突回避処理を実行可能に構成されている。

詳しくは、図１に示すように、上記二台のビデオカメラ１０は、ブーム先端４ｔの下部側および上部側それぞれにクレーン本体１のコラム３および背景を含めて撮影可能なように設けられている。画像処理装置２０は、ビデオカメラ１０で撮影されたカメラ画像を取り込むとともに、後述する障害物検出処理のプログラムを実行し、ブーム４の旋回ないし起伏動作を行った際に、カメラ画像に存する対象物の自然特徴点を追跡し、その自然特徴点の追跡結果に基づいて、背景の動きと異なる動きをする対象物を認識したときには、その対象を障害物と認識し、ブーム４への障害物の接近を検知したときには、この障害物の情報をコントローラ３０に送るようになっている。なお、本実施形態の例では、離隔して立設された複数本（なお、図４に示す例では説明のために柱Ａ〜Ｅの５本）の電柱Ｈの間で作業を行っており、各電柱Ｈが障害物の対象となっている例である。

そして、衝突回避制御部としてのコントローラ３０は、衝突回避処理のプログラムを実行して、ブーム４に対する障害物の、所定時間後の推定位置の結果に基づき、オペレータへの警報、またはクレーンの減速、停止若しくは動作方向の規制等の衝突回避制御を行うようになっている。
詳しくは、コントローラ３０の衝突回避制御部で上記衝突回避処理が実行されると、図２に示すように、まずステップＳ１に移行して、事前に設定された警報猶予時間、停止猶予時間、画像処理マスクを読み込み初期設定が行われる。

ここで、「警報猶予時間」とは、検出した障害物が一定時間経過後にブーム４に接近又は衝突の恐れがある場合に、注意を促す必要があると判定するために用いる基準時間であって、当該「警報猶予時間」経過後の障害物の推定位置が、ブーム４に衝突の恐れがある場合に、警報を発するために設定される。また、「停止猶予時間」とは、検出した障害物が一定時間経過後にブーム４に衝突すると判定するために用いる基準時間であって、当該「停止猶予時間」経過後の障害物の推定位置が、ブーム４を通過する場合に、クレーンを停止させるために設定される。また、「画像処理マスク」とは、画像処理を行う部分と行わない部分を分けるためのマスク（範囲）である（図６参照）。なお、後述の「クレーン衝突マスク」とは、クレーンと障害物との接触（衝突）を判定するためのマスク（範囲）である（図７参照）。

続くステップＳ２では、上記画像処理装置２０が、ビデオカメラ１０から画像を取得して、これを初回の基準画像に設定し（基準画像取得）、続くステップＳ３では、画像処理装置２０にて図３の「障害物検出処理」が実行され、一連の画像処理によって、障害物の推定位置の情報を含む障害物の検出に係る情報を生成してステップＳ４に移行する。
そして、コントローラ３０は、ステップＳ４以降の分岐処理を、ステップＳ３の画像処理装置２０での当該障害物の自然特徴点の推定位置、つまり、注意障害物、危険障害物および非接触障害物の分類処理の結果に基づいて衝突回避制御を行う。

ここで、「注意障害物」とは、上記「警報猶予時間」経過後の当該障害物に係る自然特徴点の推定位置が、ビデオカメラ１０によって捉えられたブーム４の写像に重なる場合、即ち、警報猶予時間経過後にブーム４に衝突のおそれがある障害物をいう。また、「危険障害物」とは、上記「停止猶予時間」経過後の当該障害物に係る自然特徴点の推定位置が、ビデオカメラ１０によって捉えられたブーム４の写像の領域を通過してしまう場合、即ち、停止猶予時間経過後にブーム４に衝突すると判断する障害物をいう。また、「非接触障害物」とは、上記「注意障害物」及び「危険障害物」の条件にも当てはまらない、ブーム４に衝突する可能性のない障害物をいう。

詳しくは、画像処理装置２０は、ステップＳ３に移行すると図３に示す障害物検出処理のプログラムが実行され、まず、ステップＳ３１に移行して、ブーム先端４ｔの上下に設けられた二台のビデオカメラ１０で撮影されたブーム４および背景の画像をカメラ画像として取得してステップＳ３２に移行する。ステップＳ３２では、自然特徴点追跡のための事前処理として、ステップＳ３１で取得したカメラ画像に対して、ノイズ除去のための平滑化処理およびヒストグラムの平坦化などのフィルタリング処理を行う。

ここで、ヒストグラムが偏った画像とは「光の当たっていない部分が黒く潰れた画像」や「光の強くあたっている部分が白く飛んだ画像」などのことであるが、ヒストグラムを平坦化することにより、黒く潰れた部分や白く飛んだ部分の画像が鮮明になり障害物の検出をより確実に行うことができる。
また、ビデオカメラで撮影した画像には様々な要因によりノイズが生じるところ、ノイズを含む画像をそのまま処理した場合、撮影範囲には障害物が無いにも関わらずノイズを障害物と誤認識する可能性が高い。画像上の物体の投影面積の大小などの情報を用いて画像処理により障害物とノイズを分離することも可能だが、画像処理によって大量のノイズの判定を行うとノイズ除去に要する時間は膨大になる。そこで、障害物の判定を行う前に事前に平滑化処理を行ってノイズを除去しておく。

続くステップＳ３３では、自然特徴点追跡のための事前処理として、撮影したカメラ画像に対してブーム４が存在する部分など、処理が不要な部分のデータを除去するマスキング処理を行う。なお、図６は、ブーム先端４ｔの下側のビデオカメラ１０での画像イメージであり、ブーム周辺を画像処理マスク部として設定した例である。同図において、マスキング処理は、ステップＳ３２でフィルタリングしたカメラ画像と画像処理マスクを重ね合わせ、画像処理マスクと重なる部分の画素値を０に設定する。

ステップＳ３４では、ブーム４の起伏または旋回動作を行った際の自然特徴点追跡処理を実行し、ビデオカメラ１０に写った対象物の動く方向とその移動速度を求める。自然特徴点追跡処理は、まず、ステップＳ３３でマスキング後の現在のカメラ画像から追跡が可能な対象物の自然特徴点を検索する。次いで、１サンプル前のカメラ画像と現在のカメラ画像の追跡可能な自然特徴点の対応付け処理（各特徴点が１サンプル前のカメラ画像からどのように動いたかを追跡）を行う。さらに、カメラ画像上での自然特徴点の移動距離を１サンプルタイムで除することで自然特徴点の移動速度を求める。これにより、画面上の自然特徴点がどの方向にどれくらいの速度で動いているかを認識する。

続くステップＳ３５では、ステップＳ３４で追跡した自然特徴点から障害物に属する自然特徴点を抽出する障害物抽出処理を実行する。この障害物抽出処理は、図４に示すブーム４の旋回中心軸に対し、旋回中心軸よりも手前側（カメラ側）に位置する対象物と、旋回中心軸よりも奥側（カメラとは反対側）に位置する対象物との動きの違いから、手前（障害物）に存在する自然特徴点であるか奥（背景）に存在する自然特徴点であるかを判定し、旋回中心軸よりも手前に存在すると判断した自然特徴点を障害物に属する自然特徴点として抽出するものである。

自然特徴点追跡の例として、図４に示す、ブーム４の右旋回操作を行った場合を考える。また、図５にブーム右旋回時のビデオカメラ１０のカメラ画像のイメージを示す。なお、図５に示す例では、対象物としてカメラ画像上の破線に示す柱が、ブーム４の旋回によって実線に位置するように認識された場合のイメージを示す。
今、ブーム４の右旋回を行うと、図５に示すように、上記旋回中心軸よりもビデオカメラ１０に近い対象物は、カメラ画像上では旋回方向と同じ右方向に動く。なお、同図に示す矢印は、カメラ画像上での対象物の移動方向のイメージを示している（以下、図５〜７において同様）。一方、旋回中心軸よりもビデオカメラ１０から遠い対象物および背景は、カメラ画像上では旋回方向とは逆方向となる左方向に動く。よって、ブーム４の旋回方向が判れば、背景の自然特徴点と障害物の自然特徴点とを容易に区別することができる。例えば、クレーンの操作レバーの動き或いはコントロールバルブの旋回用スプール、起伏用スプールの動きを差動トランス等のセンサーで感知し、その情報をコントローラ３０が受信してブーム４の作動方向を判断し、画面上での自然特徴点のベクトル方向から、背景か障害物かを読み取ることができる。

本実施形態では、ブーム４の作動方向は、コントローラ３０がクレーンの操作レバーの動きをリミットスイッチで読み取って判断する。そして、コントローラ３０は、実際のブーム作動方向に対して、画面上で同方向に動く自然特徴点を背景による自然特徴点であると認知し、一方、ブーム作動方向とは反対方向に動く自然特徴点を障害物の自然特徴点と認知する。

なお、他の判断処理方法として、ブーム４の旋回方向によらず、自然特徴点の数の違いを比較して判断することもできる。つまり、通常、背景として抽出される自然特徴点の数は、障害物として抽出される自然特徴点の数に比べて圧倒的に多いので、コントローラ３０が、ブーム作動時における自然特徴点が一の方向に移動したときに、絶対数の多い方を「背景」と判断し、少ないものを障害物として判断することもできる。

ここで、ブーム４の旋回操作を行った際に、ブーム４と衝突する可能性のある障害物は、ビデオカメラ１０の画像が捉えた範囲でのクレーン本体１の旋回中心軸までの空間に存在する対象物である。また、ブーム４の右旋回操作を行った場合には、ブーム４の右側に存在する対象物がブーム４と衝突する可能性がある（図４での二点鎖線で示す領域参照）。

図５に示す例では、カメラ画像上における画面左半分がこれに相応する。一方、ブーム４よりも下および画面右半分に存在する対象物はブーム４と衝突するおそれはない。つまり、ブーム４の右旋回操作を行った場合には、カメラ画像上の画面左側の対象物であって且つカメラ画像上で右方向に動く対象物が、ブームと衝突する可能性のある障害物であると判定することができる。

いま、図４、５に示すように、クレーン本体１の周囲に対象物としてＡ〜Ｅの５本の柱がある場合を考える。この場合、ブーム４の右旋回時に、柱Ａ,Ｂは、カメラ画像上で柱Ａ,Ｂの自然特徴点が左方向に移動するため背景と認識され、ブーム４と衝突する可能性はないものと判定できる。また、柱Ｅは、その自然特徴点が画面の右半分で右に移動するため、ブームと衝突する可能性がない対象物と判定できる。柱Ｃ、Ｄは、その自然特徴点が画面の左半分で右に移動するため、ブーム４と衝突する可能性を有し得る。しかし、柱Ｄは、その自然特徴点がブーム４の領域よりも下方に位置しているので、ブーム４と衝突する可能性はないものと判定できる。これに対し、柱Ｃは、その自然特徴点がブーム４の領域よりも上方に位置しているので、ブーム４と衝突する可能性がある障害物として判定することができる。この自然特徴点を追跡することによる障害物の判定方法は、同様の考え方により、ブーム４の左旋回操作を行った場合や起伏操作を行った場合においても適用することができる。

また、カメラ画像上の対象物の移動速度から、クレーン本体１の旋回中心軸およびビデオカメラ１０に対する対象物の所定時間経過後の推定位置を演算により求めることができる。すなわち、図３に示す、続くステップＳ３６では、上記判定にて障害物とされた対象物の警報猶予時間後の推定位置（注意障害物に対応する位置）および停止猶予時間後の推定位置（危険障害物に対応する位置）を演算する。障害物の推定位置演算は、ステップＳ３５で抽出した障害物に属する全ての自然特徴点に対して演算を行う。

図７に示すように、障害物の所定時間後における推定位置は、現在位置に速度ベクトルを加算することで求めることができる。具体的には、障害物（注意障害物、危険障害物）の推定位置は以下の式によって求まる。
速度ベクトル＝（現在位置−１サンプル前の位置）÷１サンプルに要する時間
注意障害物推定位置＝現在位置＋速度ベクトル×警報猶予時間
危険障害物推定位置＝現在位置＋速度ベクトル×停止猶予時間
続くステップＳ３７では障害物分類処理を行う。障害物分類処理は、ステップＳ３５で追跡した自然特徴点を、ステップＳ３６の演算結果に基づいて、ブーム４に接触する危険度に応じて分類する処理である。ここで、障害物に属する自然特徴点は、警報猶予時間後には注意障害物推定位置に移動する。

すなわち、注意障害物推定位置が、ビデオカメラ１０によって捉えられたブーム４の写像に重なる場合、この障害物は、警報猶予時間の経過後にブーム４に衝突する恐れがあると判断できる。また、推定位置がビデオカメラ１０によって捉えられたブーム４の写像を通過している場合も、この障害物は警報猶予時間以内にクレーンに衝突すると判断できる。このことから、障害物の現在位置と注意障害物推定位置を結ぶベクトルが、ビデオカメラ１０によって捉えられたブーム４の写像の領域、つまり、図７に示すクレーン衝突マスクと交差するか否かを演算することで、障害物が警報猶予時間内にブーム４に衝突する可能性を判定することができる。これは危険障害物推定位置についても同様である。ステップＳ３７では、この判断方法を用いてステップＳ３５で追跡した障害物に対し、当該障害物に属する全ての自然特徴点について以下の３つの障害物（危険障害物、注意障害物、非接触障害物）に分類する。

ステップＳ３８では、ビデオカメラ１０で現在撮影されているクレーンの状態を次サンプルにおける基準画像として使用するために、現在のカメラ画像を基準画像に上書きする基準画像更新処理を行ってメイン処理である上記衝突回避処理に復帰する。
そして、メイン処理に復帰すると、図２に示すステップＳ４に移行し、ステップＳ４では、上記分類処理の結果に基づいて、実質的な「障害物」の有無が判定される。つまり上記のステップＳ３５において旋回中心軸より手前に存在しうる自然特徴点が１つも抽出されなかった場合（Ｎｏ）は、ステップＳ３に処理を戻し、旋回中心軸より手前に存在する自然特徴点が１つでも抽出された場合（Ｙｅｓ）は、ステップＳ５へ移行する。

ステップＳ５では、ステップＳ３７で分類された「非接触障害物」以外の自然特徴点が存在すると判定されたとき、即ち、「注意障害物」又は「危険障害物」どちらかに係る自然特徴点の存在が判定されたときは、注意障害物がある（Ｙｅｓ）と判定し、ブーム４と障害物との距離が近いと判断してステップＳ６に移行する。
そうでない場合、上記のステップＳ４で判定された障害物のうち、注意障害物及び危険障害物に係る自然特徴点がない場合（Ｎｏ）、即ちステップＳ３７で「非接触障害物」と分類されたものについては、ブーム４と障害物との距離が十分に離れていると判断してステップＳ３に処理を戻す。続くステップＳ６では、ブーム４が障害物に近いことから、警報を発するための信号を出力してステップＳ７に移行する。これにより、オペレータに注意を促すためにブザーなどの警報が鳴動される。

ステップＳ７では、ステップＳ３７で分類された「危険障害物」のみに係る自然特徴点が存在すると判定されたときは、危険障害物がある場合（Ｙｅｓ）と判定し、ブーム４と障害物との距離が非常に近いと判断してステップＳ８に移行する。
そうでない場合、つまり、危険障害物のみに係る自然特徴点がない場合（Ｎｏ）には、ブーム４と障害物との距離は幾分か離れていると判断してステップＳ３に処理を戻す。ステップＳ８では、ブーム４が障害物に接触することを防ぐために、障害物への接近方向（ブーム起、伏、左右旋回およびフック上）へのブーム４の操作停止信号を出力してステップＳ３に処理を戻す。この場合、実際のクレーンは、ステップＳ６の警報が鳴動されつつ、ステップＳ８の自動停止がなされる。

次に、この車両搭載型クレーン１の衝突回避装置の動作およびその作用・効果について説明する。
この車両搭載型クレーン１でクレーン作業を行う際は、オペレータがクレーン本体１から離れた位置から上記遠隔操作器の各選択スイッチおよび速度レバーの操作により所望のクレーン操作を入力する。これにより、所望のクレーン操作に対応した信号が無線通信によって上記コントローラ３０に入力され、コントローラ３０は、クレーン本体１の各アクチュエータを作動させる作動指令を出力し所望のアクチュエータが作動する。これにより、クレーン作業に際し、オペレータはクレーン本体１から離れた位置から、ブーム４の起伏、伸縮および旋回動作を含むブーム動作を行うことができる。

ここで、作業現場の状況が、図１に示すように、市街地や線路内などで電柱Ｈの近くで吊荷作業をする際、ブーム４と電柱Ｈとの接触が懸念される。
これに対し、本実施形態の車両搭載型クレーン１は、ビデオカメラ１０、画像処理装置２０およびコントローラ３０を含んで構成される衝突回避装置を有し、この衝突回避装置が、ブーム４の起伏または旋回動作を行った際に、上述した図２，３に示す衝突回避処理を実行して自然特徴点を追跡し、その自然特徴点の追跡結果に基づいて衝突回避制御を行うので、作業現場の状況にあわせて取得された画像情報に基づいて、障害物である電柱Ｈに対してブーム４の衝突可能性の有無を判定することができる。

そして、この衝突回避装置によれば、ビデオカメラ１０と画像処理装置２０を用いて距離センサとしての機能を奏する構成なので、作業規制範囲の設定を間違えるなどの人為的ミスを無くすことができる。また、作業環境のデータを入力するような事前のセッティングも不要なので、迅速且つ安全に作業を開始することができる。
また、この衝突回避装置によれば、ビデオカメラ１０の画像情報から処理された対象物の自然特徴点に基づいた衝突判定なので、電柱等の対象物、及び複雑な形状をした対象物であっても画像情報を取得してこれを検出することができる。また、本実施形態のようにビデオカメラ１０で取得した画像から装置を構成できるため、センサの配置箇所（配置個数）が少ないことから、衝突回避装置の製造が容易であり現地改造も行い易い。また、ビデオカメラ１０は環境光のみで撮影できるので、レーザースキャンによる場合と比べて安全である。

また、この衝突回避装置によれば、対象物がガラスや鏡面以外であれば認識が容易なので、作業現場の状況に対して高い汎用性をもって適用可能である。
なお、本発明に係る作業機用ブーム衝突回避装置は、上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しなければ種々の変形が可能であることは勿論である。
例えば、上記実施形態では、車両搭載型クレーンに本発明の一態様に係る作業機用ブーム衝突回避装置を搭載した例を説明したが、これに限定されず、作業用のブームを有する作業機であれば本発明を適用可能である。

また、上記実施形態では、画像処理部と衝突回避制御部とがそれぞれ別個に画像処理装置２０とコントローラ３０に設けられた例で説明したが、これに限らず、例えば画像処理部と衝突回避制御部とをコントローラ３０内に設けることもできる。
また、上記実施形態では、ビデオカメラ１０を二台設けた例で説明したが、これに限らず、例えば一台のビデオカメラであっても、このビデオカメラで撮影したブームの起伏または旋回動作を行った際の画像に存する自然特徴点を追跡し、その自然特徴点の追跡結果に基づいてブームに衝突するおそれのある障害物を判定可能である。

また、上記実施形態では、本発明の利用可能な作業現場の状況の一例として、市街地や線路内などで、電柱の近くで吊荷作業をする際に、電柱との接触を防止する例を説明したが、これに限らず、作業時にブームが障害物と干渉するのを防ぐために、ブームの位置や姿勢を制限する用途に対して広く本発明を適用することができる。例えば建設現場で吊荷作業をする際に、足場等との接触を回避しながら荷物を搬入する用途に対して適用することができる。

１車両搭載型クレーン（クレーン本体）
２ベース
３コラム
４ブーム
５ワイヤロープ
６フック
７起伏シリンダ
８アウトリガ
９車両
１０ビデオカメラ
２０画像処理装置（画像処理部）
３０コントローラ（衝突回避制御部）
Ｈ電柱（障害物）
Ｓ電線

Claims

ブームを有する作業機に用いられ、作業時にブームが障害物と干渉するのを防ぐために、前記ブームと障害物との衝突を回避する作業機用ブーム衝突回避装置であって、
前記ブームの先端に前記ブームおよび背景を撮影するように設けられたビデオカメラと、該ビデオカメラで撮影した前記ブームの起伏または旋回動作を行った際の画像に存する、物体の角や輪郭等が背景に対して明暗差や色相差が明瞭となっている特徴的な箇所を抽出した点である自然特徴点を追跡し、その追跡結果に基づいて前記ブームに衝突するおそれのある障害物の情報を生成する画像処理部と、該画像処理部で生成された前記障害物の情報に基づいて前記ブームと障害物との衝突を回避する衝突回避制御を行う衝突回避制御部とを備えることを特徴とする作業機用ブーム衝突回避装置。
前記画像処理部は、前記ブームの起伏または旋回動作を行った際に、前記自然特徴点の追跡結果に基づいて、背景の自然特徴点の動きと異なる動きをする対象物を障害物として認識するとともに一定時間経過後の当該障害物の自然特徴点の推定位置を前記障害物の情報として算出し、
前記衝突回避制御部は、前記推定位置の情報に基づいて、オペレータへの警報、またはブームの減速、停止若しくは動作方向の規制等の衝突回避制御を行うことを特徴とする請求項１に記載の作業機用ブーム衝突回避装置。
前記画像処理部は、前記障害物の自然特徴点の推定位置に基づいて、一定時間経過後にブームに衝突のおそれがある注意障害物と、一定時間経過後にブームに衝突すると判断する危険障害物と、一定時間経過後にブームに衝突する可能性のない非接触障害物とにブームに接触する危険度に応じて分類する分類処理を実行し、
前記衝突回避制御部は、前記分類処理の結果に基づいて、前記非接触障害物と判定したときには、通常のブーム動作を継続し、前記注意障害物と判定したときには、オペレータへの警報を行い、前記危険障害物と判定したときには、障害物への接近方向へのブームの操作停止信号を出力することを特徴とする請求項２に記載の作業機用ブーム衝突回避装置。
前記画像処理部は、ブームの起伏または旋回動作を行った際に前記ビデオカメラに写った対象物の自然特徴点を追跡してその動く方向とその移動速度を求める自然特徴点追跡手段と、該自然特徴点追跡手段で追跡した自然特徴点から障害物に属する自然特徴点を抽出する障害物抽出手段とを有することを特徴とする請求項１〜３のいずれか一項に記載の作業機用ブーム衝突回避装置。
前記障害物抽出手段は、前記ブームの旋回中心軸に対し、旋回中心軸よりも手前側に位置する対象物の自然特徴点と、旋回中心軸よりも奥側に位置する対象物の自然特徴点との動きの違いから、手前に存在する自然特徴点であるか奥に存在する自然特徴点であるかを判定し、旋回中心軸よりも手前に存在すると判断した自然特徴点を障害物に属する自然特徴点として抽出することを特徴とする請求項４に記載の作業機用ブーム衝突回避装置。
前記自然特徴点追跡手段は、現在のカメラ画像から追跡が可能な対象物の自然特徴点を検索し、次いで、１サンプル前のカメラ画像と現在のカメラ画像の追跡可能な自然特徴点の対応付けを行い、さらに、カメラ画像上での自然特徴点の移動距離を１サンプルタイムで除することで自然特徴点の前記移動速度を求めることを特徴とする請求項４に記載の作業機用ブーム衝突回避装置。