JP2020183623A - ショベル - Google Patents

ショベル Download PDF

Info

Publication number
JP2020183623A
JP2020183623A JP2019086880A JP2019086880A JP2020183623A JP 2020183623 A JP2020183623 A JP 2020183623A JP 2019086880 A JP2019086880 A JP 2019086880A JP 2019086880 A JP2019086880 A JP 2019086880A JP 2020183623 A JP2020183623 A JP 2020183623A
Authority
JP
Japan
Prior art keywords
excavator
image
monitoring target
detection unit
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019086880A
Other languages
English (en)
Inventor
篤史 中山
Atsushi Nakayama
篤史 中山
泉川 岳哉
Takeya Izumikawa
岳哉 泉川
節 梅田
Setsu Umeda
節 梅田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo SHI Construction Machinery Co Ltd
Original Assignee
Sumitomo SHI Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo SHI Construction Machinery Co Ltd filed Critical Sumitomo SHI Construction Machinery Co Ltd
Priority to JP2019086880A priority Critical patent/JP2020183623A/ja
Publication of JP2020183623A publication Critical patent/JP2020183623A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

【課題】安全性をより向上させることが可能なショベルを提供する。【解決手段】本発明の一実施形態のショベル100は、ショベル100の周囲の物体から受光される反射光の強度に関する情報、及びショベル100の周囲の物体までの距離に関する情報を取得するセンサ45Xと、センサ45Xの出力に基づき、警報の出力、及びショベルの動作制限の少なくとも一方を行うコントローラ30と、を備える。例えば、センサ45Xは、光(赤外線)をショベル100の周囲に照射すると共にその反射光を受光することにより、ショベル100の周囲の物体の光の反射強度に関する情報、及びショベル100の周囲の物体までの距離に関する情報を取得する。【選択図】図2A

Description

本発明は、ショベルに関する。
ショベルの周囲に向けてレーザ光を走査し、周囲の物体からの反射光を受光すると共に、反射光の受光レベル(強度)に基づき、ショベルの周囲の監視対象(例えば、作業者等の人)の検出及び位置の特定を行う技術が知られている(特許文献1参照)。
特許文献1では、監視対象としての作業員の位置を特定し、特定した位置に応じて、警報を出力したり、ショベルの動作を制限したりすることが開示されている。
特開2005−180943号公報
しかしながら、受光される反射光の強度でショベルの周囲の物体の位置が特定されると、例えば、監視対象の物体から受光される反射光の強度に、ある程度のレンジが想定される場合、その物体の位置を正確に把握することができない可能性がある。例えば、ショベルの近くに存在する、再帰反射性が相対的に低い物体と、ショベルから遠くに離れた再帰反射性が相対的に高い物体とを区別することができない可能性がある。そのため、ショベルと物体との位置関係に応じて、警報の出力やショベルの動作制限が行われる場合に、警報の出力やショベルの動作制限の発生条件にバラツキが生じうる。よって、ショベルの安全性の観点で改善の余地がある。
そこで、上記課題に鑑み、安全性をより向上させることが可能なショベルを提供することを目的とする。
上記目的を達成するため、本発明の一実施形態では、
ショベルの周囲の物体から受光される反射光の強度に関する情報、及びショベルの周囲の物体までの距離に関する情報を取得するセンサと、
前記センサの出力に基づき、警報の出力、及びショベルの動作制限の少なくとも一方を行う制御装置と、を備える、
ショベルが提供される。
上述の実施形態によれば、安全性をより向上させることが可能なショベルを提供することができる。
ショベルの側面図である。 ショベルの上面図である。 周辺監視装置の構成を説明する図である。 周辺監視装置の構成を説明する図である。 周辺監視装置の構成を説明する図である。 表示装置に表示される監視画像の一例(スルー画像)を示す図である。 表示装置に表示される監視画像の他の例(俯瞰画像)を示す図である。 検出部の検出可能エリアの具体例を説明する図である。 検出部の検出可能エリアの具体例を説明する図である。 作業現場の作業者の具体例を示す図である。 作業現場の作業者の具体例を示す図である。 作業現場の作業者の具体例を示す図である。 作業現場の作業者の具体例を示す図である。 オプション装備の装着時における動作制限範囲を示す図である。 ショベルの周囲の監視対象との接触の有無の判断方法を説明する図である。 動作制限機能の作動制御方法を説明する図である。 動作制限機能の作動制御方法を説明する図である。 監視対象の検出時における監視画像の具体例を示す図である。 監視対象の検出時における監視画像の具体例を示す図である。 監視対象の検出時における監視画像の具体例を示す図である。
以下、図面を参照して発明を実施するための形態について説明する。
[ショベルの概要]
まず、図1(図1A、図1B)を参照して、本実施形態に係るショベル100の概要について説明をする。
図1A、図1Bは、本実施形態に係るショベル100の一例を示す図であり、具体的には、それぞれ、ショベル100の側面図及び上面図である。
ショベル100は、下部走行体1と、旋回機構2を介して旋回可能に下部走行体1に搭載される上部旋回体3と、アタッチメントとしてのブーム4、アーム5、及び、バケット6と、キャビン10を備える。
下部走行体1は、例えば、左右一対のクローラ1C(左側のクローラ1CL及び右側のクローラ1CR)を含み、クローラ1CL,1CRがそれぞれに対応する走行油圧モータ1Mで油圧駆動されることにより、自走する。
上部旋回体3は、旋回油圧モータ2Aで旋回機構2が油圧駆動されることにより、下部走行体1に対して旋回する。
上部旋回体3には、その上面に、撮像装置40及び周囲情報取得装置45が搭載される。
また、上部旋回体3には、ショベル100の動力源が搭載される。ショベル100の動力源には、例えば、所定の燃料(例えば、軽油)で稼働するエンジン11(例えば、ディーゼルエンジン等)が含まれる。また、ショベル100の動力源には、エンジン11に代えて、或いは、加えて、蓄電装置(例えば、キャパシタやリチウムイオンバッテリ等)或いはケーブルで接続される外部の電源から供給される電力で稼働する電動機等が含まれてもよい。
また、上部旋回体3には、メインポンプ14、パイロットポンプ15、及びコントロールバルブ等の各種の油圧機器が搭載される。
メインポンプ14は、エンジン11や電動機等の動力源で駆動され、コントローラ30の制御下で、各種の油圧アクチュエータに作動油を供給する。油圧アクチュエータには、上述の走行油圧モータ1M、及び旋回油圧モータ2Aの他、後述のブームシリンダ7、アームシリンダ8、及びバケットシリンダ9等が含まれる。
パイロットポンプ15は、エンジンや電動機等の動力源で駆動され、油圧パイロット式の各種油圧機器(例えば、操作装置26やコントロールバルブ17等)に作動油を供給する。
コントロールバルブ17は、被駆動体(即ち、対応する油圧アクチュエータ)の操作状態に応じて、メインポンプ14から吐出される作動油をそれぞれの油圧アクチュエータに選択的に供給し、油圧アクチュエータに供給される作動油の流量及び流れの方向を調整する。例えば、コントロールバルブ17は、それぞれの油圧アクチュエータに供給される作動油の方向及び流量を制御する複数の制御弁(方向切換弁)等により構成されてよい。コントロールバルブ17は、例えば、油圧駆動式であり、それぞれの油圧アクチュエータの操作内容に応じたパイロット圧が入力されることにより、それぞれの油圧アクチュエータに対応する制御弁(方向切換弁)が駆動される態様であってよい。また、コントロールバルブ17は、電気駆動式(例えば、電磁ソレノイド式)であってもよく、操作装置26の操作内容に応じた電気信号が入力されることにより、それぞれの油圧アクチュエータに対応する制御弁(方向切換弁)が駆動される態様であってもよい。
ブーム4は、上部旋回体3の前部中央に俯仰可能に枢着され、ブーム4の先端には、アーム5が上下回動可能に枢着され、アーム5の先端には、バケット6が上下回動可能に枢着される。
バケット6は、エンドアタッチメントの一例であり、ショベル100の作業内容に応じて、適宜交換可能な態様で、アーム5の先端に取り付けられている。つまり、アーム5の先端には、バケット6に代えて、バケット6とは異なる種類のバケット、例えば、相対的に大きい大型バケット、法面用バケット、浚渫用バケット等が取り付けられてもよい。また、アーム5の先端には、バケット以外の種類のエンドアタッチメント、例えば、攪拌機、ブレーカ、クラッシャー等が取り付けられてもよい。また、アーム5と、エンドアタッチメントとの間には、例えば、クイックカップリングやチルトローテータ等の予備アタッチメントが介装されてもよい。
ブーム4、アーム5、及び、バケット6は、それぞれ、ブームシリンダ7、アームシリンダ8、及び、バケットシリンダ9により油圧駆動される。
キャビン10は、オペレータが搭乗し、ショベル100を操作するための操縦室であり、例えば、上部旋回体3の前部左側に搭載される。
キャビン10には、操作装置26、コントローラ30、表示装置50、入力装置52、音出力装置54等が設けられる。
操作装置26は、下部走行体1、上部旋回体3、アタッチメント(ブーム4、アーム5、及びバケット6)等のアクチュエータ(具体的には、油圧アクチュエータ)で駆動される被駆動体を操作するために用いられる。換言すれば、操作装置26は、被駆動体を駆動するそれぞれの油圧アクチュエータ(クローラ1CL,1CRのそれぞれに対応する走行油圧モータ1M、旋回油圧モータ2A、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9等)を操作するために用いられる。操作装置26は、例えば、それぞれの被駆動体、即ち、それぞれの油圧アクチュエータに対応するレバー装置やペダル装置等を含む。
操作装置26は、例えば、油圧パイロット式である。この場合、操作装置26は、パイロットポンプ15から供給される作動油を用いて、それぞれの被駆動体(即ち、対応するそれぞれの油圧アクチュエータ)に関する操作内容(例えば、操作方向及び操作量等)に応じたパイロット圧をコントロールバルブ17に出力する。これにより、コントロールバルブ17は、操作装置26の操作内容に応じた、それぞれの被駆動体(即ち、対応するそれぞれの油圧アクチュエータ)の動作を実現することができる。
また、操作装置26は、例えば、電気式であってもよい。この場合、操作装置26は、それぞれの被駆動体(即ち、対応するそれぞれの油圧アクチュエータ)の操作内容に対応する電気信号(以下、「操作信号」)をコントローラ30に出力する。そして、コントローラ30は、パイロットポンプ15とコントロールバルブ17との間の油路(パイロットライン)に設けられる、操作用の油圧制御弁(例えば、後述の油圧制御弁56)に操作信号に対応する制御指令を出力する。これにより、操作用の油圧制御弁は、パイロットポンプ15から供給される作動油を用いて、操作信号に応じたパイロット圧、つまり、操作装置26におけるそれぞれの被駆動体(即ち、それぞれの油圧アクチュエータ)に関する操作内容に応じたパイロット圧をコントロールバルブ17に作用させることができる。よって、コントロールバルブ17は、操作装置26の操作内容に応じた、それぞれの被駆動体(即ち、対応するそれぞれの油圧アクチュエータ)の動作を実現することができる。
また、ショベル100の被駆動体、即ち、対応するアクチュエータ(油圧アクチュエータ)は、遠隔操作されてもよい。この場合、ショベル100には、通信機器が搭載され、所定の外部装置から遠隔操作の内容を表す信号(以下、「遠隔操作信号」)がショベル100に送信されると共に、コントローラ30は、通信機器を通じて、遠隔操作信号を受信する。そして、コントローラ30は、操作用の油圧制御弁に対して、遠隔操作信号で規定される遠隔操作の内容(例えば、操作対象の被駆動体或いは油圧アクチュエータ、操作方向、及び操作量等)に応じた制御指令を出力する。これにより、操作用の油圧制御弁は、パイロットポンプ15から供給される作動油を用いて、遠隔操作の内容に応じたパイロット圧をコントロールバルブ17に作用させることができる。よって、コントロールバルブ17は、遠隔操作の内容に応じた、それぞれの被駆動体(即ち、対応するそれぞれの油圧アクチュエータ)の動作を実現することができる。
尚、ショベル100は、各種の油圧アクチュエータの一部又は全部が電動アクチュエータに置換されてもよい。つまり、ショベル100は、ハイブリッドショベルや電動ショベルであってもよい。この場合、コントローラ30は、操作装置26の操作内容や、遠隔操作信号で規定される遠隔操作の内容に応じた制御指令を電動アクチュエータに出力してよい。
[周辺監視装置の構成]
次に、図1に加えて、図2(図2A、図2B)、図3(図3A、図3B)を参照して、本実施形態に係るショベル100に搭載される周辺監視装置200の構成について説明をする。
図2は、本実施形態に係る周辺監視装置200の構成を説明する図である。具体的には、図2Aは、本実施形態に係る周辺監視装置200の構成の一例を示すブロック図である。図2Bは、ホーン54aを吹鳴させるための回路構成の一例を示す図である。図2Cは、走行アラーム54bを吹鳴させるための回路構成の一例を示す図である。
周辺監視装置200は、ショベル100の周囲の所定範囲内への監視対象である所定の物体(以下、単に「監視対象」)の進入を監視する。そして、周辺監視装置200は、ショベル100の周囲の所定範囲内で監視対象を検出する場合に、ショベル100の周囲の安全性を確保するための安全機能を作動させる。
安全機能には、例えば、キャビン10の内部及び外部の少なくとも一方に警報を出力する等し、監視対象の検出を報知する報知機能が含まれてよい。これにより、キャビン10の内部のオペレータやショベル100の周囲の作業者等に対して、ショベル100の周囲の所定範囲内に監視対象が存在していることに関する注意を促すことができる。以下、キャビン10の内部、即ち、オペレータ等に対する報知機能を「内部報知機能」と称し、キャビン10の外部、即ち、ショベル100の周囲の作業者等に対する報知機能を「外部報知機能」と称して区別する場合がある。また、安全機能には、例えば、操作装置26の操作や遠隔操作に対するショベル100の動作を制限する動作制限機能が含まれてよい。
動作制限機能には、操作装置26の操作や遠隔操作に対するショベル100の動作速度を通常よりも遅くする動作減速機能、及び操作装置26の操作や遠隔操作に関わらず、ショベル100の動作を停止させ、停止状態を維持させる動作停止機能の少なくとも一方が含まれる。
監視対象には、ショベル100の周囲で作業する作業者や作業現場の監督者等の人が含まれてよい。また、監視対象には、作業現場に仮置きされた資材、作業現場の仮設事務所等の定置された移動しない障害物やトラックを含む車両等の移動する障害物等、人以外の任意の物体(即ち、障害物)が含まれうる。以下、本実施形態では、監視対象が人である場合を中心に説明を続ける。
図2Aに示すように、周辺監視装置200は、コントローラ30と、操作情報出力装置29と、撮像装置40と、周囲情報取得装置45と、表示装置50と、入力装置52と、音出力装置54と、油圧制御弁56を含む。
コントローラ30は、周辺監視装置200の機能に関する制御を行う制御装置である。コントローラ30は、例えば、キャビン10内に搭載される。
コントローラ30は、その機能が任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせにより実現されてよい。コントローラ30は、例えば、CPU(Central Processing Unit)、RAM(Random Access Memory)等のメモリ装置(主記憶装置)、ROM(Read Only Memory)等の補助記憶装置、及びインターフェース装置等を含むコンピュータを中心に構成される。コントローラ30は、例えば、補助記憶装置にインストールされる一以上のプログラムをCPU上で実行することにより実現される機能部として、表示処理部301と、設定部302と、検出部304と、安全機能制御部305を含む。また、コントローラ30は、記憶部303を利用する。記憶部303は、例えば、補助記憶装置や、コントローラ30と通信可能に接続される外部記憶装置等により実現されうる。
尚、コントローラ30の機能の一部又は全部は、他のコントローラにより実現されてもよい。つまり、周辺監視装置200の機能は、複数のコントローラにより分担されることにより実現されてもよい。また、コントローラ30は、周辺監視装置200の機能以外のショベル100に関する制御を行ってもよい。つまり、コントローラ30は、周辺監視装置200の機能に特化した専用の制御装置であってもよいし、周辺監視装置200の機能を含むショベル100の各種機能に関する制御を行う汎用の制御装置であってもよい。
操作情報出力装置29は、操作装置26の操作内容、或いは、遠隔操作の内容、つまり、それぞれの被駆動体(即ち、対応するそれぞれの油圧アクチュエータ)に関する操作内容に関する情報(以下、「操作情報」)を出力する。
操作情報出力装置29は、例えば、操作装置26の操作内容に関する情報を取得するセンサ(以下、「操作情報取得センサ」)であってよい。操作情報取得センサは、例えば、操作装置26のレバーやペダル等の操作方向や操作量を感知するリニアエンコーダである。また、操作情報取得センサは、例えば、油圧パイロット式の操作装置26の二次側のパイロット圧を感知する圧力センサである。また、操作情報出力装置29は、例えば、電気式の操作装置26であってよい。電気式の操作装置26から出力される操作信号は、操作情報に相当するからである。また、操作情報出力装置29は、例えば、外部装置から遠隔操作信号を受信する通信機器である。
撮像装置40は、上部旋回体3の上部に取り付けられ、ショベル100に相対的に近い領域から相対的に遠い領域に亘るショベル100の周囲を撮像し、撮像画像を出力する。撮像装置40は、カメラ40B,40L,40Rを含む。以下、カメラ40B,40L,40Rを包括的に「カメラ40X」と称する場合がある。
カメラ40B、カメラ40L、及びカメラ40Rは、それぞれ、上部旋回体3の後端上部、左端上部、及び、右端上部に取り付けられ、上部旋回体3の後方、左側方、及び、右側方を撮像する。例えば、カメラ40Xは、非常に広い画角を有する単眼カメラ(即ち、広角カメラ)である。また、例えば、カメラ40Xは、ステレオカメラやデプスカメラ等であってもよい。カメラ40Bは、上部旋回体3の後方の撮像範囲、例えば、左後方から右後方に亘る水平方向(即ち、ショベル100から見た周方向)の撮像範囲を撮像する。また、カメラ40Lは、例えば、上部旋回体3の左側方の撮像範囲、例えば、上部旋回体3の左前方から左後方に亘る水平方向(ショベル100から見た周方向)の撮像範囲を撮像する。また、カメラ40Rは、例えば、上部旋回体3の右側方の撮像範囲、例えば、上部旋回体3の右前方から右後方に亘る水平方向(ショベル100から見た周方向)の撮像範囲を撮像する。また、カメラ40Xは、上部旋回体3の上部において、光軸が斜め下方に向くように取り付けられ、ショベル100の近傍の地面からショベル100の遠方までを含む上下方向の撮像範囲を撮像する。
カメラ40Xは、例えば、ショベル100の起動(即ち、キースイッチON)から停止(即ち、キースイッチOFF)までの間で、所定周期(例えば、1/30秒)ごとに、撮像画像を出力する。カメラ40Xから出力される撮像画像は、コントローラ30に取り込まれる。
周囲情報取得装置45は、上部旋回体3の上部に取り付けられ、ショベル100の周囲の状況に関する情報を取得する。周囲情報取得装置45は、センサ45BL,45BR,45L,45Rを含む。以下、センサ45BL,45BR,45L,45Rを包括的に「センサ45X」と称する場合がある。
センサ45BL、センサ45BR、センサ45L、及びセンサ45Rは、それぞれ、上部旋回体3の左寄りの後端上部、右寄りの後端上部、左端上部、及び、右端上部に取り付けられ、上部旋回体3の左後方、右後方、左側方、及び、右側方の状況に関する情報を取得する。例えば、センサ45Xは、LIDAR(Light Detection and Ranging)である。また、例えば、センサ45Xは、例えば、ミリ波レーダや超音波センサ等であってもよい。以下、センサ45XがLIDARである場合を中心に説明を進める。
センサ45Xは、例えば、ある方向に赤外線を照射する共に、その方向の物体からの反射光(赤外線)を受光することにより、ショベル100の周囲の状況を表す情報、具体的には、受光される反射光に関する情報(以下、「受光情報」)を取得する。センサ45Xは、例えば、走査型のLIDARであり、赤外線レーザの照射方向を上下方向及び左右方向に走査可能な三次元レーザスキャナである。また、センサ45Xは、発光モジュールから赤外線を三次元の広範囲に照射し、反射光(赤外線)を三次元距離画像素子で撮像する、いわゆるフラッシュ型LIDARであってもよい。
受光情報には、赤外線の照射方向ごとの赤外線の照射から反射光が受光されるまでの時間(TOF:Time Of Flight)に関する情報(以下、「TOF情報」)、及び赤外線の照射方向ごとの受光される反射光の強度に関する情報(以下、「受光強度情報」)が含まれる。
センサ45BLは、上部旋回体3の左後方の照射範囲、例えば、上部旋回体3の左後方から後方に亘る水平方向(即ち、ショベル100から見た周方向)の照射範囲に赤外線を照射可能に構成される。また、センサ45BRは、上部旋回体3の右後方の照射範囲、例えば、上部旋回体3の右後方から後方に亘る水平方向(ショベル100から見た周方向)の照射範囲に赤外線を照射可能に構成される。また、センサ45Lは、上部旋回体3の左側方の照射範囲、例えば、上部旋回体3の左前方から左後方に亘る水平方向(ショベル100から見た周方向)の照射範囲に赤外線を照射可能に構成される。また、センサ45Rは、上部旋回体3の右側方の照射範囲、例えば、上部旋回体3の右前方から右後方に亘る照射範囲に赤外線を照射可能に構成される。また、センサ45Xは、上部旋回体3の上部において、光軸(即ち、赤外線の照射方向の基準軸)が斜め下方に向くように取り付けられ、ショベル100に相対的に近い地面の部分を中心とする上下方向の赤外線の照射範囲を有する。
センサ45Xは、それぞれ、ショベル100の起動から停止までの間で、所定周期ごとに、受光情報を出力する。センサ45Xから出力される受光情報は、コントローラ30に取り込まれる。
表示装置50は、キャビン10内の操縦席の周辺、具体的には、操縦席に着座するオペレータから視認し易い位置に設けられ、オペレータに通知する各種画像情報を表示する。表示装置50は、例えば、液晶ディスプレイや有機EL(Electroluminescence)ディスプレイであり、入力装置52を兼ねるタッチパネル式であってもよい。表示装置50は、後述の如く、コントローラ30(表示処理部301)の制御下で、例えば、撮像装置40の撮像画像に基づき、ショベル100(自機)の周囲の様子を表す画像(以下、「監視画像」)を表示する。
入力装置52は、オペレータからの周辺監視装置200の機能に関する各種機能に関する操作入力を受け付け、コントローラ30に出力する。入力装置52は、例えば、タッチパネル、タッチパッド、ボタン、トグル、回転ノブ等の任意のハードウェアの操作手段を含む。また、入力装置52は、例えば、表示装置50に表示される操作画面上の仮想的なボタンアイコン等、ハードウェアの操作手段を通じて操作可能なソフトウェアの操作手段を含んでもよい。
音出力装置54は、キャビン10の内部及び外部の少なくとも一方に向けて音を出力する。音出力装置54は、例えば、キャビン10の内部に設けられるスピーカやブザー等を含んでよく、オペレータに向けて音を出力してよい。また、音出力装置54は、例えば、ホーン54aや走行アラーム54b等を含んでよく、キャビン10の外部、具体的には、ショベル100の周囲に向けて音を出力してよい。
ホーン54aは、例えば、上部旋回体3の前部に搭載される。
図2Bに示すように、ホーン54aは、キャビン10内に設けられるノブスイッチ64のON操作に応じて、ホーン54aとバッテリ60との間の電力経路に設けられるリレー62が閉成されることにより、吹鳴する。オペレータ等は、走行開始時に、ノブスイッチ64をON操作し、ホーン54aを吹鳴させることにより、ショベル100(下部走行体1)が走行開始することをショベル100の周囲に通知することができる。
走行アラーム54bは、例えば、上部旋回体3の後部に搭載される。
図2Cに示すように、走行アラーム54bは、コントローラ30の制御下で、下部走行体1の走行時、つまり、クローラ1Cの操作がされている場合に、所定のパターンで所定の音(例えば、"ピー、ピー、ピー、・・・"と繰り返し吹鳴するビープ音)を出力する。
図2Aに戻り、油圧制御弁56は、パイロットポンプ15とコントロールバルブ17(具体的には、それぞれの油圧アクチュエータに対応する制御弁のパイロットポート)との間を繋ぐパイロットラインに設けられる。油圧制御弁56は、コントローラ30からの制御指令で動作可能であり、コントロールバルブ17に作用するパイロット圧を調整する。油圧制御弁56は、例えば、パイロットポンプ15と油圧パイロット式の操作装置26との間のパイロットライン、つまり、操作装置26の一次側のパイロットラインに設けられてよい。また、油圧制御弁56は、例えば、操作装置26とコントロールバルブ17との間のパイロットライン、つまり、操作装置26の二次側のパイロットラインに設けられてもよい。また、油圧制御弁56は、例えば、電気式の操作装置26の場合や遠隔操作の場合における上述の操作用の油圧制御弁であってもよい。油圧制御弁56は、例えば、電磁比例弁である。具体的には、油圧制御弁56は、コントローラ30の制御下で、操作装置26の操作内容、或いは、遠隔操作の内容とは関係なく、コントロールバルブ17に作用させるパイロット圧を調整することができる。換言すれば、コントローラ30は、油圧制御弁56を用いて、操作装置26の操作内容や遠隔操作の内容と関係なく、ショベル100の動作を制御することができる。
表示処理部301は、撮像装置40の撮像画像に基づき、表示装置50にショベル100の周囲の様子(状況)を表す監視画像を表示させる。
例えば、表示処理部301は、入力装置52に対する所定操作に応じて、監視画像として、カメラ40B,40L,40Rのうちの少なくとも一つの撮像画像を表示装置50に表示させる。つまり、表示処理部301は、カメラ40B,40L,40Rのうちの全ての撮像画像或いは二つのカメラの撮像画像を表示装置50に並べて表示させてもよいし、何れか一つのカメラの撮像画像を表示装置50に表示させてもよい。以下、表示装置50に表示される当該撮像画像を「スルー画像」と称する場合がある。
表示処理部301は、入力装置52に対する所定操作に応じて、カメラ40B,40L,40Rの撮像画像のうちのどの撮像画像を表示装置50に表示させるかを切り替えてよい。これにより、オペレータは、入力装置52を操作することで、自分が見たい方向のスルー画像を表示装置50に表示させることができる。
また、例えば、表示処理部301は、撮像装置40の撮像画像に基づき、複数のカメラ(カメラ40B,40L,40Rのうちの少なくとも二つのカメラ)の撮像画像を合成した合成画像を生成し、合成画像を含む監視画像を表示装置50に表示させる。
具体的には、表示処理部301は、合成画像として、カメラ40B、40L,40Rの撮像画像に基づき、既知の視点変換処理及び合成処理等を行うことにより、仮想視点から見た視点変換画像を生成し、表示装置50に表示させる。また、表示処理部301は、合成画像を表示装置50に表示させる際、撮像装置40の撮像範囲とショベル100との相対位置関係を明示するため、ショベル100を模式的に表すショベル画像を併せて表示装置50に表示させる。即ち、表示処理部301は、ショベル画像と、ショベル100と撮像装置40の撮像範囲との相対位置関係に合わせて、ショベル画像の周囲に配置される視点変換画像とを含む監視画像を生成し、表示装置50に表示させる。
尚、表示処理部301の機能は、表示装置50に内蔵されてもよい。
例えば、図3(図3A、図3B)は、表示装置50に表示される監視画像の具体例を示す図である。具体的には、図3Aは、表示装置50に表示される監視画像の一例(スルー画像を含む監視画像MP1)を示す図であり、図5Bは、表示装置50に表示される監視画像の他の例(視点変換画像を含む監視画像MP2)を示す図である。
図3Aに示すように、本例では、表示装置50には、監視画像MP1として、カメラ40Bの撮像画像(スルー画像)が表示されている。これにより、オペレータは、ショベル100の周囲(本例では、上部旋回体3の後方)の状況(例えば、ショベル100の周囲における人等の監視対象の有無)を把握することができる。
また、図3Bに示すように、表示装置50には、ショベル画像CGと、ショベル画像CGの周囲に配置される視点変換画像EPとを含む監視画像MP2が表示される。これにより、オペレータは、ショベル100と視点変換画像EPに映っている周囲の物体との位置関係を適切に把握することができる。
また、監視画像MP2の視点変換画像EPには、ショベル100からの一定距離のラインLN1が重畳して表示される。ラインLN1は、例えば、周辺監視装置200(検出部304)による監視対象の監視エリアの外縁を表してよい。これにより、オペレータは、ショベル100と視点変換画像EPに映っている周囲の物体との距離関係を適切に把握することができる。
本例では、視点変換画像EPは、ショベル100に隣接する周辺領域を真上から見た俯瞰画像BVPと、当該俯瞰画像BVPの周りに配置される、ショベル100から当該周辺領域を水平方向に見た水平画像HVPとの組み合わせで構成される。視点変換画像EPは、カメラ40B,40L,40Rのそれぞれの撮像画像を空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することにより得られる。空間モデルは、仮想空間における撮像画像の投影対象であり、撮像画像が位置する平面以外の平面或いは曲面を含む一又は複数の平面或いは曲面で構成される。
設定部302は、オペレータ等の要求、即ち、入力装置52を通じたオペレータ等の操作に応じて、周辺監視装置200に関する各種の設定を行う。例えば、設定部302は、検出部304に関する検出条件や安全機能制御部305に関する安全機能の作動条件等を設定する。設定部302により設定される設定内容は、記憶部303に保存(登録)される。
記憶部303は、周辺監視装置200に関する各種の情報が記憶(登録)される。
検出部304は、撮像装置40及び周囲情報取得装置45の出力に基づき、ショベル100(上部旋回体3)の周囲の監視対象を検出する。検出部304は、検出部304Aと検出部304Bを含む。
検出部304Aは、撮像装置40の出力、即ち、撮像装置40で撮像された撮像画像に基づき、ショベル100(上部旋回体3)の周辺の所定の監視エリア(以下、便宜的に「第1監視エリア」)において、監視対象を検出する。
検出部304Aは、例えば、ショベル100から見た水平方向(以下、単に「水平方向」)、つまり、ショベル100が作業している(下部走行体1が接地している)平面(以下、便宜的に「作業平面」)に沿う方向に延在する第1監視エリア内において、監視対象を検出する。具体的には、検出部304Aは、ショベル100(上部旋回体3)からの水平方向の距離Dが所定距離Dth1(例えば、5メートル)以内の第1監視エリア内で、監視対象を検出してよい。
例えば、検出部304Aは、既知の各種画像処理手法や人工知能(AI:Artificial Intelligence)等を含む機械学習ベースの識別器等を任意に適用することにより、撮像画像内の監視対象を認識する。
また、検出部304Aは、既知の各種手法を適用することにより、単眼の撮像装置40の撮像画像に映っている、認識された監視対象(人)が存在する位置(例えば、足元位置)(以下、「実在位置」)を判定(推定)することができる。
例えば、検出部304Aは、認識された監視対象の撮像画像上における大きさ(例えば、撮像画像上の高さ方向の大きさ)に基づき、ショベル100から見た水平方向の位置(以下、「水平位置」)を推定する。認識された監視対象の撮像画像上における大きさは、監視対象がショベル100から離れるほど小さくなる相関関係があるからである。具体的には、監視対象には、想定される大きさの範囲(例えば、想定される人の身長の範囲)があるため、想定された大きさの範囲に含まれる当該監視対象のショベル100から見た水平位置と、撮像画像上での大きさとの相関関係が予め規定されうる。そのため、検出部304Aは、例えば、コントローラ30の補助記憶装置等の内部メモリに予め格納される、撮像画像上の監視対象の大きさとショベル100から見た水平位置との相関関係を表すマップや変換式等に基づき、認識された監視対象の実在位置(ショベル100からの水平位置)を推定することができる。
また、例えば、検出部304Aは、監視対象がショベル100(具体的には、下部走行体1)と同じ平面上に存在する前提の下、撮像画像を当該平面上への射影変換(ホモグラフィ)等によって、その実在位置(例えば、足元位置)を推定することができる。この場合、撮像画像を構成するある部分(ある点)は、ショベル100と同じ平面上のある位置に対応づけられる。
検出部304Bは、周囲情報取得装置45の出力(即ち、受光情報)に基づき、ショベル100(上部旋回体3)の周辺の所定の監視エリア(以下、便宜的に「第2監視エリア」)において、監視対象を検出する。以下、第1監視エリア及び第2監視エリアを包括的に「監視エリア」と称する場合がある。
検出部304Bは、例えば、水平方向、つまり、作業平面に沿う方向に延在する第2監視エリア内において、監視対象を検出する。具体的には、検出部304Bは、ショベル100(上部旋回体3)からの水平方向の距離Dが所定距離Dth2以内の第2監視エリア内で、監視対象を検出してもよい。所定距離Dth1,Dth2は、同じであってもよいし、異なっていてもよい。即ち、第1監視エリアと第2監視エリアとは同じであってもよいし、異なっていてもよい。例えば、検出部304Aは、ショベル100から相対的に遠方の範囲を含む第1監視エリアの監視対象を監視し、検出部304Bは、第1監視エリアよりもショベル100から相対的に近い範囲に限定される第2監視エリアの監視対象を監視する態様であってよい。
検出部304Bは、周囲情報取得装置45から取り込まれる受光情報のうちのTOF情報に基づき、周囲の物体の存在及びその位置を認識する。また、検出部304Bは、複数の照射方向からの受光される反射光に対応する受光情報(TOF情報)に基づき、物体の形状や物体の大きさ等を認識することにより、周囲の物体の種別を認識し、その物体が監視対象に該当するか否かを判別してよい。また、検出部304Bは、受光情報のうちの受光強度情報に基づき、周囲の物体の再帰反射性や反射率を認識することにより、物体の種別を認識し、その物体が監視対象に該当するか否かを判別してもよい。
また、検出部304A,304Bは、入力装置52に対するオペレータ等による所定の操作に応じて、その機能がON(有効)/OFF(無効)の間で切り替えられてもよい。この場合、検出部304A,304Bの何れか一方の機能がOFF(無効)になっている場合、他方の機能をOFF(無効)にする操作が無効になる態様であってもよい。つまり、検出部304A,304Bのうちの何れか一方の機能だけをOFF(無効)に切り替え可能な態様であってもよい。
尚、検出部304は、検出部304A,304Bに基づき、監視対象に関する二つの検出結果を出力する代わりに、撮像装置40及び周囲情報取得装置45の双方の出力を統合的に用いて、監視対象に関する一つの検出結果を出力する態様であってもよい。また、検出部304は、撮像装置40及び周囲情報取得装置45の出力のうちの何れか一方だけに基づき、監視対象を検出してもよい。また、検出部304Aの機能の一部又は全部は、撮像装置40(カメラ40X)に内蔵されてもよい。また、検出部304Bの機能は、周囲情報取得装置45(センサ45X)に内蔵されてもよい。例えば、検出部304Bの機能のうち、受光情報(TOF情報及び受光強度情報)に基づき、物体を検出する機能は、センサ45Xに内蔵され、センサ45Xにより検出される物体が監視対象が該当するか否かを判断する機能だけをコントローラ30が実現する態様であってもよい。
安全機能制御部305は、検出部304により監視対象が検出される場合に、安全機能に関する制御を行い、安全機能を作動させる。
安全機能制御部305は、例えば、検出部304により監視エリアに含まれる所定の範囲(以下、「報知範囲」)で監視対象が検出される場合に、報知機能を作動させる。報知範囲は、監視エリアと同じであってもよいし、監視エリアよりもその外縁がショベル100に相対的に近くなるように設定されてもよい。
安全機能制御部305は、例えば、音出力装置54を制御することにより、キャビン10の内部及び外部の少なくとも一方に対する音(即ち、聴覚的な方法)による報知機能を作動させる。このとき、安全機能制御部305は、各種条件に応じて、出力される音の音高、音圧、音色、音を周期的に吹鳴させる場合の吹鳴周期、音声の内容等を異ならせてもよい。
また、安全機能制御部305は、例えば、表示処理部301を通じて表示装置50を制御することにより、キャビン10の内部に対する表示(即ち、視覚的な方法)による報知機能を作動させる。具体的には、安全機能制御部305は、表示装置50に表示されている監視画像上に、監視対象が検出されていることを表す画像を表示させてよい(例えば、図9A〜図9C参照)。また、安全機能制御部305は、表示処理部301を通じて、表示装置50に表示される監視画像に映っている監視対象や、検出された監視対象のショベル100から見た位置に対応する監視画像上の位置を強調させてもよい。より具体的には、安全機能制御部305は、表示処理部301を通じて、監視画像上に映っている監視対象を囲む枠を重畳して表示させたり、検出された監視対象の実在位置に対応する監視画像上の位置にマーカを重畳して表示させたりしてよい(例えば、図9B、図9C参照)。これにより、表示装置50は、オペレータに対する視覚的な報知機能を実現することができる。
また、安全機能制御部305は、例えば、上部旋回体3のハウス部等に設けられる前照灯や外部用の表示装置を制御することにより、ショベル100の周囲の作業者や監督者等に視覚的な方法による報知機能を作動させてもよい。また、安全機能制御部305は、例えば、オペレータが着座する操縦席を振動させる振動発生装置を制御することにより、触覚的な方法でキャビン10内のオペレータに対する報知機能を作動させてもよい。これにより、周辺監視装置200は、オペレータやショベル100の周囲の作業者及び監督者等に対して、ショベル100の周囲に監視対象(例えば、作業者等の人)が存在することを認識させることができる。そのため、周辺監視装置200は、オペレータに対して、ショベル100の周辺の安全状況の確認を促すことができると共に、監視エリア内の作業者等に対して、監視エリアからの退避を促すことができる。
また、安全機能制御部305は、報知範囲内で検出されている監視対象と、ショベル100との位置関係に応じて、報知態様(即ち、報知の仕方)を異ならせてもよい。
例えば、安全機能制御部305は、検出部304により報知範囲内で検出された監視対象が相対的にショベル100から遠い位置に存在する場合、オペレータ等に監視対象への注意を促す程度の相対的に緊急度が低い警報(以下、「注意レベルの警報」)を出力してよい。以下、報知範囲のうちのショベル100から相対的に遠い範囲、即ち、注意レベルの警報に対応する範囲を便宜的に「注意報知範囲」と称する場合がある。一方、安全機能制御部305は、検出部304により報知範囲内で検出された監視対象が相対的にショベル100から近い位置に存在する場合、監視対象がショベル100に接近し危険度が高まっていることを知らせる相対的に緊急度が高い警報(以下、「警戒レベルの警報」)を出力してよい。以下、報知範囲のうちのショベル100からの距離が相対的に近い範囲、即ち、警戒レベルの警報に対応する範囲を「警戒報知範囲」と称する場合がある。
この場合、安全機能制御部305は、注意レベルの警報と警戒レベルの警報との間で、音出力装置54から出力される音の音高、音圧、音色、吹鳴周期等を異ならせてよい。また、安全機能制御部305は、注意レベルの警報と警戒レベルの警報との間で、表示装置50に表示される監視画像上に表示される監視対象が検出されていることを表す画像や、監視対象或いは監視対象の位置を強調させる画像(例えば、枠やマーカ等)の色、形状、大きさ、点滅の有無、点滅周期等を異ならせてよい。これにより、周辺監視装置200は、音出力装置54から出力される報知音(警報音)や表示装置50に表示される報知画像の相違によって、オペレータ等に緊急度、換言すれば、監視対象のショベル100に対する接近度を把握させることができる。
安全機能制御部305は、報知機能の作動開始後、検出部304により検出されていた監視対象が監視エリア内で検出されなくなった場合、或いは、入力装置52を通じて、報知機能の作動を解除する所定の操作が受け付けられた場合に、報知機能を停止させてよい。
また、安全機能制御部305は、例えば、検出部304により監視エリアに含まれる所定範囲(以下、「動作制限範囲」)内で監視対象が検出される場合に、動作制限機能を作動させる。動作制限範囲は、監視エリアと同じであってもよいし、監視エリアよりもその外縁がショベル100に相対的に近くなるように設定されてもよい。また、動作制限範囲には、操作装置26の操作や遠隔操作に対するショベル100の動作速度を通常よりも遅くする動作減速範囲、及び操作装置26の操作や遠隔操作に関わらず、ショベル100の動作を停止させ、停止状態を維持させる動作停止範囲の少なくとも一方が含まれる。例えば、動作制限範囲に動作減速範囲及び動作停止範囲の双方が含まれる場合、動作停止範囲は、例えば、動作制限範囲のうちのショベル100に近接する範囲であり、動作減速範囲は、動作制限範囲のうちの動作停止範囲の外側に設定される範囲である。
安全機能制御部305は、油圧制御弁56を制御することにより、ショベル100の動作を制限する動作制限機能を作動させる。この場合、安全機能制御部305は、全ての被駆動体(即ち、対応する油圧アクチュエータ)の動作を制限してもよいし、一部の被駆動体(油圧アクチュエータ)の動作を制限してもよい。これにより、周辺監視装置200は、ショベル100の周囲に監視対象が存在する場合に、ショベル100の動作が減速させたり、停止させたりすることができる。そのため、周辺監視装置200は、ショベル100の周囲の監視対象とショベル100との接触を抑制することができる。
また、安全機能制御部305は、動作制限機能の作動開始後、検出部304により検出されていた監視対象が検出されなくなった場合、或いは、入力装置52を通じて、動作制限機能の作動を解除する所定の操作が受け付けられた場合に、報知機能を停止させる。入力装置52に対する報知機能の作動解除のための操作と、動作制限機能の作動解除のための操作とは、同一であってもよいし、異なっていてもよい。
[監視対象の検出可能エリア]
次に、図4(図4A、図4B)を参照して、検出部304に関する監視対象の検出可能エリアの具体例について説明する。
図4A、図4Bは、検出部304の検出可能エリアの具体例を説明する図である。具体的には、図4A、図4Bは、ショベル100を上面視で見たときの撮像装置40を用いる検出部304Aの検出可能エリア及び周囲情報取得装置45を用いる検出部304Bの検出可能エリアの第1例及び第2例を示す図である。
以下、本例では、ショベル100(具体的には、上部旋回体3)から見た周方向における監視対象の検出可能範囲を中心に説明を行う。そのため、検出部304A及び検出部304Bの検出可能範囲を比較する場合、ショベル100から見た周方向における監視対象の検出可能範囲を比較対象とし、径方向(遠近方向)や上下方向における監視対象の検出可能範囲を比較対象から除外する場合がある。
<監視対象の検出可能エリアの第1例>
図4Aに示すように、検出部304Aの検出可能エリアは、図中の梨地の部分に相当する。具体的には、検出部304Aの検出可能エリアは、カメラ40B,40L,40Rのそれぞれのショベル100から見た周方向の画角で規定される範囲のうちのショベルに近接する範囲を除く範囲である。カメラ40B,40L,40Rが設置される上部旋回体3の上面は、地面から相対的に高い位置にあるため、上部旋回体3に近接する範囲の地面付近の監視対象の一部しか画像に映らなかったり、上部旋回体3の車体が画像に映って上部旋回体3に近接する範囲の地面が車体の死角になってしまったりする場合があるからである。
また、検出部304Aの検出可能エリアに対応するカメラ40B,40L,40Rのそれぞれのショベル100から見た周方向の画角は、カメラ40B,40L,40Rの撮像範囲に対応する実際の画角より狭くなる。ショベル100(上部旋回体3)から見た周方向におけるカメラ40B,40L,40Rの撮像範囲(画角)の端部では、監視対象が一部しか映らず、検出部304Aが撮像画像から監視対象を認識(検出)できない場合があるからである。
例えば、下部走行体1の直進方向(延在方向)を基準とする上部旋回体3の旋回角度が略90度の場合(図中の点線のクローラ1CL,1CR)を想定する。この場合、上部旋回体3から見た前側のクローラ1C(クローラ1CL)に面する位置にいる作業者401,402は、カメラ40L、40Rの撮像範囲に含まれ、撮像画像の左右の端にその一部が写り込む可能性がある。しかし、検出部304Aは、撮像画像に一部しか映っていない監視対象としての作業者401,402を認識(検出)することができない。
これに対して、図4に示すように、検出部304Bの検出可能エリアは、センサ45BL,45BR,45L,45Rのそれぞれのショベル100から見た周方向における赤外線の照射範囲(図中の太線)により規定される。画像認識の場合と異なり、監視対象の一部からの反射光しか受光できない場合であっても、上述の如く、受光情報に基づく物体の形状、大きさいや反射光の受光強度等から監視対象を認識(検出)することが可能だからである。
具体的には、検出部304Bの検出可能エリアには、検出部304Aの検出可能エリアが全て含まれている。また、センサ45Lに対応する検出部304Bの検出可能エリアには、下部走行体1の直進方向を基準とする上部旋回体3の旋回角度が略90度の場合における上部旋回体3から見た前側のクローラ1C(クローラ1CL)の左端部及び左側の直進方向に面する位置にいる作業者401が含まれる。また、センサ45Rに対応する検出部304Bの検出可能エリアには、下部走行体1の直進方向を基準とする上部旋回体3の旋回角度が略90度の場合における上部旋回体3から見た前側のクローラ1C(クローラ1CL)の右端部及び右側の直進方向に面する位置にいる作業者402が含まれる。これにより、検出部304Bの検出可能エリアには、表示装置50に表示される監視画像(スルー画像或いは視点変換画像)に映っているショベル100の周囲の周方向の範囲全体が含まれる。そのため、検出部304Bは、ショベル100から見た周方向において、カメラ40B,40L,40Rの撮像範囲に含まれる全ての監視対象、つまり、表示装置50に表示される監視画像に映っている全ての監視対象を検出することができる。例えば、撮像装置40の撮像画像の左右の端部に監視対象が一部だけしか映っていない場合であっても、検出部304Bは、その監視対象を検出することができる。よって、表示装置50の表示内容(監視対象が映っている)と検出結果(監視対象の未検出)との間の乖離に伴う違和感をユーザに与えてしまうような事態を抑制することができる。
また、例えば、下部走行体1の直進方向を基準とする上部旋回体3の旋回角度が略90度の状態で下部走行体1が走行し始めると、作業者401,402との接触が発生してしまう可能性がある。また、この状態では、キャビン10から作業者401,402を目視するのは難しい可能性がある。これに対して、本例では、検出部304Bは、上述の如く、下部走行体1の直進方向を基準とする上部旋回体3の旋回角度が略90度の場合における上部旋回体3から見た前側のクローラ1Cの直進方向に面する空間の監視対象を検出できる。そのため、周辺監視装置200は、作業者401,402の検出に基づき、報知機能や動作制限機能等の安全機能を作動させることができる。よって、ショベル100の安全性をより向上させることができる。
尚、本例では、周囲情報取得装置45に含まれるセンサ45Xの数は、ショベル100から見た周方向における検出部304Bの検出可能エリアの中に、表示装置50に表示可能な監視画像に映るショベル100の周囲の周方向の範囲全体が含まれる限り、任意であってよい。周囲情報取得装置45に含まれるセンサ45Xの配置についても同様である。また、本例では、検出部304A,304Bを用いて、監視対象に関する検出結果が冗長的に二つ出力される代わりに、撮像装置40及び周囲情報取得装置45の双方の出力を統合的に用いて、監視対象に関する検出結果が一つ出力される構成が採用されてもよい。この場合についても、同様の作用・効果を奏する。
<監視対象の検出可能エリアの第2例>
図4Bに示すように、本例では、上部旋回体3の上面において、センサ45Lに代えて、センサ45LF,45LRが設けられ、センサ45Rに代えて、45RF,45RRが設けられる点が異なる。つまり、本例では、周囲情報取得装置45は、センサ45BL,45BR,45LF,45LR,45RF,45RRを含む。以下、本例では、上述の第1例と異なる部分を中心に説明を行い、同じ部分や対応する部分の説明を省略する場合がある。また、本例では、センサ45BL,45BR,45LF,45LR,45RF,45RRを包括的に「センサ45X」と称する場合がある。
本例では、上部旋回体3がクローラ1Cの直進方向(クローラ1Cの前後軸)を基準とする旋回角度が90度より小さい範囲で、上部旋回体3が相対的に大きく旋回した状態(図中の点線のクローラ1CL,1CR)を想定する。具体的には、上部旋回体3がクローラ1Cの直進方向を基準として右方向に75度旋回した状態が図示されている。
この状態において、上部旋回体3から見た前側のクローラ1C(クローラ1CR)の前端部における直進方向に面する位置に作業者403が位置している。この場合、作業者403は、キャビン10の正面から外れた位置に存在するため、キャビン10のオペレータは、作業者403を目視するのは難しい可能性がある。また、クローラ1CRの前端部における直進方向に面している空間は、検出部304Aの検出可能エリアから大きく外れており、且つ、カメラ40Lの撮像範囲にも含まれない。
これに対して、本例では、上部旋回体3の左側方の範囲を担当するセンサ45Xが二つ(センサ45LF,45LR)設けられる。具体的には、センサ45LFは、上部旋回体3の上面の左端部の前寄りにおいて、光軸が上面視でやや左前方に向くように設置される。また、センサ45LRは、上部旋回体3の上面の左端部の後寄りにおいて、光軸が上面視でやや左後方に向くように設置される。これにより、センサ45LRを用いて、上部旋回体3の左前方から左後方に亘る左側方を赤外線の照射範囲として保持しつつ、センサ45LFを用いて、クローラ1CRの前端部及び直進方向に面する空間を照射範囲に含めることができる。よって、検出部304Bは、上部旋回体3がクローラ1Cの直進方向を基準とする旋回角度が90度より小さい範囲で、上部旋回体3が相対的に大きく旋回した状態において、クローラ1CRの前端部における直進方向に面する位置に存在する作業者403Bを検出することができる。
また、本例では、上部旋回体3の右側方の範囲を担当するセンサ45Xが二つ(センサ45RF,45RR)設けられる。具体的には、センサ45RFは、上部旋回体3の上面の右端部の前寄りにおいて、光軸が上面視でやや右前方に向くように設置される。また、センサ45RRは、上部旋回体3の上面の右端部の後寄りにおいて、光軸が上面視でやや右後方に向くように設置される。これにより、図4Bの場合(クローラ1Cの前後軸が左上がりの状態)とは、逆に、クローラ1Cの前後軸が右上がりの状態において、右上がりセンサ45RRを用いて、上部旋回体3の右前方から右後方に亘る右側方を赤外線の照射範囲として保持しつつ、センサ45RFを用いて、クローラ1CRの後端部及び直進方向に面する空間を照射範囲に含めることができる。よって、検出部304Bは、この状態において、クローラ1CRの後端部における直進方向に面する位置に存在する作業者を検出することができる。
このように、センサ45Xの数や配置を適宜工夫することにより、検出部304Bは、上部旋回体3がクローラ1Cの直進方向を基準とする旋回角度が90度より小さい範囲で、上部旋回体3が相対的に大きく旋回した状態において、上部旋回体3から見た前側のクローラ1Cに直進方向で面する位置に存在する監視対象(例えば、作業者403)を検出することができる。つまり、上部旋回体3がクローラ1Cの直進方向を基準として相対的に大きく旋回している状態において、クローラ1Cの直進方向に面する空間は、検出部304により監視対象を検出可能な範囲(検出可能エリア)に含まれる。これにより、ショベル100の安全性を向上させることができる。
尚、上部旋回体3がクローラ1Cの直進方向を基準として相対的に大きく旋回している状態において、クローラ1Cの直進方向に面する空間を検出部304の検出可能エリアに含めることに代えて、或いは、加えて、カメラ40Xの数や配置を適宜工夫することにより、監視画像として表示装置50に表示可能な範囲に含めるようにしてもよい。これにより、オペレータ等は、表示装置50の監視画像を通じて、クローラ1Cの直進方向に面する空間の様子を把握することができる。
[監視対象の検出方法]
次に、図5(図5A〜図5D)を参照して、検出部304による監視対象の検出方法の具体例について説明する。
<監視対象の認識方法の具体例>
図5A〜図5Dは、監視対象としての作業現場の人、即ち、作業者の具体例を示す図である。具体的には、図5Aは、作業者の第1例(作業者W1)を示す図である。図5Bは、作業者の第2例(作業者W2)を示す図である。図5Cは、作業者の第3例(作業者W3)を示す図である。図5Dは、作業者の第4例(作業者W4)を示す図である。
図5Aに示すように、作業者W1(第1の人の一例)は、ヘルメットHMT及び反射材付きのベスト(以下、「反射ベスト」)RV(反射材付きの被服の一例)を着用している。反射材は、再帰反射性(照射光を光源に向けて反射する性能)が非常に高い部材である。
図5Bに示すように、作業者W2(第2の人の一例)は、ヘルメットHMTを着用する一方、反射ベストRVを着用していない。
図5Cに示すように、作業者W3(第2の人の一例)は、反射ベストRVを着用する一方、ヘルメットHMTを着用していない。
図5Dに示すように、作業者W4(第3の人の一例)は、ヘルメットHMT及び反射ベストRVの双方共に着用していない。
検出部304A(第1の検出部の一例)は、監視対象としての人(作業者)の検出を行う場合、撮像装置40の撮像画像の中から人(作業者)全体の認識及びヘルメットの認識の双方を試みる。これにより、検出部304Aは、人の向きや姿勢等に起因して、人全体を所定基準を超える確からしさで認識できない場合であっても、ヘルメットを所定基準を超える確からしさで認識できる場合に、作業者を検出することができる。つまり、検出部304Aは、作業者W1〜W4のうち、ヘルメットHMTを着用するW1,W2を他の作業者W3,W4よりも相対的に高い確率で検出することができる。
一方、検出部304B(第2の検出部の一例)は、監視対象としての人(作業者)の検出を行う場合、受光情報に基づき、受光される反射光(赤外線)の受光強度が相対的に高い(具体的には、所定基準よりも高い)物体の認識(検出)を試みる。反射光の受光強度は、受光強度情報に基づき取得される。また、物体からの反射光の受光強度は、物体の表面の再帰反射性が高くなるほど高くなる一方、物体からセンサ45Xまでの距離が長くなるほど低くなる。そのため、検出部304Bは、受光強度情報に基づく受光強度を、TOF情報に基づく物体までの距離を考慮して、例えば、物体が所定の距離にあると仮定したときの受光強度に補正してもよい。このとき、所定基準は、反射材とそれ以外の物体とを判別可能な態様で予め設定される。これにより、検出部304Bは、反射光の受光強度が相対的に高い物体が認識される場合、反射ベスト等の反射材付きの被服を着用した作業者であると判断し、当該作業者を検出することができる。反射材付きの被服には、反射ベストの他、反射材付きのジャケット、反射材付きのパンツ等、反射材が取り付けられる任意の被服が含まれる。つまり、検出部304Bは、作業者W1〜W4のうち、反射ベストRVを着用するW1,W3を他の作業者W2,W4よりも相対的に高い確率で検出することができる。
尚、検出部304Bは、複数の照射方向から受光される反射光に対応する受光情報から物体の形状や大きさを認識することが可能である。そのため、検出部304Bは、監視対象としての人(作業者)の検出を行う場合、受光情報に基づく物体の形状や大きさ等を用いて、人(作業者)を認識してもよい。
検出部304は、上述の如く、検出部304A,304Bの双方を用いて、監視対象を検出する。これにより、検出部304は、ヘルメット及び反射材付きの被服の双方を着用した作業者(例えば、作業者W1)を最も高い確率で検出する。また、検出部304は、ヘルメット及び反射材付きの被服の何れか一方を着用した作業者を(例えば、作業者W2,W3)、ヘルメット及び反射材付きの被服の双方を着用した作業者の場合よりも低い、ある程度の確率で検出することができる。また、検出部304は、ヘルメット及び反射材付きの被服の双方を未着用の作業者(例えば、作業者W4)を最も低い確率で検出する。換言すれば、検出部304は、ヘルメット及び反射材付きの被服の双方を着用する人を最も検出し易く、ヘルメット及び反射材付きの被服の何れか一方を着用する人をその次に検出し易く、ヘルメット及び反射材付きの被服の双方共に未着用の人を最も検出しにくい態様で構成される。
例えば、撮像装置40の撮像画像だけを用いて監視対象としての人が認識(検出)される場合、人の向きや姿勢等によっては人として認識されなかったり、人以外の物体を人であると認識してしまったりする可能性がある。
これに対して、本例では、撮像装置40(カメラ40X)の出力(撮像画像)を用いる検出部304Aの他、周囲情報取得装置45(センサ45X)の出力(受光情報)を用いる検出部304Bが設けられる。これにより、周辺監視装置200は、検出部304Aの検出結果だけでなく、検出部304Bの検出結果を用いることができる。そのため、周辺監視装置200は、検出部304Aにより検出されるべき人が検出されない場合や人でない物体が人として検出されてしまう場合であっても、検出部304Bの検出結果を用いて、未検出や誤検出を抑制することができる。よって、ショベル100の安全性をより向上させることができる。また、本例では、検出部304は、安全装備としてのヘルメット及び反射材付きの被服を着用している作業者を相対的に高い精度で検出することができる。そのため、周辺監視装置200は、作業者自身の安全性の確保、ひいては、作業現場の安全性の確保の観点から作業者にヘルメットや反射材付きの被服の着用を促すことができる。
尚、本例では、検出部304は、作業者が着用しているヘルメットや反射材付きの被服を識別可能に構成されるが、他の安全装備を識別する態様で監視対象としての人(作業者)を検出(認識)してもよい。識別対象の安全装備には、例えば、安全帯、騒音現場における耳栓、安全靴、アーク溶接用や防振用等の手袋、防塵用や防毒用のマスク、防塵用や遮光用等のメガネ、溶接用面、作業機械等が接近するとアラームを出力するID(Identifier)タグ等が含まれうる。これにより、周辺監視装置200は、より多くの安全装備の装着を作業者に促すことができる。
<監視対象の位置の特定方法>
検出部304Aは、撮像画像の中における認識された人(作業者)全体やヘルメットに対応する部分画像の大きさや位置等に基づき、ショベル100から見た作業者の位置(例えば、足元位置)を特定する。作業者のカメラ40Xからの距離によって、撮像画像上での作業者の大きさが変化するからである。また、作業者のカメラ40Xからの距離及び方向によって、撮像画像上での映る位置が変化するからである。
一方、検出部304Bは、受光情報のうちのTOF情報に基づき、ショベル100から見た作業者の位置を特定する。TOF情報には、センサ45Xから見た光の照射方向、及び当該照射方向への光の照射から反射光が受光されるまでの時間が含まれ、前者に基づきセンサ45Xからの物体の方向が特定され、後者に基づきセンサ45Xと物体との距離が特定されうるからである。
例えば、物体からの反射光(赤外線)の受光強度は、上述の如く、物体とセンサ45Xとの距離が長くなるほど低くなる。そのため、その性質を利用すると、受光強度情報から監視対象の位置(距離)を特定することも可能である。しかしながら、物体からの反射光の受光強度は、その物体の表面の性質、具体的には、再帰反射性や反射率等によっても変化する。そのため、受光強度情報だけを用いて、監視対象の位置が特定される場合、特定される位置の精度が相対的に低下し、周辺監視装置200は、周囲の監視対象の位置を正確に把握することができない可能性がある。例えば、作業者が着用する反射材付きの被服の再帰反射性のバラツキが大きい場合、反射光の受光強度のレンジが相対的に広くなり、受光強度情報に基づく距離情報の精度が低下してしまう可能性がある。よって、監視対象の位置に応じて、報知機能や動作制限機能等の安全機能を作動させる場合に、報知機能や動作制限機能の作動条件にバラツキが生じうる。
これに対して、検出部304Bは、受光強度情報、及びTOF情報に基づき、監視対象を認識(検出)し、監視対象の位置を特定する。そして、安全機能制御部305は、検出部304Bにより受光される反射光の強度が相対的に高く、且つ、ショベル100に対する距離が相対的に近い(即ち、報知範囲や動作制限範囲内の)監視対象が検出される場合に、報知機能及び動作制限機能の少なくとも一方を作動させる。つまり、安全機能制御部305は、センサ45Xの出力(受光強度情報及びTOF情報)に基づき、警報の出力やショベル100の動作制限を行う。これにより、周辺監視装置200は、TOF情報を用いることができるため、受光強度情報だけを用いる場合よりも相対的に高い精度で、ショベル100の周囲の監視対象の位置を特定することができる。そのため、周辺監視装置200は、監視対象の位置に応じて、報知機能や動作制限機能等の安全機能を作動させる場合に、報知機能や動作制限機能の作動条件のバラツキを抑制することができる。よって、周辺監視装置200は、ショベル100の安全性を向上させることができる。
尚、本例では、検出部304Bは、TOF情報に代えて、或いは、加えて、ショベル100の周囲の物体までの距離に関する他の情報を用いて、監視対象の位置を特定してもよい。例えば、検出部304Bは、撮像装置40(カメラ40X)としてのステレオカメラの撮像画像に基づき取得される、周囲の物体までの距離に関する情報を用いて、監視対象の位置を特定してもよい。
[安全機能の作動制御方法]
次に、安全機能制御部305による安全機能(報知機能及び動作制限機能)の作動制御方法の具体例について説明する。
本例では、安全機能制御部305は、検出部304Aにより監視対象が検出される場合と、検出部304Bにより監視対象が検出される場合とで、安全機能の作動態様を異ならせる。
<安全機能の作動制御方法の第1例>
安全機能制御部305は、検出部304Aにより監視対象が検出される場合、安全機能のうちの報知機能だけを作動させる。つまり、安全機能制御部305は、検出部304Aにより監視対象が検出される場合、監視対象とショベル100との距離等に関係なく、動作制限機能を作動させない。具体的には、安全機能制御部305は、検出部304Aにより報知範囲(以下、便宜的に「第1報知範囲」)内で監視対象が検出される場合、報知機能を作動させ、検出部304Aによる監視対象の検出に対応する動作制限範囲(以下、便宜的に「第1動作制限範囲」)は、設定されない。
一方、安全機能制御部305は、検出部304Bにより動作制限範囲(以下、便宜的に「第2動作制限範囲」)で監視対象が検出される場合に、動作制限機能を作動させる。また、安全機能制御部305は、検出部304Bにより報知範囲(以下、便宜的に「第2報知範囲」)で監視対象が検出される場合に、報知機能を作動させてもよい。第1報知範囲及び第2報知範囲は、同じであってもよいし、異なっていてもよい。
例えば、監視対象に関する検出精度が相対的に低いにも関わらず、その検出結果に基づき、動作制限機能が作動すると、報知機能が作動する場合より、オペレータに違和感を与えたり、ショベル100の作業効率を低下させたりする可能性が高くなる。
これに対して、本例では、周辺監視装置200は、検出部304A,304Bのうち、検出部304Bで監視対象が検出される場合だけ、動作制限機能の作動を許容する。撮像装置40の撮像画像に対する画像認識で監視対象を検出する場合よりも、周囲情報取得装置45の受光情報に基づき監視対象を検出する場合の方が相対的に検出精度が高くなる傾向にあるからである。つまり、検出部304Aよりも検出部304Bの方が監視対象に関する検出精度が高くなる傾向があるからである。これにより、周辺監視装置200は、オペレータに与える違和感やショベル100の作業効率の低下等を抑制しつつ、ショベル100の安全性を向上させることができる。
<安全機能の作動制御方法の第2例>
安全機能制御部305は、検出部304Aにより第1報知範囲で監視対象が検出される場合と、検出部304Bにより第2報知範囲で監視対象が検出される場合とで、報知機能を作動させる際の報知態様(即ち、報知の仕方)を異ならせる。これにより、撮像装置40(カメラ40X)を用いて監視対象が検出されているのか、周囲情報取得装置45(センサ45X)を用いて監視対象が検出されているのかを、容易に把握することができる。
例えば、安全機能制御部305は、検出部304Aにより監視対象が検出される場合と、検出部304Bにより監視対象が検出される場合とで、音出力装置54から出力される音の音色、音量、パターン、吹鳴周期、音声の内容等を異ならせてよい。具体的には、安全機能制御部305は、検出部304Bにより監視対象が検出される場合、検出部304Aにより監視対象が検出される場合よりも緊急度(危険度)が高いことを表す音色、音量、パターン、吹鳴周期、音声の内容等が採用されてもよい。上述の如く、検出部304Aよりも検出部304Bの方が監視対象に関する検出精度が高くなる傾向があるからである。
また、例えば、安全機能制御部305は、検出部304Aにより監視対象が検出される場合と、検出部304Bにより監視対象が検出される場合とで、表示装置50に表示される報知機能に関する表示態様を異ならせてもよい(例えば、図9A参照)。
[オプション装備の装着時における安全機能の作動制御方法]
次に、図6を参照して、ショベル100の占有体積を増加させるオプション装備(以下、単に「オプション装備」)の装着時における安全機能制御部305による安全機能の作動制御方法の具体例について説明する。
図6は、オプション装備の装着時における動作制限範囲を説明する図である。
図6に示すように、本例では、ショベル100には、下部走行体1の前側にオプション装備としてのブレード90が取り付けられている。具体的には、ブレード90は、下部走行体1(クローラ1CL,1CR)の直進方向の前側に飛び出す態様で取り付けられる(図中の白抜き矢印)。そのため、下部走行体1がブレード90の装着される方向(図中の右方向)に走行(例えば、直進走行或いは緩旋回走行)する場合に、ブレード90が装着されない状態よりも周囲の作業者610とショベル100(ブレード90)との距離が近づく。また、下部走行体1がピボットターンやスピンターン等を行う場合に、ブレード90も下部走行体1の動作に伴いショベル100の周囲に向けて旋回動作を行うため、ブレード90が下部走行体1の前側に飛び出す分だけ旋回半径が広くなる。よって、ショベル100にブレード90が装着されていない状態よりも周囲の作業者610とショベル100(ブレード)との距離が近づく可能性がある。
これに対して、安全機能制御部305は、ショベル100の動作(即ち、下部走行体1の走行動作)に伴いブレード90がショベル100の周囲に向けて移動する場合に、その他の場合よりも、安全機能を作動し易くする。その他の場合には、例えば、下部走行体1がブレード90の装着されない後方に走行し、ブレード90がショベル100の周囲から離れる場合が含まれる。本例では、ブレード90がショベル100の周囲に向かう方向、つまり、下部走行体1の前方における動作制限範囲の外縁が、下部走行体1に装着されるブレード90が下部走行体1にブレード90が装着されない場合(例えば、図中の点線620)よりもショベル100から遠ざかるように設定される(例えば、図中の点線630)。当該設定(変更)は、設定部302により実行され、その設定内容は、記憶部303に登録されてよい。また、報知機能に対応する報知範囲の外縁についても同様であってよい。これにより、安全機能制御部305は、ショベル100がブレード90の装着される下部走行体1の前側(図中の右側)に向けて走行する場合に、検出部304による作業者610の検出に応じて、より早く安全機能(警報機能や動作制限機能)を作動させることができる。そのため、安全機能制御部305は、オプション装備の装着に合わせて、より適切に安全機能を作動させることができる。よって、周辺監視装置200は、ショベル100の安全性をより向上させることができる。換言すれば、安全機能制御部305は、オプション装備(ブレード90)が装着されている場合、オプション装備が装着されていない場合よりもショベル100の安全性が相対的に高くなる態様で安全機能を作動させることができる。
また、報知範囲や動作制限範囲の外縁がショベル100から遠ざかる方向に設定される代わりに、安全機能を作動させるための他の条件が緩和されることにより、安全機能が作動し易くなるように設定されてもよい。例えば、安全機能の作動条件として、検出部304により検出される監視対象の確からしさの度合い(以下、「監視対象の確度」)に関する条件が含まる場合、当該条件を緩和してもよい。監視対象の確度に関する情報は、検出部304から出力される。具体的には、設定部302は、ショベル100の動作に伴いブレード90がショベル100の周囲に向けて移動する場合に、その他の場合よりも監視対象の確度の条件に対応する閾値を相対的に低く設定してよい。また、設定部302は、ブレード90が装着される場合、ブレード90が装着されない場合よりも監視対象の確度の条件に対応する閾値を相対的に低く設定してよい。これにより、安全機能制御部305は、オプション装備の装着に合わせて、より適切に安全機能を作動させることができる。
また、安全機能の作動条件が緩和される代わりに、作動する安全機能が相対的に安全性の高い仕様に切り替えられてもよい。例えば、設定部302は、ショベル100の動作に伴いブレード90がショベル100の周囲に向けて移動する場合に、安全機能として報知機能及び動作制限機能を作動可能に設定し、その他の場合に、報知機能だけを作動可能と設定してもよい。また、設定部302は、ブレード90が装着される場合に、安全機能として報知機能及び動作制限機能を作動可能に設定し、ブレード90が装着されない場合に、安全機能として報知機能だけを作動可能に設定してもよい。動作制限機能は、オペレータ等の意図に関わらず、強制的にショベル100の動作を制限することができる点で、報知機能よりも相対的に安全性が高いからである。また、設定部302は、ショベル100の動作に伴いブレード90がショベル100の周囲に向けて移動する場合に、相対的に高い制限度で動作制限機能を作動可能に設定し、その他の場合に、相対的に低い制限度で動作制限機能を作動可能に設定してもよい。また、設定部302は、ブレード90が装着される場合に、相対的に高い制限度で動作制限機能を作動可能に設定し、ブレード90が装着されない場合に、相対的に低い制限度で動作制限機能を作動可能に設定してもよい。また、設定部302は、ショベル100の動作に伴いブレード90がショベル100の周囲に向けて移動する場合に、相対的に高い緊急度(危険度)を表す態様で報知機能を作動可能に設定し、その他の場合に、相対的に低い緊急度(危険度)を表す態様で報知機能を作動可能に設定してもよい。また、設定部302は、ブレード90が装着される場合に、相対的に高い緊急度(危険度)を表す態様で報知機能を作動可能に設定し、ブレード90が装着されない場合に、相対的に低い緊急度(危険度)を表す態様で報知機能を作動可能に設定してもよい。これにより、安全機能制御部305は、オプション装備の装着に合わせて、より適切に安全機能を作動させることができる。
また、ブレード90に代えて、或いは加えて、他の種類のオプション装備が取り付けられる場合についても、同様に、相対的に安全性が高くなる態様で安全機能が作動されてよい。他の種類のオプション装備には、例えば、上部旋回体3の後部に装着される追加のカウンタウェイトや標準装備のカウンタウェイトより重量が重い大型のカウンタウェイトが含まれてよい。また、他の種類のオプション装備には、アーム5の代わりに装着される相対的に長いロングアームが含まれてよい。また、他の種類のオプション装備には、例えば、バケット6の代わりに取り付けられるエンドアタッチメントとしての予備アタッチメント(例えば、ブレーカや攪拌機等)やエンドアタッチメントとアーム5との間に取り付けられる予備アタッチメント(例えば、クイックカップリングやチルトローテータ等)が含まれてもよい。
また、安全機能制御部305は、オプション装備が着脱可能である場合に、オプション装備の種類ごとに、オプション装備の有無を判断し、その判断結果に応じて、上述の如く、安全機能の作動態様を変化させてもよい。例えば、設定部302は、入力装置52を通じたオペレータ等の操作に応じて、オプション装備の装着状態(例えば、オプション装備の種類ごとの装着の有無等)に関する設定を行う。そして、安全機能制御部305は、記憶部303に登録されるその設定内容に基づき、オプション装備の有無を判断してよい。また、例えば、安全機能制御部305は、オプション装備の装着状況に関する情報を取得可能なセンサ(例えば、撮像装置40やオプション装備の取付部に設けられるスイッチ)等の出力に基づき、オプション装備の種類ごとにオプション装備が装着されているか否かを自動で判断してもよい。
また、表示処理部301は、オプション装備が装着されていない状態からオプション装備が装着されている状態に移行した場合に、前記安全機能の作動態様の変更に関する通知(以下、単に「変更通知」)を表示装置50に表示させてもよい。当該変更通知には、安全機能の作動対象が自動で変更されることの通知が含まれる。これにより、周辺監視装置200は、オプション装備の装着によって、自動で、安全機能の作動態様が変更されることをオペレータに把握させることができる。また、当該変更通知には、安全機能の作動態様の変更の許否を促す通知であってもよい。この場合、オペレータ等のユーザは、当該変更通知が表示装置50に表示される場合に、入力装置52を通じて、安全機能の作動態様の変更を許可したり、拒否したりすることができる。そのため、オプション装備の装着状況に応じた安全機能の作動態様の変更に対して、オペレータ等のユーザの意思を反映させることができる。また、当該変更通知には、安全機能の作動態様の手動での変更を促す通知であってもよい。この場合、ユーザは、当該変更通知に応じて、手動で、安全機能の作動態様の変更を行うことができる。つまり、設定部302は、入力装置52を通じたオペレータ等による手動での設定操作に応じて、安全機能の作動態様を変更することができる。そのため、オプション装備の装着状況に応じた安全機能の作動態様の変更に対して、オペレータ等のユーザの意思を反映させることができる。
[外部報知機能の作動制御方法]
次に、安全機能制御部305による外部報知機能の作動制御方法の具体例について説明する。
安全機能制御部305は、上述の如く、検出部304により監視対象が検出される場合に、外部報知機能を作動可能に構成される。本例では、安全機能制御部305は、検出部304により監視対象が検出される場合に、外部報知機能を作動させるときと、外部報知機能を作動させないときとがある。
例えば、安全機能制御部305は、検出部304A及び検出部304Bの何れにより監視対象が検出されているのかに応じて、外部報知機能を作動させるときと、作動させないときとを切り替えてよい。具体的には、安全機能制御部305は、検出部304Aにより監視対象が検出される場合に、外部報知機能を作動不可である一方、検出部304Bにより監視対象が検出される場合に、外部報知機能を作動可能であるように構成されてよい。例えば、外部報知機能が作動すると、ショベル100の周囲の作業者等の作業が止まってしまう可能性があり、仮に誤報であると、不要な外部報知機能の作動による作業効率の低下が生じる可能性がある。これに対して、上述の如く、検出部304A,304Bのうちの相対的に検出精度が高い傾向にある検出部304Bにより監視対象が検出される場合だけ、外部報知機能を作動可能にさせることで、ショベル100の周囲の安全性と作業効率とのバランスを図ることができる。
また、例えば、安全機能制御部305は、検出部304により監視対象が検出される場合に、動作制限機能の作動状況と連動させることにより、外部報知機能を作動させるときと、作動させないときとを切り替えてもよい。具体的には、安全機能制御部305は、検出部304により報知範囲で監視対象が検出される場合であっても、動作制限機能(例えば、動作減速機能)が作動しない場合(例えば、後述の如く、監視対象とショベル100との接触する可能性がない場合等)、外部報知機能を作動させないようにしてよい。一方、安全機能制御部305は、検出部304により報知範囲で監視対象が検出され、且つ、動作制限機能(例えば、動作減速機能)が作動している場合に、外部報知機能を作動させてよい。これにより、周辺監視装置200は、ショベル100の安全性を確保しつつ、周囲の監視対象とショベル100との接触の可能性が低い状況で、外部報知機能が作動し、ショベル100の周囲の作業者等の作業が止まってしまうような事態の発生、つまり、作業効率の低下を抑制することができる。ショベル100の動作制限機能が作動すると、ショベル100の周囲の作業者等の注意を引くことになるため、そもそも、ショベル100の周囲の作業が停止したり、滞ったりする可能性が高い。そのため、そのような状況で作動する外部報知機能が仮に誤報であったとしても、そもそも、ショベル100の周囲の作業が停止したり、滞ったりしているため、作業効率の低下の問題も生じにくくなる。
また、例えば、安全機能制御部305は、検出部304により報知範囲で監視対象が検出されている場合に、ショベル100の動作する方向に監視対象が存在するか否かに応じて、外部報知機能を作動させるときと、作動させないときとを切り替えてもよい。具体的には、安全機能制御部305は、ショベル100の操作情報に基づき、被駆動体(例えば、下部走行体1、上部旋回体3、アタッチメント等)の操作に伴うショベル100の動作する方向を判断し、ショベル100の動作する方向に監視対象が存在しない場合、外部報知機能を作動させないようにしてよい。一方、安全機能制御部305は、ショベル100の操作情報に基づき、被駆動体の操作に伴うショベル100の動作する方向を判断し、ショベル100の動作する方向に監視対象が存在する場合、外部報知機能を作動させてよい。これにより、周辺監視装置200は、ショベル100の安全性を確保しつつ、周囲の監視対象とショベル100との接触の可能性が低い状況で、外部報知機能が作動し、ショベル100の周囲の作業者等の作業が止まってしまうような事態の発生、つまり、作業効率の低下を抑制することができる。
また、例えば、安全機能制御部305は、検出部304により報知範囲で監視対象が検出されている場合に、ショベル100と当該監視対象との位置関係に基づく危険度の高低に応じて、外部報知機能を作動させるときと、作動させないときとを切り替えてもよい。
具体的には、安全機能制御部305は、ショベル100と当該監視対象との位置関係に基づく危険度(例えば、接触の可能性等)が相対的に高い場合、外部報知機能を作動させる一方、ショベル100と当該監視対象との位置関係に基づく危険度が相対的に低い場合、外部報知機能を作動させないようにしてよい。当該危険度は、例えば、監視対象とショベル100との距離に基づき取得(算出)されてよい。また、当該危険度は、例えば、監視対象と、ショベル100の操作に対応する被駆動体の動作方向(例えば、下部走行体1の進行方向、上部旋回体3の旋回方向、アタッチメントの移動方向等)に基づき取得(算出)されてもよい。これにより、周辺監視装置200は、ショベル100の安全性を確保しつつ、周囲の監視対象とショベル100との接触の可能性が低い状況で、外部報知機能が作動し、ショベル100の周囲の作業者等の作業が止まってしまうような事態の発生、つまり、作業効率の低下を抑制することができる。
また、例えば、設定部302は、入力装置52を通じてオペレータ等による所定の操作に応じて、外部報知機能のON(有効)及びOFF(無効)を切り替える設定を行ってもよい。この場合、安全機能制御部305は、検出部304により報知範囲で監視対象が検出される場合、外部報知機能の作動の有無に関する設定状況に応じて、外部報知機能を作動させるときと、作動させないときとを切り替えてよい。具体的には、安全機能制御部305は、検出部304により報知範囲で監視対象が検出される場合、外部報知機能がON(有効)に設定されているときに、外部報知機能を作動させ、外部報知機能がOFF(無効)に設定されているときに、外部報知機能を作動させないようにしてよい。これにより、周辺監視装置200は、外部報知機能を作動させるか否かの判断に対して、オペレータ等の意思を反映させることができる。
安全機能制御部305は、上述の如く、音出力装置54を通じて、外部報知機能を作動させてよい。音出力装置54には、上述の如く、例えば、ホーン54aや走行アラーム54b等が含まれる。これにより、安全機能制御部305は、既存のホーン54aや走行アラーム54bを用いて、外部報知機能を実現させることができる。そのため、外部報知機能の実現のためのコストを抑制することができる。
例えば、ホーン54aは、ノブスイッチ64のON操作とは無関係に、コントローラ30からの外部報知機能の作動に対応する制御指令(制御電流)に応じて、コイルが通電され、リレー62が閉成されることにより、吹鳴可能な構成であってよい。コントローラ30は、ホーンリレーの開閉パターンを適宜制御することにより、ホーン54aから所定の吹鳴パターンで音を出力させることができる。このとき、外部報知機能に対応するホーン54aの吹鳴パターンは、通常、オペレータ等が走行開始時に吹鳴させるときの吹鳴パターンと異なる態様に設定されてよい。これにより、周辺監視装置200は、ショベル100の周囲の作業者等に対して、ショベル100の走行開始の通知(合図)と、外部報知機能の作動とを識別させることができる。
また、例えば、走行アラーム54bは、コントローラ30の外部報知機能の作動に対応する制御指令に応じて、所定の吹鳴パターンで音を出力する。このとき、外部報知機能に対応する走行アラームの吹鳴パターンは、通常の下部走行体1の走行時とは異なる態様(例えば、"ピピピッ、ピピピッ、ピピピッ、・・・"と繰り返し吹鳴するビープ音)に設定されてよい。これにより、周辺監視装置200は、ホーン54aの場合と同様、ショベル100の周囲の作業者等に対して、ショベル100の走行時の通知と、外部報知機能の作動とを識別させることができる。
[動作制限機能の作動制御方法]
次に、図7、図8(図8A、図8B)を参照して、安全機能制御部305による動作制限機能の作動制御方法の具体例について説明する。
図7は、ショベル100の周囲の監視対象との接触の有無の判断方法を説明する図であり、具体的には、図7は、ショベル100の下部走行体1(クローラ1CL,1CR)が図中の右方向に直進走行している作業状況700を示している。図8A、図8Bは、動作制限機能の作動制御方法を説明する図である。具体的には、図8A、図8Bは、それぞれ、ショベル100の作業状況810,820における動作制限機能の作動制御方法を示す図である。
本例では、安全機能制御部305は、検出部304により動作制限範囲に監視対象が検出される場合、ショベル100の操作(即ち、操作装置26の操作や遠隔操作)に対応するショベル100の動作によって、当該監視対象とショベル100との接触が生じるか否かを判断する。そして、安全機能制御部305は、当該監視対象とショベル100との接触が生じると判断する場合に、動作停止機能を作動させ、ショベル100の操作に対するショベル100の動作を停止させる。
具体的には、安全機能制御部305は、操作対象の被駆動体の操作情報に基づき、被駆動体の動作する方向を判断してよい。そして、安全機能制御部305は、ショベル100の外面と(検出部304により検出されている)監視対象との位置関係に関する情報と、判断したショベル100の動作する方向とに基づき、ショベル100と監視対象との接触の有無を予測してよい。ショベル100の外面と監視対象との位置関係に関する情報には、例えば、撮像装置40(カメラ40X)や周囲情報取得装置45(センサ45X)の出力情報や検出部304の検出結果等が含まれうる。また、ショベル100と監視対象との接触の有無を予測してよい。また、ショベル100の外面と監視対象との位置関係に関する情報には、例えば、カメラ40Xやセンサ45Xのショベル100(上部旋回体3)における設置位置に関する情報が含まれうる。監視対象に関する情報を取得しているカメラ40X、センサ45Xの設置場所から、監視対象がショベル100の外面のどの部分と近いのか等を判断することができるからである。また、ショベル100の外面と監視対象との位置関係に関する情報には、ショベル100が動作する方向に対するショベル100の体格(例えば、幅等の諸元や形状等)に関する情報が含まれうる。ショベル100が動作する方向に対するショベル100の体格(占有幅)によって、ショベル100の外面と監視対象との位置関係が変化しうるからである。
例えば、安全機能制御部305は、検出部304により監視対象が検出されている場合、所定周期ごとに、被駆動体の操作情報に基づき、被駆動体の動作に伴うショベル100の動作する方向を判断する。これにより、被駆動体の操作情報の変化に合わせて、ショベル100の動作する方向の判断結果が更新される。同様に、検出部304は、所定周期ごとに、ショベル100の周囲の監視対象を検出する処理を行い、検出される監視対象の位置情報を出力する。これにより、検出部304により継続して検出されている監視対象のショベル100に対する相対的な位置情報が遂次更新される。そして、安全機能制御部305は、自らが判断するショベル100の動作する方向と、検出部304から出力される監視対象の位置情報とに基づき、今後の所定時間が経過するまでの間で、ショベル100と監視対象との接触が生じるか否かを判断してよい。これにより、安全機能制御部305は、逐次更新されるショベル100の動作する方向とショベル100から見た監視対象の位置とに合わせて、逐次、ショベル100と周囲の監視対象との間の接触の有無の判断結果を更新していくことができる。そのため、被駆動体に関する操作内容が変化するような状況(例えば、下部走行体1に関する操作内容が、直進走行から緩旋回走行に変化する走行操作に変化する場合等)であっても、適切に、ショベル100と監視対象との間の接触の有無を判断することができる。
また、例えば、安全機能制御部305は、ショベル100の外面と監視対象との位置関係に関する情報と、判断したショベル100の動作する方向とに基づき設定される所定範囲(即ち、動作停止範囲)を用いて、ショベル100と監視対象との接触の有無を判断してもよい。具体的には、動作停止範囲は、ショベル100と監視対象との間の接触が生じうる範囲として、所定周期ごとに、設定部302により設定されてよい。
例えば、図7の作業状況700では、上部旋回体3及びアタッチメントが実線で示されるショベル100(以下、便宜的に、「実線のショベル100」)は、下部走行体1の直進方向(図中の右方向)に対して、上部旋回体3(アタッチメント)が左方向に90度旋回し、図中の上方向を向いている。また、上部旋回体3及びアタッチメントが一点鎖線で示されるショベル100(以下、便宜的に、「一点鎖線のショベル100」)は、下部走行体1の直進方向(図中の右方向)に対して、上部旋回体3が左方向に旋回し、図中の右斜め上方向を向いている。
実線のショベル100の下部走行体1が図中の右方向に走行する場合、機体(下部走行体1及び上部旋回体3)は、上面視で、クローラ1CLの左端部(外端部)と上部旋回体3の後端部とにより規定される点線710の間の幅(範囲)を通過する。そのため、安全機能制御部305は、実線のショベル100の状態の場合、下部走行体1の走行時に、クローラ1CLの左端部(外端部)及び上部旋回体3の後端部と、周囲の監視対象(例えば、作業者730)との位置関係によって、監視対象とショベル100(機体)との接触の有無を判断することができる。また、安全機能制御部305は、ショベル100の直進方向(図中の右方向)に対するショベル100の機体の体格(点線710の間の幅)と、ショベル100の周囲の監視対象の相対位置とによって、監視対象とショベル100(機体)との接触の有無を判断することも可能である。例えば、安全機能制御部305は、点線710の間の幅に対して所定の余裕分(例えば、1メートル〜1.5メートル)を付加した幅で規定される動作停止範囲内で、監視対象が検出される場合に、ショベル100と監視対象との接触が生じると判断してよい。
一方、一点鎖線のショベル100の下部走行体1が図中の右方向に走行する場合、機体(下部走行体1及び上部旋回体3)は、上面視で、上部旋回体3の左前端の隅部と右後端の隅部とにより規定される一点鎖線720の間の幅(範囲)を通過する。そのため、安全機能制御部305は、一点鎖線のショベル100の状態の場合、下部走行体1の走行時に、上部旋回体3の左前端の隅部及び右後端の隅部と、周囲の監視対象(例えば、作業者730)との位置関係によって、監視対象とショベル100(機体)との接触の有無を判断することができる。また、安全機能制御部305は、ショベル100の直進方向(図中の右方向)に対するショベル100の機体の体格(一点鎖線720の間の幅)と、ショベル100の周囲の監視対象の相対位置とによって、監視対象とショベル100(機体)との接触の有無を判断することも可能である。例えば、安全機能制御部305は、一点鎖線720の間の幅に対して所定の余裕分を追加した幅で規定される動作停止範囲内で、監視対象が検出される場合に、ショベル100と監視対象との接触が生じると判断してよい。
上述の如く、実線のショベル100の状態の場合、動作停止範囲は、点線710の間の範囲に相当し、一点鎖線のショベル100の状態の場合、動作停止範囲は、一点鎖線720の間の範囲に相当する。つまり、設定部302は、下部走行体1に対する上部旋回体3の旋回角度に応じて、動作停止範囲を変化させてよい。これにより、設定部302は、上部旋回体3の旋回角度に合わせて、より適切に、動作停止範囲を設定することができる。上部旋回体3の旋回角度に関する情報は、例えば、カメラ40Xの撮像画像に基づき取得されてよい。具体的には、カメラ40Xの撮像画像に映っているクローラの見え方やどのカメラ40Xに映っているか等に応じて、上部旋回体3の旋回角度が判断されうる。また、上部旋回体3の旋回角度に関する情報を取得可能なセンサ(例えば、上部旋回体3に搭載される、ロータリエンコーダ、加速度センサ、角速度センサ、六軸センサ、IMU(Inertial Measurement Unit等)がショベル100に設けられてもよい。
また、図7の作業状況700では、下部走行体1が直進走行する場合を想定するが、下部走行体1は、直進走行の他、緩旋回走行、ピボットターン、スピンターン等の走行態様を有する。そのため、安全機能制御部305は、操作情報出力装置29から入力される操作情報に基づき、下部走行体1の直進走行に対応する走行操作であるのか、緩旋回走行に対応する走行操作であるのか、ピボットターンに対応する旋回操作であるのか、スピンターンに対応する旋回操作であるのかを判断してよい。つまり、下部走行体1に関する操作情報には、直進走行に対応する走行操作を表す情報、緩旋回走行に対応する走行操作を表す情報、ピボットターンに対応する走行操作を表す情報、及びスピンターンに対応する走行操作を表す情報の少なくとも一つが含まれてよい。
このように、安全機能制御部305は、ショベル100の被駆動体の動作方向に対する機体等の体格(占有幅)を考慮することにより、ショベル100と検出部304により検出される周囲の監視対象との間の接触の有無を判断することができる。具体的には、安全機能制御部305は、ショベル100の被駆動体に関する操作情報、及びショベル100の外面と監視対象との間の位置関係に関する情報に基づき、被駆動体の動作に伴い監視対象とショベル100との接触が生じるか否かを判断してよい。また、下部走行体1の走行操作の場合、下部走行体1の走行操作に関する情報には、直進走行に対応する走行操作を表す情報、緩旋回走行に対応する走行操作を表す情報、ピボットターンに対応する走行操作を表す情報、及びスピンターンに対応する走行操作を表す情報の少なくとも一つが含まれる。これにより、安全機能制御部305は、下部走行体1の進行方向をより詳細に把握し、より適切に、ショベル100と監視対象との間の接触の有無を判断することができる。
例えば、図8Aの作業状況810では、ショベル100は、下部走行体1の直進方向(図中の右方向)を基準とする旋回角度が左方向に90度の状態にある。また、下部走行体1の前方(図中の右方向)の正面には、検出部304により検出される作業者811が存在する。
この場合、安全機能制御部305は、下部走行体1の走行操作に応じて、下部走行体1が後方(図中の左方向)に進行(後進)することを許容する。ショベル100は、作業者811から離れる方向に移動するため、ショベル100と作業者811との接触が生じ得ないからである。一方、安全機能制御部305は、下部走行体1の走行操作に応じて、下部走行体1の前方(図中の右方向)に進行(前進)することを禁止し、動作停止機能を作動させる。作業者811は、ショベル100の進行方向の正面に存在するため、そのまま進行すると、ショベル100が作業者811に近づき、ショベル100と作業者811との間に接触が生じるからである。
また、図8Bの作業状況820では、図8Aの作業状況810と同様、ショベル100は、下部走行体1の直進方向(図中の右方向)を基準とする旋回角度が左方向に90度の状態にある。また、下部走行体1の右斜め後方、且つ、クローラ1CRの右斜め前方には、検出部304により検出される作業者821が存在する。
この場合、安全機能制御部305は、下部走行体1の走行操作に応じて、下部走行体1が後方(図中の左方向)に進行(後進)することを許容する。ショベル100は、作業者811から離れる方向に移動するため、ショベル100と作業者811との接触が生じ得ないからである。また、安全機能制御部305は、下部走行体1の走行操作に応じて、下部走行体1の前方(図中の右方向)に進行(前進)することも許容する。ショベル100は、下部走行体1の走行に伴い作業者812に近づくものの、ショベル100の占有幅の端部(一点鎖線822)からある程度離れているため、そのまま進行(直進)しても、ショベル100と作業者811との間に接触が生じないからである。
尚、図8Bの作業状況820において、下部走行体1の右方向への緩旋回走行に対応する走行操作が行われる場合、ショベル100は、右方向に旋回しながら、作業者812に向かって移動する。そのため、安全機能制御部305は、下部走行体1の走行操作が右方向への緩旋回走行である場合、ショベル100の進行を禁止し、動作停止機能を作動させてよい。これにより、安全機能制御部305は、下部走行体1の走行操作の内容に応じて、より適切に、動作停止機能を作動させることができる。
このように、安全機能制御部305は、ショベル100の操作に応じて、ショベル100が検出部304により検出される監視対象と接触しそうな場合、動作停止機能を作動させ、当該操作に対するショベル100の動作を停止させる。一方、安全機能制御部305は、ショベル100の操作に応じて、ショベル100が検出部304に検出される監視対象に近づく場合あっても、監視対象とショベル100との接触が生じない場合、当該操作に対するショベル100の動作を許容する。具体的には、安全機能制御部305は、被駆動体のショベル100と検出部304により検出される監視対象とが接触するか否かを判断し、ショベル100と監視対象との間の接触が生じないと判断する場合に、ショベル100の操作に対するショベル100の動作を許容する。このとき、安全機能制御部305は、動作減速機能を作動させ、ショベル100の動作速度を減速させながら、ショベル100の動作を許容してもよいし、ショベル100の動作制限機能自体を作動させずに、ショベル100の動作を許容してもよい。これにより、周辺監視装置200は、ショベル100と監視対象との間の接触が生じない場合には、ショベル100の動作を許容し、ショベル100の安全性と作業効率とのバランスを図ることができる。よって、周辺監視装置200は、ショベル100の周囲の障害物(監視対象)の存在に応じて、より適切にショベル100の動作を停止させることができる。
[監視対象の検出時における監視画像の表示制御方法]
次に、図9(図9A〜図9C)を参照して、検出部304による監視対象の検出時における表示処理部301による監視画像の表示制御方法の具体例を説明する。
図9A〜図9Cは、検出部304による監視対象の検出時における監視画像の具体例を示す図である。具体的には、図9A〜図9Cは、それぞれ、検出部304による監視対象の検出時における監視画像の第1例〜第3例(監視画像910〜930)を示す図である。
まず、図9Aに示すように、表示装置50には、表示処理部301の制御下で、監視画像910として、カメラ40Bの撮像画像(スルー画像)が表示されている。
監視画像910には、ヘルメット及び反射ベストを着用している作業者911が映っている。本例では、作業者911は、ヘルメット及び反射ベストの双方を着用していることから、検出部304A及び検出部304Bの双方により検出されている。
また、監視画像910には、検出部304Aにより作業者911が検出されていることを示す枠912が重畳して表示される。これにより、オペレータ等は、検出部304Aにより検出された作業者911の存在やその位置を認識し易くなる。
また、枠912は、検出部304(検出部304A)により検出されている監視対象(作業者911)のショベル100からの距離に応じて、その表示態様が変化してもよい。例えば、枠912は、検出部304Aにより検出されている監視対象とショベル100との間の距離が相対的に離れている場合、黄色で表示され、当該監視対象とショベル100との間の距離が相対的に近い場合、赤色で表示されてよい。これにより、オペレータ等は、枠912の表示態様を通じて、ショベル100と監視対象との位置関係(距離)を把握することができる。以下、後述する枠932についても同様であってよい。
また、監視画像910には、監視画像910内に検出部304Bにより検出された監視対象(作業者911)が存在することを表す矢印画像913が重畳して表示される。これにより、オペレータ等は、検出部304Bにより検出された監視対象が現在表示されている監視画像910内にいることを認識することができる。
矢印画像913は、監視画像910の内向きを指し示している。これにより、矢印画像913は、具体的に、監視画像910内に検出部304Bにより検出された監視対象(作業者911)が存在することを表すことができる。
また、矢印画像913は、複数の円形状の画像(具体的には、14個の円形状の画像)によって構成されており、円形状の画像の間の隙間部から監視画像が露出している。これにより、矢印画像913が監視画像910に重畳して表示される場合であっても、矢印画像913が表示される監視画像910の部分に対応するショベル100の周囲の様子をオペレータ等に適切に把握させることができる。以下、矢印画像921,922,933〜935についても同様である。
また、矢印画像913は、検出部304(検出部304B)により検出されている監視対象(作業者911)のショベル100からの距離に応じて、その表示態様が変化してもよい。例えば、矢印画像913は、検出部304Aにより検出されている監視対象とショベル100との間の距離が相対的に離れている場合、黄色で表示され、当該監視対象とショベル100との間の距離が相対的に近い場合、赤色で表示されてよい。これにより、オペレータ等は、矢印画像913の表示態様を通じて、ショベル100と監視対象との位置関係(距離)を把握することができる。以下、後述する矢印画像921,922,933〜935についても同様であってよい。
尚、本例では、表示装置50の表示領域全体に監視画像910が表示されるが、表示装置50の表示領域に余白を残す態様で、監視画像910が表示されてもよい。この場合、余白部分に、矢印画像913が表示されてもよい。以下、後述する矢印画像921,922についても同様であってよい。また、矢印画像913は、検出部304Bにより監視対象が検出される場合だけでなく、検出部304Aにより監視対象が検出される場合に表示されてもよい。以下、後述する矢印画像921,922,933〜935についても同様である。
続いて、図9Bに示すように、表示装置50には、監視画像920として、カメラ40Bの撮像画像(スルー画像)が表示されている。
本例では、監視画像920に対応するショベル100の周囲の範囲外で検出部304Bにより監視対象(作業者)が検出されている。
監視画像920には、監視画像920に対応するショベル100の周囲の範囲外で検出部304Bにより監視対象が検出されていることを示す矢印画像921,922が重畳して表示されている。これにより、オペレータ等は、監視画像920に対応するショベル100の周囲の範囲外で監視対象が検出されていることを認識することができる。
矢印画像921は、監視画像920の左端の上下中央付近に重畳して表示され、監視画像920の外向き且つ左方向を指し示している。これにより、矢印画像921は、監視画像920に対応するショベル100の周囲の範囲よりも周方向の左方向(例えば、カメラ40Rの撮像範囲)に検出部304Bにより検出されている監視対象が存在していることを表すことができる。つまり、矢印画像921は、監視画像920を基準として、検出部304Bにより検出されている監視対象が存在する方向を示している。これにより、オペレータ等は、表示装置50に現在表示されている監視画像920を基準としてどの方向に監視対象が存在するかを直感的に把握することができる。そのため、オペレータ等は、入力装置52を通じて、表示装置50の表示内容を切り替える操作を行い、検出部304Bにより検出されている監視対象を撮像範囲に含むカメラ40Rの撮像画像を監視画像として表示装置50に表示させることができる。
矢印画像922は、監視画像920の右端の上下中央付近に重畳して表示され、監視画像920の外向き且つ右方向を指し示している。これにより、矢印画像922は、監視画像920に対応するショベル100の周囲の範囲よりも周方向の右方向(例えば、カメラ40Lの撮像範囲)に検出部304Bにより検出されている監視対象が存在していることを表すことができる。つまり、矢印画像922は、監視画像920を基準として、検出部304Bにより検出されている監視対象が存在する方向を示している。これにより、オペレータ等は、表示装置50に現在表示されている監視画像920を基準としてどの方向に監視対象が存在するかを直感的に把握することができる。そのため、オペレータ等は、入力装置52を通じて、表示装置50の表示内容を切り替える操作を行い、検出部304Bにより検出されている監視対象を撮像範囲に含むカメラ40Lの撮像画像を監視画像として表示装置50に表示させることができる。
尚、表示処理部301は、表示装置50に表示されている監視画像に対応するショベル100の周囲の範囲外で検出部304により監視対象が検出される場合に、入力装置52を通じて、表示内容を切り替える操作がされない限り、表示装置50に当該監視画像を表示させる状態を維持してよい。矢印画像921,922を通じて、オペレータ等は、検出されている監視対象の存在する位置を把握できるからである。これにより、周辺監視装置200は、表示装置50の表示内容に関するユーザの意志を優先させることができる。また、キャビン10内には、表示装置50とは別に、他の表示装置が設けられてもよい。この場合、表示処理部301は、表示装置50に表示されている監視画像に対応するショベル100の周囲の範囲外で検出部304により監視対象が検出される場合に、当該監視対象が存在する位置に対応するカメラ40Xの撮像画像を他の表示装置に自動で表示させてもよい。これにより、オペレータ等の利便性が向上する。また、コントローラ30は、表示装置50に表示されている監視画像に対応するショベル100の周囲の範囲外で検出部304により監視対象が検出されている場合に、表示装置50を通じて、その旨を教示するのに代えて、或いは、加えて、他の方法で、その旨をオペレータ等に教示してもよい。例えば、コントローラ30は、表示装置50に表示されている監視画像に対応するショベル100の周囲の範囲外で監視対象が検出されている場合に、音出力装置54を通じて、所定の音や音声を出力させることにより、その旨をオペレータ等に教示してもよい。
続いて、図9Cに示すように、表示装置50には、カメラ40B,40L,40Rの撮像画像に基づく視点変換画像EP及びショベル画像CGを含む監視画像930が表示される。
本例では、監視画像930には、上部旋回体3の後方に対応する位置に、ヘルメット及び反射ベストを着用している作業者931が映っている。本例では、作業者931は、ヘルメット及び反射ベストの双方を着用していることから、検出部304A及び検出部304Bの双方により検出されている。
また、監視画像930には、検出部304Aにより作業者931が検出されていることを示す枠932が重畳して表示される。これにより、オペレータ等は、検出部304Aにより検出された作業者931の存在やその位置を認識し易くなる。
また、監視画像930には、監視画像910内に検出部304Bにより検出された監視対象(作業者931)が存在することを表す矢印画像933が表示される。これにより、オペレータ等は、検出部304Bにより検出された監視対象が現在表示されている監視画像930内にいることを認識することができる。
矢印画像933は、視点変換画像EPに重畳して表示され、視点変換画像EPの外縁、つまり、水平画像HVPに相当する部分から内向きを指し示している。これにより、矢印画像933は、具体的に、監視画像930内に検出部304Bにより検出された監視対象(作業者931)が存在することを表すことができる。また、矢印画像933は、上部旋回体3の後方に対応する視点変換画像EP(水平画像HVP)の部分に重畳して配置される。これにより、検出部304Bにより検出されている監視対象(作業者931)がショベル100の後方に存在していることを表すことができる。
尚、矢印画像933は、監視画像930のうちの視点変換画像EPの周囲の余白部分に表示されてもよい。また、検出部304Bにより上部旋回体3の左側方(例えば、カメラ40Lの撮像範囲)で監視対象が検出されている場合、上部旋回体3の左側方に対応する視点変換画像EP(水平画像HVP)の部分に矢印画像934(点線)が表示されてよい。このとき、矢印画像934は、矢印画像933の場合と同様、視点変換画像EP(水平画像HVP)に重畳して表示されてもよいし、監視画像930における視点変換画像EPの周囲の余白部分に表示されてもよい。以下、後述する矢印画像935についても同様である。また、同様に、検出部304Bにより上部旋回体3の右側方(例えば、カメラ40Rの撮像範囲)で検出部304Bにより監視対象が検出されている場合、上部旋回体3の右側方に対応する視点変換画像EP(水平画像HVP)の部分に矢印画像935(点線)が表示されてよい。
[作用]
次に、本実施形態に係るショベル100(周辺監視装置200)の作用について説明する。
本実施形態では、ショベル100の周囲の物体から受光される反射光の強度に関する情報、及びショベル100の周囲の物体までの距離に関する情報を取得するセンサが設けられる。そして、コントローラ30は、当該センサの出力に基づき、警報の出力、及びショベル100の動作制限の少なくとも一方を行う。
これにより、周辺監視装置200は、赤外線等の受光強度に関する情報だけでなく、ショベル100の周囲の物体までの距離に関する情報を利用することができる。そのため、周辺監視装置200は、例えば、受光強度に関する情報を用いて、物体の認識を行うと共に、ショベル100の周囲の物体までの距離に関する情報を用いて、ショベル100と認識した物体との距離を把握することができる。よって、周辺監視装置200は、警報の出力やショベルの動作制限の発生条件にバラツキが生じるような事態を抑制し、ショベル100の安全性をより向上させることができる。
また、本実施形態では、当該センサは、単一のセンサ45Xであり、光(赤外線)をショベル100の周囲に照射すると共にその反射光を受光することにより、ショベル100の周囲の物体の光の反射強度に関する情報、及びショベル100の周囲の物体までの距離に関する情報を取得してよい。
これにより、周辺監視装置200は、単一のセンサ45X(例えば、LIDAR)を用いて、ショベル100の周囲の監視対象を検出し、警報の出力やショベル100の動作制限等の安全機能を作動させることができる。
また、本実施形態では、センサは、光(例えば、赤外線等)をショベル100周囲に照射すると共にその反射光を受光することにより、ショベル100の周囲の物体の光の反射強度に関する情報を取得する第1のセンサ(例えば、センサ45X)と、ショベル100の周囲の物体までの距離に関する情報を取得する第2のセンサ(例えば、カメラ40X)と、を含んでよい。
これにより、周辺監視装置200は、複数のセンサ(例えば、カメラ40Xとセンサ45X)を用いて、ショベル100の周囲の監視対象を検出し、警報の出力やショベル100の動作制限等の安全機能を作動させることができる。
できる。
また、本実施形態では、コントローラ30は、ショベル100の周囲の物体から受光される反射光の強度に関する情報及びショベル100の周囲の物体までの距離に関する情報に基づき、受光される反射光の強度が相対的に高く、且つ、ショベル100に対する距離が相対的に近い物体を検出した場合に、警報の出力、及びショベル100の動作制限の少なくとも一方を行ってよい。
これにより、周辺監視装置200は、反射材付きの被服(例えば、反射ベスト)を着用している作業者を相対的にショベル100に近い範囲で検出した場合に、警報の出力やショベル100の動作制限等の安全機能を作動させることができる。よって、周辺監視装置200は、具体的に、ショベル100の安全性の確保を図ることができる。
[変形・変更]
以上、本発明を実施するための形態について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
例えば、上述した実施形態の検出部304の機能、つまり、安全装備の装着状況を識別可能な検出装置は、作業現場の構造物(例えば、入口のゲート等)、他の作業機械(例えば、ブルドーザ、クレーン等)、移動車両(例えば、トラック等)、建物(例えば、仮設事務所等)に設けられてもよい。これにより、例えば、作業現場の管理者等は、検出装置の検出結果を利用して、作業現場における広範囲に、作業現場の作業者の安全装備の装着状況を把握することができる。そのため、管理者等は、検出装置の検出結果を利用して、作業現場の安全管理を行うことができる。また、検出装置の検出結果に関する情報は、記憶部に記録される態様であってもよい。この場合、検出装置と、記憶部や記録部等の構成を実現するハードウェア(例えば、端末装置やサーバ装置)等とは、同じ場所に設けられてもよいし、有線或いは無線を通じて通信可能な態様で異なる場所に設けられてもよい。
また、上述した実施形態及び変形例に係る周辺監視装置200は、ショベル100以外の任意の作業機械に搭載されてよい。例えば、周辺監視装置200は、エンドアタッチメントとしてリフティングマグネットが取り付けられたリフマグ機、ブルドーザ、ホイールローダ、アスファルトフィニッシャ、林業機械等に搭載されてもよい。
30 コントローラ
40 撮像装置
40B,40L,40R カメラ
45 周囲情報取得装置
45BL,45BR,45L,45LF,45LR,45R,45RF,45RR センサ
50 表示装置
52 入力装置
54 音出力装置
54a ホーン
54b 走行アラーム
56 油圧制御弁
100 ショベル
200 周辺監視装置
301 表示処理部
302 設定部
303 記憶部
304 検出部
305 安全機能制御部

Claims (5)

  1. ショベルの周囲の物体から受光される反射光の強度に関する情報、及びショベルの周囲の物体までの距離に関する情報を取得するセンサと、
    前記センサの出力に基づき、警報の出力、及びショベルの動作制限の少なくとも一方を行う制御装置と、を備える、
    ショベル。
  2. 前記センサは、単一であり、光をショベルの周囲に照射すると共にその反射光を受光することにより、ショベルの周囲の物体の光の反射強度に関する情報、及びショベルの周囲の物体までの距離に関する情報を取得する、
    請求項1に記載のショベル。
  3. 前記センサは、光をショベル周囲に照射すると共にその反射光を受光することにより、ショベルの周囲の物体の光の反射強度に関する情報を取得する第1のセンサと、ショベルの周囲の物体までの距離に関する情報を取得する第2のセンサと、を含む、
    請求項1に記載のショベル。
  4. 前記第2のセンサは、撮像装置である、
    請求項3に記載のショベル。
  5. 前記制御装置は、前記強度に関する情報及び前記距離に関する情報に基づき、受光される反射光の強度が相対的に高く、且つ、ショベルに対する距離が相対的に近い物体を検出した場合に、警報の出力、及びショベルの動作制限の少なくとも一方を行う、
    請求項1乃至4の何れか一項に記載のショベル。
JP2019086880A 2019-04-26 2019-04-26 ショベル Pending JP2020183623A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019086880A JP2020183623A (ja) 2019-04-26 2019-04-26 ショベル

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019086880A JP2020183623A (ja) 2019-04-26 2019-04-26 ショベル

Publications (1)

Publication Number Publication Date
JP2020183623A true JP2020183623A (ja) 2020-11-12

Family

ID=73045498

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019086880A Pending JP2020183623A (ja) 2019-04-26 2019-04-26 ショベル

Country Status (1)

Country Link
JP (1) JP2020183623A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3722519A4 (en) * 2017-12-04 2021-04-21 Sumitomo Heavy Industries, Ltd. SURVEILLANCE DEVICE FOR SURROUNDING AREA AND TERMINAL, INFORMATION PROCESSING DEVICE AND PROGRAM
JP2022151877A (ja) * 2021-03-23 2022-10-07 株式会社リコー 情報処理装置
WO2023048136A1 (ja) * 2021-09-22 2023-03-30 株式会社小松製作所 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法
WO2024070213A1 (ja) * 2022-09-28 2024-04-04 日立建機株式会社 建設機械

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10185693A (ja) * 1996-12-26 1998-07-14 Nkk Corp 物体の放射率及び温度の測定方法並びにその装置
JP2002328022A (ja) * 2001-05-02 2002-11-15 Komatsu Ltd 地形形状計測装置およびガイダンス装置
CN103318072A (zh) * 2013-07-16 2013-09-25 吉林大学 一种驾驶员失能眩光防控与测障***
JP2014145756A (ja) * 2013-01-07 2014-08-14 Kitazawa Gijutsu Jimusho Kk レーザー式液面計
CN206164739U (zh) * 2016-11-30 2017-05-10 中山大学 一种车辆远光灯违规使用的自动录像取证及执法***
CN206281484U (zh) * 2016-12-15 2017-06-27 西安科技大学 高精度全站仪仪器高量测***
CN107734329A (zh) * 2017-11-14 2018-02-23 浙江贝尔技术有限公司 一种基带数字视频帧率的检测***及检测方法
CN207157063U (zh) * 2017-08-10 2018-03-30 张臣 一种基于树莓派的智慧为家***
WO2018084146A1 (ja) * 2016-11-01 2018-05-11 住友建機株式会社 作業機械用周辺監視システム
JP2020051156A (ja) * 2018-09-27 2020-04-02 日立建機株式会社 作業機械
JP2020148074A (ja) * 2019-03-15 2020-09-17 ヤンマーパワーテクノロジー株式会社 作業機械の接触防止装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10185693A (ja) * 1996-12-26 1998-07-14 Nkk Corp 物体の放射率及び温度の測定方法並びにその装置
JP2002328022A (ja) * 2001-05-02 2002-11-15 Komatsu Ltd 地形形状計測装置およびガイダンス装置
JP2014145756A (ja) * 2013-01-07 2014-08-14 Kitazawa Gijutsu Jimusho Kk レーザー式液面計
CN103318072A (zh) * 2013-07-16 2013-09-25 吉林大学 一种驾驶员失能眩光防控与测障***
WO2018084146A1 (ja) * 2016-11-01 2018-05-11 住友建機株式会社 作業機械用周辺監視システム
CN206164739U (zh) * 2016-11-30 2017-05-10 中山大学 一种车辆远光灯违规使用的自动录像取证及执法***
CN206281484U (zh) * 2016-12-15 2017-06-27 西安科技大学 高精度全站仪仪器高量测***
CN207157063U (zh) * 2017-08-10 2018-03-30 张臣 一种基于树莓派的智慧为家***
CN107734329A (zh) * 2017-11-14 2018-02-23 浙江贝尔技术有限公司 一种基带数字视频帧率的检测***及检测方法
JP2020051156A (ja) * 2018-09-27 2020-04-02 日立建機株式会社 作業機械
JP2020148074A (ja) * 2019-03-15 2020-09-17 ヤンマーパワーテクノロジー株式会社 作業機械の接触防止装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3722519A4 (en) * 2017-12-04 2021-04-21 Sumitomo Heavy Industries, Ltd. SURVEILLANCE DEVICE FOR SURROUNDING AREA AND TERMINAL, INFORMATION PROCESSING DEVICE AND PROGRAM
US11365527B2 (en) 2017-12-04 2022-06-21 Sumitomo Heavy Industries, Ltd. Surroundings monitoring apparatus, information processing terminal, information processing apparatus, and recording medium
JP2022151877A (ja) * 2021-03-23 2022-10-07 株式会社リコー 情報処理装置
WO2023048136A1 (ja) * 2021-09-22 2023-03-30 株式会社小松製作所 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法
WO2024070213A1 (ja) * 2022-09-28 2024-04-04 日立建機株式会社 建設機械

Similar Documents

Publication Publication Date Title
WO2020218455A1 (ja) ショベル
WO2020218454A1 (ja) 表示装置、ショベル、情報処理装置
JP7358070B2 (ja) ショベル
WO2020218452A1 (ja) ショベル、作業現場の安全装備確認システム
JP2020183623A (ja) ショベル
JP7252137B2 (ja) 周辺監視装置
WO2019244574A1 (ja) 掘削機、情報処理装置
WO2020189578A1 (ja) 作業機械
WO2021025123A1 (ja) ショベル、情報処理装置
US20220042283A1 (en) Shovel
EP3733982B1 (en) Shovel and output device of shovel
JP2020183622A (ja) ショベル、ショベルのシリーズ
WO2021149775A1 (ja) 作業機械、情報処理装置
JP2022157923A (ja) ショベル
JP7479156B2 (ja) 作業機械、情報処理装置
JP7488753B2 (ja) 周辺監視装置
WO2023171711A1 (ja) 操作支援装置、作業機械、遠隔操作支援装置、プログラム
WO2023132321A1 (ja) 周辺監視システム、作業機械
JP2020122376A (ja) 作業機械

Legal Events

Date Code Title Description
A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20220216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230130

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230531

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230608

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230804