WO2021241033A1 - 作業機械 - Google Patents

Abstract

作業機械は、機体と、機体に取り付けられるアクチュエータと、アクチュエータを動作させるために用いられる操作装置と、操作装置の操作を検出する操作検出装置と、機体の周囲を撮影する撮影装置と、撮影装置で撮影された映像を含む映像データを記録する映像データ記録装置と、映像データ記録装置を制御する制御装置と、機体の周囲の物体を検出する物体検出装置と、を備える。制御装置は、物体検出装置での検出結果、及び、操作検出装置での検出結果に基づいて、機体の周囲に物体が存在していること、及び、操作装置が操作されていることを含む記録保持条件が成立しているか否かを判定し、記録保持条件が成立した場合に、映像データ記録装置によって映像データの記録保持を行わせる。

Description

作業機械

　本発明は、作業機械に関する。

　自動車が物体に接触したときの原因を調査することを目的として、カメラで撮影された自車両の周囲の映像を録画するドライブレコーダ装置を備えた自動車が知られている。自動車の動作中、全ての時間において録画を行う場合、映像データの量が大きくなり必要な場面の映像データの抽出に手間がかかってしまう。映像データの量を抑えるために、古いデータを順次削除し、新しいデータに書き換える上書き処理を行う場合、必要な場面の映像データが上書きにより削除されてしまう場合がある。したがって、必要な場面で映像の録画を開始することが望ましい。

　特許文献１には、自車両への衝撃を検知する衝撃検知手段と、衝撃検知手段が予め決められた値以上の衝撃を検知したとき、記憶手段に記憶された記憶情報を記憶保持する記憶情報保存手段と、を備えたドライブレコーダ装置が開示されている。

特開２００４－２２４１０５号公報

　建設作業現場などで稼働する油圧ショベル等の作業機械においても、自作業機械の周囲の映像データを記録保持することが要望されている。しかしながら、作業機械は、作業中、衝撃が頻繁に発生する。このため、作業機械において、衝撃の検知により映像データの記録保持を行う構成とすると、頻繁に映像データの記録保持が行われてしまい、必要な場面を記録保持する精度、すなわち録画精度が低くなってしまうという問題点がある。

　本発明は、必要な場面の録画精度を向上させることを目的とする。

　本発明の一態様による作業機械は、機体と、前記機体に取り付けられるアクチュエータと、前記アクチュエータを動作させるために用いられる操作装置と、前記操作装置の操作を検出する操作検出装置と、前記機体の周囲を撮影する撮影装置と、前記撮影装置で撮影された映像を含む映像データを記録する映像データ記録装置と、前記映像データ記録装置を制御する制御装置と、前記機体の周囲の物体を検出する物体検出装置と、を備える。前記制御装置は、前記物体検出装置での検出結果、及び、前記操作検出装置での検出結果に基づいて、前記機体の周囲に物体が存在していること、及び、前記操作装置が操作されていることを含む記録保持条件が成立しているか否かを判定し、前記記録保持条件が成立した場合に、前記映像データ記録装置によって前記映像データの記録保持を行わせる。

　本発明によれば、必要な場面の録画精度を向上させることができる。

油圧ショベルの管理システムの構成を示す図。 運転室の内部を運転席の後側から前方に向かって見たときの概略図。 油圧ショベルの主な構成を示す図。 油圧ショベルの平面模式図であり、複数の撮影装置の撮影範囲を示す。 周囲監視システムの主な機能について示す機能ブロック図。 油圧ショベルを上方から見た図であり、油圧ショベルの警告ゾーンＳ１及び注意ゾーンＳ２について示す。 表示装置の表示画面に表示される合成映像の一例について示す図。 記録制御部による記録制御処理の内容を説明するためのタイムチャート。 車体コントローラにより実行される記録保持条件の成立判定処理について示すフローチャート。 録画コントローラにより実行される記録制御処理について示すフローチャート。 録画コントローラにより実行される記録制御を終了する際の処理について示すフローチャート。

　図面を参照して、本発明の実施形態に係る作業機械及びその管理システムについて説明する。作業機械は、土木作業、建設作業、解体作業等の各種作業に用いられる機械である。本実施形態では、作業機械が、クローラ式の油圧ショベル１である例について説明する。

　図１は、油圧ショベル１の管理システム５の構成を示す図である。図１に示すように、管理システム５は、作業現場で作業を行う油圧ショベル１と、管理センタ５２に設置される管理サーバ５３と、を有する。管理センタ５２は、例えば、油圧ショベル１の製造業者（メーカー）の本社、支社、工場等の施設、油圧ショベル１のレンタル会社、サーバの運営を専門的に行うデータセンタ、油圧ショベル１を所有するオーナーの施設等に設置される。管理サーバ５３は、油圧ショベル１の状態を遠隔で管理（把握、監視）する外部装置である。

　管理システム５は、作業現場で作業を行う油圧ショベル１と、作業現場から離れた場所に設置される管理サーバ５３との間で広域ネットワークの通信回線５０を介して双方向通信を行うことができるように構成されている。すなわち、油圧ショベル１と管理サーバ５３とは、通信回線５０を介して情報（データ）の送信、受信を行うことができる。通信回線５０は、携帯電話事業者等が展開する携帯電話通信網（移動通信網）、インターネット等である。例えば、図示するように、油圧ショベル１と無線基地局５１とが携帯電話通信網（移動通信網）で接続されている場合、無線基地局５１は、油圧ショベル１から所定の情報を受信すると、受信した情報をインターネットを介して管理サーバ５３に送信する。

　管理サーバ５３は、油圧ショベル１から受信した稼働情報、警告情報、及び、録画情報等の車体情報を受信し、ハードディスクドライブ等の記憶装置５４に記憶する。管理サーバ５３は、記憶装置５４に記憶された情報を液晶ディスプレイ装置等の表示装置５５に表示させる。管理者は、管理サーバ５３を操作し、所定の油圧ショベル１の情報を表示装置５５に表示させることで、油圧ショベル１の状態を把握することができる。例えば、管理サーバ５３は、油圧ショベル１から送信された映像データを記憶装置５４に記憶し、記憶した映像データに基づいて、表示装置５５の表示画面に油圧ショベル１の周囲の映像（図７に示す合成映像１９９）を表示させる。

　油圧ショベル１は、機体（車体）４と、機体４に取り付けられる作業装置１０と、を備える。機体４は、走行体２と、走行体２上に旋回可能に設けられた旋回体３と、を備え、旋回体３の前部に作業装置１０が取り付けられている。走行体２は、左側のクローラを駆動させる左側走行用油圧モータ２ａｌ及び右側のクローラを駆動させる右側走行用油圧モータ２ａｒ（図３参照）と、を備える。走行体２は、左右一対のクローラを走行用油圧モータ２ａｌ，２ａｒによって駆動することにより走行する。旋回体３は、旋回用油圧モータ３ａを駆動することにより旋回する。

　旋回体３は、旋回フレーム８と、旋回フレーム８の前部左側に設けられる運転室７と、旋回フレーム８の後部に設けられるカウンタウエイト９と、旋回フレーム８における運転室７の後側に設けられるエンジン室６と、を有する。エンジン室６には、原動機であるエンジン２１、エンジン２１により駆動される油圧ポンプ等の油圧機器と、が収容されている。旋回フレーム８の前部中央には作業装置１０が回動可能に連結されている。エンジン２１は、油圧ショベル１の動力源であり、例えば、ディーゼルエンジン等の内燃機関により構成される。

　作業装置１０は、回動可能に連結される複数のフロント部材及びフロント部材を駆動する複数の油圧シリンダ（アクチュエータ）を有する多関節型の作業装置である。本実施形態では、３つのフロント部材としてのブーム１１、アーム１２及びバケット１３が、直列的に連結される。ブーム１１は、その基端部が旋回フレーム８の前部においてブームピン１１ｂによって回動可能に連結される。アーム１２は、その基端部がブーム１１の先端部においてアームピン１２ｂによって回動可能に連結される。バケット１３は、アーム１２の先端部においてバケットピン１３ｂによって回動可能に連結される。

　ブーム１１は、油圧シリンダ（以下、ブームシリンダ１１ａとも記す）によって駆動され、旋回フレーム８に対して回動する。アーム１２は、油圧シリンダ（以下、アームシリンダ１２ａとも記す）によって駆動され、ブーム１１に対して回動する。バケット１３は、油圧シリンダ（以下、バケットシリンダ１３ａとも記す）によって駆動され、アーム１２に対して回動する。ブームシリンダ１１ａは、その一端側がブーム１１に接続され他端側が旋回フレーム８に接続されている。アームシリンダ１２ａは、その一端側がアーム１２に接続され他端側がブーム１１に接続されている。バケットシリンダ１３ａは、その一端側がリンク部材を介してバケット１３に接続され他端側がアーム１２に接続されている。作業装置１０の各油圧シリンダが駆動されることにより、地山の掘削、整地等の作業が行われる。

　運転室７内には、油圧ショベル１の各部を制御する制御装置１００と、複数の撮影装置３０（図３参照）で撮影された映像を車体情報とともに記録する映像データ記録装置１３０と、油圧ショベル１に搭載される機器に電力を供給する電源装置としてのバッテリ２８と、が設けられる。

　図２は、運転室７の内部を運転席７５の後側から前方に向かって見たときの概略図である。図２に示すように、運転室７内には、オペレータが着座する運転席７５と、油圧ショベル１の各部を操作するための操作レバー（Ｂ１～Ｂ４）と、所定の表示画像を表示画面１９１ａに表示させる表示装置１９０と、が設けられている。表示装置１９０は、運転席７５側からみて右側のピラー７４に取り付けられている。表示装置１９０は、例えば、入力部兼表示部として機能するタッチパネルモニタであり、モニタコントローラ１２０（図３参照）からの制御信号に基づき、所定のアイコン、メッセージ等の画像と機体４の周囲の映像とが合成された合成映像１９９（図７参照）を表示画面１９１ａに表示させる。

　運転席７５の右側には、バケット１３の操作及びブーム１１の操作を行うための右操作レバーＢ１が設けられ、運転席７５の左側には、旋回体３の操作及びアーム１２の操作を行うための左操作レバーＢ２が設けられている。運転席７５の前側には左右一対の走行レバー（左走行レバーＢ４及び右走行レバーＢ３）が設けられている。左走行レバーＢ４は左側のクローラの操作を行うための操作レバーであり、右走行レバーＢ３は右側のクローラの操作を行うための操作レバーである。

　左側の操作レバーＢ２の左側（ドア側）には、ロックレバー７９ａが設けられている。ロックレバー７９ａは、運転室７の出入りを許可するロック位置（上げ位置）と、運転室７の出入りを禁止するロック解除位置（下げ位置）とに選択的に操作が可能な部材である。

　図３は、油圧ショベル１の主な構成を示す図であり、油圧ショベル１に搭載される油圧システム８０及び周囲監視システム１９について示す。なお、以下では、ブームシリンダ１１ａ、アームシリンダ１２ａ及びバケットシリンダ１３ａを総称して油圧シリンダ１０ａと記し、左側走行用油圧モータ２ａｌ及び右側走行用油圧モータ２ａｒを総称して走行用油圧モータ２ａと記す。油圧システム８０には、複数の油圧シリンダ１０ａ（１１ａ，１２ａ，１３ａ）が設けられているが、図３では、一つの油圧シリンダ１０ａを代表して図示している。同様に、油圧システム８０には、一対の走行用油圧モータ２ａが設けられているが、図３では、一つの走行用油圧モータ２ａを代表して図示している。

　図３に示すように、油圧システム８０は、エンジン２１により駆動される可変容量型の油圧ポンプであるメインポンプ２５と、エンジン２１により駆動される固定容量型の油圧ポンプであるパイロットポンプ２６と、メインポンプ２５から吐出される作動流体としての作動油（圧油）によって駆動される複数の油圧アクチュエータ（油圧シリンダ１０ａ、旋回用油圧モータ３ａ及び走行用油圧モータ２ａ）と、メインポンプ２５から各油圧アクチュエータに供給される作動油の流れをそれぞれ制御するコントロールバルブ８１，８２，８３と、を備える。

　パイロットポンプ２６から吐出された作動油は、アクチュエータを動作させるために用いられる操作装置（作業操作装置７１、旋回操作装置７２及び走行操作装置７３）に供給される。作業操作装置７１は、作業装置１０の油圧シリンダ１０ａの動作を指令するアクチュエータ操作装置であり、オペレータによって傾動操作される操作レバー（図２の右操作レバーＢ１及び左操作レバーＢ２に相当）７１ａと、油圧パイロット方式の一対の減圧弁７１ｂと、を有する。旋回操作装置７２は、旋回用油圧モータ３ａの動作を指令するアクチュエータ操作装置であり、オペレータによって傾動操作される操作レバー（図２の左操作レバーＢ２に相当）７２ａと、油圧パイロット方式の一対の減圧弁７２ｂと、を有する。走行操作装置７３は、走行用油圧モータ２ａの動作を指令するアクチュエータ操作装置であり、オペレータによって傾動操作される操作レバー（図２の右走行レバーＢ３及び左走行レバーＢ４に相当）７３ａと、油圧パイロット方式の一対の減圧弁７３ｂと、を有する。

　アクチュエータ操作装置７１，７２，７３の減圧弁７１ｂ，７２ｂ，７３ｂは、パイロットポンプ２６の吐出圧を元圧として、操作レバー７１ａ，７２ａ，７３ａの操作量と操作方向に応じたパイロット圧（操作圧と称することもある）を発生する。このように発生したパイロット圧は、油圧アクチュエータ（１０ａ，３ａ，２ａ）に対応するコントロールバルブ８１，８２，８３の受圧室８１ａ，８１ｂ，８２ａ，８２ｂ，８３ａ，８３ｂに導かれ、コントロールバルブ８１，８２，８３を駆動してアクチュエータを動作させる指令（信号）として利用される。

　メインポンプ２５から吐出された作動油は、コントロールバルブ８１，８２，８３を通じて油圧アクチュエータ（油圧シリンダ１０ａ、旋回用油圧モータ３ａ，走行用油圧モータ２ａ）に供給され、作業装置１０、旋回体３及び走行体２のそれぞれが駆動される。

　油圧ショベル１は、複数のアクチュエータ操作装置７１，７２，７３の操作を検出する操作検出装置である複数のアクチュエータ操作検出装置７０を備えている。複数のアクチュエータ操作検出装置７０には、作業操作センサ７６ａ，７６ｂ、旋回操作センサ７７ａ，７７ｂ及び走行操作センサ７８ａ，７８ｂがある。本実施形態では、アクチュエータ操作検出装置７６ａ，７６ｂ，７７ａ，７７ｂ，７８ａ，７８ｂは、アクチュエータ操作装置７１，７２，７３とコントロールバルブ８１，８２，８３の受圧室８１ａ，８１ｂ，８２ａ，８２ｂ，８３ａ，８３ｂとを接続するパイロットラインに設けられる圧力センサである。アクチュエータ操作検出装置７６ａ，７６ｂ，７７ａ，７７ｂ，７８ａ，７８ｂは、オペレータによる操作レバー７１ａ，７２ａ，７３ａの操作によって生じる操作圧（操作量）を検出する。つまり、作業操作センサ７６ａ，７６ｂは、作業装置１０（油圧シリンダ１０ａ）を動作させるための操作を検出し、旋回操作センサ７７ａ，７７ｂは、旋回体３を動作（旋回）させるための操作を検出し、走行操作センサ７８ａ，７８ｂは、走行体２を動作（走行）させるための操作を検出する。アクチュエータ操作検出装置７６ａ，７６ｂ，７７ａ，７７ｂ，７８ａ，７８ｂは、制御装置１００の車体コントローラ１１０に接続されており、検出した操作量に関する情報を車体コントローラ１１０に出力する。

　シャットオフ弁８９は、パイロットポンプ２６とアクチュエータ操作装置７１，７２，７３の減圧弁７１ｂ，７２ｂ，７３ｂとを接続するパイロットラインに設けられ、パイロットポンプ２６から減圧弁７１ｂ，７２ｂ，７３ｂへパイロット圧が供給されることを許容する連通位置と、パイロットポンプ２６から減圧弁７１ｂ，７２ｂ，７３ｂへパイロット圧が供給されることを禁止する遮断位置と、の間で切り換えられる電磁切換弁である。シャットオフ弁８９は、ロックレバー装置７９によって操作される。

　ロックレバー装置７９は、アクチュエータを動作させるために用いられる操作装置であって、運転室７の出入りを許可するとともにアクチュエータ操作装置７１，７２，７３によるアクチュエータ（１０ａ，３ａ，２ａ）の動作を不能とするロック位置（上げ位置）と、運転室７の出入りを禁止するとともにアクチュエータ操作装置７１，７２，７３によるアクチュエータ（１０ａ，３ａ，２ａ）の動作を可能とするロック解除位置（下げ位置）とに選択的に操作されるロックレバー７９ａと、バッテリ２８からの電力を供給または遮断するためのシャットオフリレー７９ｃと、ロックレバー装置７９のロックレバー７９ａの操作を検出する操作検出装置であるロックレバー操作検出装置７９ｂと、を有する。

　ロックレバー７９ａがロック解除位置に操作されると、シャットオフリレー７９ｃがオンされ、すなわちシャットオフリレー７９ｃが閉状態とされ、バッテリ２８からシャットオフ弁８９に電力が供給される。シャットオフ弁８９に電力が供給されると、ソレノイドが励磁されてシャットオフ弁８９が連通位置に切り換えられる。このため、ロックレバー７９ａがロック解除位置にある状態では、操作レバー７１ａ，７２ａ，７３ａの操作量に応じた指令パイロット圧が減圧弁７１ｂ，７２ｂ，７３ｂによって生成され、操作された操作レバー７１ａ，７２ａ，７３ａに対応する油圧アクチュエータ（１０ａ，３ａ，２ａ）が動作する。

　ロックレバー７９ａがロック位置に操作されると、シャットオフリレー７９ｃがオフされ、すなわちシャットオフリレー７９ｃが開状態とされ、バッテリ２８からシャットオフ弁８９への電力の供給が遮断される。シャットオフ弁８９への電力の供給が遮断されると、ソレノイドが消磁されてシャットオフ弁８９が遮断位置に切り換えられる。これにより、減圧弁７１ｂ，７２ｂ，７３ｂへのパイロット元圧が遮断され、操作レバー７１ａ，７２ａ，７３ａによる操作が無効化される。

　ロックレバー操作検出装置７９ｂは、ロックレバー７９ａの操作位置を検出し、その検出結果を表す信号を制御装置１００の車体コントローラ１１０に出力する。

　周囲監視システム１９は、機体４の周囲を監視するためのシステムであり、機体４の周囲を撮影する複数の撮影装置３０と、撮影装置３０で撮影された映像を表示画面１９１ａに表示させる表示装置１９０と、撮影装置３０で撮影された映像を含む映像データを記録する映像データ記録装置１３０と、表示装置１９０及び映像データ記録装置１３０を制御する制御装置１００と、機体４の周囲の物体を検出する複数の物体検出装置９０と、油圧ショベル１の外部に設置される外部装置である管理サーバ５３と無線通信を行うための通信装置１６０と、を備える。

　表示装置１９０は、油圧ショベル１の周囲に物体が存在する場合に、その情報を表示画面１９１ａに表示させて、物体が検出されたことを油圧ショベル１のオペレータに報知する報知装置としても機能する。通信装置１６０は、広域ネットワークである通信回線５０に接続される無線基地局５１と無線通信可能な無線通信装置であって、例えば２．１ＧＨｚ帯等の帯域を感受帯域とする通信アンテナを含む通信インタフェースを有する。通信装置１６０は、無線基地局５１及び通信回線５０を介して、管理サーバ５３等と情報の授受を行う。

　制御装置１００は、油圧ショベル１の各部を統括的に制御する車体コントローラ１１０と、油圧ショベル１の稼働状態に関する情報（データ）、及び撮影装置３０で撮影された映像を表示装置１９０の表示画面１９１ａに表示させるモニタコントローラ１２０と、を有する。車体コントローラ１１０は、油圧ショベル１の姿勢情報、操作情報、アクチュエータに対する負荷情報等に基づいて、油圧システム８０の弁、ポンプ等の制御を行う。モニタコントローラ１２０は、複数の撮影装置３０により撮影された映像と、物体検出装置９０での検出結果に基づいて生成される画像とを合成して合成映像１９９を生成し、生成された合成映像１９９を表示装置１９０の表示画面１９１ａに表示させる（図７参照）。モニタコントローラ１２０は、生成した合成映像１９９のデータ（以下、合成映像データとも記す）を映像データ記録装置１３０に送信する。

　映像データ記録装置１３０は、録画コントローラ１４０と、記録装置である常時記録部１５１と、記録装置であるイベント記録部１５２と、を備える。例えば、常時記録部１５１は、揮発性メモリあるいは不揮発性メモリであり、イベント記録部１５２は常時記録部１５１とは別に設けられた不揮発性メモリである。録画コントローラ１４０は、常時記録部１５１にモニタコントローラ１２０で生成された合成映像データを常時記録する。録画コントローラ１４０は、車体コントローラ１１０からの録画トリガー信号を受信すると、常時記録部１５１に記録されている合成映像データの記録保持を行う。

　車体コントローラ１１０は、物体検出装置９０での検出結果、及び操作検出装置（ロックレバー操作検出装置７９ｂ及びアクチュエータ操作検出装置７０）での検出結果に基づいて、記録保持条件が成立しているか否かを判定する。車体コントローラ１１０は、記録保持条件が成立した場合に、録画トリガー信号を映像データ記録装置１３０に送信し、映像データ記録装置１３０によって合成映像データの記録保持を行わせる。

　録画コントローラ１４０は、記録保持された合成映像データを通信装置１６０を用いて無線通信により管理サーバ５３（図１参照）に送信する。管理サーバ５３は、受信した合成映像データを記憶装置５４（図１参照）に記憶する。

　車体コントローラ１１０、モニタコントローラ１２０及び録画コントローラ１４０は、動作回路としてのＣＰＵ（Central Processing Unit）１１１,１２１，１４１、記憶装置としてのＲＯＭ（Read Only Memory）１１２，１２２，１４２、記憶装置としてのＲＡＭ（Random Access Memory）１１３，１２３，１４３及び入出力インタフェース（Ｉ／Ｏインタフェース）、その他の周辺回路を備えたマイクロコンピュータで構成される。各コントローラ１１０，１２０，１４０は、それぞれ１つのマイクロコンピュータで構成してもよいし、複数のマイクロコンピュータで構成してもよい。

　各コントローラ１１０のＲＯＭ１１２，１２２，１４２は、ＥＥＰＲＯＭ等の不揮発性メモリであり、各種演算が実行可能なプログラムが格納されている。すなわち、各コントローラ１１０，１２０，１４０のＲＯＭ１１２，１２２，１４２は、本実施形態の機能を実現するプログラムを読み取り可能な記憶媒体である。ＲＡＭ１１３，１２３，１４３は揮発性メモリであり、ＣＰＵ１１１，１２１，１４１との間で直接的にデータの入出力を行うワークメモリである。ＲＡＭ１１３，１２３，１４３は、ＣＰＵ１１１，１２１，１４１がプログラムを演算実行している間、必要なデータを一時的に記憶する。なお、各コントローラ１１０，１２０，１４０は、フラッシュメモリ、ハードディスクドライブ等の記憶装置をさらに備えていてもよい。

　ＣＰＵ１１１，１２１，１４１は、ＲＯＭ１１２，１２２，１４２に記憶された制御プログラムをＲＡＭ１１３，１２３，１４３に展開して演算実行する処理装置であって、制御プログラムに従って入出力インタフェース及びＲＯＭ１１２，１２２，１４２，ＲＡＭ１１３，１２３，１４３から取り入れた信号に対して所定の演算処理を行う。入出力インタフェースには、各種装置からの信号が入力される。入出力インタフェースは、入力された信号をＣＰＵ１１１，１２１，１４１で演算可能なように変換する。入出力インタフェースは、ＣＰＵ１１１，１２１，１４１での演算結果に応じた出力用の信号を生成し、その信号を各種装置に出力する。

　各コントローラ１１０，１２０，１４０は、ＣＡＮ（Controller Area Network）と呼ばれる車載ネットワーク２２を介して、互いに接続される。したがって、各コントローラ１１０，１２０，１４０は、相互に情報の授受が可能である。

　図４は、油圧ショベル１の平面模式図であり、複数の撮影装置３０の撮影範囲を示す。図４に示すように、複数の撮影装置３０は、旋回体３に取り付けられる。複数の撮影装置３０には、旋回体３の左方向を撮影する左カメラ３１と、旋回体３の右方向を撮影する右カメラ３２と、旋回体３の前方向を撮影する前カメラ３３と、旋回体３の後方向を撮影する後カメラ３４と、がある。各撮影装置３０（３１，３２，３３，３４）は、例えば、耐久性、耐候性に優れたＣＣＤ、ＣＭＯＳなどの撮像素子と広角レンズを備えた広角ビデオカメラである。

　左カメラ３１は、旋回体３の左側の領域を左右約１８０°の画角で斜めに見下ろすような方向で連続的に撮影する撮影装置である。右カメラ３２は、旋回体３の右側の領域を左右約１８０°の画角で斜めに見下ろすような方向で連続的に撮影する撮影装置である。前カメラ３３は、旋回体３の前方の領域を左右約１８０°の画角で斜めに見下ろすような方向で連続的に撮影する撮影装置である。後カメラ３４は、旋回体３の後方の領域を左右約１８０°の画角で斜めに見下ろすような方向で連続的に撮影する撮影装置である。なお、前カメラ３３は、作業装置１０のブーム１１の下方において、作業装置１０と干渉しない位置に取り付けられている。

　図中、油圧ショベル１の周囲の各矩形エリア（Ａ１，Ａ２，Ａ３，Ａ４）は、各カメラ３１，３２，３３，３４で撮影可能な領域を示しており、各撮影領域Ａ１，Ａ２，Ａ３，Ａ４は、それぞれその長手方向の両端部分で隣接するエリアと重複撮影されるようになっている。撮影領域Ａ１，Ａ２，Ａ３，Ａ４は、後述する注意ゾーンＳ２を包含するように設定される。

　複数の物体検出装置９０は、旋回体３に取り付けられる。複数の物体検出装置９０には、旋回体３の左方向に存在する物体を検出する左物体検出装置９１と、旋回体３の右方向に存在する物体を検出する右物体検出装置９２と、旋回体３の前方向に存在する物体を検出する前物体検出装置９３と、旋回体３の後方向に存在する物体を検出する後物体検出装置９４と、がある。

　左物体検出装置９１は、左カメラ３１の近くに取り付けられ、旋回体３の左側の領域を監視する。左物体検出装置９１の監視領域は、左カメラ３１の撮影領域Ａ１と略同じである。右物体検出装置９２は、右カメラ３２の近くに取り付けられ、旋回体３の右側の領域を監視する。右物体検出装置９２の監視領域は、右カメラ３２の撮影領域Ａ２と略同じである。前物体検出装置９３は前カメラ３３の近くに取り付けられ、旋回体３の前側の領域を監視する。前物体検出装置９３の監視領域は、前カメラ３３の撮影領域Ａ３と略同じである。後物体検出装置９４は後カメラ３４の近くに取り付けられ、旋回体３の後側の領域を監視する。

　物体検出装置９０は、それぞれ、上下左右方向にマトリクス状に配列された複数の赤外線センサを有している。赤外線センサは、赤外線の照射から反射までの時間差から物体までの距離を測定し、距離測定結果を車体コントローラ１１０に出力するＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）型センサである。また、赤外線センサは、物体から反射した赤外線の反射強度を表す信号を車体コントローラ１１０に出力する。

　図５は、周囲監視システム１９の主な機能について示す機能ブロック図である。なお、物体検出装置９０、アクチュエータ操作検出装置７０、撮影装置３０は、それぞれ複数設けられるが、代表して一つのみ記載している。図５に示すように、車体コントローラ１１０は、ＲＯＭ１１２に記憶されているプログラムを実行することにより、警告ゾーン設定部１１４、物体特定部１１５及び条件判定部１１６として機能する。

　物体特定部１１５は、複数の物体検出装置９０からの検出情報に基づいて、油圧ショベル１の周囲に物体が存在しているか否かを判定する。油圧ショベル１の周囲に物体が存在していると判定されると、物体特定部１１５は、物体検出装置９０での検出結果と、ＲＯＭ１１２に記憶されているショベル基準座標系の物体検出装置９０の位置座標及び物体検出装置９０の取付角度等の情報に基づいて、ショベル基準座標系における物体の位置を特定する。

　さらに、物体特定部１１５は、物体検出装置９０での検出結果に基づいて、物体検出装置９０によって検出された物体が人であるか否かを判定する。物体特定部１１５は、物体から反射した赤外線の反射強度が所定範囲内にある場合、その物体は人であると判定し、物体から反射した赤外線の反射強度が所定範囲外にある場合、その物体は人でないと判定する。上記所定範囲は、例えば、作業員が着衣する反射ベストで赤外線が反射したときの反射強度、人肌で赤外線が反射したときの反射強度等に基づいて予め設定される。人判定用の反射強度の所定範囲は、ＲＯＭ１１２に記憶されている。

　条件判定部１１６は、物体特定部１１５で特定されたショベル基準の物体の位置と、警告ゾーン設定部１１４で設定された警告ゾーンＳ１の情報に基づいて、物体検出装置９０によって検出された物体が、警告ゾーンＳ１内に存在しているか否かを判定する。また、条件判定部１１６は、物体特定部１１５で特定されたショベル基準の物体の位置と、注意ゾーン記憶部１１７に記憶されている注意ゾーンＳ２の情報に基づいて、物体検出装置９０によって検出された物体が、注意ゾーンＳ２内に存在しているか否かを判定する。

　条件判定部１１６は、アクチュエータ操作検出装置７０での検出結果に基づいて、アクチュエータ操作装置７１，７２，７３によるアクチュエータの操作が行われたか否かを判定する。条件判定部１１６は、アクチュエータ操作検出装置（圧力センサ）７０で検出されたパイロット圧Ｐが閾値Ｐ０以上である場合、アクチュエータ操作装置７１，７２，７３が操作されていると判定し、パイロット圧Ｐが閾値Ｐ０未満である場合、アクチュエータ操作装置７１，７２，７３は操作されていないと判定する。なお、閾値Ｐ０は、アクチュエータ操作装置７１，７２，７３が操作されているか否かを判定する閾値であり、予め車体コントローラ１１０のＲＯＭ１１２に記憶されている。パイロット圧Ｐは、操作レバー７１ａ，７２ａ，７３ａが中立位置（操作角θ＝０）を含む不感帯にあるときには最小値（タンク圧）Ｐｍｉｎとなり、操作レバー７１ａ，７２ａ，７３ａが最大操作位置（操作角θ＝θｍａｘ）に操作されているときには最大値Ｐｍａｘとなる。閾値Ｐ０は、最小値Ｐｍｉｎよりも大きく最大値Ｐｍａｘよりも小さい値である（Ｐｍｉｎ＜Ｐ０＜Ｐｍａｘ）。

　条件判定部１１６は、ロックレバー操作検出装置７９ｂでの検出結果に基づいて、ロックレバー装置７９がロック解除位置に操作されているか、あるいはロック位置に操作されているかを判定する。

　条件判定部１１６は、予め定められた記憶保持条件が成立しているか否かを判定する。条件判定部１１６は、第１～第３の記憶保持条件が成立した場合、録画トリガー信号を映像データ記録装置１３０へ送信する。

　第１の記憶保持条件は、以下の条件１～条件４の全てが満たされた場合に成立し、条件１～条件４のいずれか一つが満たされていない場合には成立しない。 
　条件１：ロックレバー装置７９のロックレバー７９ａがロック解除位置に操作されていること 
　条件２：機体４の周囲に物体が存在していること 
　条件３：物体が人であること 
　条件４：物体が、機体４の近傍の周囲の領域、すなわち機体４の旋回範囲内の領域及びブーム１１、アーム１２、バケット１３の旋回軌跡を含んだ機体４に寄った領域に予め設定される警告ゾーン（第１範囲）Ｓ１内に存在していること

　第２の記憶保持条件は、条件１、条件２、条件４及び以下の条件５の全てが満たされた場合に成立し、条件１、条件２、条件４及び条件５のいずれか一つが満たされていない場合には成立しない。 
　条件５：アクチュエータ操作装置７１，７２，７３の少なくとも一つによる操作が行われていること

　第３の記憶保持条件は、条件１～条件３、条件５及び以下の条件６の全てが満たされた場合に成立し、条件１～条件３、条件５及び条件６のいずれか一つが満たされていない場合には成立しない。 
　条件６：物体が、警告ゾーンＳ１には存在せず、警告ゾーンＳ１を包含するように予め設定される注意ゾーン（第２範囲）Ｓ２内に存在していること

　図６は、油圧ショベル１を上方から見た図であり、油圧ショベル１の警告ゾーンＳ１及び注意ゾーンＳ２について示す。図６に示すように、注意ゾーンＳ２は、油圧ショベル１の最大旋回半径Ｒｘの円形状の範囲である。最大旋回半径Ｒｘは、作業装置１０を前方（旋回中心軸に直交する方向）に向かって最も伸ばしたときの、旋回体３の旋回中心軸Ｏからバケット１３の先端までの長さに相当する。換言すれば、最大旋回半径Ｒｘは、旋回中心軸Ｏに直交する方向における、旋回中心軸Ｏから作業装置１０が届く位置までの最大の長さに相当する。なお、本実施形態では、注意ゾーンＳ２を最大旋回半径Ｒｘの円形状の範囲としたが、最大旋回半径Ｒｘに許容値（裕度）を加算した半径の円形状の範囲を注意ゾーンＳ２としてもよい。注意ゾーンＳ２は、油圧ショベル１の各部の寸法に基づいて予め定められ、ＲＯＭ１１２の注意ゾーン記憶部１１７に記憶されている。

　警告ゾーンＳ１は、注意ゾーンＳ２に包含されるように設定される範囲である。警告ゾーンＳ１は、機体４の近傍の周囲の領域、すなわち、機体４の旋回範囲内の領域及びブーム１１、アーム１２、バケット１３の旋回軌跡を含んだ機体４に寄った領域に予め設定される。警告ゾーンＳ１は、旋回体３の旋回動作及び走行体２の走行動作が行われた際に、その範囲内に存在する物体と油圧ショベル１とが接触することを防止するために設定される。

　警告ゾーン設定部１１４は、姿勢検出装置６０で検出される油圧ショベル１の姿勢情報に基づいて、警告ゾーンＳ１を設定する。姿勢検出装置６０は、旋回体３に対するブーム１１の角度（ブーム角）を検出するブーム角センサ６１、ブーム１１に対するアーム１２の角度（アーム角）を検出するアーム角センサ６２、アーム１２に対するバケット１３の角度（バケット角）を検出するバケット角センサ６３、走行体２に対する旋回体３の角度（旋回角）を検出する旋回角センサ６４を含む。ブーム角センサ６１、アーム角センサ６２、バケット角センサ６３及び旋回角センサ６４は、例えば、取得した角度に応じた信号（電圧）を出力するポテンショメータである。

　ＲＯＭ１１２には、左設定角度θＬ、右設定角度θＲ及び作業装置１０の各部の寸法データが記憶されている。本実施形態では、走行体２の前後方向に延在するｘ軸を基準（０度）として、左旋回方向を負の方向、右旋回方向を正の方向としたとき、左設定角度θＬが－９０度、右設定角度θＲが＋９０度に設定されている。

　警告ゾーン設定部１１４は、姿勢検出装置６０で検出された姿勢情報（ブーム角、アーム角及びバケット角）、及び作業装置１０の各部の寸法データ（ブームピン１１ｂからアームピン１２ｂまでの長さ、アームピン１２ｂからバケットピン１３ｂまでの長さ、バケットピン１３ｂからバケット先端までの長さ）に基づいて、旋回中心軸Ｏからバケット１３の先端までの長さに、所定の長さを許容値（裕度）として加算した長さを作業半径Ｒｗとして演算する。警告ゾーン設定部１１４は、左設定角度θＬ、右設定角度θＲ及び作業半径Ｒｗで規定される旋回体３前方の扇状（半円状）の領域Ｓ１１と、旋回中心軸Ｏから旋回体３（旋回体３の後部）の最外周部までの距離を半径Ｒｓとする円形状の領域（すなわち機体４の旋回範囲）Ｓ１２と、を合成した領域を、警告ゾーンＳ１として設定する。

　図５に示すように、モニタコントローラ１２０は、ＲＯＭ１２２に記憶されているプログラムを実行することにより、俯瞰映像生成部１２４、合成映像生成部１２５として機能する。俯瞰映像生成部１２４は、左カメラ３１、右カメラ３２、前カメラ３３及び後カメラ３４で撮影された画像を取得し、取得した画像に基づいて、俯瞰映像を生成する。俯瞰映像生成部１２４は、取得した画像に対してレンズ歪み補正を行い、さらに上方視点画像への視点変換処理を行う。俯瞰映像生成部１２４は、視点変換処理を行った画像と、上方から見た油圧ショベル１のイラスト画像（または撮影画像）とを合成し、図７に示すような俯瞰映像１９４ａを生成する。上方から見た油圧ショベル１のイラスト画像（または撮影画像）が予めＲＯＭ１２２に記憶されている。

　図７は、表示装置１９０の表示画面１９１ａに表示される合成映像１９９の一例について示す図である。図７に示すように、合成映像生成部１２５は、俯瞰映像生成部１２４で生成された俯瞰映像１９４ａに物体特定部１１５で特定された物体１９５ａ，１９６ａ，１９７ａを囲む矩形状の枠画像１９５ｂ，１９６ｂ，１９７ｂを合成し、合成した俯瞰映像１９４ａをカメラ画像領域１９４に表示させる。合成映像生成部１２５は、物体特定部１１５において人であると判定された物体を囲む枠画像１９７ｂと、物体特定部１１５で人でないと判定された物体を囲む枠画像１９５ｂ，１９６ｂと、を異なる色で表示させる。例えば、枠画像１９７ｂは赤色とし、枠画像１９５ｂ，１９６ｂは黄色とする。

　表示装置１９０の表示画面１９１ａには、俯瞰映像１９４ａを表示させるカメラ画像領域１９４の図示上方に、所定のアイコンを表示させるアイコン領域１９２と、所定のメッセージを表示させるメッセージ領域１９３と、が形成される。

　合成映像生成部１２５は、車体コントローラ１１０で記録保持条件及び記録保持条件を構成する所定の条件（条件４、条件６）が成立したと判定されると、メッセージ領域１９３に、記録保持条件が成立したこと等をオペレータに通知し、注意喚起を促すための警告メッセージ画像を表示させる。警告メッセージ画像としては、例えば、人（あるいは人以外の物体）が警告ゾーンＳ１内に存在していることを知らせるメッセージ画像等、成立した条件ごとに予め設定されるメッセージ画像である。これらのメッセージ画像は、ＲＯＭ１２２に記憶されており、成立した条件に応じて選択され、メッセージ領域１９３に表示される。また、合成映像生成部１２５は、成立した条件に応じたアイコン画像をアイコン領域１９２に表示させる。

　記録保持条件が成立すると、車体コントローラ１１０が、アクチュエータの速度を強制的に低下させるような動作制限制御を実行する構成とする場合には、合成映像生成部１２５は、動作が制限されている旨をオペレータに知らせるための警告メッセージ画像をメッセージ領域１９３に表示させるようにしてもよい。また、合成映像生成部１２５は、動作が制限されている旨をオペレータに知らせるためのアイコン画像をアイコン領域１９２に表示させてもよい。

　さらに、周囲監視システム１９の異常が検知された場合に、合成映像生成部１２５は、周囲監視システム１９の異常が検知されたことをオペレータに知らせるための警告メッセージ画像をメッセージ領域１９３に表示させるようにしてもよい。また、合成映像生成部１２５は、周囲監視システム１９の異常が検知されたことをオペレータに知らせるためのアイコン画像をアイコン領域１９２に表示させてもよい。

　このように、モニタコントローラ１２０は、表示装置１９０を制御して、撮影装置３０により撮影された映像と、物体検出情報に応じて生成される画像（枠、メッセージ、アイコンの画像）とを合成した合成映像１９９を表示装置１９０の表示画面１９１ａに表示させる。

　図５に示すように、録画コントローラ１４０は、ＲＯＭ１４４に記憶されているプログラムを実行することにより、記録制御部１４４として機能する。記録制御部１４４は、合成映像生成部１２５で生成される合成映像データを取得し、取得した合成映像データを上書き可能なデータとして常時記録部１５１に連続的に記録する。

　記録制御部１４４は、常時記録部１５１の記録容量が上限となった場合、常時記録部１５１に記録されている古い合成映像データを順次削除し、新しい合成映像データに書き換える上書き処理を実行する。記録制御部１４４は、録画トリガー信号を受信すると、イベントが発生したと判断し、合成映像生成部１２５で生成された合成映像データの記録保持を行う。具体的には、記録制御部１４４は、録画トリガー信号を受信した時刻Ｔ０を含む所定期間の合成映像データをイベント映像データとしてイベント記録部１５２に保存する。

　図８は、記録制御部１４４による記録制御処理の内容を説明するためのタイムチャートである。図８（ａ）に示すように、合成映像データは、常時記録部１５１に時間ｔの経過とともに記録される。図８（ｂ）に示すように、例えば、時刻Ｔ０で録画トリガー信号を受信すると、時刻Ｔ０よりも前の時刻（Ｔ０－Ｔａ）からＴ０よりも後の時刻（Ｔ０＋Ｔａ）までの期間の合成映像データがイベント映像データとして、イベント記録部１５２に保存される。Ｔａは、例えば５分程度である。なお、イベント映像データとして保存される合成映像データの時間（２×Ｔａ）は、任意に設定することができる。また、録画トリガー信号を受信した時刻Ｔ０よりも前のイベント映像データの保存時間と、録画トリガー信号を受信した時刻Ｔ０よりも後のイベント映像データの保存時間とは、異なるようにしてもよい。

　図９を参照して、車体コントローラ１１０により実行される記録保持条件の成立判定処理の内容について説明する。図９に示すフローチャートの処理は、例えば、イグニッションスイッチがオン（すなわちキーオン）されることにより開始され、初期設定が行われた後、ステップＳ１１０～Ｓ１６５までの処理が繰り返し実行される。

　図９に示すように、ステップＳ１１０において、車体コントローラ１１０は、情報取得処理を実行し、ステップＳ１１５へ進む。情報取得処理（Ｓ１１０）において、車体コントローラ１１０は、ロックレバー操作検出装置７９ｂでの検出結果（ロックレバー７９ａの操作位置の情報）、物体検出装置９０での検出結果（機体４の周囲に存在する物体の情報）、アクチュエータ操作検出装置７０での検出結果（アクチュエータの操作情報）、及び、姿勢検出装置６０での検出結果（作業装置１０の姿勢情報）を取得する。

　ステップＳ１１５において、車体コントローラ１１０は、ステップＳ１１０で取得した姿勢検出装置６０での検出結果に基づいて、作業半径Ｒｗを演算する。さらに、車体コントローラ１１０は、作業半径Ｒｗ、左設定角度θＬ及び右設定角度θＲに基づいて、警告ゾーンＳ１を設定し、ステップＳ１２０へ進む。

　ステップＳ１２０において、車体コントローラ１１０は、ステップＳ１１０で取得したロックレバー操作検出装置７９ｂでの検出結果に基づいて、ロックレバー７９ａがロック解除位置に操作されているか否かを判定する。ステップＳ１２０において、ロックレバー７９ａがロック解除位置に操作されていると判定されるとステップＳ１２５へ進み、ロックレバー７９ａがロック位置に操作されていると判定されるとステップＳ１１０へ戻る。

　ステップＳ１２５において、車体コントローラ１１０は、ステップＳ１１０で取得した物体検出装置９０での検出結果に基づいて、機体４の周囲に物体が存在しているか否かを判定する。ステップＳ１２５において、機体４の周囲に物体が存在していると判定されるとステップＳ１３０へ進み、機体４の周囲に物体が存在していないと判定されるとステップＳ１１０へ戻る。

　ステップＳ１３０において、車体コントローラ１１０は、ステップＳ１１０で取得した物体検出装置９０での検出結果に基づいて、検出された物体のショベル基準の位置を演算して、ステップＳ１３５へ進む。

　ステップＳ１３５において、車体コントローラ１１０は、ステップＳ１１０で取得した物体検出装置９０での検出結果に基づいて、検出された物体が人であるか否かを判定する。ステップＳ１３５において、検出された物体が人であると判定されるとステップＳ１３７へ進み、検出された物体が人でないと判定されるとステップＳ１４５へ進む。

　ステップＳ１３７において、車体コントローラ１１０は、ステップＳ１３０での演算結果に基づいて、検出された人が注意ゾーンＳ２内に存在しているか否かを判定する。ステップＳ１３７において、検出された人が注意ゾーンＳ２内に存在していると判定されるとステップＳ１４０へ進み、検出された人が注意ゾーンＳ２内に存在していないと判定されるとステップＳ１１０へ戻る。

　ステップＳ１４０において、車体コントローラ１１０は、ステップＳ１３０での演算結果に基づいて、検出された人が警告ゾーンＳ１内に存在しているか否かを判定する。ステップＳ１４０において、検出された人が警告ゾーンＳ１内に存在していると判定されるとステップＳ１６０へ進み、検出された人が警告ゾーンＳ１内に存在していないと判定されるとステップＳ１５０へ進む。

　ステップＳ１４５において、車体コントローラ１１０は、ステップＳ１３０での演算結果に基づいて、検出された物体が警告ゾーンＳ１内に存在しているか否かを判定する。ステップＳ１４５において、検出された物体が警告ゾーンＳ１内に存在していると判定されるとステップＳ１５０へ進み、検出された物体が警告ゾーンＳ１内に存在していないと判定されるとステップＳ１１０へ戻る。

　ステップＳ１５０において、車体コントローラ１１０は、ステップＳ１１０で取得したアクチュエータ操作検出装置７０での検出結果に基づいて、アクチュエータ操作が行われているか否かを判定する。ステップＳ１５０において、アクチュエータ操作が行われていると判定されるとステップＳ１６０へ進み、アクチュエータ操作が行われていないと判定されるとステップＳ１１０へ戻る。

　ステップＳ１６０において、車体コントローラ１１０は、記録保持条件が成立したものとして、録画トリガー信号を映像データ記録装置１３０へ送信し、ステップＳ１６５へ進む。ステップＳ１６５において、車体コントローラ１１０は、所定時間Ｔａが経過するまで待機する待機処理を実行し、図９のフローチャートに示す処理を終了する。

　なお、説明の便宜上、物体が一つである場合を想定して説明したが、実際には、車体コントローラ１１０は、検出される物体ごとに、ショベル基準の位置の演算処理（Ｓ１３０）、人判定処理（Ｓ１３５）、注意ゾーンＳ２内の存在判定処理（Ｓ１３７）、警告ゾーンＳ１内の存在判定処理（Ｓ１４０、Ｓ１４５）を行って、物体ごとに記憶保持条件が成立しているか否かを判定する。車体コントローラ１１０は、物体ごとに記憶保持条件の成立要否の判定を行った結果、一つでも記憶保持条件が成立した場合には、録画トリガー信号を送信する（Ｓ１６０）。

　図１０Ａを参照して、録画コントローラ１４０により実行される記録制御処理の内容について説明する。図１０Ａに示すフローチャートの処理は、例えば、イグニッションスイッチがオン（すなわちキーオン）されることにより開始される。

　図１０Ａに示すように、ステップＳ２１０において、録画コントローラ１４０は、初期化処理を実行し、ステップＳ２１５へ進む。ステップＳ２１５において、録画コントローラ１４０は、録画準備処理を実行する。録画準備処理において、録画コントローラ１４０は、常時記録部１５１に対して、モニタコントローラ１２０で生成された合成映像データの常時記録を開始する。録画コントローラ１４０は、常時記録部１５１への記録開始時刻から所定時間Ｔａだけ経過すると、録画準備処理が完了したとしてステップＳ２２０へ進む。

　ステップＳ２２０において、録画コントローラ１４０は、車体コントローラ１１０からの録画トリガー信号の受付を開始し、ステップＳ２３０へ進む。ステップＳ２３０において、録画コントローラ１４０は、車体コントローラ１１０からの録画トリガー信号を受信したか否かを判定する。録画コントローラ１４０は、車体コントローラ１１０から録画トリガー信号を受信したと判定されるまでこの判定処理を繰り返し実行し、車体コントローラ１１０からの録画トリガー信号を受信したと判定されるとステップＳ２４０へ進む。

　ステップＳ２４０において、録画コントローラ１４０は、録画トリガー信号を受信した時刻Ｔ０を含む所定期間［時刻（Ｔ０－Ｔａ）～時刻（Ｔ０＋Ｔａ）］の合成映像データをイベント映像データとしてイベント記録部１５２に保存し、ステップＳ２３０へ戻る。

　図１０Ｂを参照して、録画コントローラ１４０による記録制御を終了する際の処理の内容について説明する。図１０Ｂに示すフローチャートの処理は、録画トリガーの受付開始処理（図１０ＡのステップＳ２２０）が実行されることにより開始される。

　図１０Ｂに示すように、ステップＳ２５０において、録画コントローラ１４０は、イグニッションスイッチがオフ（すなわちキーオフ）されたか否かを判定する。録画コントローラ１４０は、イグニッションスイッチがオフされると判定されるまで、この判定処理を繰り返し実行し、イグニッションスイッチがオフされたと判定されるとステップＳ２５５へ進む。

　ステップＳ２５５において、録画コントローラ１４０は、イベント記録処理（ステップＳ２４０）が行われている最中であるか否かを判定する。ステップＳ２５５において、イベント記録処理が行われている最中であると判定されるとステップＳ２６０へ進み、イベント記録処理が行われている最中ではないと判定されるとステップＳ２６５へ進む。ステップＳ２６０において、録画コントローラ１４０は、所定時間Ｔａが経過するまで待機する待機処理を実行し、ステップＳ２６５へ進む。ステップＳ２６５において、録画コントローラ１４０は、所定の終了処理を実行し、電源をオフにして図１０Ｂのフローチャートに示す処理を終了する。

　本実施形態の主な動作について説明する。オペレータが運転室７に搭乗し、ロックレバー７９ａをロック解除位置に操作して、イグニッションスイッチをオンすることによりエンジン２１が始動されると、映像データ記録装置１３０による常時記録が開始する（図１０ＡのＳ２１５）。

　作業員が、注意ゾーンＳ２内であって警告ゾーンＳ１外の領域で作業を行っている場合、オペレータがアクチュエータ操作、すなわち走行操作、旋回操作及び作業操作のいずれか、あるいは複合操作を行うと、記録保持条件が成立する（図９のＳ１２０でＹ→Ｓ１２５でＹ→Ｓ１３０→Ｓ１３５でＹ→Ｓ１３７でＹ→Ｓ１４０でＮ→Ｓ１５０でＹ）。このため、制御装置１００から映像データ記録装置１３０に録画トリガー信号が送信され（図９のＳ１６０）、映像データ記録装置１３０による合成映像データの記録保持が行われる（図１０ＡのＳ２３０でＹ→Ｓ２４０）。つまり、本実施形態では、オペレータのアクチュエータ操作により、油圧ショベル１が作業員に接近する可能性がある場合に、合成映像データの記録保持を行うことができる。

　作業員が注意ゾーンＳ２から警告ゾーンＳ１内に侵入すると、オペレータがアクチュエータ操作を行っていない場合であっても、記録保持条件が成立する（図９のＳ１２０でＹ→Ｓ１２５でＹ→Ｓ１３０→Ｓ１３５でＹ→Ｓ１３７でＹ→Ｓ１４０でＹ）。このため、制御装置１００から映像データ記録装置１３０に録画トリガー信号が送信され（図９のＳ１６０）、映像データ記録装置１３０による合成映像データの記録保持が行われる（図１０ＡのＳ２３０でＹ→Ｓ２４０）。つまり、本実施形態では、作業員が油圧ショベル１の近傍に存在しており、オペレータのアクチュエータ操作により、油圧ショベル１が作業員に接触する可能性がある場合に、合成映像データの記録保持を行うことができる。

　ホイールローダ、ダンプトラック等の作業車両が警告ゾーンＳ１内に位置している場合、オペレータがアクチュエータ操作を行うと、記録保持条件が成立する（図９のＳ１２０でＹ→Ｓ１２５でＹ→Ｓ１３０→Ｓ１３５でＮ→Ｓ１４５でＹ→Ｓ１５０でＹ）。このため、制御装置１００から映像データ記録装置１３０に録画トリガー信号が送信され（図９のＳ１６０）、映像データ記録装置１３０による合成映像データの記録保持が行われる（図１０ＡのＳ２３０でＹ→Ｓ２４０）。つまり、本実施形態では、オペレータのアクチュエータ操作により、油圧ショベル１が作業車両に接触する可能性がある場合に、合成映像データの記録保持を行うことができる。

　上述した実施形態によれば、次の作用効果を奏する。

　（１）油圧ショベル（作業機械）１は、機体４と、機体４に取り付けられるアクチュエータ（油圧シリンダ１０ａ、走行用油圧モータ２ａ、旋回用油圧モータ３ａ）と、アクチュエータ（油圧シリンダ１０ａ、走行用油圧モータ２ａ、旋回用油圧モータ３ａ）を動作させるために用いられる操作装置（ロックレバー装置７９及びアクチュエータ操作装置７１，７２，７３）と、操作装置（ロックレバー装置７９及びアクチュエータ操作装置７１，７２，７３）の操作を検出する操作検出装置（ロックレバー操作検出装置７９ｂ及びアクチュエータ操作検出装置７０）と、機体４の周囲を撮影する撮影装置３０と、撮影装置３０で撮影された映像を含む映像データを記録する映像データ記録装置１３０と、映像データ記録装置１３０を制御する制御装置１００と、機体４の周囲の物体を検出する物体検出装置９０と、を備える。制御装置１００は、物体検出装置９０での検出結果、及び、操作検出装置（ロックレバー操作検出装置７９ｂ及びアクチュエータ操作検出装置７０）での検出結果に基づいて、機体４の周囲に物体が存在していること、及び、操作装置が操作されていることを含む記録保持条件が成立しているか否かを判定し、記録保持条件が成立した場合に、映像データ記録装置１３０によって映像データの記録保持を行わせる。

　従来、衝撃を検知した場合に映像データの記録保持を行う技術が知られているが、油圧ショベル１では、作業中、衝撃が頻繁に発生する。このため、油圧ショベル１において、衝撃の検知により映像データの記録保持を行う構成とすると、頻繁に映像データの記録保持が行われてしまい、必要な場面の映像データを記録保持する精度、すなわち録画精度が低くなってしまう。

　これに対して、本実施形態では、油圧ショベル１の周囲に物体が存在しているときに、油圧ショベル１の操作が行われるなど、物体と油圧ショベル１との接近、接触の可能性がある場面に限って、映像データの記録保持を行うことができる。つまり、本実施形態によれば、必要な場面の録画精度を向上させることができる。

　（２）ところで、油圧ショベル１の稼働中の全ての時間に亘って、映像データの記録保持を行う場合、記録装置の容量を圧迫し、必要な場面の映像データが上書きされてしまったり、必要な場面の映像データを抽出する作業に手間がかかってしまったりするおそれがある。これに対して、本実施形態では、記録保持条件が成立した場合に映像データの記録保持を行うため、映像データの量を小さく抑えることができる。したがって、記録装置（イベント記録部１５２）の容量が不足してしまうことを防止することができる。さらに、必要な映像データの抽出作業を容易に行うことができる。

　（３）油圧ショベル１は、記録保持された映像データを無線通信により管理サーバ（外部装置）５３へ送信する通信装置１６０を備える。上述のとおり、本実施形態では、記録保持条件が成立した場合に、映像データの記録保持を行うため、管理サーバ５３へ送信する映像データの量を小さく抑えることができる。つまり、本実施形態によれば、映像データを管理サーバ５３へアップロードする際の通信量を低く抑えることができる。

　（４）油圧ショベル１は、運転室７内に設けられる表示装置１９０を備える。制御装置１００は、撮影装置３０により撮影された映像と、物体検出装置９０での検出結果に基づいて生成される画像（枠画像、メッセージ画像、アイコン画像）とを合成して合成映像１９９を生成し、生成された合成映像１９９を表示装置１９０の表示画面１９１ａに表示させる。映像データ記録装置１３０によって記録保持される映像データは、表示装置１９０で表示される合成映像１９９のデータである。このように、本実施形態では、記録保持条件が成立したときに、オペレータ目線のモニタ映像が録画されるため、記録保持条件が成立したときの状況を正確に振り返ることができる。

　（５）制御装置１００は、ロックレバー装置７９がロック解除位置に操作され、かつ、機体４の周囲に物体が存在し、かつ、物体が人であり、かつ、物体が警告ゾーン（第１範囲）Ｓ１内に存在している場合、第１の記録保持条件が成立したものとして、映像データ記録装置１３０によって映像データの記録保持を行わせる。この構成によれば、作業員等の人と油圧ショベル１との接触の可能性がある場面の映像データの記録保持を行うことができる。

　（６）制御装置１００は、ロックレバー装置７９がロック解除位置に操作され、かつ、機体４の周囲に物体が存在し、かつ、物体が警告ゾーン（第１範囲）Ｓ１内に存在し、かつ、アクチュエータ操作装置７１，７２，７３の少なくとも一つによる操作が行われている場合、第２の記録保持条件が成立したものとして、映像データ記録装置１３０によって映像データの記録保持を行わせる。この構成によれば、作業車両等の物体と油圧ショベル１との接触の可能性がある場面の映像データの記録保持を行うことができる。

　（７）制御装置１００は、ロックレバー装置７９がロック解除位置に操作され、かつ、機体４の周囲に物体が存在し、かつ、物体が人であり、かつ、アクチュエータ操作装置７１，７２，７３の少なくとも一つによる操作が行われ、かつ、物体が警告ゾーン（第１範囲）Ｓ１内に存在せず注意ゾーン（第２範囲）Ｓ２内に存在している場合、第３の記録保持条件が成立したものとして、映像データ記録装置１３０によって映像データの記録保持を行わせる。この構成によれば、作業員等の人と油圧ショベル１との接近の可能性がある場面の映像データの記録保持を行うことができる。

　次のような変形例も本発明の範囲内であり、変形例に示す構成と上述の実施形態で説明した構成を組み合わせたり、以下の異なる変形例で説明する構成同士を組み合わせたりすることも可能である。

　＜変形例１＞
　制御装置１００は、ロックレバー装置７９がロック解除位置に操作され、かつ、機体４の周囲に物体が存在している場合に記録保持条件が成立したものとして、映像データ記録装置１３０によって映像データの記録保持を行わせるようにしてもよい。つまり、図９のフローチャートに示すステップＳ１１５，Ｓ１３０，Ｓ１３５，Ｓ１３７，Ｓ１４０，Ｓ１４５，Ｓ１５０を省略してもよい。ロックレバー装置７９がロック解除位置に操作されている場合、アクチュエータ操作装置７１，７２，７３によるアクチュエータの動作が可能とされている。この構成によれば、物体と油圧ショベル１との接近、接触の可能性がある場面の映像データの記録保持を行うことができる。

　＜変形例２＞
　制御装置１００は、ロックレバー装置７９がロック解除位置に操作され、かつ、機体４の周囲に物体が存在し、かつ、物体が人である場合に記録保持条件が成立したものとして、映像データ記録装置１３０によって映像データの記録保持を行わせるようにしてもよい。つまり、図９のフローチャートに示すステップＳ１１５，Ｓ１３０，Ｓ１３７，Ｓ１４０，Ｓ１４５，Ｓ１５０を省略してもよい。ロックレバー装置７９がロック解除位置に操作されている場合、アクチュエータ操作装置７１，７２，７３の少なくとも一つによるアクチュエータの動作が可能とされている。この構成によれば、人と油圧ショベル１との接近、接触の可能性がある場面の映像データの記録保持を行うことができる。

　＜変形例３＞
　制御装置１００は、アクチュエータ操作装置７１，７２，７３の少なくとも一つによる操作が行われ、かつ、機体４の周囲に物体が存在している場合、記録保持条件が成立したものとして、映像データ記録装置１３０によって映像データの記録保持を行わせるようにしてもよい。つまり、図９のフローチャートに示すステップＳ１１５，Ｓ１３０～Ｓ１４５を省略し、ステップＳ１２０の処理に代えて、ステップＳ１５０の処理を実行するようにしてもよい。この構成によれば、物体と油圧ショベル１との接近、接触の可能性がある場面の映像データの記録保持を行うことができる。

　＜変形例４＞
　制御装置１００は、ロックレバー装置７９がロック解除位置に操作されていること、機体４の周囲に物体が存在していること、及び、エンジン２１の回転速度（エンジン回転数）が変動したこと、を含む、記録保持条件が成立した場合に、映像データ記録装置１３０によって映像データの記録保持を行わせるようにしてもよい。制御装置１００は、エンジン回転数を検出するエンジン回転数センサからの信号に基づいて、エンジン回転数が変動したか否かを判定する。このような変形例によれば、オペレータによってアクチュエータ操作装置７１，７２，７３が操作されて作業が開始された場合に、エンジン回転数が変動すると、映像データの記録保持が開始されるため、物体と油圧ショベル１との接近、接触の可能性がある場面の映像データの記録保持を行うことができる。

　＜変形例５＞
　上記実施形態では、注意ゾーンＳ２を規定する左設定角度θＬがｘ軸を基準として左旋回方向に９０度であり、注意ゾーンＳ２を規定する右設定角度θＲがｘ軸を基準として右旋回方向に９０度である例について説明したが、本発明はこれに限定されない。左設定角度θＬ及び右設定角度θＲは任意の値に設定することができる。また、左設定角度θＬ及び右設定角度θＲは、油圧ショベル１のオペレータが表示装置（タッチパネルモニタ）１９０に対して所定の操作を行うことによって任意に設定できるようにしてもよい。

　＜変形例６＞
　上記実施形態では、図６に示すように、左設定角度θＬ、右設定角度θＲ及び作業半径Ｒｗで規定される扇状（半円形状）の領域Ｓ１１と、旋回中心軸Ｏを中心とする半径Ｒｓの円形状の領域Ｓ１２と、を合成した領域が、警告ゾーン（第１範囲）Ｓ１として設定される例について説明したが、本発明はこれに限定されない。例えば、表示装置（タッチパネルモニタ）１９０の表示画面上の複数箇所がタッチ操作されることにより、タッチ操作された位置を頂点とする多角形状の警告ゾーン（第１範囲）Ｓ１を設定するようにしてもよい。

　＜変形例７＞
　上記実施形態では、合成映像データを記録保持し、管理サーバ５３に送信する例について説明したが、本発明はこれに限定されない。撮影装置３０で撮影された映像のデータをそのまま記録保持し、管理サーバ５３に送信するようにしてもよい。

　＜変形例８＞
　上記実施形態では、モニタコントローラ１２０が、複数の撮影装置３０で撮影された映像に基づいて俯瞰映像１９４ａを生成する例について説明したが、本発明はこれに限定されない。モニタコントローラ１２０は、複数の撮影装置３０で撮影された映像を、個別の映像として表示装置１９０の表示画面１９１ａに表示させてもよい。

　＜変形例９＞
　上記実施形態では、車体コントローラ１１０とモニタコントローラ１２０とが個別に設けられている例について説明したが、本発明はこれに限定されない。車体コントローラ１１０とモニタコントローラ１２０の機能を一つのコントローラで実現するようにしてもよい。

　＜変形例１０＞
　アクチュエータ操作検出装置７０は、操作レバー７１ａ，７２ａ，７３ａの操作角（操作量）を検出するポテンショメータ等であってもよい。この場合、制御装置１００は、操作レバー７１ａ，７２ａ，７３ａの操作角θの絶対値|θ|が予め定めた閾値θ０以上である場合、アクチュエータ操作装置７１，７２，７３による操作が行われていると判定し、操作角θの絶対値|θ|が閾値θ０未満である場合、アクチュエータ操作装置７１，７２，７３による操作は行われていないと判定する。なお、操作レバー７１ａ，７２ａ，７３ａが中立位置での操作角は０（ゼロ）度であり、閾値θ０には０（ゼロ）よりも大きい値が設定される。

　＜変形例１１＞
　上記実施形態では、車体コントローラ１１０が、物体検出装置９０から送信される反射強度の情報に基づいて物体が人であるか否かを判定する例について説明したが、判定方法はこれに限定されない。物体検出装置９０が反射強度の情報に基づいて物体が人であるか否かを判定し、その判定結果を車体コントローラ１１０に出力してもよい。この場合、車体コントローラ１１０は、物体検出装置９０から送信される判定結果（例えば、判定フラグ信号）に基づいて、物体が人であるか否かを判定する。

　＜変形例１２＞
　上記実施形態では、物体検出装置９０が、赤外線センサである例について説明したが、本発明はこれに限定されない。物体検出装置９０は、ステレオカメラであってもよい。この場合、ステレオカメラが物体検出装置９０兼撮影装置３０として機能する。制御装置１００は、例えば、ステレオカメラで撮影された物体の形状のパターンを抽出し、抽出したパターンが予め設定されている人のパターンと適合した場合にはその物体を人と判定し、適合しない場合には人でないと判定する。また、物体検出装置９０として、３次元ＬｉＤＡＲを採用してもよい。

　＜変形例１３＞
　上記実施形態では、録画トリガー信号を受信した時刻Ｔ０から所定時間Ｔａ経過すると、記録保持処理を終了する例について説明したが、本発明はこれに限定されない。例えば、ロックレバー７９ａがロック位置に操作されたり、物体検出装置９０で物体が検出されなくなったりするなど、記録保持条件が成立しなくなった場合に、記録保持処理を終了するようにしてもよい。

　＜変形例１４＞
　上記実施形態では、常時記録部１５１と、イベント記録部１５２とが別体の記録装置である例について説明したが、常時記録部１５１及びイベント記録部１５２は、一つの記録装置としてもよい。この場合、常時記録される合成映像データは上書き可能であり、イベント記録される合成映像データは上書き不能とする。

　＜変形例１５＞
　上記実施形態では、アクチュエータ操作装置７１，７２，７３が油圧パイロット式の操作装置である例について説明したが、電気式の操作装置に本発明を適用してもよい。また、アクチュエータは、油圧アクチュエータに限らず電動アクチュエータの場合にも本発明を適用することができる。

　＜変形例１６＞
　上記実施形態では、作業機械がクローラ式の油圧ショベル１である場合を例に説明したが、本発明はこれに限定されない。ホイール式の油圧ショベル、ホイールローダ等の種々の作業機械に本発明を適用することができる。

　以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。

　１…油圧ショベル（作業機械）、２ａ…走行用油圧モータ（アクチュエータ）、３ａ…旋回用油圧モータ（アクチュエータ）、４…機体、７…運転室、１０…作業装置、１０ａ…油圧シリンダ（アクチュエータ）、１９…周囲監視システム、３０…撮影装置、３１，３２，３３，３４…カメラ（撮影装置）、５３…管理サーバ（外部装置）、６０…姿勢検出装置、７０…アクチュエータ操作検出装置、７１…作業操作装置（アクチュエータ操作装置）、７２…旋回操作装置（アクチュエータ操作装置）、７３…走行操作装置（アクチュエータ操作装置）、７６ａ，７６ｂ…作業操作センサ（アクチュエータ操作検出装置）、７７ａ，７７ｂ…旋回操作センサ（アクチュエータ操作検出装置）、７８ａ，７８ｂ…走行操作センサ（アクチュエータ操作検出装置）、７９…ロックレバー装置、７９ｂ…ロックレバー操作検出装置、８０…油圧システム、９０…物体検出装置、１００…制御装置、１１０…車体コントローラ、１２０…モニタコントローラ、１３０…映像データ記録装置、１４０…録画コントローラ、１６０…通信装置、１９０…表示装置、１９１ａ…表示画面、１９２…アイコン領域、１９３…メッセージ領域、１９４…カメラ画像領域、１９４ａ…俯瞰映像、１９５ａ…物体、１９５ｂ…枠画像、１９６ａ…物体、１９６ｂ…枠画像、１９７ａ…物体、１９７ｂ…枠画像、１９９…合成映像、Ｓ１…警告ゾーン（第１範囲）、Ｓ２…注意ゾーン（第２範囲）

Claims (9)

1. 　機体と、前記機体に取り付けられるアクチュエータと、前記アクチュエータを動作させるために用いられる操作装置と、前記操作装置の操作を検出する操作検出装置と、前記機体の周囲を撮影する撮影装置と、前記撮影装置で撮影された映像を含む映像データを記録する映像データ記録装置と、前記映像データ記録装置を制御する制御装置と、前記機体の周囲の物体を検出する物体検出装置と、を備える作業機械において、
   　前記制御装置は、前記物体検出装置での検出結果、及び、前記操作検出装置での検出結果に基づいて、前記機体の周囲に物体が存在していること、及び、前記操作装置が操作されていることを含む記録保持条件が成立しているか否かを判定し、前記記録保持条件が成立した場合に、前記映像データ記録装置によって前記映像データの記録保持を行わせる、
   　ことを特徴とする作業機械。
2. 　請求項１に記載の作業機械において、
   　前記記録保持された前記映像データを無線通信により外部装置へ送信する通信装置をさらに備える、
   　ことを特徴とする作業機械。
3. 　請求項１に記載の作業機械において、
   　運転室内に設けられる表示装置を備え、
   　前記制御装置は、前記撮影装置により撮影された映像と、前記物体検出装置での検出結果に基づいて生成される画像とを合成して合成映像を生成し、生成された前記合成映像を前記表示装置の表示画面に表示させ、
   　前記映像データ記録装置によって記録保持される前記映像データは、前記合成映像のデータである、
   　ことを特徴とする作業機械。
4. 　請求項１に記載の作業機械において、
   　前記操作装置として、
   　前記アクチュエータの動作を指令するアクチュエータ操作装置と、
   　前記アクチュエータ操作装置による前記アクチュエータの動作を不能とするロック位置と前記アクチュエータ操作装置による前記アクチュエータの動作を可能とするロック解除位置とに選択的に操作されるロックレバー装置と、を有し、
   　前記制御装置は、前記ロックレバー装置が前記ロック解除位置に操作されていること、及び、前記機体の周囲に物体が存在していること、を含む、前記記録保持条件が成立した場合に、前記映像データ記録装置によって前記映像データの記録保持を行わせる、
   　ことを特徴とする作業機械。
5. 　請求項４に記載の作業機械において、
   　前記制御装置は、
   　前記物体検出装置によって検出された物体が人であるか否かを判定し、
   　前記ロックレバー装置が前記ロック解除位置に操作されていること、前記機体の周囲に物体が存在していること、及び、前記物体が人であること、を含む、前記記録保持条件が成立した場合に、前記映像データ記録装置によって前記映像データの記録保持を行わせる、
   　ことを特徴とする作業機械。
6. 　請求項４に記載の作業機械において、
   　前記制御装置は、
   　前記物体検出装置によって検出された物体が、前記機体の周囲であって前記機体寄りの領域に予め設定される第１範囲内に存在しているか否かを判定し、
   　前記ロックレバー装置が前記ロック解除位置に操作されていること、前記機体の周囲に物体が存在していること、前記物体が人であること、及び、前記物体が前記第１範囲内に存在していること、を含む、前記記録保持条件が成立した場合に、前記映像データ記録装置によって前記映像データの記録保持を行わせる、
   　ことを特徴とする作業機械。
7. 　請求項４に記載の作業機械において、
   　前記制御装置は、
   　前記物体検出装置によって検出された物体が人であるか否かを判定し、
   　前記物体検出装置によって検出された物体が、前記機体の周囲であって前記機体寄りの領域に予め設定される第１範囲内に存在しているか、前記第１範囲を包含するように予め設定される第２範囲内に存在しているかを判定し、
   　前記ロックレバー装置が前記ロック解除位置に操作されていること、前記機体の周囲に物体が存在していること、前記物体が人であること、及び、前記物体が前記第１範囲内に存在していること、を含む、第１の前記記録保持条件が成立した場合に、前記映像データ記録装置によって前記映像データの記録保持を行わせ、
   　前記ロックレバー装置が前記ロック解除位置に操作されていること、前記機体の周囲に物体が存在していること、前記物体が前記第１範囲内に存在していること、及び、前記アクチュエータ操作装置による操作が行われていること、を含む、第２の前記記録保持条件が成立した場合に、前記映像データ記録装置によって前記映像データの記録保持を行わせ、
   　前記ロックレバー装置が前記ロック解除位置に操作されていること、前記機体の周囲に物体が存在していること、前記物体が人であること、前記アクチュエータ操作装置による操作が行われていること、及び、前記物体が前記第１範囲内に存在せず前記第２範囲内に存在していること、を含む、第３の前記記録保持条件が成立した場合に、前記映像データ記録装置によって前記映像データの記録保持を行わせる、
   　ことを特徴とする作業機械。
8. 　請求項１に記載の作業機械において、
   　前記操作装置として、前記アクチュエータの動作を指令するアクチュエータ操作装置を有し、
   　前記制御装置は、前記アクチュエータ操作装置による操作が行われていること、及び、前記機体の周囲に物体が存在していること、を含む、前記記録保持条件が成立した場合に、前記映像データ記録装置によって前記映像データの記録保持を行わせる、
   　ことを特徴とする作業機械。
9. 　請求項１に記載の作業機械において、
   　前記制御装置は、前記作業機械のエンジン回転数が変動したこと、を含む、前記記録保持条件が成立した場合に、前記映像データ記録装置によって前記映像データの記録保持を行わせる、
   　ことを特徴とする作業機械。

Images