JP6909641B2 - 表示システム - Google Patents

Description

本発明は、表示システムに関する。

特許文献１に開示されているように、作業機械を遠隔操作する技術が知られている。作業機械を遠隔操作する場合、作業機械に搭載されているカメラによって作業現場が撮影される。カメラで撮影された作業現場の画像は、遠隔操作施設に設けられている表示装置に表示される。操作者は、表示装置に表示される作業現場の画像を見ながら、遠隔操作装置を操作する。

特開２０１３−１６８７７６号公報

油圧ショベルのような旋回体及び旋回体に支持される作業機を有する作業機械で掘削作業及び積込作業を実施する場合、一般に、旋回体の前方向に掘削対象が位置付けられ、旋回体の横方向にダンプトラックのような運搬車両が位置付けられる。作業機械は、旋回体の前方向に存在する掘削対象を作業機で掘削した後、旋回体を実質的に９０度旋回させて、運搬車両に掘削物を積み込む。このような作業機械の動作は、９０度旋回掘削積込作業と称される。遠隔操作により９０度旋回掘削積込作業を実施する場合において、旋回体の前方向に掘削対象が位置付けられているときに運搬車両の画像が表示装置に表示されず、旋回体の旋回の開始後に運搬車両の画像が表示装置に急に現れると、操作者は、違和感を抱く可能性がある。また、旋回体の前方向に掘削対象が位置付けられているときに運搬車両の画像が表示装置に表示されないと、旋回体の旋回における目標停止位置である運搬車両の位置を認識しないまま旋回動作を開始することとなり、操作者は、旋回体を旋回させることに不安感を抱く可能性がある。操作者が違和感又は不安感を抱くと、旋回体を低速で旋回させるように遠隔操作装置が操作される可能性が高くなる。旋回体の旋回が低速になると、作業効率の低下がもたらされる。

本発明の態様は、操作者が作業機械を快適に遠隔操作することができ、作業効率の低下を抑制することができる技術を提供することを目的とする。

本発明の態様に従えば、旋回軸を中心に旋回する旋回体及び前記旋回体に支持される作業機を有する作業機械に搭載された撮像装置で撮影された、前記旋回軸に対して前方向の画像を少なくとも含むフロント画像と、前記前方向と直交し前記旋回軸に対して横方向の画像を少なくとも含むサイド画像とを前記撮像装置から取得する画像データ取得部と、前記画像データ取得部で取得された前記フロント画像及び前記サイド画像を、前記作業機械の外部に存在する表示装置に表示させる表示制御部と、を備える表示システムが提供される。

本発明の態様によれば、操作者が作業機械を快適に遠隔操作することができ、作業効率の低下を抑制することができる技術が提供される。

図１は、第１実施形態に係る作業機械の遠隔操作システムの一例を模式的に示す図である。 図２は、第１実施形態に係る作業機械の一例を模式的に示す斜視図である。 図３は、第１実施形態に係るカメラの一例を示す斜視図である。 図４は、第１実施形態に係るカメラの撮影領域を説明するための模式図である。 図５は、第１実施形態に係る遠隔操作施設に設けられている遠隔操作室の一例を模式的に示す図である。 図６は、第１実施形態に係る表示システムの一例を示す機能ブロック図である。 図７は、第１実施形態に係る表示システムによる表示方法の一例を示すフローチャートである。 図８は、第１実施形態に係る作業機械の動作の一例を説明するための模式図である。 図９は、第１実施形態に係る表示システムの評価試験の結果を示す図である。 図１０は、第２実施形態に係るカメラの撮影領域を説明するための模式図である。

以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する実施形態の構成要素は適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。

第１実施形態．
［遠隔操作システム］
図１は、本実施形態に係る作業機械１の遠隔操作システム１００の一例を模式的に示す図である。本実施形態においては、作業機械１が油圧ショベルであることとする。以下の説明においては、作業機械１を適宜、油圧ショベル１、と称する。

油圧ショベル１は、走行体２と、走行体２に旋回可能に支持される旋回体３と、旋回体３に支持される作業機４とを有する。油圧ショベル１は、作業現場に存在し、作業現場で作業する。

遠隔操作システム１００は、油圧ショベル１の外部に存在する遠隔操作施設に設けられる遠隔操作装置４０を有する。油圧ショベル１は、遠隔操作装置４０によって遠隔操作される。

遠隔操作システム１００は、作業現場に存在する対象の画像を遠隔操作施設において表示させる表示システム２００を有する。表示システム２００は、油圧ショベル１の外部に存在する表示装置５０と、油圧ショベル１の外部に存在し、油圧ショベル１と通信可能な制御装置６０とを備える。遠隔操作装置４０、表示装置５０、及び制御装置６０のそれぞれは、遠隔操作施設に配置される。遠隔操作装置４０、表示装置５０、及び制御装置６０のそれぞれは、油圧ショベル１とは別体で設けられる。

また、表示システム２００は、油圧ショベル１に搭載され、作業現場に存在する対象を撮影する撮像装置３０を備える。撮像装置３０は、旋回体３に搭載される。撮像装置３０によって撮影される対象は、作業現場において施工される施工対象を含む。施工対象は、油圧ショベル１の作業機４で掘削される掘削対象を含む。なお、施工対象は、油圧ショベル１とは別の作業機械によって施工される施工対象でもよいし、作業者によって施工される施工対象でもよい。また、施工対象は、施工前の施工対象、施工中の施工対象、及び施工後の施工対象を含む概念である。

また、撮像装置３０によって撮影される対象は、油圧ショベル１の少なくとも一部を含む。撮像装置３０によって撮影される対象である油圧ショベル１は、作業機４の少なくとも一部を含む。撮像装置３０によって撮影される対象である作業機４は、掘削動作している状態の作業機４でもよいし、掘削動作していない状態の作業機４でもよい。また、撮像装置３０によって撮影される対象である油圧ショベル１は、走行体２の少なくとも一部でもよい。

また、撮像装置３０によって撮影される対象は、遠隔操作される油圧ショベル１の周囲に配置される作業機械を含む。撮像装置３０によって撮影される対象である作業機械は、運搬車両であるダンプトラックを含む。なお、撮像装置３０によって撮影される対象である作業機械は、遠隔操作される油圧ショベル１とは別の油圧ショベルでもよい。

油圧ショベル１は、制御装置３００を搭載する。制御装置３００と制御装置６０とは、通信システム４００を介して通信する。通信システム４００は、油圧ショベル１に搭載される無線通信機４０１を有する。通信システム４００は、インターネット（internet）、ローカルエリアネットワーク（ＬＡＮ：Local Area Network）、携帯電話通信網、及び衛星通信網の少なくとも一つを含む。

遠隔操作装置４０は、油圧ショベル１の作業機４及び旋回体３を遠隔操作する作業レバーと、走行体２を遠隔操作する走行レバーとを含む。操作者は、遠隔操作施設において遠隔操作装置４０を操作する。遠隔操作装置４０が操作されることにより生成された操作信号は、通信システム４００を介して制御装置３００に送信される。制御装置３００は、コンピュータシステムを含む。制御装置３００は、ＣＰＵ（Central Processing Unit）のようなプロセッサを含む演算処理装置と、ＲＡＭ（Random Access Memory）のような揮発性メモリ及びＲＯＭ（Read Only Memory）のような不揮発性メモリを含む記憶装置と、入出力インターフェースとを有する。制御装置３００は、操作信号に基づいて、作業機４、旋回体３、及び走行体２を制御する制御信号を出力する。これにより、油圧ショベル１は遠隔操作される。

表示装置５０は、撮像装置３０で撮影された作業現場に存在する対象を表示する。図５を参照して後述するように、表示装置５０は、互いに隣接する複数の表示画面（フロント表示画面５１Ｓ、第１サイド表示画面５２Ｓ、第２サイド表示画面５３Ｓ、アップサイド表示画面５４Ｓ、ローサイド表示画面５５Ｓ）を有する。遠隔操作施設に存在する操作者が油圧ショベル１の運転席に実際に搭乗している感覚を得られるように、表示装置５０の複数の表示画面は、遠隔操作施設に設けられている操縦シート４５に着座した操作者を囲むように配置される。複数の表示画面のそれぞれには、油圧ショベル１の運転席に実際に搭乗したときの操作者の視界に相当する画像が表示される。フロント表示画面５１Ｓには、油圧ショベル１の運転席に実際に搭乗したときの操作者の前方向の視界に相当するフロント画像が表示される。第１サイド表示画面５２Ｓには、油圧ショベル１の運転席に実際に搭乗したときの操作者の左方向の視界に相当する第１サイド画像が表示される。第２サイド表示画面５３Ｓには、油圧ショベル１の運転席に実際に搭乗したときの操作者の右方向の視界に相当する第２サイド画像が表示される。アップサイド表示画面５４Ｓには、油圧ショベル１の運転席に実際に搭乗したときの操作者の前方向の斜め上方向の視界に相当するアップサイド画像が表示される。ローサイド表示画面５５Ｓには、油圧ショベル１の運転席に実際に搭乗したときの操作者の前方向の斜め下方向の視界に相当するローサイド画像が表示される。操作者の前方向の視界、左方向の視界、右方向の視界、前方向の斜め上方向の視界、及び前方向の斜め下方向の視界のそれぞれに相当する画像が表示装置５０に表示されることにより、遠隔操作施設に存在する操作者は、油圧ショベル１の運転席に実際に搭乗している感覚を得ることができる。これにより、遠隔操作の操作性が向上する。

［油圧ショベル］
図２は、本実施形態に係る油圧ショベル１の一例を模式的に示す斜視図である。以下の説明においては、３次元の車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）を規定して、各部の位置関係について説明する。車体座標系は、油圧ショベル１の旋回体３に規定された原点を基準とする所定面のＸｍ軸と、所定面においてＸｍ軸と直交するＹｍ軸と、所定面と直交するＺｍ軸とによって規定される。Ｘｍ軸と平行な方向をＸｍ軸方向とし、Ｙｍ軸と平行な方向をＹｍ軸方向とし、Ｚｍ軸方向と平行な方向をＺｍ軸方向とする。Ｘｍ軸方向は旋回体３の前後方向であり、Ｙｍ軸方向は旋回体３の左右方向（横方向）であり、Ｚｍ軸方向は旋回体３の上下方向である。

油圧ショベル１は、走行体２と、走行体２に旋回可能に支持される旋回体３と、旋回体３に支持される作業機４とを有する。

走行体２は、履帯２Ａ，２Ｂを有する。履帯２Ａ，２Ｂが回転することにより、油圧ショベル１が走行する。車体座標系のＺｍ軸は、履帯２Ａ，２Ｂの接地面と直交する。車体座標系の＋Ｚｍ方向は、旋回体３の上方向であり、履帯２Ａ，２Ｂの接地面から離れる方向である。車体座標系の−Ｚｍ方向は、旋回体３の下方向であり、＋Ｚｍ方向とは反対の方向である。

旋回体３は、旋回軸Ｚｒを中心に旋回可能である。旋回軸Ｚｒは、車体座標系のＺｍ軸と平行である。車体座標系の原点は、旋回体３のスイングサークルの中心に規定される。スイングサークルの中心は、旋回体３の旋回軸Ｚｒに位置する。

作業機４は、旋回体３に連結される。車体座標系において、作業機４の少なくとも一部は、旋回体３よりも＋Ｘｍ方向に配置される。車体座標系の＋Ｘｍ方向は、旋回体３の前方向であり、旋回体３を基準として作業機４の先端部が存在する方向である。作業機４の先端部は、バケット８を含む。車体座標系の−Ｘｍ方向は、旋回体３の後方向であり、＋Ｘｍ方向とは反対の方向である。

作業機４は、旋回体３に連結されるブーム６と、ブーム６に連結されるアーム７と、アーム７に連結されるバケット８と、ブーム６を駆動するブームシリンダ１０と、アーム７を駆動するアームシリンダ１１と、バケット８を駆動するバケットシリンダ１２とを有する。ブームシリンダ１０、アームシリンダ１１、及びバケットシリンダ１２はそれぞれ、油圧によって駆動される油圧シリンダである。

ブーム６は、回転軸ＡＸ１を中心に旋回体３に回転可能に連結される。アーム７は、回転軸ＡＸ２を中心にブーム６の先端部に回転可能に連結される。バケット８は、回転軸ＡＸ３を中心にアーム７の先端部に回転可能に連結される。ブーム６の回転軸ＡＸ１、アーム７の回転軸ＡＸ２、及びバケット８の回転軸ＡＸ３は、車体座標系のＹｍ軸と平行である。車体座標系の＋Ｙｍ方向は、旋回体３の第１横方向であり、旋回体３の左方向である。車体座標系の−Ｙｍ方向は、旋回体３の第２横方向であり、＋Ｙｍ方向とは反対の方向であり、旋回体３の右方向である。

［カメラ］
図３は、本実施形態に係る撮像装置３０の一例を示す斜視図である。図３に示すように、油圧ショベル１は、撮像装置３０を有する。撮像装置３０は、旋回体３の前部に設けられる。

撮像装置３０は、光学系と、光学系を通過した光を受光するイメージセンサとを有する。イメージセンサは、ＣＣＤ（Couple Charged Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含む。

撮像装置３０は、作業現場の対象の画像を取得する。本実施形態において、撮像装置３０は、作業現場に存在する対象の映像を取得する。

撮像装置３０は、旋回体３の前方向（＋Ｘｍ方向）のフロント画像と、旋回体３の旋回軸Ｚｒと直交する所定面において＋Ｘｍ方向と直交する旋回体３の横方向（Ｙｍ軸方向）のサイド画像とを同時に撮影する。横方向（Ｙｍ軸方向）は、一方の第１横方向（＋Ｙｍ方向）と、第１横方向とは反対方向の第２横方向（−Ｙｍ方向）とを含む。サイド画像は、旋回体３の第１横方向の第１サイド画像と、旋回体３の第２横方向の第２サイド画像とを含む。撮像装置３０は、フロント画像、第１サイド画像、及び第２サイド画像を同時に撮影する。

本実施形態において、撮像装置３０は、旋回体３の前方向を撮影するフロントカメラ３１と、旋回体３の横方向を撮影するサイドカメラ３２３とを含む。サイドカメラ３２３は、旋回体３の第１横方向を撮影する第１サイドカメラ３２と、旋回体３の第２横方向を撮影する第２サイドカメラ３３とを含む。

また、本実施形態において、撮像装置３０は、旋回体３の前方向の斜め上方向を撮影するアップサイドカメラ３４と、旋回体３の前方の斜め下方向を撮影するローサイドカメラ３５とを含む。

フロントカメラ３１と、第１サイドカメラ３２と、第２サイドカメラ３３と、アップサイドカメラ３４と、ローサイドカメラ３５とは、作業現場に存在する対象を同時に撮影する。すなわち、フロントカメラ３１による旋回体３の前方向の撮影と、第１サイドカメラ３２による旋回体３の左方向の撮影と、第２サイドカメラ３３による旋回体３の右方向の撮影と、アップサイドカメラ３４による旋回体３の前方向の斜め上方向の撮影と、ローサイドカメラ３５による前回体３の前方向の斜め下方向の撮影とは、同時に行われる。

フロントカメラ３１は、旋回体３の前部且つ上部に設けられる。フロントカメラ３１によって撮影されるフロント画像は、作業機４の先端部を含む旋回体３の前方向のフロント空間ＦＳの画像である。

第１サイドカメラ３２は、旋回体３の前部且つ上部に設けられる。第１サイドカメラ３２は、フロントカメラ３１よりも左側（＋Ｙｍ側）に設けられる。第１サイドカメラ３２は、フロントカメラ３１と間隔をあけて配置される。Ｚｍ軸方向において、フロントカメラ３１と第１サイドカメラ３２とは、実質的に同一の位置に配置される。第１サイドカメラ３２によって撮影される第１サイド画像は、作業機４を含まない旋回体３の左方向の第１サイド空間ＳＳ１の画像である。

第２サイドカメラ３３は、旋回体３の前部且つ上部に設けられる。第２サイドカメラ３３は、フロントカメラ３１よりも右側（−Ｙｍ側）に設けられる。第２サイドカメラ３３は、フロントカメラ３１と間隔をあけて配置される。Ｚｍ軸方向において、フロントカメラ３１と第２サイドカメラ３３とは、実質的に同一の位置に配置される。第２サイドカメラ３３によって撮影される第２サイド画像は、作業機４の基端部を含む旋回体３の右方向の第２サイド空間ＳＳ２の画像である。作業機４の基端部は、ブーム６を含む。

アップサイドカメラ３４は、旋回体３の前部且つ上部に設けられる。アップサイドカメラ３４によって撮影されるアップサイド画像は、作業機４の少なくとも一部を含む旋回体３の前方向の斜め上方向のアップサイド空間の画像である。

ローサイドカメラ３５は、旋回体３の前部且つ上部に設けられる。ローサイドカメラ３５によって撮影されるローサイド画像は、走行体２の少なくとも一部を含む旋回体３の前方向の斜め下方向のローサイド空間の画像である。

［カメラの撮影領域］
図４は、本実施形態に係る撮像装置３０の撮影領域を説明するための模式図である。図４は、油圧ショベル１を上方向から見た模式図であり、フロントカメラ３１、第１サイドカメラ３２、及び第２サイドカメラ３３のそれぞれの撮影領域を示す。なお、図４は、便宜上、フロントカメラ３１、第１サイドカメラ３２、及び第２サイドカメラ３３が同一位置に設けられている状態を模式的に示す。

図４に示すように、フロントカメラ３１は、作業機４の先端部を含む旋回体３の前方向（＋Ｘｍ方向）のフロント空間ＦＳの画像であるフロント画像を撮影する。フロントカメラ３１の光学系の光軸Ｄ１は、Ｘｍ軸と実質的に平行である。

第１サイドカメラ３２は、作業機４を含まない旋回体３の第１横方向（＋Ｙｍ方向）の第１サイド空間ＳＳ１の画像である第１サイド画像を撮影する。第１サイドカメラ３２の光学系の光軸Ｄ２は、Ｙｍ軸と実質的に平行である。

第２サイドカメラ３３は、作業機４の基端部を含む旋回体３の第２横方向（−Ｙｍ方向）の第２サイド空間ＳＳ２の画像である第２サイド画像を撮影する。第２サイドカメラ３３の光学系の光軸Ｄ３は、Ｙｍ軸と実質的に平行である。

フロント画像は、旋回体３の旋回軸Ｚｒに対して前方向（＋Ｘｍ方向）の局所フロント空間ＦＳＬの画像を少なくとも含む。局所フロント空間ＦＳＬは、旋回軸Ｚｒを含み、旋回軸Ｚｒから＋Ｘｍ方向に延在する空間である。フロントカメラ３１の光学系の撮影領域（視野領域）に少なくとも局所フロント空間ＦＳＬが配置されるように、旋回体３に対するフロントカメラ３１の設置状態及びフロントカメラ３１の光学系の視野角θ１が規定される。

サイド画像は、前方向（＋Ｘｍ方向）と直交し、旋回体３の旋回軸Ｚｒに対して横方向（Ｙｍ軸方向）の局所サイド空間の画像を少なくとも含む。

サイド画像のうち、第１横方向（＋Ｙｍ方向）の第１サイド画像は、前方向（＋Ｘｍ方向）と直交し、旋回体３の旋回軸Ｚｒに対して第１横方向（＋Ｙｍ方向）の第１局所サイド空間ＳＳ１Ｌの画像を少なくとも含む。第１局所サイド空間ＳＳ１Ｌは、旋回軸Ｚｒを含み、旋回軸Ｚｒから＋Ｙｍ方向に延在する空間である。第１サイドカメラ３２の光学系の撮影領域（視野領域）に少なくとも第１局所サイド空間ＳＳ１Ｌが配置されるように、旋回体３に対する第１サイドカメラ３２の設置状態及び第１サイドカメラ３２の光学系の視野角θ２が規定される。

サイド画像のうち、第２横方向（−Ｙｍ方向）の第２サイド画像は、前方向（＋Ｘｍ方向）と直交し、旋回体３の旋回軸Ｚｒに対して第２横方向（−Ｙｍ方向）の第２局所サイド空間ＳＳ２Ｌの画像を少なくとも含む。第２局所サイド空間ＳＳ２Ｌは、旋回軸Ｚｒを含み、旋回軸Ｚｒから−Ｙｍ方向に延在する空間である。第２サイドカメラ３３の光学系の撮影領域（視野領域）に少なくとも第２局所サイド空間ＳＳ２Ｌが配置されるように、旋回体３に対する第２サイドカメラ３３の設置状態及び第２サイドカメラ３３の光学系の視野角θ３が規定される。

なお、視野角とは、撮像装置３０で撮影される対象の範囲を角度で示したものであって、イメージセンサに写る範囲を角度で表わしたものをいう。視野角は、画角（angle of view）とも呼ばれる。視野角は、旋回体３の旋回軸Ｚｒと直交する所定面内における画角（水平画角）を含む。視野角が大きいと写る範囲が広くなり、視野角が小さいと写る範囲が狭くなる。また、撮像装置３０の光学系の焦点距離が変化すると視野角が変化する。焦点距離が短い光学系ほど視野角は大きくなり、焦点距離が長い光学系ほど視野角は小さくなる。本実施形態において、撮像装置３０の光学系の焦点距離は固定されている。すなわち、本実施形態において、撮像装置３０の光学系は、固定焦点レンズであり、撮像装置３０は、固定焦点カメラである。

図５を参照して後述するように、表示装置５０は、互いに隣接する複数の表示画面（フロント表示画面５１Ｓ、第１サイド表示画面５２Ｓ、第２サイド表示画面５３Ｓ、アップサイド表示画面５４Ｓ、ローサイド表示画面５５Ｓ）を有する。遠隔操作施設に存在する操作者が油圧ショベル１の運転席に実際に搭乗している感覚を得られるように、フロント表示画面５１Ｓには、旋回体３の前方向のフロント画像が表示され、第１サイド表示画面５２Ｓには、旋回体３の第１横方向（左方向）の第１サイド画像が表示され、第２サイド表示画面５３Ｓには、旋回体３の第２横方向（右方向）の第２サイド画像が表示される。フロント画像が少なくとも局所フロント空間ＦＳＬの画像を含み、第１サイド画像が少なくとも第１局所サイド空間ＳＳ１Ｌの画像を含み、第２サイド画像が少なくとも第２局所サイド空間ＳＳ２Ｌの画像を含むことにより、表示システム２００は、遠隔操作施設に存在する操作者に、油圧ショベル１の運転席に実際に搭乗している感覚を与えることができる。

また、第１サイド画像が少なくとも第１局所サイド空間ＳＳ１Ｌの画像を含むことにより、遠隔操作の操作性が向上する。油圧ショベル１の運転席に実際に操作者が搭乗する場合、操作者は、頭の向きを変えるだけで、第１局所サイド空間ＳＳ１Ｌを視認することができる。一方、遠隔操作施設に操作者が存在する場合、操作者は、第１局所サイド空間ＳＳ１Ｌの画像が表示装置５０に表示されていないと、たとえ頭の向きを変えたとしても、第１局所サイド空間ＳＳ１Ｌを視認することはできない。本実施形態においては、第１局所サイド空間ＳＳ１Ｌの画像を少なくとも含む第１サイド画像が表示装置５０に表示される。そのため、操作者は、表示装置５０を見ることにより、第１局所サイド空間ＳＳ１Ｌを視認することができる。第２局所サイド空間ＳＳ２Ｌについても同様である。

本実施形態において、旋回体３の旋回軸Ｚｒと直交する所定面内において、フロントカメラ３１の光学系の光軸Ｄ１と、第１サイドカメラ３２の光学系の光軸Ｄ２とは直交する。旋回体３の旋回軸Ｚｒと直交する所定面内において、フロントカメラ３１の光学系の光軸Ｄ１と、第２サイドカメラ３３の光学系の光軸Ｄ３とは直交する。

フロントカメラ３１の光学系、第１サイドカメラ３２の光学系、及び第２サイドカメラ３３の光学系のそれぞれは、広角レンズを含む。フロントカメラ３１の光学系の視野角θ１、第１サイドカメラ３２の光学系の視野角θ２、及び第２サイドカメラ３３の光学系の視野角θ３のそれぞれは、７０度以上１００度以下である。

本実施形態において、フロントカメラ３１の光学系の視野角θ１は、９０度である。第１サイドカメラ３２の光学系の視野角θ２は、９０度である。第２サイドカメラ３３の光学系の視野角θ３は、９０度である。

フロントカメラ３１は、フロント空間ＦＳに存在する対象のうち、視野角θ１に基づいて規定される撮影領域に配置される対象の画像を示すフロント画像を撮影する。

第１サイドカメラ３２は、第１サイド空間ＳＳ１に存在する対象のうち、視野角θ２に基づいて規定される撮影領域に配置される対象の画像を示す第１サイド画像を撮影する。

第２サイドカメラ３３は、第２サイド空間ＳＳ２に存在する対象のうち、視野角θ３に基づいて規定される撮影領域に配置される対象の画像を示す第２サイド画像を撮影する。

［遠隔操作施設］
図５は、本実施形態に係る遠隔操作施設に設けられている遠隔操作室の一例を模式的に示す図である。図５に示すように、遠隔操作システム１００は、油圧ショベル１を遠隔操作する遠隔操作装置４０と、表示装置５０とを備える。遠隔操作装置４０及び表示装置５０は、遠隔操作室に配置される。

遠隔操作装置４０は、操縦シート４５に着座した操作者によって操作される。操作者は、表示装置５０の表示画面と正対するように操縦シート４５に着座する。操作者は、表示装置５０の表示画面を見ながら、遠隔操作装置４０を操作する。

遠隔操作装置４０が操作されることにより生成された操作信号は、制御装置６０及び通信システム４００を介して油圧ショベル１の制御装置３００に送信される。制御装置３００は、通信システム４００を介して取得した操作信号に基づいて、油圧ショベル１を作動する。油圧ショベル１の作動は、走行体２の作動、旋回体３の作動、及び作業機４の作動の少なくとも一つを含む。

走行体２の作動は、履帯２Ａの前進動作及び後進動作の少なくとも一方を含む。また、走行体２の作動は、履帯２Ｂの前進動作及び後進動作の少なくとも一方を含む。

旋回体３の作動は、旋回体３の左旋回及び右旋回の少なくとも一方を含む。

作業機４の作動は、ブーム６の上げ動作及び下げ動作の少なくとも一方を含む。また、作業機４の作動は、アーム７のダンプ動作及び掘削動作の少なくとも一方を含む。また、作業機４の作動は、バケット８の掘削動作及びダンプ動作の少なくとも一方を含む。

遠隔操作装置４０は、旋回体３及び作業機４の作動のために操作される左作業レバー４１及び右作業レバー４２と、走行体２の作動のために操作される左走行レバー４３及び右走行レバー４４とを含む。

左作業レバー４１は、操縦シート４５の左方に配置される。右作業レバー４２は、操縦シート４２の右方に配置される。左作業レバー４１が前後方向に操作されることにより、アーム７がダンプ動作又は掘削動作する。左作業レバー４１が左右方向に操作されることにより、旋回体３が左旋回又は右旋回する。右作業レバー４２が左右方向に操作されることにより、バケット８が掘削動作又はダンプ動作する。右作業レバー４２が前後方向に操作されることにより、ブーム６が下げ動作又は上げ動作する。なお、左操作レバー４１が前後方向に操作されたときに旋回体３が右旋回又は左旋回し、左操作レバー４１が左右方向に操作されたときにアーム７がダンプ動作又は掘削動作してもよい。

左走行レバー４３及び右走行レバー４４は、操縦シート４５の前方に配置される。左走行レバー４３は、右走行レバー４４の左方に配置される。左走行レバー４３が前後方向に操作されることにより、走行体２の履帯２Ａが前進動作又は後進動作する。右走行レバー４４が前後方向に操作されることにより、走行体２の履帯２Ｂが前進動作又は後進動作する。

表示装置５０は、撮像装置３０で撮影された作業現場に存在する対象の画像を表示する。複数の撮像装置３０で同時に撮影された画像を示す画像データは、制御装置３００及び通信システム４００を介して遠隔操作システム１００の制御装置６０に同時に送信される。制御装置６０は、通信システム４００を介して取得した複数の画像データを表示装置５０に同時に表示させる。上述のように、撮像装置３０で撮影される画像は、映像を含む。制御装置６０は、複数の撮像装置３０で同時に撮影された作業現場の対象の映像を表示装置５０に同時に表示させる。

表示装置５０は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）又は有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electroluminescence Display）のようなフラットパネルディスプレイを含む。本実施形態において、表示装置５０は、組み合わされた複数のフラットパネルディスプレイを含む。複数のフラットパネルディスプレイのそれぞれは、撮像装置３０で撮影された作業現場に存在する対象の映像を表示する表示画面を有する。本実施形態において、表示装置５０は、隣接して配置された５つのフラットパネルディスプレイを含む。表示装置５０は、中央フラットパネルディスプレイ５１と、中央フラットパネルディスプレイ５１の左側に配置される左フラットパネルディスプレイ５２と、中央フラットパネルディスプレイ５１の右側に配置される右フラットパネルディスプレイ５３と、中央フラットパネルディスプレイ５１の上側に配置される上フラットパネルディスプレイ５４と、中央フラットパネルディスプレイ５１の下側に配置される下フラットパネルディスプレイ５５とを含む。

本実施形態において、フロントカメラ３１で撮影されたフロント画像が中央フラットパネルディスプレイ５１の表示画面５１Ｓに表示される。第１サイドカメラ３２で撮影された第１サイド画像が左フラットパネルディスプレイ５２の表示画面５２Ｓに表示される。第２サイドカメラ３３で撮影された第２サイド画像が右フラットパネルディスプレイ５３の表示画面５３Ｓに表示される。アップサイドカメラ３４で撮影されたアップサイド画像が上フラットパネルディスプレイ５４の表示画面５４Ｓに表示される。ローサイドカメラ３５で撮影されたローサイド画像が下フラットパネルディスプレイ５５の表示画面５５Ｓに表示される。

以下の説明においては、フロントカメラ３１で撮影されたフロント画像が表示される中央フラットパネルディスプレイ５１の表示画面５１Ｓを適宜、フロント表示画面５１Ｓ、と称し、第１サイドカメラ３２で撮影された第１サイド画像が表示される左フラットパネルディスプレイ５２の表示画面５２Ｓを適宜、第１サイド表示画面５２Ｓ、と称し、第２サイドカメラ３３で撮影された第２サイド画像が表示される右フラットパネルディスプレイ５３の表示画面５３Ｓを適宜、第２サイド表示画面５３Ｓ、と称する。

また、以下の説明においては、アップサイドカメラ３４で撮影されたアップサイド画像が表示される上フラットパネルディスプレイ５４の表示画面５４Ｓを適宜、アップサイド表示画面５４Ｓ、と称し、ローサイドカメラ３５で撮影されたローサイド画像が表示される下フラットパネルディスプレイ５５の表示画面５５Ｓを適宜、ローサイド表示画面５５Ｓ、と称する。

また、第１サイド画像が表示される第１サイド表示画面５２Ｓ及び第２サイド画像が表示される第２サイド表示画面５３Ｓを適宜、サイドカメラ３２３で撮影されたサイド画像が表示されるサイド表示画面５２３Ｓ、と総称する。サイド表示画面５２３Ｓは、フロント表示画面５１Ｓの右側の一端部及び左側の他端部のそれぞれに並んで設けられている。

図５に示すように、第１サイド表示画面５２Ｓは、フロント表示画面５１Ｓの左側の一端部に隣接する。第２サイド表示画面５３Ｓは、フロント表示画面５１Ｓの右側の他端部に並んで設けられている。

図５に示すように、アップサイド表示画面５４Ｓは、フロント表示画面５１Ｓの上側の一端部に隣接する。ローサイド表示画面５５Ｓは、フロント表示画面５１Ｓの下側の他端部に並んで設けられている。

フロント表示画面５１Ｓと第１サイド表示画面５２Ｓとがなす角度は、９０度よりも大きく１８０度よりも小さい。すなわち、第１サイド表示画面５２Ｓは、操縦シート４５に着座した操作者に向けられている。同様に、フロント表示画面５１Ｓと第２サイド表示画面５３Ｓとがなす角度は、９０度よりも大きく１８０度よりも小さく、第２サイド表示画面５３Ｓは、操縦シート４５に着座した操作者に向けられている。

また、フロント表示画面５１Ｓとアップサイド表示画面５４Ｓとがなす角度は、９０度よりも大きく１８０度よりも小さい。すなわち、アップサイド表示画面５４Ｓは、操縦シート４５に着座した操作者に向けられている。同様に、フロント表示画面５１Ｓとローサイド表示画面５５Ｓとがなす角度は、９０度よりも大きく１８０度よりも小さく、ローサイド表示画面５５Ｓは、操縦シート４５に着座した操作者に向けられている。

このように、表示装置５０のフロント表示画面５１Ｓ、第１サイド表示画面５２Ｓ、第２サイド表示画面５３Ｓ、アップサイド表示画面５４Ｓ、及びローサイド表示画面５５Ｓが、遠隔操作施設において操作者が着座する操縦シート４５を囲むように配置される。そのため、遠隔操作施設に存在する操作者は、表示装置５０に表示される画像を見て、油圧ショベル１の運転席に実際に搭乗している感覚を得ることができる。

また、フロント表示画面５１Ｓに表示されるフロント画像は、油圧ショベル１の運転席に実際に搭乗したときの操作者の前方向の視界に相当する。第１サイド表示画面５１Ｓに表示される第１サイド画像は、油圧ショベル１の運転席に実際に搭乗したときの操作者の左方向の視界に相当する。第２サイド表示画面５２Ｓに表示される第２サイド画像は、油圧ショベル１の運転席に実際に搭乗したときの操作者の右方向の視界に相当する。アップサイド表示画面５４Ｓに表示されるアップサイド画像は、油圧ショベル１の運転席に実際に搭乗したときの操作者の前方向の斜め上方向の視界に相当する。ローサイド表示画面５５Ｓに表示されるローサイド画像は、油圧ショベル１の運転席に実際に搭乗したときの操作者の前方向の斜め下方向の視界に相当する。操作者の前方向の視界、左方向の視界、右方向の視界、前方向の斜め上方向の視界、及び前方向の斜め下方向の視界のそれぞれに相当する画像が表示装置５０に表示されることにより、遠隔操作施設に存在する操作者は、油圧ショベル１の運転席に実際に搭乗している感覚を得ることができる。これにより、遠隔操作の操作性が向上する。

図５に示すように、フロント表示画面５１Ｓに表示されるフロント画像は、作業機４のアーム７及び掘削対象を掘削する作業機４のバケット８を含む。操作者は、フロント表示画面５１Ｓに表示されるフロント画像を見ることによって、バケット８による掘削状況、及びアーム７の作動状況を認識することができる。

また、図５に示すように、旋回体３の前方向に掘削対象５００が位置付けられ、フロント画像として掘削対象５００及びバケット８がフロント表示画面５１Ｓに表示されている状態で、第１サイド表示画面５２Ｓには、第１サイド画像として、作業機４により掘削された掘削物が積み込まれる運搬車両であるダンプトラック７０が表示される。操作者は、第１サイド表示画面５２Ｓに表示される第１サイド画像を見ることによって、作業機４による掘削動作を実施しながら、ダンプトラック７０の存在を認識することができる。また、操作者は、フロント表示画面５１Ｓに掘削対象５００が表示されている状態で掘削動作が終了した後、旋回体３を左旋回させる前に、第１サイド表示画面５２Ｓを見て、ダンプトラック７０の存在を認識することができる。

９０度旋回掘削積込作業においては、掘削対象５００が局所フロント空間ＦＳＬに位置付けられた状態で、ダンプトラック７０が第１局所サイド空間ＳＳ１Ｌに位置付けられる場合が多い。図５に示すように、第１サイド表示画面５２Ｓに表示される第１サイド画像は、旋回軸Ｚｒに対して第１横方向（＋Ｙｍ方向）の第１局所サイド空間ＳＳ１Ｌの画像を少なくとも含む。そのため、操作者は、第１サイド表示画面５２Ｓに表示される第１サイド画像を見ることによって、作業機４による掘削動作を実施しながら、第１局所サイド空間ＳＳ１Ｌに位置付けられているダンプトラック７０の存在を認識することができる。

また、図５に示すように、第２サイド表示画面５３Ｓに表示される第２サイド画像は、作業機４のブーム６を含む。操作者は、第２サイド表示画面５３Ｓに表示される第２サイド画像を見ることによって、ブーム６の作動状況を認識することができる。また、操作者は、フロント表示画面５１Ｓに表示されるフロント画像及び第２サイド表示画面５３Ｓに表示される第２サイド画像を見ることによって、バケット８とアーム７とブーム６との相対位置を認識することができる。

また、旋回体３の前方向にダンプトラック７０が位置付けられ、フロント画像としてダンプトラック７０がフロント表示画面５１Ｓに表示されている状態で、第２サイド表示画面５３Ｓには、第２サイド画像として、掘削対象５００が表示される。操作者は、第２サイド表示画面５３Ｓに表示される第２サイド画像を見ることによって、作業機４による積込動作を実施しながら、掘削対象５００を認識することができる。また、操作者は、フロント表示画面５１Ｓにダンプトラック７０が表示されている状態で積込動作が終了した後、旋回体３を右旋回させる前に、第２サイド表示画面５３Ｓを見て、掘削対象５００を認識することができる。

また、図５に示すように、アップサイド表示画面５４Ｓに表示されるアップサイド画像は、作業機４の上端部を含む。操作者は、アップサイド表示画面５４Ｓに表示されるアップサイド画像を見ることによって、作業機４の上端部の位置を認識することができる。作業機４の上端部を含むアップサイド空間の状況を認識することによって、アップサイド空間に障害物が存在する場合、操作者は、作業機４と障害物とが接触しないように、作業機４を操作することができる。

また、図５に示すように、ローサイド表示画面５５Ｓに表示されるローサイド画像は、掘削対象を掘削する作業機４のバケット８と走行体２との間の地面、及び走行体２の一部を含む。操作者は、ローサイド表示画面５５Ｓに表示されるローサイド画像を見ることによって、バケット８と走行体２との間の地面の状況を認識することができる。地面を含むローサイド空間の状況を認識することによって、ローサイド空間に障害物が存在する場合、操作者は、走行体２と障害物とが接触しないように、走行体２を操作することができる。

［表示システム］
図６は、本実施形態に係る表示システム２００の一例を示す機能ブロック図である。図６に示すように、表示システム２００は、遠隔操作施設に設けられた表示装置５０と、制御装置６０とを有する。

制御装置６０は、コンピュータシステムを含む。制御装置６０は、ＣＰＵ（Central Processing Unit）のようなプロセッサを含む演算処理装置と、ＲＡＭ（Random Access Memory）のような揮発性メモリ及びＲＯＭ（Read Only Memory）のような不揮発性メモリを含む記憶装置と、入出力インターフェースとを有する。

撮像装置３０で撮影された作業現場の画像は、通信システム４００を介して制御装置６０に送信される。

制御装置６０は、画像データ取得部６１と、表示制御部６２と、記憶部６３と、入出力部６４とを有する。

画像データ取得部６１は、油圧ショベル１に搭載された撮像装置３０で同時に撮影された、旋回軸Ｚｒに対して前方向の局所フロント空間ＦＳＬの画像を少なくとも含む旋回体３の前方向のフロント画像と、旋回軸Ｚｒに対して前方向と直交する横方向の局所サイド空間の画像を少なくとも含む旋回体３の横方向のサイド画像とを、通信システム４００を介して撮像装置３０から取得する。

フロントカメラ３１及びサイドカメラ３２３を含む撮像装置３０で同時に撮影されたフロント画像及びサイド画像が撮像装置３０から通信システム４００を介して画像データ取得部６１に同時に送信される。フロント画像及びサイド画像は、規定のサンプリング周期で画像データ取得部６１に送信される。画像データ取得部６１は、同時に撮影され、規定のサンプリング周期で同期して撮像装置３０から送信されるフロント画像及びサイド画像を同時に取得する。

本実施形態において、画像データ取得部６１は、旋回軸Ｚｒに対して前方向の局所フロント空間ＦＳＬの画像を少なくとも含む旋回体３の前方向のフロント画像と、前方向と直交し旋回軸Ｚｒに対して第１横方向の第１局所サイド空間ＳＳ１Ｌの画像を少なくとも含む旋回体３の第１横方向の第１サイド画像と、前方向と直交し旋回軸Ｚｒに対して第１横方向とは反対の第２横方向の第２局所サイド空間ＳＳ２Ｌの画像を少なくとも含む旋回体３の第２横方向の第２サイド画像と、旋回体３の前方向の斜め上方向のアップサイド画像と、旋回体３の前方の斜め下方向のローサイド画像とを同時に取得する。

表示制御部６２は、画像データ取得部６１で同時に取得されたフロント画像及びサイド画像を、表示装置５０のフロント表示画面５１Ｓ及びサイド表示画面５２３Ｓに同時に表示させる。

本実施形態において、表示制御部６２は、画像データ取得部６１で取得されたフロント画像、第１サイド画像、第２サイド画像、アップサイド画像、及びローサイド画像を、表示装置５０に同時に表示させる。

表示制御部６２は、フロントカメラ３１で撮影されたフロント画像をフロント表示画面５１Ｓに表示させ、第１サイドカメラ３２で撮影された第１サイド画像を第１サイド表示画面５２Ｓに表示させ、第２サイドカメラ３３で撮影された第２サイド画像を第２サイド表示画面５３Ｓに表示させる。

また、表示制御部６２は、アップサイドカメラ３４で撮影されたアップサイド画像をアップサイド表示画面５４Ｓに表示させ、ローサイドカメラ３５で撮影されたローサイド画像をローサイド表示画面５５Ｓに表示させる。

表示制御部６２は、画像データ取得部６１で取得されたフロント画像、第１サイド画像、第２サイド画像、アップサイド画像、及びローサイド画像を、表示装置５０のフロント表示画面５１Ｓ、フロント表示画面５１Ｓの一端部に隣接する表示装置５０の第１サイド表示画面５２Ｓ、フロント表示画面５１Ｓの他端部に隣接する表示装置５０の第２サイド表示画面５３Ｓ、フロント表示画面５１Ｓの上端部に隣接する表示装置５０のアップサイド表示画面５４Ｓ、及びフロント表示画面５１Ｓの下端部に隣接する表示装置５０のローサイド表示画面５５Ｓに同時に表示させる。

［表示方法］
図７は、本実施形態に係る表示システム２００による表示方法の一例を示すフローチャートである。図７に示す表示方法の処理は、規定のサンプリング周期で実施される。

撮像装置３０及び油圧ショベル１が起動され、表示システム２００を含む遠隔操作システム１００が起動されると、複数の撮像装置３０（３１，３２，３３，３４，３５）は、作業現場に存在する対象を同時に撮影する（ステップＳＰ１）。

油圧ショベル１の制御装置３００は、複数の撮像装置３０のそれぞれで撮影された複数の画像（フロント画像、第１サイド画像、第２サイド画像、アップサイド画像、ローサイド画像）を、通信システム４００を介して、表示システム２００の制御装置６０に同時に送信する（ステップＳＰ２）。

制御装置６０の画像データ取得部６１は、油圧ショベル１から送信された複数の画像を同時に取得する（ステップＳＰ３）。

表示制御部６２は、画像データ取得部６１で取得された複数の画像を表示装置５０に同時に表示させる（ステップＳＰ４）。表示制御部６２は、フロントカメラ３１から送信されたフロント画像をフロント表示画面５１Ｓに表示させる処理と、第１サイドカメラ３２から送信された第１サイド画像を第１サイド表示画面５２Ｓに表示させる処理と、第２サイドカメラ３３から送信された第３サイド画像を第３サイド表示画面５３Ｓに表示させる処理と、アップサイドカメラ３４から送信されたアップサイド画像をアップサイド表示画面５４Ｓに表示させる処理と、ローサイドカメラ３５から送信されたローサイド画像をローサイド表示画面５５Ｓに表示させる処理と、を同時に実施する。

［９０度旋回掘削積込作業］
次に、本実施形態に係る油圧ショベル１の動作の一例について説明する。図８は、本実施形態に係る油圧ショベル１の動作の一例を説明するための模式図である。図８は、油圧ショベル１を上方向から見た模式図である。図４を参照して説明したように、フロントカメラ３１は、視野角θ１に基づいて規定される撮影領域を撮影する。第１サイドカメラ３２は、視野角θ２に基づいて規定される撮影領域を撮影する。第２サイドカメラ３３は、視野角θ３に基づいて規定される撮影領域を撮影する。

図８は、油圧ショベル１が９０度旋回掘削積込作業を実施する例を示す。９０度旋回掘削積込作業とは、旋回体３の前方向に存在する掘削対象５００を作業機４で掘削してバケット８で掘削物を保持した後、旋回軸Ｚｒを中心に旋回体３を規定方向に実質的に９０度旋回させて、バケット８に保持されている掘削物を運搬車両であるダンプトラック７０の荷台に積み込む作業をいう。掘削物がダンプトラック７０の荷台に積み込まれた後、旋回体３の前方向に掘削対象が位置付けられるように旋回軸Ｚｒを中心に旋回体３を規定方向の逆方向に実質的に９０度旋回させ、掘削対象５００を作業機４で掘削する作業が再度実施される。本実施形態において、規定方向の旋回体３の旋回は、左旋回であり、規定方向の逆方向の旋回体３の旋回は、右旋回である。旋回体３は、旋回を停止した状態から左旋回又は右旋回を開始する。

例えばダンプトラック７０の荷台が満載になるまで、掘削対象５００を作業機４で掘削する動作、旋回体３を規定方向に９０度旋回（左旋回）させる動作、掘削物をダンプトラック７０の荷台に積み込む動作、及び旋回体３を逆方向に９０度旋回（右旋回）させる動作が繰り返される。９０度旋回掘削積込作業においては、走行体２は実質的に作動せず、作業機４及び旋回体３が作動する。なお、例えば掘削位置の調整のために、９０度旋回掘削積込作業の一部において走行体２が作動してもよい。

図８に示すように、９０度旋回掘削積込作業においては、旋回体３の旋回軸Ｚｒに対して前方向（＋Ｘｍ方向）に掘削対象５００が位置付けられ、旋回体３の旋回軸Ｚｒに対して第１横方向（＋Ｙｍ方向）にダンプトラック７０が位置付けられる。旋回体３の旋回軸Ｚｒに対して前方向（＋Ｘｍ方向）に掘削対象５００が位置付けられた状態で、掘削対象５００の掘削位置Ｐａにバケット８が位置付けられる。油圧ショベル１は、掘削対象５００の掘削位置Ｐａにおいて作業機４のバケット８を用いて掘削対象５００を掘削する。掘削対象５００の掘削位置Ｐａにおいて作業機４が掘削対象５００を掘削した後、旋回体３は、掘削位置Ｐａで掘削した作業機４がダンプトラック７０の荷台に規定されている積込位置Ｐｂに配置されるように、規定方向に９０度旋回（左旋回）する。作業機４のバケット８が積込位置Ｐｂに位置付けられた後、油圧ショベル１は、積込位置Ｐｂにおいてバケット８に保持されている掘削物をバケット８からダンプする。これにより、積込位置Ｐｂに掘削物が積み込まれる。

積込位置Ｐｂは、掘削動作の終了後、左旋回する旋回体３を停止させる目標位置を示す目標停止位置を含む。掘削位置Ｐａは、積込動作の終了後、右旋回する旋回体３を停止させる目標位置を示す目標停止位置を含む。

図８に示すように、規定方向への旋回体３の旋回（左旋回）が開始される前の旋回体３が停止した状態において、掘削位置Ｐａが旋回体３の旋回軸Ｚｒに対して前方向（＋Ｘｍ方向）に位置するとき、積込位置Ｐｂは旋回体３の旋回軸Ｚｒに対して第１横方向（＋Ｙｍ方向）に位置する。すなわち、掘削対象５００が旋回軸Ｚｒに対して前方向の局所フロント空間ＦＳＬに位置付けられるとき、旋回軸Ｚｒに対して第１横方向の第１局所サイド空間ＳＳ１Ｌに規定される積込位置Ｐｂにダンプトラック７０が位置付けられる。これにより、９０度旋回掘削積込作業は円滑に実施される。

図５に示すように、旋回軸Ｚｒに対して前方向の掘削位置Ｐａにおいて作業機４による掘削動作が実施されているとき、表示装置５０のフロント表示画面５１Ｓには、フロント画像として、掘削位置Ｐａにおいて掘削動作を実施する作業機４が表示される。また、掘削位置Ｐａにおいて作業機４による掘削動作が実施されているとき、表示装置５０の第１サイド表示画面５２Ｓには、第１サイド画像として、旋回軸Ｚｒに対して第１横方向の積込位置Ｐｂに配置されているダンプトラック７０が表示される。すなわち、掘削位置Ｐａが旋回体３の旋回軸Ｚｒに対して前方向に位置付けられ、旋回体３が停止した状態において、第１サイド画像として、旋回体３の左旋回における目標停止位置である積込位置Ｐｂが表示装置５０に表示される。

遠隔操作により９０度旋回掘削積込作業を実施する場合において、旋回体３の旋回軸Ｚｒに対して前方向に掘削対象５００の掘削位置Ｐａが位置付けられているときに、旋回体３の旋回軸Ｚｒに対して第１横方向の積込位置Ｐｂに位置付けられているダンプトラック７０の画像が表示装置５０に表示されず、旋回体３の旋回の開始後に、積込位置Ｐｂに位置付けられているダンプトラック２の画像が表示装置５０に急に現れると、操作者は、違和感を抱く可能性がある。また、旋回体３の旋回軸Ｚｒに対して前方向に掘削対象５００の掘削位置Ｐａが位置付けられているときに、旋回体３の旋回軸Ｚｒに対して第１横方向の積込位置Ｐｂに位置付けられているダンプトラック７０の画像が表示装置５０に表示されないと、旋回体３の旋回における目標停止位置が分からないため、操作者は、旋回体３を旋回させることに不安感を抱く可能性がある。操作者が違和感又は不安感を抱くと、旋回体３を低速で旋回させるように遠隔操作装置４０が操作される可能性が高くなる。旋回体３の旋回が低速になると、作業効率の低下がもたらされる。

本実施形態においては、旋回体３の旋回軸Ｚｒに対して前方向の画像を少なくとも含むフロント画像及び旋回体３の旋回軸Ｚｒに対して第１横方向の画像を少なくとも含む第１サイド画像が撮像装置３０によって同時に撮影される。また、撮像装置３０によって撮影されたフロント画像及び旋回体３の左旋回における目標停止位置を含む第１サイド画像が表示装置５０に同時に表示される。これにより、旋回体３の旋回軸Ｚｒに対して前方向に掘削対象５００の掘削位置Ｐａが位置付けられているときに、旋回体３の旋回軸Ｚｒに対して第１横方向に規定される積込位置Ｐｂに位置付けられているダンプトラック７０の画像が表示装置５０に表示される。したがって、操作者は、旋回体３の旋回における目標停止位置を視認することができるため、違和感又は不安感を抱くことなく、油圧ショベル１を快適に遠隔操作することができる。掘削位置Ｐａと積込位置Ｐｂとが同時に表示装置５０に表示され、違和感又は不安感を抱くことが抑制されるため、操作者は、掘削位置Ｐａにおける掘削動作が終了した後、旋回体３が高速で旋回するように、遠隔操作装置４０を操作することができる。したがって、作業効率の低下が抑制される。

［評価試験］
図９は、本実施形態に係る表示システム２００の評価試験の結果を示す図である。評価試験において、異なる３つの作業条件で９０度旋回掘削積込作業を実施した。

第１の作業条件は、油圧ショベル１の運転室に搭乗した操作者が油圧ショベル１の運転室に設けられている操作装置を操作して、９０度旋回掘削積込作業を実施する作業条件である。すなわち、第１の作業条件においては、油圧ショベル１は遠隔操作されない。

第２の作業条件は、油圧ショベル１が遠隔操作されるものの、遠隔操作室の表示装置５０には掘削位置Ｐａと積込位置Ｐｂとが同時に表示されない作業条件である。すなわち、第２の作業条件においては、旋回体３の旋回軸Ｚｒに対して前方向に掘削対象５００の掘削位置Ｐａが位置付けられているときに、ダンプトラック７０の画像が表示装置５０に表示されない。第２の作業条件で使用される旋回体３に対する撮像装置３０の設置状態は、上述の実施形態で説明した撮像装置３０の設置状態と同様であり、フロントカメラ３１の光学系の光軸Ｄ１がＸｍ軸と平行であり、第１サイドカメラ３２の光学系の光軸Ｄ２がＹｍ軸と平行であり、第２サイドカメラ３３の光学系の光軸Ｄ３がＹｍ軸と平行である。第２の作業条件で使用された撮像装置３０（フロントカメラ３１、第１サイドカメラ３２、第２サイドカメラ３３）の光学系の視野角はそれぞれ、６０度である。

第３の作業条件は、本実施形態に係る作業条件である。すなわち、油圧ショベル１の遠隔操作において、遠隔操作施設に存在する表示装置５０には掘削位置Ｐａと積込位置Ｐｂとが同時に表示される。第３の作業条件においては、旋回体３の旋回軸Ｚｒに対して前方向に掘削対象５００の掘削位置Ｐａが位置付けられているときに、旋回体３の旋回軸Ｚｒに対して第１横方向に規定される積込位置Ｐｂに位置付けられているダンプトラック７０の画像が表示装置５０に表示される。第３の作業条件で使用された撮像装置３０の視野角は、９０度である。

３つの作業条件のそれぞれにおいて、９０度旋回掘削積込作業を開始してからダンプトラック７０の荷台が満載になるまでに要した作業時間を計測した。図９は、３つの作業条件のそれぞれにおいて要した作業時間を示すヒストグラムである。図９に示すように、第３の作業条件に基づく作業時間は、第２の作業条件に基づく作業時間よりも短いことが確認できた。上述のように、旋回体３の前方向に掘削対象５００の掘削位置Ｐａが位置付けられているときに、ダンプトラック７０の画像が表示装置５０に表示されることにより、操作者は、旋回体３が高速で左旋回するように、遠隔操作装置４０を操作することができる。旋回体３が高速で左旋回されるため、第３の作業条件に基づく作業時間は、第２の作業条件に基づく作業時間よりも短くなることが確認できる。本評価試験においては、第２の作業条件に基づく作業時間に比べて、第３の作業条件に基づく作業時間は、第１の作業条件に基づく作業時間と第２の作業条件に基づく作業時間との差の約３０［％］低減される効果を得ることができた。

［効果］
以上説明したように、本実施形態によれば、油圧ショベル１に搭載された撮像装置３０で同時に撮影されたフロント画像及びサイド画像が油圧ショベル１の外部に存在する表示装置５０に同時に表示させる。したがって、油圧ショベル１を遠隔操作する操作者は、違和感又は不安感を抱くことなく、油圧ショベル１を快適に遠隔操作することができる。したがって、作業効率の低下が抑制される。

また、本実施形態によれば、旋回体３は、掘削位置Ｐａで掘削した作業機４が積込位置Ｐｂに配置されるように左旋回し、旋回体３が停止した状態において、掘削位置Ｐａが旋回軸Ｚｒに対して前方向に位置するとき、積込位置Ｐｂは旋回軸Ｚｒに対して第１横方向に位置する。９０度掘削旋回積込作業においては、旋回軸Ｚｒに対して前方向の局所フロント空間ＦＳＬに掘削対象５００の積込位置Ｐａが位置付けられた状態において、旋回軸Ｚｒに対して第１横方向に規定される積込位置Ｐｂにダンプトラック７０が位置付けられる場合が多い。本実施形態においては、９０度旋回掘削積込作業において、旋回軸Ｚｒに対して前方向に位置付けられる掘削位置Ｐａ（掘削対象５００）と旋回軸Ｚｒに対して第１横方向に位置付けられる積込位置Ｐｂ（ダンプトラック７００）とが同時に表示装置５０に表示される。そのため、操作者が違和感又は不安感を抱くことが抑制される。

左旋回の開始時に、掘削位置Ｐａと旋回体３の左旋回における目標停止位置である積込位置Ｐｂとが表示装置５０に同時に表示され、旋回体３の左旋回における目標停止位置を視認することができるので、操作者は、掘削位置Ｐａにおける掘削動作を終了した後、旋回体３が高速で左旋回するように、遠隔操作装置４０を操作することができる。したがって、作業効率の低下が抑制される。

また、本実施形態によれば、旋回軸Ｚｒに対して前方向の局所フロント空間ＦＳＬの画像を少なくとも含むフロント画像がフロント表示画面５１Ｓに表示され、旋回軸Ｚｒに対して第１横方向の第１局所サイド空間ＳＳ１Ｌの画像を少なくとも含む第１サイド画像が第１サイド表示画面５２Ｓに表示される。これにより、遠隔操作施設に存在する操作者は、油圧ショベル１の運転席に実際に搭乗している感覚を得ることができる。フロント表示画面５１Ｓに表示されるフロント画像は、油圧ショベル１の運転席に実際に搭乗したときの操作者の前方向の視界に相当する。第１サイド表示画面５２Ｓに表示される第１サイド画像は、油圧ショベル１の運転席に実際に搭乗したときの操作者の左方向の視界に相当する。油圧ショベル１の運転席に実際に搭乗した操作者の前方向の視界及び左方向の視界のそれぞれに相当する画像が表示装置５０に表示されることにより、遠隔操作施設に存在する操作者は、油圧ショベル１の運転席に実際に搭乗している感覚を得ることができる。これにより、遠隔操作の操作性が向上する。

また、本実施形態によれば、第１サイド画像が旋回軸Ｚｒに対して第１横方向の第１局所サイド空間ＳＳ１Ｌの画像を少なくとも含むことにより、遠隔操作の操作性が向上する。油圧ショベル１の運転席に実際に操作者が搭乗する場合、旋回軸Ｚｒに対して前方向に掘削対象５００が存在する状態で、操作者は、頭の向きを変えるだけで、旋回軸Ｚｒに対して第１横方向に存在するダンプトラック７０を視認することができる。一方、遠隔操作施設に操作者が存在する場合、操作者は、第１局所サイド空間ＳＳ１Ｌの画像が表示装置５０に表示されていないと、たとえ頭の向きを変えたとしても、旋回軸Ｚｒに対して第１横方向の第１局所サイド空間ＳＳ１Ｌに存在するダンプトラック７０を視認することはできない。

本実施形態においては、第１サイドカメラ３２の光学系の撮影領域に少なくとも第１局所サイド空間ＳＳ１Ｌが配置されるように、旋回体３に対する第１サイドカメラ３２の設置状態及び第１サイドカメラ３２の光学系の視野角θ２が規定され、第１局所サイド空間ＳＳ１Ｌの画像を少なくとも含む第１サイド画像が表示装置５０に表示される。そのため、操作者は、表示装置５０を見ることにより、旋回軸Ｚｒに対して第１横方向の第１局所サイド空間ＳＳ１Ｌに存在するダンプトラック７０を視認することができる。これにより、遠隔操作の操作性が向上する。

また、本実施形態においては、フロント画像は、作業機４の先端部を含む旋回体３のフロント空間の画像である。そのため、操作者は、フロント画像を見て、作業機４の先端部に設けられているバケット８による掘削状況を認識することができる。また、第１サイド画像は、作業機４を含まない旋回体３の第１サイド空間の画像である。そのため、第１サイド空間にダンプトラック７０が存在する場合、操作者は、第１サイド画像を見て、作業機４に遮られることなく、ダンプトラック７０の存在を円滑に認識することができる。

また、本実施形態によれば、画像データ取得部６１は、旋回軸Ｚｒに対して第１横方向とは反対の旋回体３の第２横方向の第２サイド画像を撮像装置３０から取得する。表示制御部６２は、画像データ取得部６１で取得されたフロント画像、第１サイド画像、及び第２サイド画像を表示装置５０に同時に表示させる。フロント画像と第２サイド画像とが表示装置５０に同時に表示されることにより、９０度旋回掘削積込作業において、操作者が違和感又は不安感を抱くことがより一層抑制される。９０度掘削旋回積込作業においては、旋回軸Ｚｒに対して前方向の局所フロント空間ＦＳＬにダンプトラック７０が位置付けられた状態において、旋回軸Ｚｒに対して第２横方向の第２局所サイド空間ＳＳ２Ｌに掘削対象５００が位置付けられる。すなわち、積込位置Ｐｂが旋回体３の旋回軸Ｚｒに対して前方向に位置付けられ、旋回体３が停止した状態において、第２サイド画像として、旋回体３の右旋回における目標停止位置である掘削位置Ｐａが表示装置５０に表示される。

本実施形態においては、９０度旋回掘削積込作業において、旋回軸Ｚｒに対して前方向に位置付けられるダンプトラック７０（積込位置Ｐｂ）と旋回軸Ｚｒに対して第２横方向に位置付けられる掘削対象５００（掘削位置Ｐａ）とが同時に表示装置５０に表示される。そのため、操作者は、旋回軸Ｚｒの前方向にダンプトラック７０が位置付けられた状態で積込動作を終了した後、旋回体３を右旋回させる前に、表示装置５０を見て掘削対象５００を視認することができる。

右旋回の開始時に、積込位置Ｐｂと旋回体３の右旋回における目標停止位置である掘削位置Ｐａとが表示装置５０に同時に表示され、旋回体３の右旋回における目標停止位置を視認することができるので、操作者は、違和感又は不安感を抱くことなく、旋回体３の旋回軸Ｚｒに対して前方向に掘削位置Ｐａが位置付けられるように、遠隔操作装置４０を操作して、旋回体３を高速で右旋回させることができる。したがって、作業効率の低下が抑制される。

また、本実施形態によれば、旋回軸Ｚｒに対して前方向の局所フロント空間ＦＳＬの画像を少なくとも含むフロント画像がフロント表示画面５１Ｓに表示され、旋回軸Ｚｒに対して第２横方向の第２局所サイド空間ＳＳ２Ｌの画像を少なくとも含む第２サイド画像が第２サイド表示画面５３Ｓに表示される。これにより、遠隔操作施設に存在する操作者は、油圧ショベル１の運転席に実際に搭乗している感覚を得ることができる。第２サイド表示画面５３Ｓに表示される第２サイド画像は、油圧ショベル１の運転席に実際に搭乗したときの操作者の右方向の視界に相当する。油圧ショベル１の運転席に実際に搭乗した操作者の前方向の視界、左方向の視界、及び右方向の視界のそれぞれに相当する画像が表示装置５０に表示されることにより、遠隔操作施設に存在する操作者は、油圧ショベル１の運転席に実際に搭乗している感覚を得ることができる。これにより、遠隔操作の操作性が向上する。

また、第２サイド画像は、作業機４の基端部を含む旋回体３の第２サイド空間の画像である。これにより、操作者は、第２サイド画像を見て、ブーム６の作動状況を認識することができる。また、操作者は、フロント画像及び第２サイド画像を見て、バケット８とアーム７とブーム６との相対位置を認識することができる。

また、本実施形態によれば、撮像装置３０は、前方向を撮影するフロントカメラ３１と、横方向を撮影するサイドカメラ３２３と、を含む。表示装置５０は、フロント表示画面５１Ｓと、フロント表示画面５１Ｓの端部に隣接するサイド表示画面５２３Ｓと、を含む。表示制御部６２は、フロントカメラ３１で撮影されたフロント画像をフロント表示画面５１Ｓに表示させ、サイドカメラ３２３で撮影されたサイド画像をサイド表示画面５２３Ｓに表示させる。これにより、高度な画像処理を実施することなく、作業現場の状況を示す画像を表示装置５０に表示させることができる。

また、本実施形態によれば、旋回体３の旋回軸Ｚｒと直交する所定面内において、フロントカメラ３１の光学系の光軸Ｄ１と第１サイドカメラ３２の光学系の光軸Ｄ２とは直交する。また、旋回体３の旋回軸Ｚｒと直交する所定面内において、フロントカメラ３１の光学系の光軸Ｄ１と第２サイドカメラ３３の光学系の光軸Ｄ３とは直交する。これにより、サイドカメラ３２３は、旋回体３の旋回軸Ｚｒに対して斜め後方向の画像を取得することができる。表示装置５０は、広範囲に亘って、油圧ショベル１の周囲の状況を表示することができる。

また、本実施形態によれば、フロントカメラ３１の光学系の視野角θ１、第１サイドカメラ３２の光学系の視野角θ２、及び第２サイドカメラ３３の光学系の視野角θ３のそれぞれは、７０度以上１００度以下である。７０度より狭いと、たとえば第１サイド画像が第１局所サイド空間ＳＳ１Ｌをカバーできない可能性があり、つまり積込位置であるダンプトラックを視認することができない可能性がある。また、１００度より広いと、たとえば第１サイド画像が広範囲を表示するため、縮小して表示するため見にくくなったり大きなディスプレイが必要になったりしてしまう。フロントカメラ３１の光学系及びサイドカメラ３２３の光学系として、広角レンズが採用されることにより、表示装置５０は、広範囲に亘って、油圧ショベル１の周囲の状況を表示することができる。

第２実施形態．
第２実施形態について説明する。以下の説明において、上述の実施形態と同一又は同等の構成要素については同一の符号を付し、その説明を簡略又は省略する。

上述の実施形態においては、旋回軸Ｚｒと直交する所定面内において、光軸Ｄ１と光軸Ｄ２とが直交し、光軸Ｄ１と光軸Ｄ３とが直交することとした。旋回軸Ｚｒと直交する所定面内において、光軸Ｄ１と光軸Ｄ２とは直交しなくてもよいし、光軸Ｄ１と光軸Ｄ３とは直交しなくてもよい。また、視野角θ１、視野角θ２、及び視野角θ３の少なくとも一つが９０度よりも小さくてもよいし、９０度よりも大きくてもよい。

図１０は、本実施形態に係る撮像装置３０の撮影領域を説明するための模式図である。

フロント画像が旋回体３の旋回軸Ｚｒに対して前方向（＋Ｘｍ方向）の局所フロント空間ＦＳＬの画像を少なくとも含むように、旋回体３に対するフロントカメラ３１の設置状態及びフロントカメラ３１の光学系の視野角θ１が規定される。

また、第１サイド画像が旋回体３の旋回軸Ｚｒに対して第１横方向（＋Ｙｍ方向）の第１局所サイド空間ＳＳ１Ｌの画像を少なくとも含むように、旋回体３に対する第１サイドカメラ３２の設置状態及び第１サイドカメラ３２の光学系の視野角θ２が規定される。

また、第２サイド画像が旋回体３の旋回軸Ｚｒに対して第２横方向（−Ｙｍ方向）の第２局所サイド空間ＳＳ２Ｌの画像を少なくとも含むように、旋回体３に対する第２サイドカメラ３３の設置状態及び第２サイドカメラ３３の光学系の視野角θ３が規定される。

図１０に示す例において、フロントカメラ３１の視野角θ１、第１サイドカメラ３２の視野角θ２、及び第２サイドカメラ３２の視野角θ３のそれぞれは、９０度よりも小さい。視野角θ１、視野角θ２、及びθ３のそれぞれは、例えば７０度である。

フロントカメラ３１の光学系の光軸Ｄ１は、Ｘｍ軸と実質的に平行である。Ｚｍ軸と直交する所定面内において、フロントカメラ３１の光学系の光軸Ｄ１と第１サイドカメラ３２の光学系の光軸Ｄ２とがなす角度は、９０度よりも小さい。Ｚｍ軸と直交する所定面内において、フロントカメラ３１の光学系の光軸Ｄ１と第２サイドカメラ３３の光学系の光軸Ｄ３とがなす角度は、９０度よりも小さい。光軸Ｄ１と光軸Ｄ２とがなす角度は、例えば６７度である。光軸Ｄ１と光軸Ｄ３とがなす角度は、例えば６７度である。

フロントカメラ３１の撮影領域と第１サイドカメラ３２の撮影領域の一部とは、角度θ４の範囲において重複する。フロントカメラ３１の撮影領域と第２サイドカメラ３２の撮影領域の一部とは、角度θ５の範囲において重複する。角度θ４及び角度θ５は、例えば３度である。

フロントカメラ３１で撮影されたフロント画像は、フロント表示画面５１Ｓに表示される。第１サイドカメラ３２で撮影された第１サイド画像は、第１サイド表示画面５２Ｓに表示される。第２サイドカメラ３３で撮影された第２サイド画像は、第２サイド表示画面５３Ｓに表示される。

本実施形態においても、作業機４が掘削位置Ｐａに位置付けられているときに、第１サイド画像は、ダンプトラック７０が位置付けられる第１局所サイド空間ＳＳ１Ｌの画像を少なくとも含む。したがって、９０度旋回掘削積込作業において、操作者は、掘削位置Ｐａにおける掘削動作が終了した後、旋回体３が高速で左旋回するように、遠隔操作装置４０を操作することができる。

また、本実施形態においても、作業機４が積込位置Ｐｂに位置付けられているときに、第２サイド画像は、掘削対象５００が位置付けられる第２局所サイド空間ＳＳ２Ｌの画像を少なくとも含む。したがって、９０度旋回掘削積込作業において、操作者は、積込位置Ｐｂにおける積込動作が終了した後、旋回体３が高速で右旋回するように、遠隔操作装置４０を操作することができる。

また、本実施形態においては、フロントカメラ３１の撮影領域と第１サイドカメラ３２の撮影領域の一部とが重複し、フロントカメラ３１の撮影領域と第２サイドカメラ３２の撮影領域の一部とが重複する。そのため、油圧ショベル１の周囲の空間のうち、第１局所サイド空間ＳＳ１Ｌ及び第２局所サイド空間ＳＳ２Ｌよりも前方向の空間において、撮像装置３０によって撮影されない非撮影空間が生じることが抑制される。

非撮影空間は、表示装置５０に表示されない空間であり、遠隔操作施設に存在する操作者が見ることができない死角の空間である。フロントカメラ３１の撮影領域と第１サイドカメラ３２の撮影領域とが離れていて、非撮影空間が生じてしまうと、表示装置５０に表示されるフロント画像と第１サイド画像との間に不連続部分が生じることとなる。同様に、フロントカメラ３１の撮影領域と第２サイドカメラ３３の撮影領域とが離れていて、非撮影空間が生じてしまうと、表示装置５０に表示されるフロント画像と第２サイド画像との間に不連続部分が生じることとなる。その結果、旋回体３が旋回しているときに表示装置５０を見ている操作者は違和感を覚える可能性がある。

本実施形態においては、フロントカメラ３１の撮影領域と第１サイドカメラ３２の撮影領域の一部とが重複する。そのため、表示装置５０に表示されるフロント画像と第１サイド画像との間に不連続部分が生じることが抑制される。同様に、フロントカメラ３１の撮影領域と第２サイドカメラ３２の撮影領域の一部とが重複する。そのため、表示装置５０に表示されるフロント画像と第２サイド画像との間に不連続部分が生じることが抑制される。したがって、旋回体３が旋回しているときに表示装置５０を見ている操作者が違和感を覚えることが抑制される。

なお、上述の各実施形態においては、フロント画像がフロントカメラ３１によって取得され、サイド画像がサイドカメラ３２３によって取得されることとした。撮像装置３０は、旋回体３の前方向の光学像と旋回体３の第１横方向の光学像とを一括して取得可能な光学系を有してもよい。例えば、光学系として、超広角レンズ又は魚眼レンズが採用されることにより、撮像装置３０は、旋回体３の前方向の光学像と旋回体３の横方向の光学像とを一括して取得可能である。表示制御部６２は、撮像装置３０で撮影された画像を画像処理してフロント画像とサイド画像とに分割して、フロント画像をフロント表示画面５１Ｓに表示させ、サイド画像をサイド表示画面５２３Ｓに表示させてもよい。これにより、油圧ショベル１に搭載する撮像装置３０の台数を低減することができる。

なお、上述の各実施形態においては、フロント画像、第１サイド画像、及び第２サイド画像が取得されることとした。第２サイド画像は取得されなくてもよい。旋回体３が規定方向に９０度旋回する動作と逆方向に９０度旋回する動作とを繰り返して掘削動作と積込み動作とを実施する、所謂、片側積込み方式で作業を実施する場合、第２サイド画像の取得は省略可能である。第２サイド画像が表示装置５０に表示されない場合、操作者は、旋回軸Ｚｒの前方向にダンプトラック７０（積込位置Ｐｂ）が位置付けられた状態で積込動作を終了した後、旋回体３を右旋回させる前に表示装置５０を見ても、掘削対象５００（掘削位置Ｐａ）を視認することができない。しかし、掘削対象５００が例えば地山である場合、旋回体３を勢いよく右旋回させてバケット８と掘削対象５００とがぶつかったとしても、バケット８及び掘削対象５００に及ぼす影響は小さい。そのため、第２サイド画像が表示装置５０に表示されず、旋回体３を右旋回させる前に掘削対象５００が表示装置５０に表示されなくても、操作者は、遠隔操作装置４０を操作して、旋回体３を高速で右旋回させることができる。したがって、作業効率の低下が抑制される。

一方、第１サイド画像が表示装置５０に表示されない場合、操作者は、旋回軸Ｚｒの前方向に掘削対象５００（掘削位置Ｐａ）が位置付けられた状態で掘削動作を終了した後、旋回体３を左旋回させる前に表示装置５０を見ても、ダンプトラック７０（積込位置Ｐｂ）を視認することができない。旋回体３を左旋回させる前に表示装置５０を見てもダンプトラック７０を視認できない場合、旋回体３を勢いよく左旋回させてバケット８とダンプトラック７０とがぶつかってしまうと、作業機４及びダンプトラック７０の少なくとも一方が破損してしまう可能性がある。そのため、第１サイド画像が表示装置５０に表示されない場合、操作者は、旋回体３が低速で左旋回するように遠隔操作装置４０を操作してしまう。この場合、作業効率の低下がもたらされる。本実施形態によれば、第１サイド画像が表示装置５０に表示されることにより、操作者は、掘削動作を終了した後、作業機４とダンプトラック７０との接触を抑制しつつ、旋回体３を高速で左旋回させることができる。したがって、作業効率の低下が抑制される。

一方、第２サイド画像が表示装置５０に表示されることにより、積込動作が終了した後、旋回体３を右旋回させる前に、操作者は、表示装置５０を見て掘削対象５００（掘削位置Ｐａ）を視認することができる。操作者は、第２サイド画像を見ることにより、積込動作を終了した後、違和感又は不安感を抱くことなく、遠隔操作装置４０を操作して旋回体３を高速で右旋回させることができる。したがって、作業効率の低下が抑制される。

また、第１サイド画像及び第２サイド画像の両方が表示装置５０に表示されることにより、操作者は、所謂、両側積込み方式の作業を快適に実施することができる。なお、両側積込み方式の作業とは、旋回体３の前方向に掘削対象５００が位置付けられ、旋回体３の第１横方向に第１ダンプトラックが位置付けられ、旋回体２の第２横方向に第２ダンプトラックが位置付けられた状態で、１台の油圧ショベル１を使って、掘削対象４００を掘削する動作と、旋回体３を左旋回させて第１ダンプトラックに掘削物を積み込む動作と、旋回体３を右旋回させて第２ダンプトラックに掘削物を積み込む動作と、を順次繰り返す作業をいう。両側積込み方式で作業を実施する場合において、フロント画像及び第１サイド画像のみならず、第２サイド画像も表示装置５０に表示されることにより、旋回体３の前方向に掘削対象５００の掘削位置Ｐａが位置付けられているときに、第１ダンプトラックの画像及び第２ダンプトラックの画像の両方表示装置５０に表示される。これにより、操作者は、表示装置５０を見て、快適に両側積込み方式で作業を実施することができる。

なお、上述の各実施形態において、フロント画像及び第２サイド画像が取得され、第１サイド画像が取得されなくてもよい。作業機械１の構造によっては、掘削位置Ｐａが旋回軸Ｚｒに対して前方向に位置付けられた状態で、積込位置Ｐｂが旋回軸Ｚｒに対して第２横方向に位置付けられる可能性がある。その場合、フロント画像及び第２サイド画像が表示装置５０に表示されることにより、操作者は、違和感又は不安感を抱くことなく、遠隔操作装置４０を操作して旋回体３を高速で旋回させることができる。

なお、上述の各実施形態において、サイド表示画面５２３Ｓは、フロント表示画面５１Ｓの端部に隣接することとした。フロント表示画面５１Ｓとサイド表示画面５２３Ｓとは離れていてもよい。

なお、上述の各実施形態においては、表示装置５０が複数画面の例で説明した。表示装置５０は、例えば一つの曲面画面にフロント画像やサイド画像を表示するように構成してもよい。

なお、上述の各実施形態においては、作業機械１が油圧ショベルであることとした。作業機械１は、旋回体及び旋回体に支持される作業機を備えていればよく、油圧ショベルに限定されない。

１…油圧ショベル（作業機械）、２…走行体、２Ａ…履帯、２Ｂ…履帯、３…旋回体、４…作業機、６…ブーム、７…アーム、８…バケット、１０…ブームシリンダ、１１…アームシリンダ、１２…バケットシリンダ、３０…撮像装置、３１…フロントカメラ、３２…第１サイドカメラ、３３…第２サイドカメラ、３４…アップサイドカメラ、３５…ローサイドカメラ、４０…遠隔操作装置、４１…左作業レバー、４２…右作業レバー、４３…左走行レバー、４４…右走行レバー、４５…操縦シート、５０…表示装置、５１…中央フラットパネルディスプレイ、５１Ｓ…フロント表示画面、５２…左フラットパネルディスプレイ、５２Ｓ…第１サイド表示画面、５３…右フラットパネルディスプレイ、５３Ｓ…第２サイド表示画面、５４…上フラットパネルディスプレイ、５４Ｓ…アップサイド表示画面、５５…下フラットパネルディスプレイ、５５Ｓ…ローサイド表示画面、６０…制御装置、６１…画像データ取得部、６２…表示制御部、６３…記憶部、６４…入出力部、７０…ダンプトラック、１００…遠隔操作システム、２００…表示システム、３００…制御装置、４００…通信システム、４０１…無線通信機、５００…掘削対象、Ｐａ…掘削位置、Ｐｂ…積込位置、ＦＳ…フロント空間、ＦＳＬ…局所フロント空間、ＳＳ１…第１サイド空間、ＳＳ１Ｌ…第１局所サイド空間、ＳＳ２…第２サイド空間、ＳＳ２Ｌ…第２局所サイド空間、θ１…視野角、θ２…視野角、θ３…視野角。

Claims (7)

1. 走行体に旋回軸を中心に旋回可能に支持される旋回体及び前記旋回体に支持される作業機を有する作業機械に搭載された撮像装置のフロントカメラで撮影された、前記旋回軸に対して前方向の画像を少なくとも含むフロント画像と、前記撮像装置のサイドカメラで撮影された、前記前方向と直交し前記旋回軸に対して横方向の画像を少なくとも含むサイド画像とを前記撮像装置から取得する画像データ取得部と、
   前記作業機械の外部に存在する表示装置と、
   前記作業機械の外部に存在し、操縦シートに着座した操作者に操作される遠隔操作装置と、
   前記画像データ取得部で取得された前記フロント画像及び前記サイド画像を、表示装置の表示画面に表示させる表示制御部と、を有し、
   前記作業機械は、掘削対象を前記作業機で掘削する掘削作業の後に前記作業機と前記旋回体を作動させて積込対象に掘削物を積み込む旋回掘削積込作業を実施し、
   前記旋回掘削積込作業において、前記サイド画像は前記作業機械の旋回方向の撮像画像と旋回方向とは反対方向の撮像画像を含み、
   前記表示制御部は、前記フロント画像とともに前記サイド画像を前記表示装置に表示させる、
   表示システム。
2. 前記サイドカメラは、前記旋回体の左方向を撮影する第１サイドカメラと、前記旋回体の右方向を撮影する第２サイドカメラとを含む、
   請求項１に記載の表示システム。
3. 前記第２サイドカメラで撮影される第２サイド画像は、前記作業機の画像を含む、
   請求項２に記載の表示システム。
4. 前記フロントカメラの光学系の光軸と前記サイドカメラの光学系の光軸とは、共通の所定面内に配置される、
   請求項１又は請求項３に記載の表示システム。
5. 前記表示装置の表示画面は、フロント表示画面と、第１サイド表示画面と、第２サイド表示画面と、を含み、
   前記フロント表示画面と第１サイド表示画面と第２サイド表示画面とは、前記操縦シートを囲むように配置される、
   請求項１から請求項４のいずれか一項に記載の表示システム。
6. 前記フロント表示画面と前記第１サイド表示画面とがなす角度は、９０度よりも大きく１８０度よりも小さく、
   前記フロント表示画面と前記第２サイド表示画面とがなす角度は、９０度よりも大きく１８０度よりも小さい、
   請求項５に記載の表示システム。
7. 前記表示装置の表示画面に表示される画像は、前記旋回体を支持する前記作業機械の走行体の画像を含む、
   請求項１から請求項６のいずれか一項に記載の表示システム。

Images