JP6927821B2 - 表示システム、及び表示装置 - Google Patents

Description

本発明は、表示システム、及び表示装置に関する。

作業機械を遠隔操作する技術が知られている。作業機械を遠隔操作する場合、撮像装置によって作業現場が撮像される。撮像装置で撮像された作業現場の画像は、遠隔操作施設に設けられている表示装置に表示される。操作者は、表示装置に表示される作業現場の画像を見ながら、遠隔操作装置を操作する。

特許文献１には、作業機械に設けられたカメラで作業現場を撮像するとともに、作業現場に設置されたカメラで作業機械の様子を外方から撮像する技術が開示されている。

特開２０１３−１６８７７６号公報

作業機械を遠隔操作する場合、表示装置に表示される画像が２次元画像であると、操作者は、作業現場の遠近感を得難くなる可能性がある。作業現場の遠近感が得難いと、操作者は、作業機械と作業機械の周囲の対象との距離を把握することが困難となる。その結果、遠隔操作の作業効率が低下する可能性がある。

本発明の態様は、操作者が作業機械を快適に遠隔操作することができ、作業効率の低下を抑制することができる技術を提供することを目的とする。

本発明の態様に従えば、作業機を有する作業機械に搭載され前記作業機械の周囲の対象との距離を検出する距離検出装置の検出データに基づいて、前記作業機械の外部の仮想視点から見た前記対象の仮想視点画像を示す対象画像を生成する対象画像生成部と、前記作業機械に搭載され前記作業機械の姿勢を検出する姿勢検出装置の検出データに基づいて、前記仮想視点から見た前記作業機械の仮想視点画像を示す作業機械画像を生成する作業機械画像生成部と、前記対象画像と前記作業機械画像とを重畳した合成画像を生成する合成部と、前記作業機械に搭載された撮像装置で撮像された実画像と前記合成画像とを前記作業機械の外部に存在する表示装置に同時に表示させる表示制御部と、を備える表示システムが提供される。

本発明の態様によれば、操作者が作業機械を快適に遠隔操作することができ、作業効率の低下を抑制することができる技術が提供される。

図１は、本実施形態に係る作業機械の遠隔操作システムの一例を模式的に示す図である。 図２は、本実施形態に係る作業機械を模式的に示す側面図である。 図３は、本実施形態に係る作業機械を模式的に示す背面図である。 図４は、本実施形態に係る作業機械を模式的に示す平面図である。 図５は、本実施形態に係る距離検出装置及び撮像装置を模式的に示す図である。 図６は、本実施形態に係る距離検出装置及び撮像装置の一例を模式的に示す図である。 図７は、本実施形態に係る制御装置の一例を示す機能ブロック図である。 図８は、本実施形態に係る表示装置の表示例を示す図である。 図９は、本実施形態に係る表示方法の一例を示すフローチャートである。 図１０は、本実施形態に係る表示方法の一例を示すフローチャートである。 図１１は、本実施形態に係るインポーズ画像の一例を模式的に示す図である。 図１２は、本実施形態に係るインポーズ画像の一例を模式的に示す図である。

以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する実施形態の構成要素は適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。

［作業機械及び遠隔操作システムの概要］
図１は、本実施形態に係る作業機械１の遠隔操作システム１００の一例を模式的に示す図である。遠隔操作システム１００は、作業機械１を遠隔操作する。本実施形態においては、作業機械１が油圧ショベルであることとする。以下の説明においては、作業機械１を適宜、油圧ショベル１、と称する。

油圧ショベル１は、走行体２と、旋回体３と、作業機４と、油圧シリンダ５と、距離検出装置２０と、位置検出装置３０と、姿勢検出装置４０と、撮像装置５０と、制御装置６０とを有する。油圧ショベル１は、作業現場に存在し、作業現場で作業する。

本実施形態においては、旋回体３に車体座標系（Ｘｍ−Ｙｍ−Ｚｍ座標系）が規定される。車体座標系とは、旋回体３に規定された原点ＰＬに対する相対位置を示す３次元の座標系である。車体座標系は、原点ＰＬを基準とする第１基準面のＸｍ軸と、第１基準面においてＸｍ軸と直交するＹｍ軸と、第１基準面と直交するＺｍ軸とによって規定される。Ｘｍ軸と平行な方向をＸｍ軸方向とし、Ｙｍ軸と平行な方向をＹｍ軸方向とし、Ｚｍ軸方向と平行な方向をＺｍ軸方向とする。Ｘｍ軸方向は旋回体３の前後方向であり、Ｙｍ軸方向は旋回体３の左右方向であり、Ｚｍ軸方向は旋回体３の上下方向である。

走行体２は、履帯２Ａ，２Ｂを有する。履帯２Ａ，２Ｂが回転することにより、油圧ショベル１が走行する。車体座標系のＺｍ軸は、履帯２Ａ，２Ｂの接地面と直交する。車体座標系の＋Ｚｍ方向は、旋回体３の上方向であり、履帯２Ａ，２Ｂの接地面から離れる方向である。車体座標系の−Ｚｍ方向は、旋回体３の下方向であり、＋Ｚｍ方向とは反対の方向である。

旋回体３は、走行体２に旋回可能に支持される。旋回体３は、旋回軸Ｚｒを中心に旋回可能である。旋回軸Ｚｒは、車体座標系のＺｍ軸と平行である。車体座標系の原点ＰＬは、旋回体３のスイングサークルの中心に規定される。スイングサークルの中心は、旋回体３の旋回軸Ｚｒに位置する。

作業機４は、旋回体３に支持される。車体座標系において、作業機４の少なくとも一部は、旋回体３よりも＋Ｘｍ方向に配置される。車体座標系の＋Ｘｍ方向は、旋回体３の前方向であり、旋回体３を基準として作業機４の先端部９が存在する方向である。車体座標系の−Ｘｍ方向は、旋回体３の後方向であり、＋Ｘｍ方向とは反対の方向である。

作業機４は、旋回体３に連結されるブーム６と、ブーム６に連結されるアーム７と、アーム７に連結されるバケット８とを有する。作業機４の先端部９は、バケット８の刃先を含む。なお、作業機４の先端部９は、バケット８のブレードの先端部でもよい。

油圧シリンダ５は、作業機４を駆動するための動力を発生する。油圧シリンダ５は、油圧ポンプから供給される作動油によって駆動する。油圧シリンダ５は、ブーム６を駆動するブームシリンダ１０と、アーム７を駆動するアームシリンダ１１と、バケット８を駆動するバケットシリンダ１２とを含む。

ブーム６は、回転軸ＡＸ１を中心に旋回体３に回転可能に連結される。アーム７は、回転軸ＡＸ２を中心にブーム６の先端部に回転可能に連結される。バケット８は、回転軸ＡＸ３を中心にアーム７の先端部に回転可能に連結される。ブーム６の回転軸ＡＸ１、アーム７の回転軸ＡＸ２、及びバケット８の回転軸ＡＸ３は、車体座標系のＹｍ軸と平行である。車体座標系の＋Ｙｍ方向は、旋回体３の左方向である。車体座標系の−Ｙｍ方向は、＋Ｙｍ方向とは反対の方向であり、旋回体３の右方向である。

距離検出装置２０は、油圧ショベル１に搭載される。距離検出装置２０は、油圧ショベル１の周囲の対象ＷＡとの距離Ｌｄを検出する（図６参照）。

対象ＷＡとして、作業現場において施工される施工対象、地表、旋回体３よりも前方向に存在する作業機４の少なくとも一部、構造物、油圧ショベル１とは別の作業機械、及び油圧ショベル１によって積み込まれた積荷を運搬する運搬車両の少なくとも一つが例示される。

本実施形態において、距離検出装置２０は、レーザレンジファインダを含む。距離検出装置２０は、検出光であるレーザ光を射出する射出部と、対象ＷＡに照射されたレーザ光の反射光を受光する受光部とを有する。距離検出装置２０は、旋回体３の上部に設けられる。距離検出装置２０の受光部は、旋回体３の前方向（＋Ｘｍ方向）を向く。距離検出装置２０は、旋回体３の前方向の対象ＷＡとの距離Ｌｄを検出する。距離検出装置２０の検出データは、制御装置６０に出力される。

位置検出装置３０は、油圧ショベル１に搭載される。位置検出装置３０は、グローバル座標系（Ｘｇ−Ｙｇ−Ｚｇ座標系）における油圧ショベル１の旋回体３の位置Ｐａを検出する。グローバル座標系とは、地球に規定された原点ＰＧを基準とする３次元の座標系であって、全地球測位システム（Global Positioning System：ＧＰＳ）のような全地球航法衛星システム（Global Navigation Satellite System：ＧＮＳＳ）により規定される絶対位置を示す座標系である。位置検出装置３０は、旋回体３に設けられる。位置検出装置３０は、ＧＮＳＳを利用して、旋回体３の位置Ｐａを検出する。位置検出装置３０の検出データは、制御装置６０に出力される。

姿勢検出装置４０は、油圧ショベル１に搭載される。姿勢検出装置４０は、油圧ショベル１の姿勢を検出する。油圧ショベル１の姿勢は、旋回体３の姿勢及び作業機４の姿勢を含む。旋回体３の姿勢は、旋回体３の傾斜角を含む。作業機４の姿勢は、作業機４の傾斜角を含む。姿勢検出装置４０は、旋回体３の姿勢を検出する旋回体姿勢センサ４１と、作業機４の姿勢を検出する作業機姿勢センサ４２とを含む。姿勢検出装置４０の検出データは、制御装置６０に出力される。

本実施形態において、旋回体姿勢センサ４１は、旋回体３に設けられた慣性計測装置（Inertial Measurement Unit：ＩＭＵ）を含む。作業機姿勢センサ４２は、油圧シリンダ５の作動量を示すシリンダストロークを検出するストロークセンサを含む。

撮像装置５０は、油圧ショベル１に搭載される。撮像装置５０は、油圧ショベル１の周囲の対象ＷＡを撮像して、対象ＷＡの画像を取得する。撮像装置５０は、光学系と、光学系を通過した光を受光するイメージセンサとを有する。イメージセンサは、ＣＣＤ（Couple Charged Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含む。

本実施形態において、撮像装置５０は、単眼カメラである。撮像装置５０は、旋回体３の上部に設けられる。撮像装置５０の光学系の入射面は、旋回体３の前方向（＋Ｘｍ方向）を向く。撮像装置５０は、旋回体３の前方向の対象ＷＡの画像を取得する。本実施形態において、撮像装置５０は、旋回体３よりも前方向に存在する作業機４の少なくとも一部の画像を取得可能である。撮像装置５０で取得された対象ＷＡの画像データは、制御装置６０に出力される。

以下の説明においては、撮像装置５０で取得される画像を適宜、実画像ＲＧ、と称する。実画像ＲＧは、撮像装置５０で撮像された作業現場の実際の画像を示す。実画像ＲＧは、２次元画像である。

遠隔操作システム１００は、油圧ショベル１の外部に存在する遠隔操作施設に設けられる遠隔操作装置７０と、作業現場に存在する対象ＷＡの画像を遠隔操作施設において表示させる表示システム２００とを備える。

表示システム２００は、油圧ショベル１の外部に存在する表示装置８０と、油圧ショベル１の外部に存在し油圧ショベル１と通信可能な制御装置９０とを備える。遠隔操作装置７０、表示装置８０、及び制御装置９０のそれぞれは、遠隔操作施設に設けられる。遠隔操作装置７０、表示装置８０、及び制御装置９０のそれぞれは、油圧ショベル１とは別体で設けられる。

油圧ショベル１に搭載されている制御装置６０と遠隔操作施設に設けられている制御装置９０とは、通信システム３００を介して通信する。通信システム３００は、有線通信してもよいし、無線通信してもよい。通信システム３００は、インターネット（internet）、ローカルエリアネットワーク（ＬＡＮ：Local Area Network）、携帯電話通信網、及び衛星通信網の少なくとも一つを含む。

油圧ショベル１は、遠隔操作装置７０によって遠隔操作される。遠隔操作装置７０は、油圧ショベル１の旋回体３及び作業機４を遠隔操作する作業レバー７１と、走行体２を遠隔操作する走行レバー７２とを含む。操作者は、遠隔操作施設において遠隔操作装置７０を操作する。遠隔操作装置７０が操作されることにより生成された操作信号は、通信システム３００を介して制御装置６０に送信される。制御装置６０は、操作信号に基づいて、旋回体３、作業機４、及び走行体２を制御する制御信号を出力する。これにより、油圧ショベル１は遠隔操作される。

作業レバー７１は、旋回体３及び作業機４の作動のために操作される左作業レバー７１Ｌ及び右作業レバー７１Ｒを含む。走行レバー７２は、走行体２の作動のために操作される左走行レバー７２Ｌ及び右走行レバー７２Ｒを含む。

［作業機械］
図２は、本実施形態に係る油圧ショベル１を模式的に示す側面図である。図３は、本実施形態に係る油圧ショベル１を模式的に示す背面図である。図４は、本実施形態に係る油圧ショベル１を模式的に示す平面図である。

図２、図３、及び図４に示すように、油圧ショベル１は、距離検出装置２０と、位置検出装置３０と、旋回体姿勢センサ４１及び作業機姿勢センサ４２を含む姿勢検出装置４０と、撮像装置５０と、制御装置６０とを有する。

旋回体３に複数のＧＰＳアンテナ３１が設けられる。ＧＰＳアンテナ３１は、ＧＰＳ衛星から電波を受信して、受信した電波に基づいて生成した信号を位置検出装置３０に出力する。位置検出装置３０は、ＧＰＳアンテナ３１からの信号に基づいて、グローバル座標系で規定されるＧＰＳアンテナ３１が設置されている位置Ｐｒを検出する。位置検出装置３０は、ＧＰＳアンテナ３１が設置されている位置Ｐｒに基づいて、グローバル座標系における旋回体３の位置Ｐａを検出する。

ＧＰＳアンテナ３１は、左右方向に２つ設けられる。位置検出装置３０は、一方のＧＰＳアンテナ３１が設置されている位置Ｐｒａ及び他方のＧＰＳアンテナ３１が設置されている位置Ｐｒｂのそれぞれを検出する。位置検出装置３０は、位置Ｐｒａと位置Ｐｒｂとの少なくとも一方に基づいて演算処理を実施して、グローバル座標系における旋回体３の位置Ｐａを検出する。本実施形態において、旋回体３の位置Ｐａは、位置Ｐｒａである。なお、旋回体３の位置Ｐａは、位置Ｐｒｂでもよいし、位置Ｐｒａと位置Ｐｒｂとの間の位置でもよい。

旋回体姿勢センサ４１は、慣性計測装置（ＩＭＵ）を含む。旋回体姿勢センサ４１は、グローバル座標系で規定されるＸｇ−Ｙｇ平面（水平面）に対する旋回体３の傾斜角を検出する。旋回体３の傾斜角は、水平面に対する左右方向における旋回体３の傾斜角を示すロール角θ１と、水平面に対する前後方向における旋回体３の傾斜角を示すピッチ角θ２と、Ｚｍ軸を中心とする回転方向における旋回体３の傾斜角を示すヨー角θ３とを含む。ロール角θ１、ピッチ角θ２、及びヨー角θ３は、慣性計測装置によって検出された角速度を時間積分することにより算出される。旋回体３が旋回すると、ヨー角θ３が変化する。走行体２が停止した状態で旋回体３が旋回する場合、ヨー角θ３は、旋回体３の旋回角に相当する。

旋回体３の姿勢は、ロール角θ１、ピッチ角θ２、及びヨー角θ３の少なくとも一つを含む。

なお、ヨー角θ３は、位置検出装置３０によって検出されてもよい。位置検出装置３０は、一方のＧＰＳアンテナ３１の位置Ｐｒａと他方のＧＰＳアンテナ３１の位置Ｐｒｂとに基づいて、グローバル座標系における基準方位に対する旋回体３の方位を検出することができる。位置検出装置３０は、位置Ｐｒａと位置Ｐｒｂとに基づいて演算処理を実施して、基準方位に対する旋回体３の方位を検出する。基準方位と旋回体３の方位とがなす角度がヨー角θ３に相当する。位置検出装置３０は、位置Ｐｒａと位置Ｐｒｂとを結ぶ直線を算出し、算出した直線と基準方位とがなす角度に基づいて、ヨー角θ３を検出することができる。

作業機姿勢センサ４２は、ストロークセンサを含む。作業機姿勢センサ４２は、車体座標系で規定される作業機４の傾斜角を検出する。ストロークセンサは、ブームシリンダ１０のシリンダストロークを検出するブームストロークセンサ４２Ａと、アームシリンダ１１のシリンダストロークを検出するアームストロークセンサ４２Ｂと、バケットシリンダ１２のシリンダストロークを検出するバケットストロークセンサ４２Ｃとを含む。制御装置６０は、ブームストロークセンサ４２Ａの検出データに基づいて、車体座標系のＺｍ軸に対するブーム６の傾斜角αを算出する。制御装置６０は、アームストロークセンサ４２Ｂの検出データに基づいて、ブーム６に対するアーム７の傾斜角βを算出する。制御装置６０は、バケットストロークセンサ４２Ｃの検出データに基づいて、アーム７に対するバケット８の傾斜角γを算出する。

作業機４の姿勢は、傾斜角α、傾斜角β、及び傾斜角γの少なくとも一つを含む。

［座標系］
図５は、本実施形態に係る距離検出装置２０及び撮像装置５０を模式的に示す図である。上述のように、本実施形態においては、グローバル座標系（Ｘｇ−Ｙｇ−Ｚｇ座標系）と、車体座標系（Ｘｍ−Ｙｍ−Ｚｍ座標系）とが規定される。

また、本実施形態においては、距離検出装置座標系（Ｘｄ−Ｙｄ−Ｚｄ座標系）と、撮像装置座標系（Ｘｃ−Ｙｃ−Ｚｃ座標系）とが規定される。

距離検出装置座標系とは、距離検出装置２０に規定された原点ＰＤに対する相対位置を示す３次元の座標系である。距離検出装置座標系は、原点ＰＤを基準とする第２基準面のＸｄ軸と、第２基準面においてＸｄ軸と直交するＹｄ軸と、第２基準面と直交するＺｄ軸とによって規定される。距離検出装置座標系の原点ＰＤは、距離検出素子２０ＲＣの検出面２０Ｐの中心に規定される。

撮像装置座標系とは、撮像装置５０に規定された原点ＰＣに対する相対位置を示す３次元の座標系である。撮像装置座標系は、原点ＰＣを基準とする第３基準面のＸｃ軸と、第３基準面においてＸｃ軸と直交するＹｃ軸と、第３基準面と直交するＺｃ軸とによって規定される。撮像装置座標系の原点ＰＣは、イメージセンサ１９ＲＣの撮像面１９Ｐの中心に規定される。Ｘｃ軸は、撮像装置５０の光学中心を通り、撮像面１９Ｐと直交する。

位置検出装置３０で検出されるグローバル座標系における位置Ｐａと、車体座標系における原点ＰＬとの相対位置は、例えば油圧ショベル１の設計データ又は諸元データなどから導出される既知データである。また、車体座標系における原点ＰＬと距離検出装置座標系における原点ＰＤと撮像装置座標系における原点ＰＣとの相対位置は、例えば油圧ショベル１の設計データ、距離検出装置２０の設計データ又は諸元データ、及び撮像装置５０の設計データ又は諸元データなどから導出される既知データである。そのため、グローバル座標系における位置と、車体座標系における位置と、距離検出装置座標系における位置と、撮像装置座標系における位置とは、相互に変換可能である。

［距離検出装置及び撮像装置］
図６は、本実施形態に係る距離検出装置２０及び撮像装置５０の一例を模式的に示す図である。図６は、距離検出装置２０によって検出され撮像装置５０によって撮像される対象ＷＡが施工対象の地表である例を示す。

図６に示すように、距離検出装置２０は、検出範囲ＭＡを有する。距離検出装置２０は、検出範囲ＭＡに存在する対象ＷＡとの距離Ｌｄを検出する。距離Ｌｄは、距離検出装置座標系における原点ＰＤと対象ＷＡの表面との距離である。

距離検出装置２０は、対象ＷＡの表面との距離Ｌｄを検出して、距離検出装置座標系における対象物ＷＡの表面の位置Ｐｄを検出する。位置Ｐｄは、原点ＰＤに対する方位及び角度を規定する。距離検出装置２０は、距離検出装置座標系における位置Ｐｄの３次元の座標（Ｘｄ，Ｙｄ，Ｚｄ）を検出することができる。

距離検出装置２０は、対象ＷＡの表面の複数の部位のそれぞれとの距離Ｌｄを検出して、それら複数の部位それぞれの位置Ｐｄを検出することにより、距離検出座標系における対象ＷＡの３次元形状を検出することができる。対象ＷＡの３次元形状は、３次元の座標（Ｘｄ，Ｙｄ，Ｚｄ）が検出された複数の位置Ｐｄの点群データである。

距離検出装置２０は、旋回体３の前方向の対象ＷＡの３次元形状を検出する。対象ＷＡが地表である場合、距離検出装置２０は、地表の複数の部位のそれぞれとの距離Ｌｄを検出して、油圧ショベル１の前方向の地形を検出することができる。

上述のように、グローバル座標系における位置と、車体座標系における位置と、距離検出装置座標系における位置と、撮像装置座標系における位置とは、相互に変換可能である。したがって、距離検出装置座標系において規定された複数の位置Ｐｄ（Ｘｄ，Ｙｄ，Ｚｄ）の点群データは、車体座標系において規定される複数の位置Ｐｍ（Ｘｍ，Ｙｍ，Ｚｍ）の点群データに変換可能であり、グローバル座標系において規定される複数の位置Ｐｇ（Ｘｇ，Ｙｇ，Ｚｇ）の点群データに変換可能であり、撮像装置座標系において規定される複数の位置Ｐｃ（Ｘｃ，Ｙｃ，Ｚｃ）の点群データに変換可能である。換言すれば、距離検出装置座標系において規定される対象ＷＡの３次元形状は、座標変換することによって、車体座標系、グローバル座標系、及び撮像装置座標系のそれぞれの対象ＷＡの３次元形状に変換可能である。

撮像装置５０は、撮像範囲ＴＡを有する。撮像装置５０は、撮像範囲ＴＡに存在する対象ＷＡの画像を取得することができる。対象ＷＡの表面において、検出範囲ＭＡと撮像範囲ＴＡの少なくとも一部とが重複する。検出範囲ＭＡと撮像範囲ＴＡの少なくとも一部とが重複するように、旋回体３に対する距離検出装置２０の設置状態及び撮像装置５０の設置状態が調整される。検出範囲ＭＡと撮像範囲ＴＡとが重複する範囲は可能な限り大きいことが好ましい。撮像装置５０は、複数の位置Ｐｄのそれぞれに対応する画像を取得する。位置Ｐｄに対応する画像における位置Ｐｃは、撮像装置座標系において規定される。距離検出装置２０で検出された対象ＷＡの３次元形状における位置Ｐｄを撮像装置座標系の画像における位置Ｐｃに変換することによって、撮像装置座標系において、対象ＷＡの３次元形状と対象ＷＡの画像とを重ね合わせることができる。また、対象ＷＡの３次元形状における位置Ｐｄ及び対象ＷＡの画像における位置Ｐｃは、車体座標系の位置Ｐｍ又はグローバル座標系の位置Ｐｇに変換可能である。

［制御装置］
図７は、本実施形態に係る制御装置６０及び制御装置９０の一例を示す機能ブロック図である。

制御装置６０は、コンピュータシステムを含む。制御装置６０は、ＣＰＵ（Central Processing Unit）のようなプロセッサを含む演算処理装置６０Ａと、ＲＡＭ（Random Access Memory）のような揮発性メモリ及びＲＯＭ（Read Only Memory）のような不揮発性メモリを含む記憶装置６０Ｂと、信号及びデータを送受信可能な入出力回路を含む入出力インターフェース６０Ｃとを有する。

制御装置９０は、コンピュータシステムを含む。制御装置９０は、ＣＰＵ（Central Processing Unit）のようなプロセッサを含む演算処理装置９０Ａと、ＲＡＭ（Random Access Memory）のような揮発性メモリ及びＲＯＭ（Read Only Memory）のような不揮発性メモリを含む記憶装置９０Ｂと、信号及びデータを送受信可能な入出力回路を含む入出力インターフェース９０Ｃとを有する。

表示装置８０は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）又は有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electroluminescence Display）のようなフラットパネルディスプレイを含む。

距離検出装置２０が検出した対象ＷＡとの距離Ｌｄを示す検出データは、制御装置６０に所定の周期で出力される。制御装置６０の入出力インターフェース６０Ｃは、距離検出装置２０の検出データを受信する。制御装置６０の入出力インターフェース６０Ｃは、通信システム３００を介して、距離検出装置２０の検出データを制御装置９０に所定の周期で送信する。

位置検出装置３０が検出した旋回体３の位置Ｐａを示す検出データは、制御装置６０に所定の周期で出力される。制御装置６０の入出力インターフェース６０Ｃは、位置検出装置３０の検出データを受信する。制御装置６０の入出力インターフェース６０Ｃは、通信システム３００を介して、位置検出装置３０の検出データを制御装置９０に所定の周期で送信する。

姿勢検出装置４０が検出した油圧ショベル１の姿勢を示す検出データは、制御装置６０に所定の周期で出力される。制御装置６０の入出力インターフェース６０Ｃは、姿勢検出装置４０の検出データを受信する。制御装置６０の入出力インターフェース６０Ｃは、通信システム３００を介して、姿勢検出装置４０の検出データを制御装置９０に所定の周期で送信する。

撮像装置５０が撮像した対象ＷＡの画像データは、制御装置６０に所定の周期で出力される。制御装置６０の入出力インターフェース６０Ｃは、撮像装置５０が撮像した対象ＷＡの画像データを受信する。制御装置６０入出力インターフェース６０Ｃは、通信システム３００を介して、対象ＷＡの画像データを制御装置９０に所定の周期で送信する。

制御装置９０は、通信システム３００を介して、距離検出装置２０の検出データ、位置検出装置３０の検出データ、姿勢検出装置４０の検出データ、及び撮像装置５０が撮像した対象ＷＡの画像データを所定の周期で受信する。制御装置９０は、距離検出装置２０の検出データに基づいて、油圧ショベル１の外部の仮想視点から見た対象ＷＡの仮想視点画像を示す対象画像ＡＧを所定の周期で生成する。また、制御装置９０は、姿勢検出装置４０の検出データに基づいて、油圧ショベル１の外部の仮想視点から見た油圧ショベル１の仮想視点画像を示す作業機械画像ＢＧを所定の周期で生成する。また、制御装置９０は、対象画像ＡＧと作業機械画像ＢＧとを重畳した合成画像ＩＧを所定の周期で生成する。

表示装置８０は、制御装置９０で生成された合成画像ＩＧを表示する。対象画像ＡＧ及び作業機械画像ＢＧを含む合成画像ＩＧは、制御装置９０によって生成されるコンピュータグラフィックス（computer graphics）である。表示装置８０に表示される対象画像ＡＧ及び作業機械画像ＢＧのそれぞれは、油圧ショベル１の外部の仮想視点から俯瞰した３次元画像である。また、表示装置８０は、撮像装置５０で撮像された作業現場の対象ＷＡの実際の画像を示す実画像ＲＧを表示する。実画像ＲＧは、２次元画像である。

仮想視点とは、実空間（本実施形態においては作業現場）を模擬した仮想空間において、仮想的に設定された視点をいう。仮想視点の位置及び向きは任意に設定可能である。仮想視点画像とは、仮想空間において、位置及び向きが設定された仮想視点から俯瞰した仮想的な画像をいう。例えば、仮想視点画像とは、仮想空間において、仮想視点に設置され、位置及び向きが設定された撮像装置で仮想空間を撮像したときに撮像される仮想的な画像をいう。仮想視点画像は、制御装置９０によって生成されるコンピュータグラフィックスである。

本実施形態において、仮想視点の位置は、油圧ショベル１の外部であって、油圧ショベル１の斜め上方向に設定される。仮想視点の向きは、油圧ショベル１及び油圧ショベル１の周囲の対象ＷＡを見下ろすように、斜め下方向に設定される。対象画像ＡＧは、作業現場の仮想空間において仮想視点から俯瞰した対象ＷＡの仮想的な３次元画像である。作業機械画像ＢＧは、作業現場の仮想空間において仮想視点から俯瞰した油圧ショベル１の仮想的な３次元画像である。

演算処理装置９０Ａは、データ受信部９６と、対象画像生成部９１と、作業機械画像生成部９２と、合成部９５と、表示制御部９３とを有する。記憶装置９０Ｂは、座標変換データ記憶部９４を有する。

データ受信部９６は、距離検出装置２０の検出データ、位置検出装置３０の検出データ、姿勢検出装置４０の検出データ、及び撮像装置５０の画像データを、通信システム３００を介して受信する。

対象画像生成部９１は、距離検出装置２０の検出データに基づいて、油圧ショベル１の外部の仮想視点から見た対象ＷＡの仮想視点画像を示す対象画像ＡＧを所定の周期で生成する。距離検出装置２０の検出データは、対象ＷＡの表面の３次元形状を含む。対象画像ＡＧは、仮想視点から見た対象ＷＡの３次元画像である。対象画像生成部９１は、対象ＷＡの３次元形状に基づいて、仮想視点から見た対象ＷＡの３次元画像である対象画像ＡＧを生成する。

本実施形態において、対象画像生成部９１は、距離検出装置座標系で規定される対象画像ＡＧを生成する。対象画像ＡＧが施工対象（地形）である場合、作業現場において、掘削作業又は整地作業等により対象ＷＡの３次元形状が変化する。対象画像ＡＧが運搬車両である場合、積込作業又は運搬作業等により対象ＷＡの３次元形状又は位置が変化する。対象画像生成部９１は、対象画像ＡＧを所定の周期で生成する。掘削作業又は整地作業等により対象ＷＡの３次元形状が変化したり、積込作業又は運搬作業等により対象ＷＡの３次元形状又は位置が変化したりした場合、対象画像生成部９１は、これら変化に連動した対象画像ＡＧを生成する。

作業機械画像生成部９２は、姿勢検出装置４０の検出データに基づいて、油圧ショベル１の外部の仮想視点から見た油圧ショベル１の仮想視点画像を示す作業機械画像ＢＧを所定の周期で生成する。姿勢検出装置４０の検出データは、油圧ショベル１の旋回体３の姿勢及び作業機４の姿勢を含む。作業機械画像ＢＧは、仮想視点から見た油圧ショベル１の３次元画像である。作業機械画像生成部９２は、旋回体３の姿勢及び作業機４の姿勢に基づいて、仮想視点から見た油圧ショベル１の３次元画像である作業機械画像ＢＧを所定の周期で生成する。

本実施形態において、作業機械画像生成部９２は、車体座標系で規定される作業機械画像ＢＧを所定の周期で生成する。また、例えば旋回体３が旋回してヨー角θ３が変化したとき、作業機械画像生成部９２は、旋回体３の旋回に連動するように、作業機械画像ＢＧを所定の周期で生成する。同様に、ロール角θ１及びピッチ角θ２の少なくとも一方が変化したとき、作業機械画像生成部９２は、ロール角θ１及びピッチ角θ２の少なくとも一方の変化に連動するように、作業機械画像ＢＧを所定の周期で生成する。また、作業機４が作動して、傾斜角α，β，γの少なくとも一つが変化したとき、作業機械画像生成部９２は、傾斜角α，β，γの少なくとも一つの変化に連動するように、作業機械画像ＢＧを所定の周期で生成する。

合成部９５は、対象画像生成部９１で生成された対象画像ＡＧと、作業機械画像生成部９２で生成された作業機械画像ＢＧとを合成して、合成画像ＩＧを生成する。合成部９５は、合成画像ＩＧを所定の周期で生成する。合成画像ＩＧは、対象画像ＡＧと作業機械画像ＢＧとを重畳した画像である。

表示制御部９３は、合成画像ＩＧを表示装置８０に表示させる。表示制御部９３は、合成部９５で生成された合成画像ＩＧを合成部９５から取得する。表示制御部９３は、合成画像ＩＧを表示装置８０が表示可能な表示データに変換して、表示装置８０に出力する。これにより、合成画像ＩＧが表示装置８０に表示される。

座標変換データ記憶部９４は、グローバル座標系における位置と、車体座標系における位置と、距離検出装置座標系における位置と、撮像装置座標系における位置とを相互に変換するための座標変換データを記憶する。座標変換データは、座標変換パラメータ又は座標変換行列式を含む。グローバル座標系における位置Ｐａと、車体座標系における原点ＰＬと、距離検出装置座標系における原点ＰＤと、撮像装置座標系における原点ＰＣとの相対位置は、設計データ又は諸元データなどから導出される既知データである。そのため、座標変換データは、既知データに基づいて予め導出可能である。座標変換データ記憶部９４は、予め導出された座標変換データを記憶する。

合成部９５は、座標変換データ記憶部９４に記憶されている座標変換データに基づいて、所定の単一の座標系において合成画像ＩＧが表示装置８０に表示されるように、対象画像ＡＧ及び作業機械画像ＢＧの少なくとも一方を座標変換する。表示制御部９３は、単一の座標系において、合成画像ＩＧを表示装置８０に表示させる。

対象画像生成部９１は、距離検出装置２０の検出データに基づいて、距離検出装置座標系における対象画像ＡＧを生成する。作業機械画像生成部９２は、姿勢検出装置４０の検出データに基づいて、車体座標系における作業機械画像ＢＧを生成する。合成部９５は、対象画像ＡＧ及び作業機械画像ＢＧが単一の座標系で表示されるように、対象画像ＡＧの座標系及び作業機械画像ＢＧの座標系の少なくとも一方を調整する。

例えば車体座標系で規定された対象画像ＡＧ及び作業機械画像ＢＧを表示装置８０に表示させる場合、合成部９５は、座標変換データ記憶部９４に記憶されている座標変換データに基づいて、距離検出座標系で規定されている対象画像ＡＧを車体座標系で規定される対象画像ＡＧに変換する。これにより、対象画像ＡＧと作業機械画像ＢＧとの両方が、車体座標系において規定される。表示制御部９３は、車体座標系において規定された対象画像ＡＧ及び作業機械画像ＢＧを含む合成画像ＩＧを表示装置８０に表示させる。

また、例えばグローバル座標系で規定された対象画像ＡＧ及び作業機械画像ＢＧを表示装置８０に表示させる場合、合成部９５は、座標変換データ記憶部９４に記憶されている座標変換データに基づいて、距離検出座標系で規定されている対象画像ＡＧをグローバル座標系で規定される対象画像ＡＧに変換し、車体座標系で規定されている作業機械画像ＢＧをグローバル座標系で規定される対象画像ＡＧに変換する。これにより、対象画像ＡＧと作業機械画像ＢＧとの両方が、グローバル座標系において規定される。表示制御部９３は、グローバル座標系において規定された対象画像ＡＧ及び作業機械画像ＢＧを含む合成画像ＩＧを表示装置８０に表示させる。

表示制御部９３は、撮像装置５０で撮像された対象ＷＡの実際の画像である実画像ＲＧと、対象画像ＡＧ及び作業機械画像ＢＧを含む合成画像ＩＧとを表示装置８０に同時に表示させる。本実施形態において、表示制御部９３は、実画像ＲＧを表示する表示画面の一部に合成画像ＩＧを表示させる。

図８は、本実施形態に係る表示装置８０の表示例を示す図である。撮像装置５０は、旋回体３の前方向の対象ＷＡの実際の画像である実画像ＲＧを取得する。表示制御部９３は、撮像装置５０で取得された作業現場の実画像ＲＧを表示装置８０の表示画面に表示させる。

撮像装置５０は、旋回体３の前方向の対象ＷＡの実画像ＲＧを取得する。撮像装置５０の撮像において、作業機４の少なくとも一部が映り込む。撮像装置５０によって取得される実画像ＲＧは、作業機４の実画像を含む。本実施形態において、作業現場の実画像ＲＧを表示する表示装置８０の表示画面は、作業機４の実画像を含む。撮像装置５０で撮像された作業現場の実画像ＲＧが表示される表示装置８０の表示画面に作業機４の実画像が表示される。

表示制御部９３は、撮像装置５０で撮像された作業現場の実画像ＲＧを表示する表示装置８０の表示画面の一部に、対象画像ＡＧ及び作業機械画像ＢＧを含む合成画像ＩＧを同時に表示させる。すなわち、表示制御部９３は、作業現場の実画像ＲＧを表示する表示装置８０の表示画面の一部に、対象画像ＡＧ及び作業機械画像ＢＧをインポーズさせる。以下の説明において、表示装置８０の表示画面の一部にインポーズされる合成画像ＩＧを適宜、インポーズ画像ＩＧ、と称する。

インポーズ画像ＩＧにおいて、対象画像ＡＧと作業機械画像ＢＧとは重畳して表示される。

本実施形態において、表示制御部９３は、表示画面において、作業機４の実画像と対象画像ＡＧ及び作業機械画像ＢＧを含むインポーズ画像ＩＧとを異なる位置に表示させる。図８に示すように、本実施形態において、作業機４の実画像は、表示装置８０の表示画面の中央部及び右部に表示される。表示制御部９３は、作業機４の実画像とインポーズ画像ＩＧとが重複しないように、インポーズ画像ＩＧを表示装置８０の表示画面の角部に表示させる。本実施形態においては、作業機４の実画像のみならず、作業機４による施工対象である地表の実画像が表示装置８０の表示画面に表示される。そのため、表示制御部９３は、作業機４の実画像及び地表の実画像とインポーズ画像ＩＧとが重複しないように、インポーズ画像ＩＧを表示装置８０の表示画面の左上の角部に表示させる。なお、インポーズ画像ＩＧは、表示装置８０の表示画面の右上の角部に表示されてもよい。作業機４の実画像及び施工対象の実画像がインポーズ画像ＩＧで隠れないので、操作者は、実画像を見ながら、作業機４を使って施工対象を施工する作業を円滑に実施することができる。

仮想視点は、油圧ショベル１及び油圧ショベル１の周囲の対象ＷＡの斜め上方向に設定される。本実施形態においては、対象ＷＡとして、施工対象である地表ＷＡａ及び運搬車両ＷＡｂが存在する。運搬車両ＷＡｂは、荷台を有するダンプトラックである。油圧ショベル１は、施工対象である地表ＷＡａを作業機４で掘削して、掘削することにより生じた積荷を運搬車両ＷＡｂに積み込む。

すなわち、本実施形態において、対象画像ＡＧは、仮想視点から俯瞰した施工対象である地表ＷＡａの３次元形状を示す対象画像ＡＧａと、仮想視点から俯瞰した運搬車両ＷＡｂの３次元形状を示す対象画像ＡＧｂとを含む。

本実施形態において、作業機械画像ＢＧは、仮想視点から俯瞰した油圧ショベル１を簡易的に模擬したスケルトン画像である。油圧ショベル１の姿勢の変化に伴って、作業機械画像ＢＧがリアルタイムで動く。すなわち、作業機械画像ＢＧは、油圧ショベル１の姿勢の変化に同期して動く。表示制御部９３は、姿勢検出装置４０の検出データに基づいて、油圧ショベル１の姿勢が変化していることを検出したとき、油圧ショベル１の姿勢の変化に連動するように、作業機械画像ＢＧを動かす。作業機械画像ＢＧは、走行体２を模擬した仮想視点画像である走行体画像２Ｇと、旋回体３を模擬した仮想視点画像である旋回体画像３Ｇと、作業機４を模擬した仮想視点画像である作業機画像４Ｇとを含む。作業機画像４Ｇは、ブーム６を模擬したブーム画像６Ｇと、アーム７を模擬したアーム画像７Ｇと、バケット８を模擬したバケット画像８Ｇとを含む。

走行体画像２Ｇは、走行体２の外形を簡易的に示すスケルトン画像を含む。旋回体画像３Ｇは、旋回体３の外形を簡易的に示すスケルトン画像を含む。作業機画像４Ｇは、作業機４の外形を簡易的に示すスケルトン画像を含む。走行体画像２Ｇ、旋回体画像３Ｇ、及び作業機画像４Ｇを含む作業機械画像ＢＧは、３次元コンピュータグラフィックスである。作業機械画像生成部９２は、記憶装置９０Ｂに記憶されているスケルトン画像（３次元ＣＧモデル）を記憶装置９０Ｂから取得し、姿勢検出装置４０の検出データに基づいて、油圧ショベル１の姿勢の変化と同期して動く作業機械画像ＢＧを生成する。

例えば、油圧ショベル１の旋回体３が旋回すると、旋回体姿勢センサ４１は、旋回体３が旋回したことを示す検出データを制御装置９０に所定の周期で送信する。作業機械画像生成部９２は、油圧ショベル１の旋回体３の旋回と連動するように、旋回体画像３Ｇを旋回させる。表示制御部９３は、旋回体画像３Ｇが旋回するように、旋回体画像３Ｇを表示装置８０に表示させる。また、油圧ショベル１の作業機４が作動すると、作業機姿勢センサ４２は、作業機４が作動したことを示す検出データを制御装置９０に送信する。作業機械画像生成部９２は、油圧ショベル１の作業機４の作動と連動するように、作業機画像４Ｇを作動させる。表示制御部９３は、作業機画像４Ｇが作動するように、作業機画像４Ｇを表示装置８０に表示させる。例えば、表示制御部９３は、傾斜角αの変化に連動するようにブーム画像６Ｇを動かし、傾斜角βの変化に連動するようにアーム画像７Ｇを動かし、傾斜角γの変化に連動するようにバケット画像８Ｇを動かす。

また、油圧ショベル１による掘削作業又は整地作業等の作業が進行すると、地表ＷＡａの形状が変化する。地表ＷＡａの形状の変化に伴って、対象画像ＡＧａの形状も変化する。地表ＷＡａの形状が変化しているとき、表示制御部９３は、距離検出装置２０の検出データに基づいて、地表ＷＡａの形状に連動するように、対象画像ＡＧａの形状を変化させる。

また、運搬車両ＷＡｂの荷台に積み込まれる積荷の量が変化したり、運搬車両ＷＡｂが移動したりすると、運搬車両ＷＡｂの形状又は位置が変化する。運搬車両ＷＡｂの形状又は位置の変化に伴って、対象画像ＡＧｂの形状又は位置も変化する。運搬車両ＷＡｂの形状又は位置が変化しているとき、表示制御部９３は、距離検出装置２０の検出データに基づいて、運搬車両ＷＡｂの形状又は位置の変化に連動するように、対象画像ＡＧｂの形状又は位置を変化させる。

［表示方法］
図９及び図１０は、本実施形態に係る表示方法の一例を示すフローチャートである。図９は、油圧ショベル１の制御装置６０の処理を示すフローチャートである。図１０は、遠隔操作システム１００の制御装置９０の処理を示すフローチャートである。図９及び図１０に示す処理は、所定の周期で実施される。

図９を参照しながら、油圧ショベル１の制御装置６０の処理について説明する。

距離検出装置２０は、対象ＷＡとの距離Ｌｄを検出して、対象ＷＡの３次元形状を検出する。

また、位置検出装置３０は、旋回体３の位置Ｐａを検出する。

また、姿勢検出装置４０は、旋回体３の姿勢及び作業機４の姿勢を含む油圧ショベル１の姿勢を検出する。旋回体３の姿勢は、ロール角θ１、ピッチ角θ２、及びヨー角θ３を含む。旋回体３が旋回すると、ヨー角θ３が変化する。走行体２が停止した状態で旋回体３が旋回する場合、ヨー角θ３は、旋回体３の旋回角に相当する。作業機４の姿勢は、傾斜角α、傾斜角β、及び傾斜角γを含む。

また、撮像装置５０は、対象ＷＡの実画像ＲＧを示す画像データを取得する。

距離検出装置２０の検出データ、位置検出装置３０の検出データ、姿勢検出装置４０の検出データ、及び撮像装置５０の画像データは、制御装置６０に出力される。

制御装置６０の入出力インターフェース６０Ｃは、距離検出装置２０の検出データを距離検出装置２０から取得する（ステップＳ１０）。

また、制御装置６０の入出力インターフェース６０Ｃは、位置検出装置３０の検出データを位置検出装置３０から取得する（ステップＳ２０）。

また、制御装置６０の入出力インターフェース６０Ｃは、姿勢検出装置４０の検出データを姿勢検出装置４０から取得する（ステップＳ３０）。

また、制御装置６０の入出力インターフェース６０Ｃは、撮像装置５０の画像データを撮像装置５０から取得する（ステップＳ４０）。

なお、ステップＳ１０とステップＳ２０とステップＳ３０とステップＳ４０とが実施される順番は任意であり、同時に実施されてもよい。

制御装置６０の入出力インターフェース６０Ｃは、距離検出装置２０の検出データを、通信システム３００を介して、制御装置９０に送信する（ステップＳ５０）。

また、制御装置６０の入出力インターフェース６０Ｃは、位置検出装置３０の検出データを、通信システム３００を介して、制御装置９０に送信する（ステップＳ６０）。

また、制御装置６０の入出力インターフェース６０Ｃは、姿勢検出装置４０の検出データを、通信システム３００を介して、制御装置９０に送信する（ステップＳ７０）。

また、制御装置６０の入出力インターフェース６０Ｃは、撮像装置５０の画像データを、通信システム３００を介して、制御装置９０に送信する（ステップＳ８０）。

なお、ステップＳ５０とステップＳ６０とステップＳ７０とステップＳ８０とが実施される順番は任意であり、同時に実施されてもよい。

次に、図１０を参照しながら、遠隔操作システム１００の制御装置９０の処理について説明する。

制御装置９０のデータ受信部９６は、距離検出装置２０の検出データを、通信システム３００を介して受信する（ステップＳ１１０）。

また、制御装置９０のデータ受信部９６は、位置検出装置３０の検出データを、通信システム３００を介して受信する（ステップＳ１２０）。

また、制御装置９０のデータ受信部９６は、姿勢検出装置４０の検出データを、通信システム３００を介して受信する（ステップＳ１３０）。

また、制御装置９０のデータ受信部９６は、撮像装置５０の画像データを、通信システム３００を介して受信する（ステップＳ１４０）。

なお、ステップＳ１１０とステップＳ１２０とステップＳ１３０とステップＳ１４０とが実施される順番は任意であり、同時に実施されてもよい。

対象画像生成部９１は、距離検出装置２０の検出データに基づいて、対象ＷＡの仮想視点画像を示す対象画像ＡＧを生成する（ステップＳ１５０）。

作業機械画像生成部９２は、姿勢検出装置４０の検出データに基づいて、油圧ショベル１の仮想視点画像を示す作業機械画像ＢＧを生成する（ステップＳ１６０）。

合成部９５は、対象画像ＡＧと作業機械画像ＢＧとを合成してインポーズ画像ＩＧを生成する（ステップＳ１７０）。

合成部９５は、対象画像ＡＧと作業機械画像ＢＧとを重畳したインポーズ画像ＩＧを生成する。合成部９５は、座標変換データ記憶部９４に記憶されている座標変換データを利用して、対象画像ＡＧと作業機械画像ＢＧとが単一の座標系で表示されるように、対象画像ＡＧの座標系及び作業機械画像ＢＧの座標系を調整する。

表示制御部９３は、撮像装置５０で撮像された対象ＷＡの実画像ＲＧを表示装置８０に出力する。また、表示制御部９３は、合成部９５で生成されたインポーズ画像ＩＧを合成部９５から取得する。表示制御部９３は、単一の座標系において規定された対象画像ＡＧと作業機械画像ＢＧとを含むインポーズ画像ＩＧを表示装置８０に出力する（ステップＳ１８０）。

表示装置８０は、少なくとも作業機４の実映像を含む対象ＷＡの実画像ＲＧと、インポーズ画像ＩＧとを表示する（ステップＳ１９０）。表示制御部９３は、表示装置８０の表示画面において作業機４の実画像とインポーズ画像ＩＧとを異なる位置に表示させる。

操作者は、表示装置８０に表示されている実画像ＲＧ及びインポーズ画像ＩＧを見ながら、遠隔操作装置７０を操作して、油圧ショベル１を遠隔操作する。インポーズ画像ＩＧは、対象ＷＡ及び油圧ショベル１を俯瞰した３次元画像であるため、操作者は、インポーズ画像ＩＧを見ることによって、油圧ショベル１と対象ＷＡとの遠近感を得易い。本実施形態においては、施工対象である地表ＷＡａの３次元形状を示す対象画像ＡＧａが表示されるため、操作者は、対象画像ＡＧａと作業機械画像ＢＧとを見て、地表ＷＡａと油圧ショベル１の作業機４との距離を把握することができる。そのため、操作者は、掘削作業又は整地作業等を円滑に実施することができる。また、運搬車両ＷＡｂの３次元形状を示す対象画像ＡＧｂが表示されるため、操作者は、対象画像ＡＧｂと作業機械画像ＢＧとを見て、運搬車両ＷＡｂと油圧ショベル１の作業機４との距離を把握することができる。そのため、操作者は、積込作業等を円滑に実施することができる。

図１１は、本実施形態に係るインポーズ画像ＩＧの一例を模式的に示す図である。図１１は、車体座標系において規定された対象画像ＡＧと作業機械画像ＢＧとを含むインポーズ画像ＩＧを示す。図１１に示す例において、表示制御部９３は、車体座標系において固定された仮想視点から見た対象画像ＡＧ及び作業機械画像ＢＧを表示装置８０に表示させる。仮想視点は車体座標系において固定されている。そのため、油圧ショベル１の走行体２が停止した状態で旋回体３が旋回した場合、作業機械画像ＢＧのうち旋回体画像３Ｇは停止しているように表示され、走行体画像２Ｇが旋回軸Ｚｒを中心に旋回するように表示される。また、対象画像ＡＧも旋回軸Ｚｒを中心に旋回するように表示される。

図１２は、本実施形態に係るインポーズ画像ＩＧの一例を模式的に示す図である。図１２は、グローバル座標系において規定された対象画像ＡＧと作業機械画像ＢＧとを含むインポーズ画像ＩＧを示す。図１２に示す例において、表示制御部９３は、グローバル座標系において固定された仮想視点から見た対象画像ＡＧ及び作業機械画像ＢＧを表示装置８０に表示させる。仮想視点はグローバル座標系において固定されている。そのため、油圧ショベル１の走行体２が停止した状態で旋回体３が旋回した場合、作業機械画像ＢＧのうち走行体画像２Ｇは停止しているように表示され、旋回体画像３Ｇが旋回軸Ｚｒを中心に旋回するように表示される。また、対象画像ＡＧは停止しているように表示される。

［効果］
以上説明したように、本実施形態によれば、距離検出装置２０の検出データに基づいて、油圧ショベル１の外部の仮想視点から見た対象画像ＡＧが生成され、姿勢検出装置４０の検出データに基づいて、油圧ショベル１の外部の仮想視点から見た作業機械画像ＢＧが生成される。対象画像ＡＧ及び作業機械画像ＢＧは、３次元コンピュータグラフィックスであり、それら対象画像ＡＧ及び作業機械画像ＢＧを含むインポーズ画像ＩＧが表示装置８０に表示される。操作者は、表示装置８０に表示された対象画像ＡＧ及び作業機械画像ＢＧを見ることにより、作業現場の遠近感を得ることができる。対象ＷＡが地表ＷＡａ（施工対象）である場合、操作者は、地表ＷＡａ（施工対象）と油圧ショベル１との距離を容易に把握することができる。そのため、操作者は、遠隔操作装置７０を操作して、油圧ショベル１の作業機４で施工対象を円滑に施工することができる。また、対象ＷＡが運搬車両ＷＡｂである場合、操作者は、運搬車両ＷＡｂと油圧ショベル１との距離、特に運搬車両ＷＡｂの荷台と油圧ショベル１のバケット８との距離を容易に把握することができる。そのため、操作者は、遠隔操作装置７０を操作して、油圧ショベル１の作業機４を使って、運搬車両ＷＡｂに対する積込作業を円滑に実施することができる。これにより、遠隔操作の作業効率の低下が抑制される。

また、本実施形態によれば、インポーズ画像ＩＧは、対象画像ＡＧと作業機械画像ＢＧとを重畳した画像である。また、本実施形態においては、走行体２、旋回体３、及び作業機４が動いたとき、インポーズ画像ＩＧにおいて、走行体画像２Ｇ、旋回体画像３Ｇ、及び作業機画像４Ｇが同期して動く。そのため、操作者が走行体２、旋回体３、及び作業機４の少なくとも一つを動かしたとき、走行体画像２Ｇ、旋回体画像３Ｇ、及び作業機画像４Ｇの少なくとも一つが、対象画像ＡＧに重畳した状態で動く。したがって、操作者は、対象画像ＡＧと作業機械画像ＢＧとを重畳したインポーズ画像ＩＧを見ることによって、作業現場の対象ＷＡと動いている状態の走行体２、旋回体３、及び作業機４の少なくとも一つとの遠近感を認識し易くなる。

また、本実施形態によれば、距離検出装置２０、姿勢検出装置４０、及び撮像装置５０は、油圧ショベル１に搭載される。例えば、距離検出装置が油圧ショベル１の外部に設置される場合、距離検出装置を別途用意したり、距離検出装置の設置作業を実施したりする必要が生じる。この場合、装置コストが上昇したり、作業効率が低下したりする可能性がある。距離検出装置２０が油圧ショベル１に搭載されることにより、距離検出装置を別途用意する必要はなくなり、距離検出装置の設置作業を実施する必要はなくなる。そのため、装置コストを抑制することができ、作業効率の低下を抑制することができる。また、距離検出装置２０が油圧ショベル１に搭載されることにより、対象ＷＡ（施工対象）の位置が徐々に変化する場合でも、距離検出装置の設置作業を実施する必要がなくなる。姿勢検出装置４０及び撮像装置５０についても同様である。

また、本実施形態においては、撮像装置５０で撮像された実画像ＲＧを含む表示装置８０の表示画面の一部に対象画像ＡＧ及び作業機械画像ＢＧを含むインポーズ画像ＩＧが表示される。実画像ＲＧの一部にインポーズ画像ＩＧがインポーズされることにより、操作者は、実画像ＲＧを見ながら、視線を大きく動かすことなくインポーズ画像ＩＧを見ることができる。そのため、操作者は、安心感を抱くことができ、円滑な操作を実施することができる。

また、本実施形態においては、インポーズ画像ＩＧがインポーズされる実画像ＲＧは、作業機４の画像を含む。すなわち、旋回体３の＋Ｘｍ方向の実画像ＲＧにインポーズ画像ＩＧがインポーズされる。操作者は、実画像ＲＧを見ることにより、作業機４の作業状況を把握することができ、インポーズ画像ＩＧを見ることにより、対象ＷＡと作業機４との距離を把握することができる。作業機４を使って作業をする場合、操作者は、作業機４の実画像を見ながら遠隔操作装置７０を操作する。そのため、作業機４の実画像を含む実画像ＲＧの一部にインポーズ画像ＩＧがインポーズされることにより、操作者は、実画像ＲＧを見ながら、視線を大きく動かすことなくインポーズ画像ＩＧを見ることができる。したがって、操作者は、円滑な操作を実施することができるため、作業効率の低下が抑制される。また、表示装置８０の表示画面において、作業機４の実画像とインポーズ画像ＩＧとは、異なる位置に表示される。これにより、作業機４の実画像がインポーズ画像ＩＧに遮られないため、操作者は、作業機４の実画像及びインポーズ画像ＩＧの両方を円滑に見ることができる。

また、本実施形態によれば、所定の単一の座標系において対象画像ＡＧ及び作業機械画像ＢＧが表示される。これにより、操作者は、対象画像ＡＧ及び作業機械画像ＢＧを見て、対象ＷＡと油圧ショベル１との距離及び相対位置を容易に把握することができる。

また、車体座標系において対象画像ＡＧ及び作業機械画像ＢＧが生成され、車体座標系において固定された仮想視点から見た対象画像ＡＧ及び作業機械画像ＢＧが表示されることにより、図１１を参照して説明したように、旋回体３が旋回したとき、旋回体画像３Ｇが停止し、走行体画像２Ｇ及び対象画像ＡＧが旋回するように表示される。これにより、操作者は、旋回体３を基準とした作業現場の状況を俯瞰することができる。

また、グローバル座標系において対象画像ＡＧ及び作業機械画像ＢＧが生成され、グローバル座標系において固定された仮想視点から見た対象画像ＡＧ及び作業機械画像ＢＧが表示されることにより、図１２を参照して説明したように、旋回体３が旋回したとき、走行体画像２Ｇ及び対象画像ＡＧが停止し、旋回体画像３Ｇが旋回するように表示される。これにより、操作者は、走行体２及び対象ＷＡを基準とした作業現場の状況を俯瞰することができる。

また、本実施形態によれば、作業機械画像ＢＧは、作業機４の画像のみならず、旋回体３の画像も含む。そのため、操作者は、表示装置８０に表示された対象画像ＡＧを見て、作業機４の作動状況及び対象ＷＡと作業機４との距離のみならず、旋回体３の旋回状況及び対象ＷＡと旋回体３との相対位置を把握することができる。また、旋回体３の姿勢を検出する旋回体姿勢センサ４１と作業機４の姿勢を検出する作業機姿勢センサ４２とが設けられることにより、旋回体姿勢センサ４１の検出データに基づいて、実際の旋回体３の旋回に連動するように旋回体画像３Ｇが表示され、作業機姿勢センサ４２の検出データに基づいて、実際の作業機４の作動に連動するように作業機画像４Ｇが表示される。これにより、操作者は、油圧ショベル１の姿勢及び作動状況を俯瞰することができる。

なお、上述の実施形態において、インポーズ画像ＩＧにおいて、対象画像ＡＧの３次元形状と撮像装置５０で撮像された画像とが重ね合わされた状態で表示されてもよい。上述のように、距離検出装置２０で検出された対象ＷＡの３次元形状における位置Ｐｄを撮像装置座標系の画像における位置Ｐｃに変換することによって、撮像装置座標系において、対象ＷＡの３次元形状と対象ＷＡの画像とを重ね合わせることができる。また、対象ＷＡの３次元形状における位置Ｐｄ及び対象ＷＡの画像における位置Ｐｃは、車体座標系の位置Ｐｍ又はグローバル座標系の位置Ｐｇに変換可能である。

なお、上述の実施形態において、作業機械画像ＢＧは、走行体画像２Ｇ、旋回体画像３Ｇ、及び作業機画像４Ｇを含むこととした。作業機械画像ＢＧは、旋回体画像３Ｇ及び作業機画像４Ｇを含み、走行体画像２Ｇを含まなくてもよい。また、作業機械画像ＢＧは、作業機画像４Ｇを含み、走行体画像２Ｇ及び旋回体画像３Ｇを含まなくてもよい。

なお、上述の実施形態において、距離検出装置２０がレーザレンジファインダであることとした。距離検出装置２０は、レーザレンジファインダに限定されない。距離検出装置２０は、対象ＷＡの３次元形状を検出できればよく、例えば超音波距離センサでもよいし、ステレオカメラでもよい。

なお、上述の実施形態において、距離検出装置２０が複数設けられてもよい。また、距離検出装置２０によって、旋回体３の前方向の対象ＷＡの３次元形状のみならず、旋回体３の右方向の対象ＷＡの３次元形状、旋回体３の左方向の対象ＷＡの３次元形状、及び旋回体３の後方向の対象ＷＡの３次元形状の少なくとも一つが検出されてもよい。

なお、上述の実施形態において、作業機姿勢センサ４２がストロークセンサであることとした。作業機姿勢センサ４２は、ストロークセンサに限定されない。作業機姿勢センサ４２は、作業機４の傾斜角を検出できればよく、例えばロータリーセンサでもよいし、加速度センサでもよいし、レーザスキャナのような光学センサでもよい。

なお、上述の実施形態において、撮像装置５０が単眼カメラであることとした。撮像装置５０は、単眼カメラに限定されない。撮像装置５０は、例えば対象ＷＡの３次元形状を検出する機能と画像を取得する機能とを有するステレオカメラでもよい。

なお、上述の実施形態において、撮像装置５０が複数設けられてもよい。また、撮像装置５０によって、旋回体３の前方向の対象ＷＡの画像のみならず、旋回体３の右方向の対象ＷＡの画像、旋回体３の左方向の対象ＷＡの画像、及び旋回体３の後方向の対象ＷＡの画像の少なくとも一つが取得されてもよい。

なお、上述の実施形態において、仮想視点は移動してもよい。すなわち、表示制御部９３は、異なる複数の位置のそれぞれに設定される仮想視点から見た対象画像ＡＧ及び作業機械画像ＢＧを含むインポーズ画像ＩＧを表示装置８０に表示させてもよい。例えば、インポーズ画像ＩＧが自由視点画像でもよい。自由視点画像とは、対象物（対象ＷＡ及び油圧ショベル１）に対する仮想視点を任意の位置に設定し、その設定された仮想視点から見た画像をいう。

なお、上述の実施形態においては、距離検出装置２０の検出データ及び姿勢検出装置４０の検出データが通信システム３００を介して制御装置９０に送信され、制御装置９０において対象画像ＡＧ及び作業機画像ＢＧが生成され、表示装置８０に表示されることとした。対象画像ＡＧ及び作業機械画像ＢＧの少なくとも一方が、油圧ショベル１に搭載されている制御装置６０で生成され、生成された対象画像ＡＧ及び作業機械画像ＢＧの少なくとも一方が、通信システム３００を介して制御装置９０に送信され、表示装置８０に表示されてもよい。

なお、上述の実施形態においては、作業現場の実画像ＲＧを表示する表示装置８０の表示画面の一部にインポーズ画像ＩＧが表示されることとした。実画像ＲＧを表示する表示装置と、インポーズ画像ＩＧを表示する表示装置とが異なる表示装置でもよい。例えば、メイン表示装置に隣接するようにサブ表示装置が配置され、メイン表示装置に実画像ＲＧが表示され、サブ表示装置にインポーズ画像ＩＧが表示されてもよい。

なお、上述の実施形態においては、作業機械１が油圧ショベルであることとした。作業機械１は、作業機及び作業機を支持する旋回体を備えていればよく、油圧ショベルに限定されない。また、作業機械１は、作業機を備えていればよく、旋回体を備えていなくてもよい。例えば、作業機械１がホイールローダ等でもよい。

１…油圧ショベル（作業機械）、２…走行体、２Ａ…履帯、２Ｂ…履帯、３…旋回体、４…作業機、５…油圧シリンダ、６…ブーム、７…アーム、８…バケット、９…先端部、１０…ブームシリンダ、１１…アームシリンダ、１２…バケットシリンダ、２０…距離検出装置、３０…位置検出装置、３１…ＧＰＳアンテナ、４０…姿勢検出装置、４１…旋回体姿勢センサ、４２…作業機姿勢センサ、４２Ａ…ブームストロークセンサ、４２Ｂ…アームストロークセンサ、４２Ｃ…バケットストロークセンサ、５０…撮像装置、６０…制御装置、６０Ａ…演算処理装置、６０Ｂ…記憶装置、６０Ｃ…入出力インターフェース、７０…遠隔操作装置、７１…作業レバー、７１Ｌ…左作業レバー、７１Ｒ…右作業レバー、７２…走行レバー、７２Ｌ…左走行レバー、７２Ｒ…右走行レバー、８０…表示装置、９０…制御装置、９０Ａ…演算処理装置、９０Ｂ…記憶装置、９０Ｃ…入出力インターフェース、９１…対象画像生成部、９２…作業機械画像生成部、９３…表示制御部、９４…座標変換データ記憶部、９５…合成部、９６…データ受信部、１００…遠隔操作システム、２００…表示システム、３００…通信システム、ＡＧ…対象画像、ＢＧ…作業機械画像、ＩＧ…インポーズ画像（合成画像）、ＲＧ…実画像、ＭＡ…検出範囲、ＴＡ…撮像範囲、ＷＡ…対象、ＷＡａ…地表、ＷＡｂ…運搬車両、Ｚｒ…旋回軸。

Claims (4)

1. 走行体と、前記走行体に旋回可能に支持される旋回体と、前記旋回体に支持される作業機とを有する作業機械に搭載され、前記作業機械の周囲の対象との距離を検出する第１検出装置の検出データに基づいて、前記作業機械の外部の仮想視点から見た前記対象の仮想視点画像を示す対象画像を生成する対象画像生成部と、
   前記作業機械に搭載され前記作業機械の姿勢を検出する第２検出装置の検出データに基づいて、前記仮想視点から見た前記作業機械の仮想視点画像を示す作業機械画像を生成する作業機械画像生成部と、
   所定の座標変換データに基づいて、前記対象画像及び前記作業機械画像の少なくとも一つの座標を変換することによって、前記対象画像と前記作業機械画像とを重畳した所定の単一の座標系において固定された仮想視点から見た合成画像を生成する合成部と、
   前記作業機械に搭載された撮像装置で撮像された実画像と前記合成画像とを前記作業機械の外部に存在する表示装置に表示させる表示制御部と、を備え、
   前記第２検出装置は、前記旋回体が旋回したことを検出する第１センサと、前記作業機の姿勢を検出する第２センサとを含み、
   前記作業機械画像は、前記旋回体の画像と、前記作業機の画像と、前記走行体の画像とを含み、
   前記実画像は、前記作業機の実画像を含み、
   前記表示制御部は、所定の単一の座標系において固定された前記仮想視点から見た前記対象画像及び前記作業機械画像を表示させ、前記旋回体が旋回したとき、前記作業機械画像の前記旋回体の画像と前記走行体の画像との相対位置が変化するように表示させ、所定の単一の座標系が車体座標系である場合、旋回体を基準とした合成画像を表示され、所定の単一の座標系がグローバル座標系である場合、走行体もしくは対象を基準とした合成画像を表示される、
   表示システム。
2. 前記第２検出装置は、前記旋回体の傾斜角を検出する、
   請求項１に記載の表示システム。
3. 前記旋回体の画像と、前記作業機の画像と、前記走行体の画像とは、スケルトン画像である、
   請求項１又は請求項２に記載の表示システム。
4. 走行体と、前記走行体に旋回可能に支持される旋回体と、前記旋回体に支持される作業機とを有する作業機械に搭載された撮像装置で撮像された実画像と、
   所定の座標変換データに基づいて、対象画像及び作業機械画像の少なくとも一つの座標を変換することによって、前記作業機械の周囲の対象との距離を検出する第１検出装置の検出データに基づいて生成された前記作業機械の外部の仮想視点から見た前記作業機械の周囲の対象の仮想視点画像を示す対象画像と前記仮想視点から見た前記作業機械の仮想視点画像を示す作業機械画像とを重畳した所定の単一の座標系において固定された仮想視点から見た合成画像と、を表示し、
   前記作業機械画像は、前記旋回体の画像と、前記作業機の画像と、前記走行体の画像とを含み、
   前記実画像は、前記作業機の実画像を含み、
   所定の単一の座標系において固定された前記仮想視点から見た前記対象画像及び前記作業機械画像を表示し、
   前記旋回体が旋回したとき、前記作業機械画像の前記旋回体の画像と前記走行体の画像との相対位置が変化するように表示させ、所定の単一の座標系が車体座標系である場合、旋回体を基準とした合成画像を表示され、所定の単一の座標系がグローバル座標系である場合、走行体もしくは対象を基準とした合成画像を表示させる、
   表示装置。

Images