JP2015195457A

JP2015195457A - 対象物表示装置

Info

Publication number: JP2015195457A
Application number: JP2014071594A
Authority: JP
Inventors: 博仁小俣; Hirohito Komata
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2014-03-31
Filing date: 2014-03-31
Publication date: 2015-11-05
Anticipated expiration: 2034-03-31
Also published as: JP6287488B2

Abstract

【課題】対象物の位置を十分に認識することが可能な対象物表示装置を提供する。
【解決手段】投影部１７は、画像を投影する。表示部１８は、投影部１７から投影された画像が表示され、表示された画像を反射して操縦者８３の視点８４に導き、操縦者８３が表示された画像を虚像として視認する。表示部１８は、制御部１９の制御の下に、操縦者８３が視認している実景に重畳して、構造物の位置と、構造物と作業点Ｓとの接近の度合いを示す画像が表示される。
【選択図】図１

Description

本発明は、対象物を表示する対象物表示装置に関する。

従来、地中に埋設されている水道管などの埋設管を探査して、地図上に表示する埋設管マッピングシステムの技術が知られている。この技術は、国土交通省が提供している新技術情報提供システムに登録（登録Ｎｏ．ＣＧ−０４００２８−Ｖ）されている。

この埋設管マッピングシステムは、データベースの地図上に探査した埋設管の位置を記録する。埋設管マッピングシステムを用いて掘削作業などを行う場合は、作業者は埋設管の位置が記録された地図を参照しながら作業を行う。

一方、地中埋設物等の障害物を建設機械に設けられた表示部に表示して土木作業を行う土木作業システムとしては、例えば以下に示す特許文献１に記載されたものが知られている。

このシステムは、自車両の位置と障害物の位置が表示された土木作業用マップを表示部に表示し、作業者はこの土木作業用マップを見ながら掘削作業などを行う。表示部は、作業者が視認可能となるように建設機械の運転室に設けられている。

このシステムで表示される土木作業用マップは、掘削作業時における作業者の視線方向とは異なる位置に二次元表示される。

特開２００２−３３９４０７号公報

上記従来の埋設管マッピングシステムは、表示の対象物となる埋設管の位置を単に地図上に記録する。このため、埋設管マッピングシステムを用いて掘削作業を行うときには、地図を参照しながら埋設管の位置を確認して作業を行わなければならなかった。したがって、作業者は、実際に掘削しているときに地中の埋設管の位置を把握しづらく、作業性が低下するおそれがあった。

一方、上記従来の土木作業システムでは、障害物の位置が表示される土木作業用マップは、掘削作業時における作業者の視線方向とは異なる位置に表示されている。作業者は、掘削時に障害物の位置を確認するために掘削点に向けられていた視線を表示部に移動させなければならず、作業者の視点移動が繰り返される。

このため、作業者は、実際に掘削しているときに地中の埋設管の位置が把握しづらく、作業性が低下するおそれがあった。

本発明の目的は、ユーザが対象物の位置を十分に認識することが可能な対象物表示装置を提供することである。

本発明は、画像を投影する投影部（１７または１３３）と、前記投影部から投影された画像が表示され、表示された画像を反射してユーザ（例えば８３）の視点位置（例えば８４）に導き、前記ユーザが視認している実景に重畳して表示された画像を前記ユーザに視認させる表示部（１８または１３４）と、前記ユーザの位置を検出する検出部（１０，１２，１９または１３５）と、対象物の位置を取得する取得部（１１または１３１）と、前記検出部により検出された前記ユーザから離間して位置する作業点と前記対象物との距離を算出する算出部（１４または１３２）と、前記投影部から投影された画像を前記表示部に表示するように制御する制御部（１９または１３５）と、を有し、前記制御部は、前記取得部で取得された前記対象物の位置と、前記算出部で算出された距離に基づく前記対象物と前記作業点との接近の度合いを示す画像が、前記表示部に表示されるように制御することを特徴とする対象物表示装置（１，１３０）を提供する。

本発明の対象物表示装置によれば、ユーザが視認している実景に重畳して、対象物の位置と、対象物と作業点との接近の度合いを示す画像を表示することができる。この結果、ユーザが対象物の位置を容易かつ十分に認識することが可能になる。

本発明の第１実施形態に係る対象物表示装置の構成を示す図である。建設機械の構成を示す図である。建設機械の位置を補正する補正方法を示す図である。建設機械の作業点Ｓと埋設物との距離を算出する手順を説明するための図である。建設機械の作業点Ｓと埋設物との距離を算出する手順を説明するための図である。建設機械の作業点Ｓと埋設物との距離を算出する手順を説明するための図である。投影部の構成を示す図である。本発明の第１実施形態において、建設機械の操縦室を側面から見た図である。本発明の第１実施形態において、フロントガラスに表示される画像ならびにフロントガラス越しに見える実景の一例を示す図である。フロントガラスに投影される投影画像を生成する際に用いる仮想空間を示す図である。フロントガラスに投影される投影画像の位置を算出する方法を示す図である。本発明の第１実施形態に係る対象物を表示する手順を示すフローチャートである。本発明の第２実施形態に係る対象物表示装置の構成を示す図である。本発明の第２実施形態において、建設機械の操縦室を側面から見た図である。本発明の第２実施形態において、天井ガラスに表示される画像ならびに天井ガラス越しに見える実景の一例を示す図である。

以下、図面を用いて本発明を実施するための実施形態を説明する。

（第１実施形態）
図１を参照して、本発明の第１実施形態に係る対象物表示装置の構成を説明する。図１において、対象物表示装置１は、受信部１０、通信インターフェース部１１、位置補正部１２、センサ部１３を備えている。さらに、対象物表示装置１は、距離算出部１４、地図情報部１５、通報部１６、投影部１７、表示部１８、制御部１９を備えている。

以下の第１，２実施形態では、対象物表示装置１は、土木作業に用いられる建設機械の操縦者が操縦室の外部を視認する窓ガラスに表示の対象物の位置を表示する装置を一例として説明する。表示の対象物は、建設機械の周辺に位置する構造物である。第１実施形態では、操縦者が操縦室の外部を視認する窓ガラスは、フロントガラスであり、表示の対象物は埋設物である。
また、以下の第１，２実施形態では、建設機械は、例えば図２に示すショベルカーを一例として説明する。建設機械の種類は、ショベルカーに限ることはなく、例えばブルドーザーなどの他の建設機械であってもよい。

図２において、建設機械２は、本体部２０と走行部２１とを備えている。本体部２０には、操縦者が操縦する操縦室が設けられている。本体部２０は、走行部２１の上部に水平面内に旋回自在に支持されている。走行部２１は、無限軌道などの走行装置で構成され、建設機械２を走行させる。本体部２０には、作業機が設けられている。

作業機は、本体側から順に第１アーム部２２、第２アーム部２３、第３アーム部２４、バケット部２５を備えて構成されている。第１アーム部２２は本体部２０に取り付けられて支持されている。第２アーム部２３は第１アーム部２２に連設され、第３アーム部２４は第２アーム部２３に連設され、バケット部２５は第３アーム部２４に連設されている。作業機は、操縦者の操作にしたがって第１アーム部２２、第２アーム部２３、第３アーム部２４、バケット部２５が駆動され、掘削作業などを行う。

図１に戻って、受信部１０は、ＧＮＳＳ（ＧｌｏｂａｌＮａｖｉｇａｔｉｏｎＳａｔｅｌｌｉｔｏＳｙｓｔｅｍ）衛星から送信された信号を受信し、受信した信号に基づいて建設機械２の位置（緯度、経度）を取得する。ＧＮＳＳ衛星は、一例としてＧＰＳ（
ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）衛星がある。

受信部１０は、ユーザの位置を検出する検出部として機能する。

位置補正部１２は、受信部１０で取得された建設機械２の位置を補正する。位置の補正方法としては、例えばユーザが手動で入力操作することによりマップマッチングを行う手動マップマッピングの方法、もしくは建設機械２とランドマークとの距離を用いる方法が挙げられる。位置補正部１２は、建設機械２の補正した位置を制御部１９に与える。

手動マップマッピングは、地図情報に登録された例えば建造物などのランドマークに基づいて、ユーザが手動操作により自位置を補正する。この手動マップチマッピングの方法は、例えば車載のナビゲーションシステムで採用された既知の技術を用いることができる。

建設機械２とランドマークとの距離を用いる方法は、図３（ａ），（ｂ）に示す手順にしたがって行われる。図３は建設機械２とその周辺を上から見た図であり、同図（ａ）は補正前を示す図であり、同図（ｂ）は補正後を示す図である。

図３（ａ）において、建設機械２の周囲には、例えば建造物などの３つのランドマークＬＭ１〜ＬＭ３があるものとする。受信部１０で取得した建設機械２の位置に対して、建設機械２とランドマークＬＭ１とは距離ａ１だけ離れているものとする。同様に、建設機械２とランドマークＬＭ２とは距離ｂ２だけ離れ、建設機械２とランドマークＬＭ３とは距離ｃ３だけ離れているものとする。

このような状況において、図３（ｂ）に示すように、後述するセンサ部１３が備えている超音波センサが、建設機械２とランドマークＬＭ１との距離を測定する。同様に、超音波センサが、建設機械２とランドマークＬＭ２との距離、建設機械２とランドマークＬＭ２との距離を測定する。測定の結果、建設機械２とランドマークＬＭ１とは距離ａ２だけ離れている結果が得られたものとする。同様に、建設機械２とランドマークＬＭ２とは距離ｂ２、建設機械２とランドマークＬＭ３とは距離ｃ２だけ離れている結果が得られたものとする。

これにより、建設機械２の位置は、建設機械２とランドマークＬＭ１〜ＬＭ３との各距離が上記測定結果となるように補正される。すなわち、図３（ｂ）に示すように、補正前の建設機械２（＃１）の位置は、補正後の建設機械２（＃２）の位置に補正される。

位置補正部１２は、建設機械２の位置を補正する際に、図３に示す建設機械２とランドマークＬＭ１〜ＬＭ３との位置関係を示す画像を表示部１８に表示するようにしてもよい。

図１に戻って、通信インターフェース部１１は、無線通信ネットワーク、例えばインターネットを介してデータベース３と通信を行う。

データベース３には、埋設物に関する情報が保存されている。埋設物に関する情報としては、種類、配置、構成、管理情報等である。種類は、水道管、ガス管、通信回線などである。配置情報は、平面方向ならびに深さ方向の配置位置、長さ、直径等である。構成は材質等である。管理情報は、埋設物を管理している会社や自治体のメールアドレス、電話番号などの連絡先等である。

通信インターフェース部１１は、インターネットを介してデータベース３と通信して、データベース３から埋設物に関する情報を取得する。通信インターフェース部１１は、対象物の位置を取得する取得部として機能する。

通信インターフェース部１１は、インターネットを介して後述する通報メールを送信する。

センサ部１３は、複数の角度センサを備えている。角度センサは、第１アーム部２２が本体部２０に支持された支持部に設置され、後述する基準軸と第１アーム部２２とのなす角度θ０を検出する。角度センサは、第１アーム部２２と第２アーム部２３との連設部に設置され、第１アーム部２２と第２アーム部２３とのなす角度θ１を検出する。

角度センサは、第２アーム部２３と第３アーム部２４との連設部に設置され、第２アーム部２３と第３アーム部２４とのなす角度θ２を検出する。角度センサは、第３アーム部２４とバケット部２５との連設部に設置され、第３アーム部２４とバケット部２５とのなす角度θ３を検出する。角度センサは、本体部２０と走行部２１との接続部に設置され、走行部２１に対する本体部２０の旋回角度を検出する。この旋回角度は、後述するバケット部２５と埋設物との距離を算出する際に用いられる。

センサ部１３は、加速度センサを備えている。加速度センサは、走行部２１に設置され、検出された各方向の加速度を時間積分することで建設機械２の移動距離を検出する。

センサ部１３は、角速度センサを備えている。角速度センサは、走行部２１に設置され、建設機械２の移動方向を検出する。角速度センサは、地面に対する建設機械２の傾き角度、傾き方向（前後方向、左右方向）を検出する。

センサ部１３は、超音波センサを備えている。超音波センサは、超音波の送受信により建設機械２と建設機械２の周辺に位置するランドマークとの距離を測定する。

それぞれのセンサで検出された検出値は、制御部１９に与えられる。

距離算出部１４は、図２に示すバケット部２５の先端（以下、作業点Ｓと呼ぶ）と埋設物との距離を算出する。

図４〜図６を参照して算出方法を説明する。

図４は建設機械２を側面から見た図である。図５は建設機械２を上から見た図であり、本体部２０が旋回した様子を示している。図６（ａ）はバケット部２５を側面から見た図であり、同図（ｂ）は算出にあたってバケット部２５を円筒形とみなした図である。

算出にあたって、予め以下のように設定される。
Ｘ軸は、地面４０上に設定し、地面４０に対して水平に設定した直線である。Ｘ軸は、建設機械２から見て左右方向の埋設物までの距離を算出するための基準軸とする。
Ｙ軸は、地面４０上に設定し、地面４０に対して水平に設定した直線である。Ｙ軸は、建設機械２から見て前後方向の埋設物までの距離を算出するための基準軸とする。

なお、この第１実施形態では、本体部２０の旋回方向を角度センサで検出している。これにより、作業点Ｓの位置を算出する際には、本体部２０の正面に埋設物があるものとし、Ｙ軸を本体部２０の旋回角度だけ回転させることでＸ座標を０とする。

Ｚ軸は、第１アーム部２２が本体部２０に支持された支持部から地面４０に垂直に設定した直線である。Ｚ軸は、建設機械２から見て垂直方向の埋設物までの距離を算出するための基準軸とする。

基準軸４１は、第１アーム部２２が本体部２０に支持された支持部からＹ軸に平行に設定された直線である。基準軸４１は、第１アーム部２２、第２アーム部２３、第３アーム部２４がなす角度を算出するための基準軸とする。

角度θ０は、基準軸４１との第１アーム部２２とのなす角度である。角度θ１は、第１アーム部２２を基準にして第１アーム部２２と第２アーム部２３とのなす角度である。角度θ２は、第２アーム部２３を基準にして第２アーム部２３と第３アーム部２４とのなす角度である。角度θ３は、第３アーム部２４を基準にして第３アーム部２４とバケット部２５とのなす角度である。角度θ１、角度θ２、角度θ３は、０＜θ１、θ２、θ３＜２πとし、単位は［ｒａｄ］とする。

アーム長ａは、第１アーム部２２の長さである。アーム長ｂは、第２アーム部２３の長さである。アーム長ｃは、第３アーム部２４の長さである。バケット長ｄは、図６（ａ）に示すように、第３アーム部２４に支持されたバケット部２５の支持部とバケット部２５の作業点Ｓとの間の長さである。これらの長さは予め実測し、もしくは建設機械２の仕様から取得する。

先ず、バケット部２５の作業点ＳのＺ座標Ｚｓは、次式（１）により算出される。

Ｚｓ＝Ｚ０＋Ｚ１＋Ｚ２＋Ｚ３＋Ｚ４ …（１）
Ｚ座標Ｚ０は、地面４０から第１アーム部２２までの高さであり、実測して求める。

Ｚ座標Ｚ１、Ｚ座標Ｚ２、Ｚ座標Ｚ３は、次式（２）、（３）、（４）により算出される。

Ｚ１＝アーム長ａ×ｓｉｎθａ …（２）
Ｚ２＝アーム長ｂ×ｓｉｎθｂ …（３）
Ｚ３＝アーム長ｃ×ｓｉｎθｃ …（４）
角度θａ、角度θｂ、角度θｃは、次式（５）、（６）、（７）により算出される。

θａ＝π−θ０ …（５）
θｂ＝π−（θ１−θａ） …（６）
θｃ＝π−（θ２−θｂ） …（７）
Ｚ座標Ｚ４は、図６（ｂ）に示すように、バケット部２５を直径ｄ、高さｈの円筒に近似させて算出する。これにより、Ｚ座標Ｚ４は、次式（８）により算出される。

Ｚ４＝−ｄ …（８）
なお、バケット部２５の作業点Ｓは、Ｙ座標は±ｄ、Ｘ座標は±ｈ／２の範囲内で最も埋設物に近い部位をＹ座標、Ｘ座標とする。

次に、バケット部２５の作業点ＳのＹ座標Ｙｓは、次式（９）により算出される。

Ｙｓ＝Ｙ１＋Ｙ２＋Ｙ３＋Ｙ４ …（９）
Ｙ座標Ｙ１、Ｙ座標Ｙ２、Ｙ座標Ｙ３は、次式（１０）、（１１）、（１２）により算出される。

Ｙ１＝アーム長ａ×ｃｏｓθａ …（１０）
Ｙ２＝アーム長ｂ×ｃｏｓθｂ …（１１）
Ｙ３＝アーム長ｃ×ｃｏｓθｃ …（１２）
Ｙ座標Ｙ４は、図６（ｂ）に示すように、バケット部２５を直径ｄ、高さｈの円筒に近似させて算出するので、Ｙ座標Ｙ４は、次式（１３）により算出される。

Ｙ４＝±ｄ …（１３）
次に、バケット部２５の作業点ＳのＸ座標Ｘｓは、本体部２０が旋回したときに必要な座標であり、先に触れたように０とする。なお、ここでは、参考までに、Ｘ座標を０としない場合の算出方法を示す。

図５において、建設機械２の本体部２０（＃３）が角度θｘ旋回して本体部２０（＃４）の方向に向いたものとする。

角度θｉは、次式（１４）により算出される。

θｉ＝（π−θｘ）／２ …（１４）
点Ｘ１と点Ｙ１との距離ｉは、次式（１５）により算出される。

ｉ＝（Ｙｓ＋Ｙ０）×ｓｉｎθｘ
ここで、Ｙ座標Ｙｓは式（９）で算出したものであり、Ｙ座標Ｙ０は、第１アーム部２２が本体部２０に支持された支持部から本体部２０の回転軸までの長さである。

点Ｙ１とＸ軸との距離Ｙｉは、次式（１６）により算出される。

Ｙｉ＝ｉｃｏｓθｉ …（１６）
点Ｘ１とＹ軸との距離Ｘｉは、次式（１７）により算出される。

Ｘｉ＝ｉｓｉｎθｉ …（１７）
よって、Ｘ座標Ｘｓは、次式（１８）により算出される。

Ｘｘ＝Ｘｉ±ｈ／２ …（１８）
距離Ｘｉは、本体部２０が旋回したことによりＸ座標が変化することを意味し、旋回後の座標Ｘｓは、座標Ｘｓから距離Ｘｉを減算したものとなる。

これにより、作業点Ｓの座標は、（Ｘｓ，（Ｙｓ−Ｙｉ），Ｚｓ）となる。ここで、先にも触れたように、Ｘ座標を０としているので、距離Ｙｉは０となり、作業点Ｓの座標は、（０，Ｙｓ，Ｚｓ）として求められる。

次に、距離算出部１４は、作業点Ｓと埋設物との距離を算出する。

先ず、埋設物の位置を、先に求めた作業点Ｓの座標を基準座標（０，０，０）としたときの相対座標（Ｘｄ，Ｙｄ，Ｚｄ）に置き換える。これにより、作業点Ｓから埋設物までの距離Ｌは、次式（１９）により算出される。

Ｌ＝（Ｘｄ^２＋Ｙｄ^２＋Ｚｄ^２）^１／２ …（１９）
図１に戻って、地図情報部１５は、建設機械２が作業する周辺の地図情報を備えている。地図情報には、手動で各種のランドマークを任意に登録することができる。多くのランドマークを登録することで、先に説明した建設機械２の位置を補正する際の精度を高めることができる。

また、埋設物の配置位置が事前に取得されている場合には、地図に埋設物の位置を予め登録しておくことができる。これにより、インターネットなどが使用できない環境であっても、埋設物の位置を表示することが可能となる。

通報部１６は、建設機械２による掘削作業中に誤って埋設物を破損した場合に、その旨を埋設物を管理する関係各所に電子メール等で通報する。この通信は、通信インターフェース部１１を介して行われる。通報部１６は、ボタンスイッチなどで構成される通報スイッチを備えている。この通報スイッチが操作されたら上記通報動作を行うようにしてもよい。

投影部１７は、埋設物の位置と、埋設物とバケット部２５との接近の度合いを示す画像を表示部１８に投影する。

投影部１７は、図７に示すように、投影ユニット１７０、平面ミラー１７１，１７３、スクリーン１７２、凹面ミラー１７４を備えている。

投影ユニット１７０は、制御部１９の制御の下に、少なくとも埋設物の位置と、埋設物とバケット部２５との接近の度合いを示す表示画像の像光を平面ミラー１７１に投射する。平面ミラー１７１は、投射された像光をスクリーン１７２に反射させる。

スクリーン１７２は、拡散板やマイクロレンズがマトリックス状に配置された光透過性のマイクロレンズアレイなどで構成される。マイクロレンズアレイは、レーザ光特有のスペックルを低減する効果を有する。

スクリーン１７２に入射した像光は、スクリーン１７２上で中間像を形成する。スクリーン１７２に入射した像光は、スクリーン１７２を透過し、透過した像光は平面ミラー１７３に入射する。平面ミラー１７３は、入射した像光を凹面ミラー１７４に反射させる。凹面ミラー１７４は、入射した像光を反射して表示部１８に投影する。

投影部１７は、埋設物の位置と、埋設物とバケット部２５との接近の度合いを示す画像の他に、埋設物に関する情報を表示部１８に投影してもよい。埋設物に関する情報としては、例えば建設機械２の位置を求めた際の誤差に基づく埋設物の位置の誤差範囲である。他の例としては、例えば埋設物の種類、大きさ、埋設深さ、材質、埋設日などである。さらに他の例としては、建設機械２と埋設物との位置関係を示す画像である。

表示部１８は、投影部１７から投影された画像が表示される。表示部１８は、操縦者が視認している実景に重畳して、投影部１７から投影された画像を虚像として表示される。

投影部１７と表示部１８は、例えばＨＵＤ（ヘッドアップディスプレイ）で構成される。投影部１７と表示部１８がＨＵＤで構成される場合には、投影部１７と表示部１８とは、例えば車両のフロントガラス越しに視認される実景に重畳して虚像を表示する車両用のＨＵＤで用いられている技術と同様の技術を用いることができる。

なお、投影部１７と表示部１８は、視認者の頭部に装着するＨＭＤ（ヘッドマウントディスプレイ）であってもよい。

表示部１８は、投影部１７と表示部１８をＨＵＤで構成した場合に、第１実施形態では、建設機械２の操縦室のフロントガラスで構成される。

フロントガラスは、光が半透過性のガラスで構成され、ハーフミラーとして機能する。フロントガラスの光の透過率は、例えば４５％から９０パーセントである。透過率を変化させて虚像の透過度を調節することで、実像との重畳の様子を変化させることができる。これにより、フロントガラスは、表示部１８としての表示機能と、操縦者が実景を視認する視認性の確保を両立させることができる。

表示部１８は、少なくとも埋設物の位置と、埋設物と作業点Ｓとの接近の度合いを示す画像が表示される。

埋設物の位置は、埋設物の位置を例えば埋設物の輪郭線として表示される。埋設物と作業点Ｓとの接近の度合いは、例えば埋設物の輪郭線の表示色を接近の度合いに応じて変えて表示される。埋設物の輪郭線は、埋設物と作業点Ｓとの距離が、例えば１５０ｃｍ以上の場合には緑色、１００ｃｍ以上１５０ｃｍ未満の場合には黄色、１００ｃｍ未満の場合には、赤色で表示される。

他の例としては、埋設物の輪郭線の鮮明度は、接近の度合いに応じて変えられる。埋設物とバケット部２５との距離が、例えば１００ｃｍ未満の場合には、接近の度合いは、最も鮮明に表示され、距離が遠ざかるに応じて輪郭線をぼやかして鮮明度が徐々に低下して表示される。

図８は建設機械２の操縦室８０を側面（図５のＸ軸方向）から見た図である。

図８において、投影部１７は、操縦室８０の下部に設置されている。投影部１７からフロントガラス８１に向けて投影された投影光８２は、フロントガラス８１で反射して操縦者８３の視点８４に到達する。

これにより、操縦者８３は、フロントガラス８１で反射された投影光８２が重畳された実景を視認する。したがって、操縦者８３は、埋設物の位置、ならびに作業点と埋設物との接近の度合いの画像が重畳された実景をフロントガラス８１越しに視認しながら掘削などの作業を行うことができる。

図９は操縦者８３がフロントガラス８１越しに視認する実景の一例を模式的に示している。図９において、操縦者８３はフロントガラス８１越しに建設機械２の作業機９０を実景として視認している。フロントガラス８１には、埋設物の位置を示す輪郭線９１が例えば破線で表示されている。作業点と埋設物との接近の度合いは、上述したように、輪郭線９１の表示色で表示される。また、フロントガラス８１には、埋設物の位置の誤差範囲が、例えば輪郭線９１の表示色と異なる表示色で一点鎖線の輪郭線９２で示されている。

さらに、フロントガラス８１には、上述したように、埋設物に関する埋設物情報９３が表示されている。埋設物情報９３としては、埋設物が水道管で、埋設物の直径、埋設の深さ、長さ、材質、設置日が表示（具体的な情報は図示せず）されている。

また、フロントガラス８１の右下には、建設機械２と輪郭線９１との平面方向の位置関係を示す模式的な画像９４が表示されている。フロントガラス８１の左上には、建設機械２と輪郭線９１との深さ方向の位置関係を示す模式的な画像９５が表示されている。

図１に戻って、制御部１９は、投影部１７から表示部１８に投影される投影画像を生成する機能を含めて、対象物表示装置１の全体を制御する機能を有する。制御部１９は、ＣＰＵを有するコンピュータにより実現することができる。制御部１９は、対象物表示装置１の全体を制御する制御プログラムを記憶した記憶部を有し、この制御プログラムを実行することで対象物表示装置１の全体を制御する。

制御部１９を実現するコンピュータは、制御プログラムを実行することで、位置補正部１２、距離算出部１４が担う上述したそれぞれの機能を実現する。

制御部１９は、建設機械２の移動にともなって、建設機械２の位置を更新する。制御部１９は、センサ部１３が備えている加速度センサならびに角速度センサで検出された建設機械２の移動距離と方向とに基づいて、建設機械２の位置を更新する。

制御部１９は、投影部１７から表示部１８に投影されて表示される画像を生成するにあたって、先ず建設機械２の周囲に仮想空間を構築する。この仮想空間の一例を図１０に示す。

図１０に示す仮想空間上には、データベース３から取得した埋設物の位置に基づいて、埋設物１００が配置される。

図１０に示す仮想空間において、取得された建設機械２の位置に基づいて操縦者の視点位置１０１が求められる。建設機械２の位置が取得されることで、操縦者の着座位置が求められる。したがって、操縦者の視点位置１０１は、例えば操縦者の着座位置から視点までの距離として算出することができる。操縦者の視点位置１０１は、図１０に示すように仮想空間上に配置される。

仮想空間上には、操縦者の視点位置１０１の正面方向（図１０に矢印で示す）に、建設機械２の位置に基づくフロントガラス８１の位置と範囲が設定される。

図１０に示す仮想空間において、Ｘ’Ｙ’Ｚ’座標系が設定される。このＸ’Ｙ’Ｚ’座標系は、視点位置１０１とフロントガラス８１の中心ＯＦとを結ぶ直線を延長した直線１０２と地面との交点を原点ＯＬ（０，０，０）とする。このＸ’Ｙ’Ｚ’座標系では、地面のＺ座標を０とする。このＸ’Ｙ’Ｚ’座標系を用いて、後述するようにして、フロントガラス８１に投影される対象物の画像のフロントガラス８１上での投影位置が算出される。

制御部１９は、上述した仮想空間において、操縦者の視点位置１０１からフロントガラス８１の範囲内に位置する埋設物１００を示す画像を投影画像として生成する。制御部１９は、投影画像を一点透視図法などの遠近法を用いて生成することができる。

制御部１９は、仮想空間上に配置された対象物の位置とフロントガラス８１の投影位置とを対応づけて投影画像を生成する。図１１を参照して、フロントガラス８１上に表示される画像のフロントガラス８１上の投影位置の算出方法を説明する。

図１１は仮想空間における、視点位置１０１（ＯＰ）と、仮想空間上に配置された対象物の位置Ｐと、対象物の位置Ｐに対応したフロントガラス８１上での投影画像の投影位置ｐとの関係を示す図である。

図１１において、仮想空間はＸ’Ｙ’Ｚ’（大文字で表記する）の座標系で表される。このＸ’Ｙ’Ｚ’座標系とは別に、フロントガラス８１の平面上は、ｘｙ（小文字で表記する）の座標系で表される。ｘｙの座標系では、フロントガラス８１の横方向（仮想空間でのＸ方向）をｘ方向とし、フロントガラス８１の縦方向（仮想空間でのＺ方向）をｙ方向とする。図１１において、長さの単位は［ｍ］とし、角度の単位は［ｒａｄ］とする
図１１において、Ｘ’Ｙ’Ｚ’座標系の原点ＯＬ（０，０，０）は、視点位置１０１（ＯＰ）とフロントガラス８１の中心ＯＦとを結ぶ直線を延長した直線と地面（Ｚ座標０）との交点とする。ｘｙ座標系の原点ｏ（０，０）は、フロントガラス８１の中心とする。

Ｘ’Ｙ’Ｚ’座標系では、視点位置１０１とフロントガラス８１の中心ＯＦとを結ぶ直線と水平線とのなす角度を角度θ０とする。Ｘ’Ｙ’Ｚ’座標系では、地面から視点位置１０１までの高さを高さｍとする。Ｘ’Ｙ’Ｚ’座標系では、フロントガラス８１の中心ＯＦから視点位置１０１の高さを高さｍ０とする。視点位置１０１と原点ＯＬとの水平距離ｎは、次式（２０）により算出される。

ｎ＝ｍ／ｔａｎθ０＝ｌ×ｍ／ｍ０ …（２０）
Ｘ’Ｙ’Ｚ’座標系では、フロントガラス８１に表示する対象物の位置を位置Ｐ（Ｘ’０，Ｙ’０，Ｚ’０）とする。ｘｙ座標系では、この対象物の位置Ｐに対応してフロントガラス８１に投影される画像のフロントガラス８１上の投影点を投影点ｐ（ｘ０，ｙ０）とする。

視点位置１０１は、仮想空間上のＸ’Ｙ’Ｚ’座標系でＯＰ（０，−ｎ，ｍ）で表される。Ｘ’Ｙ’Ｚ’座標系では、フロントガラス８１の中心ＯＦは、ＯＦ（０，０，（ｍ−ｍ０））で表される。

ｘｙ座標系では、フロントガラス８１の横方向（ｘ方向）の幅を幅Ｗとし、縦方向（ｙ方向）の幅を幅Ｈとすると、フロントガラス８１は、次式（２１）で示すように配置される。

−Ｗ／２＜ｘ０＜Ｗ／２、−Ｈ／２＜ｙ０＜Ｈ／２ …（２１）
図１１において、対象物の位置ＰからＹ’−Ｚ’平面に下ろした垂線の交点を点Ｐ’（０，Ｙ’０，Ｚ’０）とする。点Ｐ’からＹ’＝−ｎの点に下ろした垂線の交点を点ＯＰ’（０，−ｎ，Ｚ’０）とする。

対象物の位置Ｐと点Ｐ’とを結ぶ直線と、対象物の位置Ｐと点ＯＰ’とを結ぶ直線とのなす角度θｘは、次式（２２）により算出される。

θｘ＝ａｒｃｔａｎ（（Ｙ’０＋ｎ）／Ｘ’０） …（２２）
視点位置１０１と点Ｐ’とを結ぶ直線と、点Ｐ’と点ＯＰ’とを結ぶ直線とのなす角度θｙは、次式（２３）により算出される。

θｙ＝ａｒｃｔａｎ（（ｍ＋Ｚ’０）／（Ｙ’０＋ｎ）） …（２３）
対象物の位置Ｐに対応した投影位置ｐは、上式（２０）、（２２）、（２３）を用いて次式（２４）より算出される。

ｐ（ｘ０，ｙ０）
＝（Ｘ’０ｔａｎθｘ，ｍ０−ｌｔａｎθｙ）
＝（Ｘ’０（ｌ／（Ｙ’０＋ｎ）），ｍ０−ｌ（（ｍ＋Ｚ’０）／（Ｙ’０＋ｎ）））
＝（Ｘ’０（ｌ／（Ｙ’０＋ｌ（ｍ／ｍ０））），ｍ０−ｌ（（ｍ＋Ｚ’０）／（Ｙ’０＋ｌ（ｍ／ｍ０）））） …（２４）
このように、仮想空間上で視点位置１０１と対象物の位置Ｐとの位置関係にしたがって、対象物のフロントガラス８１上での位置が算出される。これにより、対象物の位置Ｐに対応してフロントガラス８１に投影される投影画像の投影位置ｐが算出される。

投影部１７は、算出された投影位置ｐにしたがって画像をフロントガラス８１上に投影することで、対象物の位置と大きさに応じた画像が、フロントガラス８１に投影される。したがって、フロントガラス８１に投影された対象物の画像は、実景に重畳されてフロントガラス８１上に表示される。

このように、対象物の画像をフロントガラス８１に表示することにより、実空間の状況にかかわらず視点位置１０１から実際に視認されるように対象物がフロントガラス８１に表示される。したがって、対象物の埋設物が土で覆われていても、埋設物が実際に埋設されている位置に操縦者に視認されるように、埋設物がフロントガラス８１に表示される。

図１に戻って、制御部１９は、埋設物の位置の誤差範囲を表示する場合には、建設機械２の位置の誤差を含めて、埋設物の位置の誤差範囲を示す画像を投影画像として生成する。

制御部１９は、建設機械２の本体部２０が旋回して操縦者の視点位置１０１が水平方向に移動した場合には、仮想空間のＸ’−Ｙ’平面を旋回と同方向、同角度回転させる。制御部１９は、回転した仮想空間上で、上述したと同様にして、埋設物１００の位置を示す画像を投影画像として生成する。同様にして、建設機械２が傾斜などによってＹ’−Ｚ’平面内、またはＺ’−Ｘ’平面内で傾いた場合には、仮想空間のＹ’−Ｚ’平面、またはＺ’−Ｘ’平面を傾斜と同角度傾斜させる。

制御部１９は、データベース３から取得された情報に基づいて、図９に示すような埋設物情報９３を示す画像を投影画像として生成する。制御部１９は、建設機械２の位置と埋設物の位置とに基づいて、図９に示すような建設機械２と埋設物との位置関係を示す模式的な画像９４，９５を投影画像として生成する。

制御部１９は、上述したような仮想空間を構築して、操縦者がフロントガラス８１越しに視認している実景に対応して埋設物の位置を示す画像を生成することができる。制御部１９は、生成した投影画像を投影部１７に与える。

図１２は埋設物を表示する際の手順を示すフローチャートである。

図１２において、受信部１０は、ステップＳ１２０１にて、ＧＮＳＳ衛星からの信号に基づいて建設機械２の位置を取得する。

続いて、位置補正部１２は、先ずステップＳ１２０２にて、図３に示すように超音波センサを用いて建設機械２とそれぞれのランドマークとの距離を測定する。

位置補正部１２は、ステップＳ１２０３にて、建設機械２とそれぞれのランドマークとの距離が先のステップＳ１２０２で得られた測定結果となるように、建設機械２の位置を補正する。

通信インターフェース部１１は、ステップＳ１２０４にて、インターネットを介してデータベース３と通信し、データベース３から埋設物に関する情報を取得する。

制御部１９は、ステップＳ１２０５にて、建設機械２の移動にともなって、建設機械２の位置を更新する。

制御部１９は、ステップＳ１２０６にて、ステップＳ１２０５で更新された建設機械２の位置に基づいて、図９で説明したように投影画像を生成する。制御部１９は、ステップＳ１２０６にて、生成した投影画像を投影部１７に与える。投影部１７は、ステップＳ１２０６にて、表示部１８に少なくとも埋設物の位置を示す画像を表示する。

距離算出部１４は、ステップＳ１２０７にて、図４〜図６を参照して説明したように建設機械２の作業点Ｓと埋設物との距離を算出する。

制御部１９は、ステップＳ１２０８にて、埋設物の位置を示す画像の表示色を、ステップＳ１２０７にて算出した距離に応じた表示色とし、建設機械２と埋設物との接近度合いを表示部１８に表示させるように制御する。

制御部１９は、投影画像の投影を続行するか否かを判別する。判別の結果、投影を終了する場合（ｙｅｓ）は、一連の処理を終了する。一方、投影を終了しない場合（ｎｏ）には、先のステップＳ１２０４に戻り、ステップＳ１２０４から再度処理を実行する。

上記第１実施形態では、以下に示す効果を得ることができる。

対象物表示装置は、建設機械の操縦者が視認している実景に重畳して、表示対象物となる埋設物の位置と、埋設物と建設機械の作業点との接近の度合いを示す画像を操縦室のフロントガラスに表示する。これにより、操縦者は、作業中に建設機械の作業点を視認している視線を移動させることなく、埋設物の位置ならびに埋設物までの接近の度合いを容易に認識することができる。

この結果、第１実施形態は、作業中に埋設物の位置や埋設物までの接近度合いを誤って埋設物を損傷するような事故を回避することができ、作業の作業性を損なわずに安全性を高めることができる。また、操縦者は、視線を移動することなく作業に集中することができるので、作業効率を向上させることができる。

対象物表示装置は、埋設物の位置を示す画像の表示色もしくは画像の鮮明度により、対象物と建設機械の作業点との接近の度合いを表示する。これにより、操縦者は、埋設物と建設機械の作業点との接近の度合いを瞬時に認識することができる。

（第２実施形態）
次に、本発明の第２実施形態に係る対象物表示装置について説明する。

第２実施形態に係る対象物表示装置は、第１実施形態の対象物表示装置と異なる点を以下に示す。第１の異なる点は、表示位置の対象物を埋設物に代えて、空中に架設された送電線や通信回線、送電線や通信回線電柱、電信柱、信号機、道路標識などの地面より上方向に配置されている構造物を対象物とする。第２の異なる点は、窓ガラスをフロントガラスから操縦室の天井部に設けられた透明な天井ガラスに代えて、天井ガラスに対象物を表示する。

第２実施形態に係る対象物表示装置は、他は第１実施形態に係る対象物表示装置と同様である。以下、第１実施形態に係る対象物表示装置と異なる点について説明する。

図１３を参照して、本発明の第２実施形態に係る対象物表示装置の構成を説明する。ここでは、空中に仮設された送電線や通信回線などのケーブルを対象物の一例として説明する。図１３において、図１と同符号のものは同機能を有するものであり、その説明は省略する。

対象物表示装置１３０は、通信インターフェース部１１に代えて通信インターフェース部１３１、距離算出部１４に代えて距離算出部１３２を備えている。また、対象物表示装置１３０は、投影部１７に代えて投影部１３３、表示部１８に代えて表示部１３４、制御部１９に代えて制御部１３５を備えている。

図１３において、通信インターフェース部１３１は、無線通信ネットワーク、例えばインターネットを介してデータベース４と通信を行う。

データベース４には、上記ケーブルに関する情報が保存されている。ケーブルに関する情報としては、種類、配置、管理情報等である。種類は、送電線や通信回線などである。配置情報は、配置位置、長さ、大きさ、高さなどである。管理情報は、管理している会社や自治体のメールアドレス、電話番号などの連絡先等である。

通信インターフェース部１１は、インターネットを介してデータベース４と通信して、データベース４からケーブルに関する情報を取得する。

距離算出部１３２は、図２に示すバケット部２５の作業点Ｓとケーブルとの距離を算出する。距離算出部１３２は、図４〜図６を参照して説明したのと同様にして、埋設物をケーブルに代えて、バケット部２５の作業点Ｓとケーブルとの距離を算出する。

なお、建設機械２が掘削作業時にケーブルと接触しやすい作業点Ｓとしては、バケット部２５の先端に代えて、例えば第３アーム部２４とバケット部２５との接続部であってもよい。この場合でも、図４〜図６に示す算出方法と同様にしてケーブルと作業点Ｓとの距離は算出される。

投影部１３３は、ケーブルの位置と、ケーブルと建設機械２の作業点Ｓとの接近の度合いを示す画像を表示部１３４に投影する。投影部１３３は、図７に示すと同様に構成される。

投影部１３３は、ケーブルの位置と、ケーブルと作業点Ｓとの接近の度合いを示す画像の他に、ケーブルに関する情報を表示部１３４に投影して表示するようにしてもよい。ケーブルに関する情報としては、例えば建設機械２の位置を求めた際の誤差に基づくケーブルの位置の誤差範囲である。他の例としては、例えばケーブルの種類、長さ、架設の高さ、架設日などである。さらに他の例としては、建設機械２とケーブルとの位置関係を示す画像である。

表示部１３４は、投影部１３３から投影された画像を表示する。表示部１３４は、操縦者が視認している実景に重畳して、投影部１３３から投影された画像を虚像として表示する。

投影部１３３と表示部１３４は、例えばＨＵＤで構成される。投影部１３３と表示部１３４がＨＵＤで構成される場合には、投影部１３３と表示部１３４とは、例えば車両のフロントガラス越しに視認される実景に重畳して虚像を表示する車両用のＨＵＤで用いられている技術と同様の技術を用いることができる。

なお、投影部１３３と表示部１３４は、視認者の頭部に装着するＨＭＤ（ヘッドマウントディスプレイ）であってもよい。この場合は、投射される面が視点に近くなるため、仮想空間における対象物をより広い範囲で重畳させて視認させることができる。

投影部１３３と表示部１３４をＨＵＤで構成した場合に、表示部１３４は、第２実施形態では、建設機械２の操縦室の天井に設けられた天井ガラスで構成される。

天井ガラスは、第１実施形態のフロントガラスと同様に光が半透過性のガラスで構成され、ハーフミラーとして機能する。

図１４は図８と同様に建設機械２の操縦室８０を側面（図５のＸ軸方向）から見た図である。

図１４において、投影部１３３は、操縦室８０の下部に設置される。投影部１３３から天井ガラス１４０に向けて投影された投影光１４１は、天井ガラス１４０で反射されて操縦者８３の視点８４に到達する。

これにより、操縦者８３は、天井ガラス１４０で反射された投影光１４１が重畳された実景を視認する。したがって、操縦者８３は、ケーブルの位置、ならびにケーブルとの接近の度合いを示す画像が重畳された実景を天井ガラス１４０越しに視認しながら掘削などの作業を行うことができる。

図１５は操縦者が天井ガラス１４０越しに視認する実景の一例を模式的に示している。操縦者が天井ガラス１４０越しに視認する、図１５に示す実景は、建設機械２の周辺に架設されたケーブルの一部が建設機械２の周辺の木々１５１に遮られている場合を示している。

図１５において、操縦室８０の天井に設けられた天井ガラス１４０には、木々で遮られた部分を含めてケーブルの位置を示す画像１５０が例えば破線で表示されている。建設機械２とケーブルとの接近の度合いは、埋設物を表示する場合と同様に、画像１５０の表示色で表示される。

なお、図１５には記載されていないが、埋設物の図９と同様にケーブルの位置の誤差範囲が、例えば画像１５０の表示色と異なる表示色の破線で表示されるようにしてもよい。さらに、図９と同様に先に触れたケーブルに関する情報や、建設機械２とケーブルとの位置関係が、模式的に表示されるようにしてもよい。

図１３戻って、制御部１３５は、第１実施形態の制御部１９と同様にコンピュータにより実現される。制御部１９を実現するコンピュータは、制御プログラムを実行することで、位置補正部１２、距離算出部１４が担う上述したそれぞれの機能を実現する。

制御部１３５は、制御プログラムが実行されることで、制御部１９と同様に、建設機械２の位置を更新する機能、投影画像を生成する機能、ならびに装置全体を制御する機能を実現する。

制御部１３５は、投影画像を生成するにあたって、図１０を参照して説明したと同様にして投影画像を生成する。

図１０に示す仮想空間上には、データベース４から取得したケーブルの位置に基づいて、ケーブルが配置される。仮想空間上に、先に説明したと同様にして操縦者の視点位置１０１が設定される。

仮想空間上には、操縦者の視点位置１０１の上方に、建設機械２の位置に基づく天井ガラス１４０の位置と範囲が設定される。

制御部１９は、上述した仮想空間において、操縦者の視点位置１０１から天井ガラス１４０の範囲内に位置するケーブルを示す画像を投影画像として生成する。制御部１９は、投影画像を一点透視図法などの遠近法を用いて生成することができる。

制御部１９は、仮想空間上に配置されたケーブルの位置と天井ガラス１４０の投影位置とを対応づけて投影画像を生成する。天井ガラス１４０上に表示される画像の天井ガラス１４０上の投影位置の算出方法は、図１１を参照して説明したと同様である。

制御部１３５は、ケーブルの位置の誤差範囲を表示する場合には、上述したと同様にして、ケーブルの位置の誤差範囲を示す画像を投影画像として生成する。

制御部１３５は、上述したように仮想空間を想定して、操縦者８３が天井ガラス１４０越しに視認している実景に対応してケーブルの位置を示す画像１５０を生成することができる。制御部１３５は、生成した投影画像を投影部１３３に与える。

制御部１３５は、制御プログラムを実行することで、図１２に示すフローチャートと同様の手順を実行して、埋設物に代えてケーブルの位置の表示動作を行う。

第２実施形態では、以下に示す効果を得ることができる。

対象物表示装置は、建設機械の操縦者が視認している実景に重畳して、表示対象物となる空中に架設されたケーブルの位置と、ケーブルと建設機械の作業点との接近の度合いを示す画像を操縦室の天井ガラスに表示する。これにより、操縦者は、作業中に建設機械の作業点を視認している視線を移動させることなく、立ち木やその外の構造物によって隠れた位置にあるケーブルの位置ならびにケーブルまでの接近の度合いを容易に認識することができる。

この結果、第２実施形態では、作業中にケーブルの位置やケーブルまでの接近度合いを誤ってケーブルを損傷するような事故を回避することができ、作業の安全性を高めることができる。また、操縦者は、視線を移動することなく作業に集中することができるので、作業効率を向上させることができる。

対象物表示装置は、ケーブルの位置を示す画像の表示色もしくは画像の鮮明度により、対象物と建設機械の作業点との接近の度合いを表示する。これにより、操縦者は、ケーブルと建設機械の作業点との接近の度合いを瞬時に認識することができる。

第１，第２の実施形態において、埋設物もしくはケーブルと建設機械との接近度合いが予め設定された閾値以内に接近した場合には、操縦者に報知する報知装置を設けてもよい。報知装置は、操縦室に設置され、警報音の発生、もしくはランプの点灯、点滅等の視覚的な警告表示を行う。

これにより、埋設物もしくはケーブルと建設機械との接近を操縦者に喚起して、埋設物もしくはケーブルの損傷を未然に防ぐことができる。

また、埋設物もしくはケーブルと建設機械の作業点Ｓとの距離が予め設定された閾値以内に接近した場合には、建設機械の作業機の駆動を停止させるようにしてもよい。建設機械の作業機の駆動を停止させる構成は、建設機械に設けられ、本対象物表示装置からの指令に基づいて建設機械の作業機の駆動を停止させる。

これにより、埋設物もしくはケーブルと建設機械との接触を回避して、埋設物もしくはケーブルの損傷を未然に防ぐことができる。

１，１３０対象物表示装置
１０受信部
１１，１３１通信インターフェース部
１４，１３２距離算出部
１５地図情報部
１７，１３３投影部
１８，１３４表示部
１９，１３５制御部
８３操縦者
８４視点

Claims

画像を投影する投影部と、
前記投影部から投影された画像が表示され、表示された画像を反射してユーザの視点位置に導き、前記ユーザが視認している実景に重畳して表示された画像を前記ユーザに視認させる表示部と、
前記ユーザの位置を検出する検出部と、
対象物の位置を取得する取得部と、
前記検出部により検出された前記ユーザから離間して位置する作業点と前記対象物との距離を算出する算出部と、
前記投影部から投影された画像を前記表示部に表示するように制御する制御部と、
を有し、
前記制御部は、前記取得部で取得された前記対象物の位置と、前記算出部で算出された距離に基づく前記対象物と前記作業点との接近の度合いを示す画像が、前記表示部に表示されるように制御する
ことを特徴とする対象物表示装置。
前記制御部は、前記対象物の位置を示す画像の表示色により、前記対象物と前記作業点との接近の度合いが前記表示部に表示されるように制御する
ことを特徴とする請求項１に記載の対象物表示装置。
前記制御部は、前記対象物の位置を示す画像の鮮明度により、前記対象物と前記作業点との接近の度合いが前記表示部に表示されるように制御する
ことを特徴とする請求項１または２に記載の対象物表示装置。
前記表示部は、建設機械の操縦者が操縦室の外部を視認する窓ガラスで構成され、
前記対象物は、前記建設機械の周辺に位置する構造物であり、
前記制御部は、前記構造物の位置と前記構造物と前記作業点との接近の度合いを示す画像が、前記建設機械の操縦者が前記窓ガラスを介して視認する実景に重畳して前記表示部に表示されるように制御する
ことを特徴とする請求項１〜３のいずれか１項に記載の対象物表示装置。