JP6917167B2 - 建設機械用俯瞰画像表示装置 - Google Patents

Description

本発明は、建設機械に搭載される俯瞰画像表示装置に関する。

緊急災害復旧工事において、遠隔操作仕様の建設機械を遠隔で操作する場合、操作者は工事場所より、充分離れた安全な場所から操作する必要がある。
工事範囲が狭い箇所では目視にて操作が可能であるが、通常は、１）建設機械に搭載され、作業の進捗状態を確認するための作業用カメラ、および、２）固定設置され、建設機械自体を撮影してその移動状況や周辺状況を確認するための確認用カメラ、の２種類のカメラからの画像を操作者に提示することになる。
ここで、建設機械が移動した場合、その動きに追従して２）の確認用カメラの画像を切り替えるなどの作業が必要となり、操作者の作業工程が増え、作業効率が低下する可能性がある。
そこで、建設機械に複数のカメラを設け、各カメラから供給される画像を処理し、建設機械の上方から見たような俯瞰画像を作成する俯瞰画像表示装置が提案されている（下記特許文献１参照）。この方法によれば、確認用カメラが建設機械に設けられているため、建設機械の移動に伴う確認用カメラの切り替え作業は不要となる。また、複数のカメラの画像を１つの俯瞰画像として合成するので、１画面上に建設機械全周を表示することができ、確認作業の効率を向上することができる。
また、下記特許文献２には、固定設置されたカメラの画像を用いて、特定領域外から特定領域内に移動したオブジェクトの検知を行う技術が記載されている。

特開２０１５−１５４２４０号公報 特開２０１５−９６２９３号公報

しかしながら、俯瞰画像を用いた場合でも、周囲の状況を確認しながら作業を進めるためには、作業用カメラの画像および確認用カメラの画像を交互または同時に確認しなければならず、作業者の負担は大きい。
例えば、建設機械の作業中は、その作業領域に人や動物、車両などの物体が入らないようにすることが求められるが、建設機械の移動中（旋回時を含む）には俯瞰画像中の建設機械以外の物体は全て移動しているように見えるため、相対的に建設機械に近づいている物体があっても気づかない可能性がある。上述した特許文献２は、固定カメラの画像を用いた技術であり、建設機械の俯瞰画像のように画像自体が移動する場合には適用することができない。
本発明はこのような事情に鑑みなされたものであり、その目的は、建設機械の作業時における操作者の負担を軽減する上で有利な建設機械用俯瞰画像表示装置を提供することにある。

上述の目的を達成するため、請求項１の発明にかかる建設機械用俯瞰画像表示装置は、建設機械に搭載された複数のカメラと、前記複数のカメラで撮影された前記建設機械の周囲の撮影画像を用いて、前記建設機械を中心とした建設機械全周の俯瞰画像を生成する俯瞰画像生成部と、前記俯瞰画像生成部によって生成された俯瞰画像を表示する表示部と、を備える建設機械用俯瞰画像表示装置であって、前記俯瞰画像上に設定した格子の交点をそれぞれ代表点として設定し、前記俯瞰画像のフレーム間における前記代表点の位置の変化に基づいて前記代表点それぞれの移動ベクトルを検出する移動ベクトル検出部と、前記建設機械の移動に伴う他の前記代表点の移動ベクトルとは異なる移動ベクトルを有する前記代表点が設定された物体を注意物体として検出する注意物体検出部と、を備えることを特徴とする。
請求項２の発明にかかる建設機械用俯瞰画像表示装置は、前記注意物体検出部は、前記建設機械の移動に伴う他の前記代表点の移動ベクトルとは移動方向が異なる移動ベクトルを有する前記代表点が設定された物体を前記注意物体として検出する、ことを特徴とする。
請求項３の発明にかかる建設機械用俯瞰画像表示装置は、前記注意物体検出部は、前記建設機械の移動に伴う他の前記代表点の移動ベクトルとは移動量が異なる移動ベクトルを有する前記代表点が設定された物体を前記注意物体として検出する、ことを特徴とする。
請求項４の発明にかかる建設機械用俯瞰画像表示装置は、前記移動ベクトルの長さは、前記移動ベクトルの単位時間当たりの移動量であって、前記注意物体検出部は、前記建設機械の移動方向と同じ方向に移動する物体がある場合、前記建設機械の移動に伴う他の前記代表点の移動ベクトルの長さと前記物体に設定された前記代表点の移動ベクトルの長さとが異なる場合に前記物体を前記注意物体として検出する、ことを特徴とする。
請求項５の発明にかかる建設機械用俯瞰画像表示装置は、前記注意物体が検出された場合、前記表示部における前記注意物体の表示態様を他の領域の表示態様と異ならせる表示制御部を更に備える、ことを特徴とする。
請求項６の発明にかかる建設機械用俯瞰画像表示装置は、前記注意物体が検出された場合、前記建設機械の駆動を制限する駆動制御部を更に備える、ことを特徴とする。
請求項７の発明にかかる建設機械用俯瞰画像表示装置は、前記建設機械は、遠隔制御により無人運転される、ことを特徴とする。

請求項１の発明によれば、建設機械周辺の移動物体を自動的に検出することができ、建設機械の操作者が作業と並行して画像を確認する場合と比較して、作業効率を向上させる上で有利となる。また、建設機械の移動に伴う移動ベクトルとは異なる移動ベクトルを示す物体を注意物体として検出するので、建設機械の移動に伴う物体の相対位置変化と、実際の物体の移動とを区別して注意物体を検出することができ、真に注意すべき物体を精度よく検出する上で有利となる。
請求項２の発明によれば、建設機械の移動に伴う移動ベクトルとは移動方向が異なる移動ベクトルを示す物体を注意物体として検出するので、簡易な処理で注意物体を検出することができる。
請求項３の発明によれば、建設機械の移動に伴う移動ベクトルとは移動量が異なる移動ベクトルを示す物体を注意物体として検出するので、注意物体の移動方向と建設機械の移動方向とが同方向である場合にも注意物体を検出することができる。
請求項４の発明によれば、建設機械の操作者等に注意物体の存在およびその位置を視覚的に示すことができ、建設機械操作時の利便性を向上させる上で有利となる。
請求項５の発明によれば、注意物体が検出された場合に建設機械の駆動を自動的に制限するので、建設機械の操作者の判断を待つことなく迅速に移動物体への対応を図る上で有利となる。
請求項６の発明によれば、建設機械から離れた場所にいる操作者によっても建設機械周辺の注意物体を把握することができ、遠隔制御による建設機械の無人運転時における利便性を向上させる上で有利となる。

実施の形態の建設機械用俯瞰画像表示装置が適用されたバックホウの側面図である。 バックホウの平面図である。 バックホウを遠隔制御により無人運転させる遠隔制御システムの構成を示すブロック図である。 建設機械側ユニットの複数のカメラおよび制御部の構成を示すブロック図である。 建設機械側ユニットの制御部の機能ブロック図である。 俯瞰画像の一例を示す図である。 注意物体の検出方法を模式的に示す図である。 注意物体の検出方法を模式的に示す図である。 注意物体の検出方法を模式的に示す図である。 俯瞰画像の表示例を示す図である。 建設機械用俯瞰画像表示装置の動作フローチャートである。

（実施の形態）
以下、本実施の形態について図面を参照して説明する。
まず、本発明に係る建設機械用俯瞰画像表示装置が搭載される建設機械について説明する。
本実施の形態では、緊急災害復旧工事などの危険な工事場所で使用される建設機械が遠隔制御により無人運転されるバックホウである場合について説明する。
この場合、操作者は工事場所より、充分離れた安全な場所からバックホウを遠隔操作することになる。

まず、バックホウの構成について説明する。
図１、図２に示すように、バックホウ１０は、下部走行体１２と、上部旋回体１４と、ブーム１６と、アーム１８と、バケット２０を含んで構成される。

下部走行体１２は、クローラ１２０２の回転により地盤Ｇ上を走行する。
上部旋回体１４は、下部走行体１２の上部に旋回軸を中心に水平旋回可能に設けられている。
上部旋回体１４には操作室１４０２が設けられ、操作室１４０２には、下部走行体１２の走行、上部旋回体１４の旋回、ブーム１６の揺動、アーム１８の揺動、バケット２０の揺動などを操作するための何れも不図示の操作レバーや操作ペダルなどの複数の操作装置が設置されている。

ブーム１６は、その基端が水平方向に延在する支軸を介して上部旋回体１４に揺動可能に支持されている。
アーム１８は、その基端が水平方向に延在する支軸を介してブーム１６の先端に揺動可能に支持されている。
バケット２０は、その基端が水平方向に延在する支軸を介してアーム１８の先端に揺動可能に支持されている。
上部旋回体１４とブーム１６との間には、ブーム１６を揺動させるブームシリンダ１６０２が設けられている。
ブーム１６とアーム１８との間には、アーム１８を揺動させるアームシリンダ１８０２が設けられている。
アーム１８とバケット２０との間には、バケット２０を揺動させるバケットシリンダ２００２が設けられている。
これらブームシリンダ１６０２、アームシリンダ１８０２、バケットシリンダ２００２は油圧シリンダである。
したがって、ブームシリンダ１６０２が伸縮することにより上部旋回体１４に対してブーム１６が揺動される。
また、アームシリンダ１８０２が伸縮することによりブーム１６に対してアーム１８が揺動される。
また、バケットシリンダ２００２が伸縮することによりアーム１８に対してバケット２０が揺動される。

次に、バックホウ１０を遠隔制御する遠隔制御システムについて説明する。
図３は、遠隔制御システムの構成を示すブロック図である。
遠隔制御システム３０は、遠隔操作ユニット３２と、建設機械側ユニット３４とを備えている。
遠隔操作ユニット３２は、バックホウ１０が作業を行なう作業現場から離れた箇所に設けられている。
遠隔操作ユニット３２は、操作部３６と、表示部３８と、制御部４０と、通信部４２とを含んで構成されている。
操作部３６は、作業者が建設機械の遠隔制御を行なうために操作するものであり、例えば、ジョイスティックや操作スイッチなどから構成されている。
表示部３８は、建設機械側ユニット３４から送信される図６に示すような俯瞰画像を表示するものであり、液晶表示装置などのディスプレイで構成されている。
本実施の形態では、表示部３８が表示手段を構成している。
制御部４０は、操作部３６になされた操作に対応する操作指令を生成し通信部４２に供給すると共に、建設機械側ユニット３４から送信された俯瞰画像を通信部４２を介して受け付け表示部３８に供給するものである。
通信部４２は、建設機械側ユニット３４の通信部５０との間で操作指令および俯瞰画像の通信を行なうものである。
これら２つの通信部４２、５０は無線回線で結ばれている。
無線回線としては、例えばＳＳ無線など従来公知の様々な無線回線が使用可能であり、無線回線の種類、構成、方式は任意である。また、複数種類の無線回線を組み合わせたり、あるいは、１以上の中継局を設けるなどしてもよい。

建設機械側ユニット３４は、バックホウ１０に設けられ、駆動部４４と、複数のカメラ４６と、制御部４８と、通信部５０とを含んで構成されている。
駆動部４４は、バックホウ１０の前記各操作装置を駆動するものであり、エアシリンダやモータなど従来公知の様々なアクチュエータが使用可能である。
複数のカメラ４６は、前方カメラ４６０２、後方カメラ４６０４、左方カメラ４６０６、右方カメラ４６０８で構成されている。

図１、図２に示すように、前方カメラ４６０２は、上部旋回体１４の前部に搭載されバックホウ１０の前方を撮像するものである。
後方カメラ４６０４は、上部旋回体１４の後部に搭載されバックホウ１０の後方を撮像するものである。
左方カメラ４６０６は、上部旋回体１４の左側部に搭載されバックホウ１０の左方を撮像するものである。
右方カメラ４６０８は、上部旋回体１４の右側部に搭載されバックホウ１０の右方を撮像するものである。
本実施の形態では、各カメラ４６の画角は１８０度である。
なお、後述する俯瞰画像を生成できれば、各カメラ４６の画角は１８０度未満でもよい。しかしながら、各カメラ４６の画角を１８０度とし、上記のように上部旋回体１４の前後左右にカメラ４６をそれぞれ設置することにより、上部旋回体１４（バックホウ１０）の周辺の全周にわたる画像を効率よくかつ死角を発生させることなく得ることができ、図６に示すような俯瞰画像を正確に生成する上で有利となる。図６の俯瞰画像には、上面視したバックホウ１０の他、バックホウ１０周辺にあるポールＳ１やカラーコーン（登録商標）Ｓ２等が写っている。
また、各カメラ４６は、各カメラ４６の光軸が鉛直軸回りおよび水平軸回りに調節可能となるように、不図示の雲台を介して上部旋回体１４に取着されている。

図４に示すように、制御部４８は、コンピュータによって構成されている。
コンピュータは、ＣＰＵ４８０２と、不図示のインターフェース回路およびバスライン４８０１を介して接続されたＲＯＭ４８０４、ＲＡＭ４８０６、ハードディスク装置４８０８、キーボード４８１０、マウス４８１２、ディスプレイ４８１４、入出力インターフェース４８１６などを有している。
ＲＯＭ４８０４は所定の制御プログラムなどを格納し、ＲＡＭ４８０６はワーキングエリアを提供するものである。
ハードディスク装置４８０８は、後述する俯瞰画像生成部５２、移動ベクトル検出部５４、注意物体検出部５６を実現するためのプログラムを格納している。
キーボード４８１０およびマウス４８１２は、操作者による操作入力を受け付けるものである。
ディスプレイ４８１４は、画像を表示するものであり、例えば、液晶表示装置などで構成されている。
入出力インターフェース４８１６は、周辺装置との間でデータの授受を行うものであり、本実施の形態では、各カメラ４６から撮像画像を受け付けるものである。
制御部４８は、遠隔操作ユニット３２から送信された操作指令を前記通信部５０を介して受け付けると共に、その操作指令に基づいて駆動部４４を制御することでバックホウ１０の前記各操作装置を操作するものである。
また、制御部４８は、ＣＰＵ４８０２が前記プログラムを実行することによって、図５に示すように、俯瞰画像生成部５２、移動ベクトル検出部５４、注意物体検出部５６、表示制御部５８、駆動制御部６０を実現するものである。

俯瞰画像生成部５２は、各カメラ４６で撮影されたバックホウ１０の周囲の撮影画像を用いて、バックホウ１０を中心としたバックホウ１０全周の俯瞰画像（図６）を生成する。俯瞰画像生成部５２で生成された俯瞰画像は、通信部５０を介して遠隔操作ユニット３２の通信部４２に送信される。なお、遠隔操作ユニット３２において、俯瞰画像と個々のカメラ４６の画像を切り替えて表示可能とする場合などは、俯瞰画像とともに各カメラ４６の撮影画像も遠隔操作ユニット３２に送信してもよい。
俯瞰画像生成部５２による俯瞰画像の生成は、各カメラ４６から得られた撮像画像を視点変換処理して得た視点変換画像を組み合わせることによりなされるが、このような視点変換処理や視点変換画像の組み合わせの処理として、従来公知の様々な方法が採用可能である。

移動ベクトル検出部５４は、俯瞰画像に映る物体の俯瞰画像内における移動ベクトルを検出する。
本実施の形態では、移動ベクトル検出部５４は、画像処理ライブラリとして提供されているＯｐｅｎＣＶの一機能であるＯｐｔｉｃａｌｆｌｏｗ（オプティカルフロー）を用いることにより、俯瞰画像中の物体の動きを検出し、その移動方向および移動速度（単位時間当たりの移動量）を移動ベクトルとして表現する。
Ｏｐｔｉｃａｌｆｌｏｗでは、画像（映像）内に代表点を設定し、代表点の動きを計算する。本実施の形態では、図７に示すように俯瞰画像上に格子を設定し、格子の交点を代表点として設定する。すなわち「密な代表点」を設定するものとする。図７では、格子を構成する縦線Ｌ１と横線Ｌ２の交点が、それぞれ代表点Ｐとなっている。なお、図７では視認性の確保のため、代表点Ｐの間隔を大きくしているが、実際には例えば人間が俯瞰画面上に写りこんだ際に即座に検知できる程度の密度で代表点Ｐを設定している。
また、密な代表点に代えて、「疎な代表点」を設定することも可能である。疎な代表点とは、画像に写る物体の角や変曲点のような特徴点を抽出し、その点を代表点とするものである。

移動ベクトル検出部５４は、あるフレーム（所定時刻ｔ０における画像）上の代表点Ｐの位置と、次のフレーム（所定時刻ｔ０＋Δｔにおける画像）上の代表点Ｐの位置とを比較して移動ベクトルＶ１を検出する。
例えば、バックホウ１０が前方に移動する場合、バックホウ１０に搭載されたカメラ４６も前方に移動するため、画像中の物体（代表点）は相対的に後方へと移動しているように映る。このような物体の動きを図８に示すようなバックホウ１０の移動方向Ｖ０と逆向きの移動ベクトルＶ１として検出する。
なお、例えば図８の代表点ＰＸのようにバックホウ１０自体と重なった箇所に設定された代表点は、バックホウ１０と重なっていない箇所に設定された代表点と同じ移動ベクトルを有するとみなす。

遠隔操作ユニット３２に送信する俯瞰画像には、代表点Ｐのプロットを含めてもよいし、含めなくてもよいが、いずれの場合にもバックホウ１０の移動に伴って検出される移動ベクトル（定常移動ベクトル）Ｖ１は表示させないようにする。これは、俯瞰画面上における視認性を確保するため、および後述する注意物体検出部５６において注意物体が検出した場合の表示態様との差異を明確にするためである。

注意物体検出部５６は、建設機械の移動に伴う移動ベクトルとは異なる移動ベクトルを示す物体を注意物体として検出する。
図８にはバックホウ１０の移動に伴う定常的な移動ベクトルのみを示したが、例えば移動中のバックホウ１０に近づく物体がある場合、他の代表点とは異なる移動ベクトルが検出されることになる。例えば、図９のようにバックホウ１０に近づく物体Ｔがある場合、物体Ｔ上に設定された代表点ＰＹの移動ベクトルＶ２は、他の代表点Ｐの移動ベクトル（定常移動ベクトル）Ｖ１と異なるものとなる。
この場合、注意物体検出部５６は、代表点ＰＹ付近に注意物体があるものと検知する。

なお、建設機械の移動に伴う定常移動ベクトル（図９におけるＶ１）と異なる移動ベクトル（図９におけるＶ２）の判別方法としては、例えば以下の２つが考えられる。
１）ベクトル方向で判別
建設機械の移動に伴う移動ベクトルは、建設機械が急激な方向転換等をしない限り一定方向を向く。これに対して、俯瞰画像中に移動する物体が入り込むと、当該物体に対応する代表点の移動ベクトルは、俯瞰画像中の他の代表点の移動ベクトルと異なる方向を向くこととなる。
このため、注意物体検出部５６は、建設機械の移動に伴う移動ベクトルとは移動方向が異なる移動ベクトルを示す物体を注意物体として検出する。

２）ベクトルの長さで判別
例えば建設機械の移動方向と同じ方向に移動する物体がある場合、上記ベクトル方向での判別では注意物体を検出することができない。よって、例えば建設機械の移動速度（所定の速度帯）に対応するベクトルの長さ（単位時間当たりの移動量）を設定しておき、その長さを外れる移動ベクトルを検出するようにしてもよい。
すなわち、注意物体検出部５６は、建設機械の移動に伴う移動ベクトルとは移動量（ベクトル長さ）が異なる移動ベクトルを示す物体を注意物体として検出する。
なお、この方法では建設機械と略同速度で同方向に移動する物体は検出することができないが、建設機械と略同速度で同方向に移動する物体は、建設機械と一定距離を維持しながら移動することになるので、建設機械への接近による不都合は生じにくいと考えられる。
また、上記の説明では建設機械の移動方向と物体の移動方向が同じ場合について説明したが、ベクトルの方向に関わらずベクトルの長さ（移動速度）で注意物体を検出することはもちろん可能である。

注意物体検出部５６により注意物体が検出された場合、操作者に対してその旨を報知するアラートを発生させる。発生するアラートは従来公知の様々な方法を採ることができるが、例えば、表示制御部５８により遠隔操作ユニット３２の表示部３８における注意物体の表示態様を他の領域の表示態様と異ならせることにより、操作者に注意物体の位置を報知することができる。
例えば上述した図９のように、代表点ＰＹに他の移動ベクトルＶ１と異なる移動ベクトルＶ２が検出された場合、表示制御部５８は、画像処理により代表点ＰＹ付近の物体Ｔの輪郭を検出する。そして、この輪郭内が遠隔操作ユニット３２の表示部３８で強調表示（例えば赤色や黄色などで表示する、点滅表示させるなど）されるよう画像処理を行う。また、この時物体Ｔの移動ベクトルＶ２を表示部３８に表示すれば、操作者が物体Ｔの移動方向を把握することができ、利便性が向上する。
また、表示部３８における表示の変更と共に、音声による報知（例えばアラート音の出力や「作業領域内に物体が進入しました」などのメッセージ出力）を行ってもよい。

また、注意物体検出部５６により注意物体が検出された場合、駆動制御部６０により建設機械の駆動を制限してもよい。
建設機械の駆動の制限とは、例えば建設機械の駆動停止、移動速度の低下等である。このように、俯瞰画像内に注意物体が存在する場合に自動的に建設機械の駆動を制限することによって、操作者の判断を待たず迅速に移動物体への対応を図ることができる。

図１１は、建設機械用俯瞰画像表示装置の処理を示すフローチャートである。
図１１では、俯瞰画像中に注意物体が検出された場合、遠隔操作ユニット３２の表示部３８において俯瞰画像中の注意物体を強調表示するものとする。
まず、複数のカメラ４６でバックホウ１０周辺の画像を撮影する（ステップＳ１１００）。俯瞰画像生成部５２は、複数のカメラ４６で撮影された複数の画像を用いて、バックホウ１０を中心とした俯瞰画像を生成する（ステップＳ１１０２）。
移動ベクトル検出部５４は、俯瞰画像のフレーム間における代表点Ｐの位置の変化に基づいて各代表点の移動ベクトルＶを検出する（ステップＳ１１０４）。
注意物体検出部５６は、俯瞰画像中にバックホウ１０の移動に伴う移動ベクトル（定常移動ベクトル）とは異なる移動ベクトルがあるか否か、すなわち注意物体があるか否かを判断する（ステップＳ１１０６）。
定常移動ベクトルと異なる移動ベクトルがない場合は（ステップＳ１１０６：Ｎｏ）、俯瞰画像をそのまま遠隔操作ユニット３２側に送信する（ステップＳ１１１０）。遠隔操作ユニット３２は、受信した俯瞰画像を表示部３８に表示する（ステップＳ１１１２）。操作者は、表示部３８に表示された俯瞰画像を参照しながらバックホウ１０を操作する。
一方、定常移動ベクトルと異なる移動ベクトルがある場合は（ステップＳ１１０６：Ｙｅｓ）、表示制御部５８により俯瞰画像から注意物体の輪郭を抽出し、輪郭内を強調表示するよう画像処理を行う（ステップＳ１１１８）。そして、画像処理した俯瞰画像を遠隔操作ユニット３２側に送信する（ステップＳ１１１０）。遠隔操作ユニット３２は、画像処理された俯瞰画像を表示部３８に表示する（ステップＳ１１１２）。この場合も、操作者は、表示部３８に表示された俯瞰画像を参照しながらバックホウ１０を操作することとなるが、俯瞰画像中に注意物体が表示されるため、例えばバックホウ１０を一旦停止させて安全確認を行うなどの対応を取ることが可能となる。

以上説明したように、実施の形態にかかる建設機械用俯瞰画像表示装置によれば、バックホウ１０周辺の移動物体を自動的に検出することができ、バックホウ１０の操作者が作業と並行して画像を確認する場合と比較して、作業効率を向上させる上で有利となる。
また、バックホウ１０の移動に伴う定常移動ベクトルとは異なる移動ベクトルを示す物体を注意物体として検出するので、バックホウ１０の移動に伴う物体の相対位置変化と、実際の物体の移動とを区別して注意物体を検出することができ、真に注意すべき物体を精度よく検出する上で有利となる。
また、実施の形態にかかる建設機械用俯瞰画像表示装置において、バックホウ１０の移動に伴う定常移動ベクトルとは移動方向が異なる移動ベクトルを示す物体を注意物体として検出すれば、簡易な処理で注意物体を検出することができる。
また、実施の形態にかかる建設機械用俯瞰画像表示装置において、バックホウ１０の移動に伴う定常移動ベクトルとは移動量が異なる移動ベクトルを示す物体を注意物体として検出すれば、注意物体の移動方向とバックホウ１０の移動方向とが同方向である場合にも注意物体を検出することができる。
また、実施の形態にかかる建設機械用俯瞰画像表示装置において、バックホウ１０の操作者等に注意物体の存在およびその位置を視覚的に示すようにすれば、バックホウ１０操作時の利便性を向上させる上で有利となる。
また、実施の形態にかかる建設機械用俯瞰画像表示装置において、注意物体が検出された場合にバックホウ１０の駆動を自動的に制限すれば、バックホウ１０の操作者の判断を待つことなく迅速に移動物体への対応を図る上で有利となる。
また、実施の形態にかかる建設機械用俯瞰画像表示装置によれば、バックホウ１０から離れた場所にいる操作者によってもバックホウ１０周辺の注意物体を把握することができ、遠隔制御による建設機械の無人運転時における利便性を向上させる上で有利となる。

なお、本実施の形態では、建設機械側ユニット３４の制御部４８によって俯瞰画像生成部５２、移動ベクトル検出部５４、注意物体検出部５６、表示制御部５８、駆動制御部６０を実現する場合について説明した。
しかしながら、各カメラ４６からの撮像画像をそれぞれ遠隔操作ユニット３２に送信し、遠隔操作ユニット３２の制御部４０によって俯瞰画像生成部５２、移動ベクトル検出部５４、注意物体検出部５６、表示制御部５８、駆動制御部６０を実現するようにしてもよい。

また、本実施の形態では、建設機械側ユニット３４に４つのカメラ４６を設ける場合について説明したが、俯瞰画像を生成することができれば、カメラ４６の台数は限定されない。

また、本実施の形態では、バックホウ１０が遠隔操作可能なものである場合について説明したが、バックホウ１０は、作業員が乗り込んで直接操作するものであってもよい。この場合、表示手段はバックホウ１０を操作する作業員が視認可能となるように設ければよく、例えば、表示手段として制御部４８のディスプレイ４８１４を用いるなど任意である。
また、建設機械は、バックホウ１０に限定されるものではなく、移動式クレーンやブルドーザーなど従来公知の様々な建設機械であってもよい。

１０ バックホウ（建設機械）
３０ 遠隔制御システム
３２ 遠隔操作ユニット
３４ 建設機械側ユニット
３６ 操作部
３８ 表示部
４０ 制御部
４２ 通信部
４４ 駆動部
４６ カメラ
４６０２ 前方カメラ
４６０４ 後方カメラ
４６０６ 左方カメラ
４６０８ 右方カメラ
４８ 制御部
５０ 通信部
５２ 俯瞰画像生成部
５４ 移動ベクトル検出部
５６ 注意物体検出部
５８ 表示制御部
６０ 駆動制御部
Ｐ，ＰＸ，ＰＹ 代表点
Ｔ 物体

Claims (7)

1. 建設機械に搭載された複数のカメラと、
   前記複数のカメラで撮影された前記建設機械の周囲の撮影画像を用いて、前記建設機械を中心とした建設機械全周の俯瞰画像を生成する俯瞰画像生成部と、
   前記俯瞰画像生成部によって生成された俯瞰画像を表示する表示部と、を備える建設機械用俯瞰画像表示装置であって、
   前記俯瞰画像上に設定した格子の交点をそれぞれ代表点として設定し、前記俯瞰画像のフレーム間における前記代表点の位置の変化に基づいて前記代表点それぞれの移動ベクトルを検出する移動ベクトル検出部と、
   前記建設機械の移動に伴う他の前記代表点の移動ベクトルとは異なる移動ベクトルを有する前記代表点が設定された物体を注意物体として検出する注意物体検出部と、
   を備えることを特徴とする建設機械用俯瞰画像表示装置。
2. 前記注意物体検出部は、前記建設機械の移動に伴う他の前記代表点の移動ベクトルとは移動方向が異なる移動ベクトルを有する前記代表点が設定された物体を前記注意物体として検出する、
   ことを特徴とする請求項１記載の建設機械用俯瞰画像表示装置。
3. 前記注意物体検出部は、前記建設機械の移動に伴う他の前記代表点の移動ベクトルとは移動量が異なる移動ベクトルを有する前記代表点が設定された物体を前記注意物体として検出する、
   ことを特徴とする請求項１または２記載の建設機械用俯瞰画像表示装置。
4. 前記移動ベクトルの長さは、前記移動ベクトルの単位時間当たりの移動量であって、
   前記注意物体検出部は、前記建設機械の移動方向と同じ方向に移動する物体がある場合、前記建設機械の移動に伴う他の前記代表点の移動ベクトルの長さと前記物体に設定された前記代表点の移動ベクトルの長さとが異なる場合に前記物体を前記注意物体として検出する、
   ことを特徴とする請求項３記載の建設機械用俯瞰画像表示装置。
5. 前記注意物体が検出された場合、前記表示部における前記注意物体の表示態様を他の領域の表示態様と異ならせる表示制御部を更に備える、
   ことを特徴とする請求項１から４のいずれか１項記載の建設機械用俯瞰画像表示装置。
6. 前記注意物体が検出された場合、前記建設機械の駆動を制限する駆動制御部を更に備える、
   ことを特徴とする請求項１から５のいずれか１項記載の建設機械用俯瞰画像表示装置。
7. 前記建設機械は、遠隔制御により無人運転される、
   ことを特徴とする請求項１から６のいずれか１項記載の建設機械用俯瞰画像表示装置。

Images