JP6256874B2 - 建設機械用俯瞰画像表示装置 - Google Patents
建設機械用俯瞰画像表示装置 Download PDFInfo
- Publication number
- JP6256874B2 JP6256874B2 JP2014026266A JP2014026266A JP6256874B2 JP 6256874 B2 JP6256874 B2 JP 6256874B2 JP 2014026266 A JP2014026266 A JP 2014026266A JP 2014026266 A JP2014026266 A JP 2014026266A JP 6256874 B2 JP6256874 B2 JP 6256874B2
- Authority
- JP
- Japan
- Prior art keywords
- overhead image
- image
- construction
- work member
- overhead
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims description 101
- 238000003384 imaging method Methods 0.000 claims description 5
- 240000004050 Pentaglottis sempervirens Species 0.000 description 16
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 16
- 238000004891 communication Methods 0.000 description 15
- 238000000034 method Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008602 contraction Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Landscapes
- Component Parts Of Construction Machinery (AREA)
- Closed-Circuit Television Systems (AREA)
Description
工事範囲が狭い箇所では目視にて操作が可能であるが、通常は建設機械に搭載したビデオカメラからの画像、移動カメラ車からの画像、固定カメラからの画像などを操作者に提示させて遠隔操作を行うことで工事が可能となる。
但し、これらのカメラは、建設機械が移動や旋回する都度、死角が発生する可能性が高く、遠隔操作を行なう上で不利がある。
一方、従来から、乗用車の周辺を撮像する複数のカメラを設け、各カメラから供給される画像を処理し、乗用車の上方から見たような俯瞰画像を作成して、運転者に提供する運転支援装置が提供されている(特許文献1参照)。
したがって、このような俯瞰画像を作成して表示する俯瞰画像表示装置を建設機械に適用することが考えられる。
この場合、複数のカメラは、建設機械の適宜箇所に取着されることになる。
例えば、バックホウの場合、地盤を走行する本体には、ブームが連結され、ブームの先端にアームが連結され、アームの先端にバケットが連結されており、これらブーム、アーム、バケットが建設用作業部材を構成している。
前述した複数のカメラのうち、例えば、本体の前方を撮影するカメラは、その撮影範囲に建設用作業部材が位置することにより建設用作業部材の陰となった部分が撮像不能な死角領域となってしまう。
そのため、俯瞰画像表示装置が生成する俯瞰画像には、上記の死角領域が含まれることになり、俯瞰画像にも建設用作業部材に対応する死角領域が発生するため、正確な俯瞰画像を表示させる上で不利となる。
本発明はこのような事情に鑑みなされたものであり、その目的は、建設機械の建設用作業部材の影響を受けることなく正確な俯瞰画像を表示する上で有利な建設機械用俯瞰画像表示装置を提供することにある。
以下、本実施の形態について図面を参照して説明する。
まず、本発明に係る建設機械用俯瞰画像表示装置が搭載される建設機械について説明する。
本実施の形態では、緊急災害復旧工事などの危険な工事場所で使用される建設機械が遠隔制御により無人運転されるバックホウである場合について説明する。
この場合、操作者は工事場所より、充分離れた安全な場所からバックホウを遠隔操作することになる。
図1、図2に示すように、バックホウ10は、下部走行体12と、上部旋回体14と、ブーム16と、アーム18と、バケット20を含んで構成される。
上部旋回体14は、下部走行体12の上部に旋回軸を中心に水平旋回可能に設けられている。
したがって、本実施の形態では、下部走行体12および上部旋回体14が、地盤Gを走行する本体10Aを構成している。
上部旋回体14には操作室1402が設けられ、操作室1402には、下部走行体12の走行、上部旋回体14の旋回、ブーム16の揺動、アーム18の揺動、バケット20の揺動などを操作するための何れも不図示の操作レバーや操作ペダルなどの複数の操作装置が設置されている。
アーム18は、その基端が水平方向に延在する支軸を介してブーム16の先端に揺動可能に支持されている。
バケット20は、その基端が水平方向に延在する支軸を介してアーム18の先端に揺動可能に支持されている。
上部旋回体14とブーム16との間には、ブーム16を揺動させるブームシリンダ1602が設けられている。
ブーム16とアーム18との間には、アーム18を揺動させるアームシリンダ1802が設けられている。
アーム18とバケット20との間には、バケット20を揺動させるバケットシリンダ2002が設けられている。
これらブームシリンダ1602、アームシリンダ1802、バケットシリンダ2002は油圧シリンダである。
したがって、ブームシリンダ1602が伸縮することにより上部旋回体14に対してブーム16が揺動される。
また、アームシリンダ1802が伸縮することによりブーム16に対してアーム18が揺動される。
また、バケットシリンダ2002が伸縮することによりアーム18に対してバケット20が揺動される。
本実施の形態では、ブーム16と、アーム18と、バケット20とが、建設用作業部材10Bを構成している。
図3は、遠隔制御システムの構成を示すブロック図である。
遠隔制御システム30は、遠隔操作ユニット32と、建設機械側ユニット34とを備えている。
遠隔操作ユニット32は、バックホウ10が作業を行なう作業現場から離れた箇所に設けられている。
遠隔操作ユニット32は、操作部36と、表示部38と、制御部40と、通信部42とを含んで構成されている。
操作部36は、作業者が建設機械の遠隔制御を行なうために操作するものであり、例えば、ジョイスティックや操作スイッチなどから構成されている。
また、本実施の形態では、操作部36は、後述する第1の俯瞰画像と第2の俯瞰画像を選択的に表示部38に表示させるための設定操作を行なう際に操作される操作スイッチを含んで構成されている。
表示部38は、建設機械側ユニット34から送信される図4、図5に示すような俯瞰画像を表示するものであり、液晶表示装置などのディスプレイで構成されている。
本実施の形態では、表示部38が表示手段を構成している。
制御部40は、操作部36になされた操作に対応する操作指令を生成し通信部42に供給すると共に、建設機械側ユニット34から送信された俯瞰画像を通信部42を介して受け付け表示部38に供給するものである。
通信部42は、建設機械側ユニット34の通信部50との間で操作指令および俯瞰画像の通信を行なうものである。
これら2つの通信部42、50は無線回線で結ばれている。
無線回線としては、例えばSS無線など従来公知の様々な無線回線が使用可能であり、無線回線の種類、構成、方式は任意である。また、複数種類の無線回線を組み合わせたり、あるいは、1以上の中継局を設けるなどしてもよい。
駆動部44は、バックホウ10の前記各操作装置を駆動するものであり、エアシリンダやモータなど従来公知の様々なアクチュエータが使用可能である。
複数のカメラ46は、第1前方カメラ4602A、第2前方カメラ4602B、後方カメラ4604、左方カメラ4606、右方カメラ4608の合計5つのカメラで構成されている。
より詳細には、第1前方カメラ4602Aは、上部旋回体14の前部のうち、ブーム16よりも左側の箇所に搭載され、第2前方カメラ4602Bは、上部旋回体14の前部のうち、ブーム16よりも右側の箇所に搭載されている。
本実施の形態では、第1前方カメラ4602A、第2前方カメラ4602Bは、撮影範囲に建設用作業部材10Bが位置することにより建設用作業部材10Bの陰となった部分が撮像不能な死角領域となる特定カメラを構成している。
そして、第1前方カメラ4602A、第2前方カメラ4602Bは、それらカメラ4602A、4602Bから得られる撮像画像を合成した場合に、前記の死角領域が無い特定撮像画像を得るに足る撮影範囲を撮像するように本体10Aの互いに異なる箇所に設置されている。
なお、本実施の形態では、複数のカメラ46のうち、第1前方カメラ4602A、第2前方カメラ4602Bを除く残りの後方カメラ4604、左方カメラ4606、右方カメラ4608は、それらの撮影領域に建設用作業部材10Bが位置することがないカメラとなっている。
左方カメラ4606は、上部旋回体14の左側部に搭載されバックホウ10の左方を撮像するものである。
右方カメラ4608は、上部旋回体14の右側部に搭載されバックホウ10の右方を撮像するものである。
本実施の形態では、各カメラ46の画角は180度である。
なお、後述する俯瞰画像を生成できれば、各カメラ46の画角は180度未満でもよい。しかしながら、各カメラ46の画角を180度とし、上記のように上部旋回体14の前後左右にカメラ46をそれぞれ設置することにより、上部旋回体14(バックホウ10)の周辺の全周にわたる画像を効率よくかつ死角を発生させることなく得ることができ、俯瞰画像を正確に生成する上で有利となる。
また、各カメラ46は、各カメラ46の光軸が鉛直軸回りおよび水平軸回りに調節可能となるように、不図示の雲台を介して上部旋回体14に取着されている。
コンピュータは、CPU4802と、不図示のインターフェース回路およびバスライン4801を介して接続されたROM4804、RAM4806、ハードディスク装置4808、キーボード4810、マウス4812、ディスプレイ4814、入出力インターフェース4816などを有している。
ROM4804は所定の制御プログラムなどを格納し、RAM4806はワーキングエリアを提供するものである。
ハードディスク装置4808は、後述する画像合成手段52、俯瞰画像生成手段54、を実現するためのプログラムを格納している。
キーボード4810およびマウス4812は、操作者による操作入力を受け付けるものである。
ディスプレイ4814は、画像を表示するものであり、例えば、液晶表示装置などで構成されている。
入出力インターフェース4816は、周辺装置との間でデータの授受を行うものであり、本実施の形態では、各カメラ46から撮像画像を受け付けるものである。
制御部48は、遠隔操作ユニット32から送信された操作指令を前記通信部50を介して受け付けると共に、その操作指令に基づいて駆動部44を制御することでバックホウ10の前記各操作装置を操作するものである。
また、制御部48は、CPU4802が前記プログラムを実行することによって、図7に示すように、画像合成手段52、俯瞰画像生成手段54を実現するものである。
このような複数の撮像画像を合成する手法として従来公知の様々な画像処理手法が使用可能である。
俯瞰画像生成手段54による俯瞰画像の生成は、各カメラ46から得られた撮像画像を視点変換処理して得た視点変換画像を組み合わせることによりなされるが、このような視点変換処理や視点変換画像の組み合わせの処理として、従来公知の様々な方法が採用可能である。
すなわち、俯瞰画像生成手段54は、以下の2つの機能を有している。
1)第1前方カメラ4602A、第2前方カメラ4602B、後方カメラ4604、左方カメラ4606、右方カメラ4608から得られた画像と、画像合成手段52により生成された特定撮像画像とを用いることにより建設用作業部材10Bの画像が消去された第1の俯瞰画像を生成する機能。
2)画像合成手段52により生成された特定撮像画像を用いることなく、第1前方カメラ4602A、第2前方カメラ4602B、後方カメラ4604、左方カメラ4606、右方カメラ4608から得られた画像を用いて、建設用作業部材10Bの画像を消去しない第2の俯瞰画像を生成する機能。
すなわち、俯瞰画像生成手段54は、遠隔操作ユニット32から送信された操作部36による設定操作に対応する操作指令を通信部50を介して受け付けると共に、その操作指令に基づいて第1の俯瞰画像と第2の俯瞰画像とを選択的に表示部38に供給するものである。
予め、各カメラ46の光軸の鉛直軸回りの角度および水平軸回りの角度は、俯瞰画像が正確に得られるようにキャリブレーションされているものとする。
なお、キャリブレーションの方法は、以下の1)、2)に例示するように従来公知の様々な方法が採用可能である。
1)バックホウ10が設置された地盤G上に描かれた白線や地盤G上に垂直に設置された箱尺などの対象物を各カメラ46で撮像して得られた画像が画面上に表示された基準線に合致するように各カメラ46の光軸調整を行ない、俯瞰画像が正確に得られるようにする。
2)上記対象物を各カメラ46で撮像した得られた画像に基づいて俯瞰画像が正確に得られるように俯瞰画像生成手段54における俯瞰画像生成処理に用いられる所定のパラメータ(俯瞰画像を生成するために必要なカメラ軸に関するパラメータ)をソフトウェアにより調整する。
設定操作が第1の俯瞰画像に対応するものであった場合、俯瞰画像生成手段54は、建設用作業部材10Bの画像を消去した第1の俯瞰画像を生成して、通信部50、42を介して遠隔操作ユニット32の表示部38に供給する(ステップS12)。
一方、設定操作が第2の俯瞰画像に対応するものであった場合、俯瞰画像生成手段54は、建設用作業部材10Bの画像を消去しない第2の俯瞰画像を生成して、通信部50、42を介して遠隔操作ユニット32の表示部38に供給する(ステップS14)。
遠隔操作ユニット32側では、供給された第1の俯瞰画像あるいは第2の俯瞰画像を表示部38によって表示させる(ステップS16)。
したがって、建設機械10の建設用作業部材10Bの影響を受けることなく正確な俯瞰画像を表示する上で有利となる。
したがって、例えば、建設用作業部材10Bと建設機械10の周辺の構造物やがれきなどの物体との位置関係を正確に表示する必要がある場合は、建設用作業部材10Bが表示されるように第2の俯瞰画像を表示させるようにすればよい。
また、建設機械10の周囲の地盤Gの状態を正確に表示する必要がある場合は、建設用作業部材10Bが非表示となるように第1の俯瞰画像を表示させるようにすればよい。
すなわち、建設機械10の利用状況、あるいは、建設機械10の周辺の状況に応じて、建設用作業部材10Bの非表示と表示を選択できるため、建設機械用俯瞰画像表示装置の利便性の向上を図る上で有利となる。
要するに、複数の特定カメラは、それら複数の特定カメラから得られる撮像画像を合成した場合に、死角領域が無い特定撮像画像を得るに足る撮影範囲を撮像するように本体の互いに異なる箇所に設置されていればよく、特定カメラの数は限定されない。
また、本実施の形態では、バックホウ10が遠隔操作可能なものである場合について説明したが、バックホウ10は、作業員が乗り込んで直接操作するものであってもよい。この場合、表示手段はバックホウ10を操作する作業員が視認可能となるように設ければよく、例えば、表示手段として制御部48のディスプレイ4814を用いるなど任意である。
また、建設機械は、バックホウ10に限定されるものではなく、複数のカメラ46の撮影範囲に死角を発生させる建設用作業部材を有するものであればよい。
例えば、建設機械が本体に連結されたブームを有する移動式クレーンである場合、建設用作業部材はブームとなる。
10A 本体
10B 建設用作業部材
38 表示部(表示手段)
46 カメラ
4602A 第1前方カメラ(特定カメラ)
4602B 第2前方カメラ(特定カメラ)
4604 後方カメラ
4606 左方カメラ
4608 右方カメラ
48 制御部
52 画像合成手段
54 俯瞰画像生成手段
Claims (4)
- 地盤を走行する本体と、前記本体に設けられた建設用作業部材とを備える建設機械に搭載された複数のカメラと、
前記カメラから得られる前記建設機械の周囲の撮像画像に基づいて前記建設機械を中心とした建設機械全周の俯瞰画像を生成する俯瞰画像生成手段と、
前記俯瞰画像生成手段により生成された俯瞰画像を表示する表示手段とを備える建設機械用俯瞰画像表示装置であって、
前記複数のカメラは、撮影範囲に前記建設用作業部材が位置することにより前記建設用作業部材の陰となった部分が撮像不能な死角領域となる複数の特定カメラを含み、
前記複数の特定カメラは、それら複数の特定カメラから得られる撮像画像を合成した場合に、前記死角領域が無い特定撮像画像を得るに足る撮影範囲を撮像するように前記本体の互いに異なる箇所に設置され、
前記複数の特定カメラから得られた撮像画像を合成することで前記特定撮像画像を生成する画像合成手段を設け、
前記俯瞰画像生成手段による前記俯瞰画像の生成は、前記特定撮像画像を用いることにより前記建設用作業部材の画像が消去された前記俯瞰画像を得るようになされる、
ことを特徴とする建設機械用俯瞰画像表示装置。 - 前記俯瞰画像生成手段は、前記建設用作業部材の画像を消去した第1の俯瞰画像と、前記建設用作業部材の画像を消去しない第2の俯瞰画像との双方を生成可能に構成されると共に、設定操作に応じて前記第1の俯瞰画像と前記第2の俯瞰画像とを選択的に前記表示手段に供給する、
ことを特徴とする請求項1記載の建設機械用俯瞰画像表示装置。 - 前記建設機械は、基端が前記本体に連結されたブームと、前記ブームの先端に連結されたアームと、前記アームの先端に連結されたバケットを含むバックホウであり、
前記建設用作業部材は、前記ブームと前記アームと前記バケットを含む、
ことを特徴とする請求項1または2記載の建設機械用俯瞰画像表示装置。 - 前記建設機械は、基端が前記本体に連結されたブームを有するクレーンであり、
前記建設用作業部材は、前記ブームである、
ことを特徴とする請求項1または2記載の建設機械用俯瞰画像表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014026266A JP6256874B2 (ja) | 2014-02-14 | 2014-02-14 | 建設機械用俯瞰画像表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014026266A JP6256874B2 (ja) | 2014-02-14 | 2014-02-14 | 建設機械用俯瞰画像表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015154239A JP2015154239A (ja) | 2015-08-24 |
JP6256874B2 true JP6256874B2 (ja) | 2018-01-10 |
Family
ID=53896095
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014026266A Active JP6256874B2 (ja) | 2014-02-14 | 2014-02-14 | 建設機械用俯瞰画像表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6256874B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6787729B2 (ja) * | 2016-09-09 | 2020-11-18 | 株式会社タダノ | 俯瞰画像システム、俯瞰画像表示方法およびプログラム |
JP6867132B2 (ja) * | 2016-09-30 | 2021-04-28 | 株式会社小松製作所 | 作業機械の検出処理装置及び作業機械の検出処理方法 |
JP6390065B2 (ja) * | 2016-12-09 | 2018-09-19 | 株式会社タダノ | クレーン |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013253402A (ja) * | 2012-06-06 | 2013-12-19 | Hitachi Constr Mach Co Ltd | 作業機械の周囲監視装置 |
JP6071786B2 (ja) * | 2013-07-17 | 2017-02-01 | 日立建機株式会社 | 作業機械の周囲監視装置 |
-
2014
- 2014-02-14 JP JP2014026266A patent/JP6256874B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015154239A (ja) | 2015-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10650251B2 (en) | Monitoring image display device of industrial machine | |
US10145087B2 (en) | Surroundings display device for swing working machine | |
JP5473870B2 (ja) | 建設機械のモニター装置 | |
WO2016158265A1 (ja) | 作業機械 | |
US20140111648A1 (en) | Device For Monitoring Area Around Working Machine | |
JP6071786B2 (ja) | 作業機械の周囲監視装置 | |
EP3754120B1 (en) | Remote control system and main control device | |
JP6182044B2 (ja) | 建設機械に搭載される俯瞰画像表示装置におけるカメラのキャリブレーション方法及びその結果を用いた俯瞰画像表示装置 | |
JP4740890B2 (ja) | 建設機械および建設機械の後進移動ガイダンス方法 | |
JP2006219894A (ja) | 建設機械の遠隔操作におけるカメラ制御装置 | |
JP6256874B2 (ja) | 建設機械用俯瞰画像表示装置 | |
JP6917167B2 (ja) | 建設機械用俯瞰画像表示装置 | |
EP3751845B1 (en) | Working machine control device | |
JP2007016403A (ja) | 作業機械のカメラ制御装置 | |
US20220412049A1 (en) | Work assisting server and method for selecting imaging device | |
CN107250724B (zh) | 摄像装置 | |
JP2018033015A (ja) | 建設機械 | |
JP6433664B2 (ja) | 建設機械用俯瞰画像表示装置 | |
JP7351478B2 (ja) | 表示システム、遠隔操作システム、及び表示方法 | |
JP2023040971A (ja) | 遠隔操作支援装置、遠隔操作支援システムおよび遠隔操作支援方法 | |
JP2020045687A (ja) | 作業機械 | |
WO2023136070A1 (ja) | 遠隔操作支援システムおよび遠隔操作支援方法 | |
JP2016169595A (ja) | 作業機械の周囲監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170907 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171031 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171127 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6256874 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |