JP2015075426A - 建設機械に搭載される俯瞰画像表示装置におけるカメラのキャリブレーション方法及びその結果を用いた俯瞰画像表示装置 - Google Patents

建設機械に搭載される俯瞰画像表示装置におけるカメラのキャリブレーション方法及びその結果を用いた俯瞰画像表示装置 Download PDF

Info

Publication number
JP2015075426A
JP2015075426A JP2013212868A JP2013212868A JP2015075426A JP 2015075426 A JP2015075426 A JP 2015075426A JP 2013212868 A JP2013212868 A JP 2013212868A JP 2013212868 A JP2013212868 A JP 2013212868A JP 2015075426 A JP2015075426 A JP 2015075426A
Authority
JP
Japan
Prior art keywords
camera
construction machine
image display
screen
overhead image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013212868A
Other languages
English (en)
Other versions
JP6182044B2 (ja
Inventor
晃 野末
Akira Nozue
晃 野末
洋一 三村
Yoichi Mimura
洋一 三村
小幡 克実
Katsumi Obata
克実 小幡
和博 茶山
Kazuhiro Chayama
和博 茶山
山下 淳
Atsushi Yamashita
淳 山下
一 淺間
Hajime Asama
一 淺間
岡本 浩幸
Hiroyuki Okamoto
浩幸 岡本
アレサンドロ モロ
Alessandro Moro
アレサンドロ モロ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujita Corp
Original Assignee
Fujita Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujita Corp filed Critical Fujita Corp
Priority to JP2013212868A priority Critical patent/JP6182044B2/ja
Publication of JP2015075426A publication Critical patent/JP2015075426A/ja
Application granted granted Critical
Publication of JP6182044B2 publication Critical patent/JP6182044B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Component Parts Of Construction Machinery (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

【課題】複数のカメラのキャリブレーションを精度良く行なう。
【解決手段】平面視した状態で各カメラ36の光軸が一致すべき基準線LGを、バックホウ10が設置された平坦な地盤G上で、かつ、各カメラ36が撮像可能な範囲に、各カメラ36毎に描き、複数のカメラ36から選択された1つのカメラ36で得られた撮像画像と、鉛直線LVおよび水平線LHとをディスプレイ3814の画面40に重ねて表示し、基準線LG上で地盤Gに所定の高さの箱尺42を直角に設置した。そして、箱尺42の画像と鉛直線LVとが重なるように選択されたカメラ36の光軸の鉛直軸回りの角度を調節し、選択されたカメラ36の撮像素子と同じ高さの箱尺42の箇所に表示された指標44の画像と画面40上の水平線LHとが重なるように選択されたカメラ36の光軸の水平軸回りの角度を調節する。
【選択図】図8

Description

本発明は建設機械に搭載されるレンズのキャリブレーション方法及びその結果を用いた俯瞰画像表示装置に関する。
緊急災害復旧工事において、遠隔操作仕様の建設機械を遠隔で操作する場合、操作者は工事場所より、充分離れた安全な場所から操作する必要がある。
工事範囲が狭い箇所では目視にて操作が可能であるが、通常は建設機械に搭載したビデオカメラからの画像、移動カメラ車からの画像、固定カメラからの画像などを操作者に提示させて遠隔操作を行うことで工事が可能となる。
但し、これらのカメラは、建設機械が移動や旋回する都度、死角が発生する可能性が高く、遠隔操作を行なう上で不利がある。
一方、従来から、乗用車の周辺を撮像する複数のカメラを設け、各カメラから供給される画像を処理し、乗用車の上方から見たような俯瞰画像を作成して、運転者に提供する運転支援装置が提供されている(特許文献1参照)。
したがって、このような俯瞰画像を作成する技術を建設機械に適用することが考えられる。
特開2006−121587号公報
しかしながら、複数のカメラの向き(光軸の方向)が予め定められた方向に対して正確に調整されていないと、各カメラから得られた画像を処理してつなぎ合わせる際のつなぎ目がずれるなどして俯瞰画像が不正確なものとなることが懸念される。
特に、建設機械は、乗用車などに比較してその大きさが大きいことから、建設機械の全周をカバーする俯瞰画像の範囲も極めて広いものとなり、各カメラの向きのずれが俯瞰画像の正確さに与える影響は極めて大きなものとなる。
そのため、複数のカメラの向きをそれぞれ正確に調整するキャリブレーション(校正)を如何に精度良く行なうかが問題となる。
本発明はこのような事情に鑑みなされたものであり、その目的は、キャリブレーションを精度良く行なう上で有利な俯瞰画像表示装置におけるカメラのキャリブレーション方法を提供することにある。
上述の目的を達成するため、本発明の建設機械用俯瞰画像表示装置のカメラのキャリブレーション方法は、建設機械に搭載された複数のカメラから得られる前記建設機械の周囲の撮像画像に基づいて前記建設機械を中心とした建設機械全周の俯瞰画像を生成して表示する俯瞰画像表示装置におけるカメラのキャリブレーション方法であって、平面視した状態で前記各カメラの光軸が一致すべき基準線を、前記建設機械が設置された平坦な地盤上で、かつ、前記各カメラが撮像可能な範囲に、前記各カメラ毎に描く第1の工程と、前記複数のカメラから選択された1つのカメラで得られた撮像画像を画像表示手段に表示する第2の工程と、前記画像表示手段の画面に、前記画面上の中心を通り前記画面の上下方向に延在する鉛直線と、前記画面上の中心を通り前記鉛直線と直交する水平線とを表示する第3の工程と、前記基準線上で前記地盤に所定の高さの棒状体を直角に設置する第4の工程と、前記画像表示手段の画面に表示された前記棒状体の画像と前記鉛直線とが重なるように前記選択されたカメラの光軸の鉛直軸回りの角度を調節する第5の工程と、前記選択されたカメラの撮像素子と同じ高さの前記棒状体の箇所に指標を表示する第6の工程と、前記画像表示手段の画面に表示された指標の画像と前記画面上の水平線とが重なるように前記選択されたカメラの光軸の水平軸回りの角度を調節する第7の工程とを含み、前記複数のカメラのそれぞれについて前記第2の工程から前記第7の工程までを実施することを特徴とする。
本発明によれば、平面視した状態で各カメラの光軸が一致すべき基準線を、バックホウが設置された平坦な地盤上で、かつ、各カメラが撮像可能な範囲に、各カメラ毎に描く第1の工程を行ない、次いで、第2〜第7の工程を行ない、カメラの光軸の鉛直軸回りの角度および水平軸回りの角度を調節するようにした。
そのため、各カメラの向きをそれぞれ正確に調整するキャリブレーション(校正)を精度良く行なう上で有利となり、各カメラの向きのずれを最小限にでき、得られる俯瞰画像の正確さを向上する上で有利となる。
バックホウの側面図である。 バックホウの平面図である。 バックホウを遠隔制御により無人運転させる遠隔制御システムの構成を示すブロック図である。 俯瞰画像の一例を示す図である。 複数のカメラが接続されたキャリブレーション用のパーソナルコンピュータの構成を示すブロック図である。 複数のカメラが接続されたキャリブレーション用のパーソナルコンピュータの機能ブロック図である。 実施の形態におけるカメラのキャリブレーションの手順を示すフローチャートである。 バックホウが設置された地盤上に描かれた基準線の説明図である。 地盤上に設置された箱尺の説明図である。 カメラの光軸の鉛直軸回りの調節前におけるディスプレイの画面の表示内容を示す図である。 カメラの光軸の鉛直軸回りの調節後におけるディスプレイの画面の表示内容を示す図である。 カメラの光軸の水平軸回りの調節前におけるディスプレイの画面の表示内容を示す図である。 カメラの光軸の水平軸回りの調節後におけるディスプレイの画面の表示内容を示す図である。
以下、本実施の形態について図面を参照して説明する。
まず、本発明方法が適用される建設機械用俯瞰画像表示装置が搭載される建設機械について説明する。
本実施の形態では、緊急災害復旧工事などの危険な工事場所において、建設機械が遠隔制御により無人運転されるバックホウである場合について説明する。
この場合、操作者は工事場所より、充分離れた安全な場所からバックホウを操作することになる。
まず、バックホウの構成について説明する。
図1、図2に示すように、バックホウ10は、下部走行体12と、上部旋回体14と、ブーム16と、アーム18と、バケット20を含んで構成される。
下部走行体12は、クローラ1202の回転により地盤G上を走行する。
上部旋回体14は、下部走行体12の上部に旋回軸を中心に水平旋回可能に設けられている。
上部旋回体14には操作室1402が設けられ、操作室1402には、下部走行体12の走行、上部旋回体14の旋回、ブーム16の揺動、アーム18の揺動、バケット20の揺動などを操作するための何れも不図示の操作レバーや操作ペダルなどの複数の操作装置が設置されている。
ブーム16は、その基端が水平方向に延在する支軸を介して上部旋回体14に揺動可能に支持されている。
アーム18は、その基端が水平方向に延在する支軸を介してブーム16の先端に揺動可能に支持されている。
バケット20は、その基端が水平方向に延在する支軸を介してアーム18の先端に揺動可能に支持されている。
上部旋回体14とブーム16との間には、ブーム16を揺動させるブームシリンダ1602が設けられている。
ブーム16とアーム18との間には、アーム18を揺動させるアームシリンダ1802が設けられている。
アーム18とバケット20との間には、バケット20を揺動させるバケットシリンダ2002が設けられている。
これらブームシリンダ1602、アームシリンダ1802、バケットシリンダ2002は油圧シリンダである。
したがって、ブームシリンダ1602が伸縮することにより上部旋回体14に対してブーム16が揺動される。
また、アームシリンダ1802が伸縮することによりブーム16に対してアーム18が揺動される。
また、バケットシリンダ2002が伸縮することによりアーム18に対してバケット20が揺動される。
次に、バックホウ10を遠隔制御する遠隔制御システムについて説明する。
図3は、遠隔制御システムの構成を示すブロック図である。
遠隔制御システム30は、遠隔操作ユニット32と、建設機械側ユニット34とを備えている。
遠隔操作ユニット32は、バックホウ10が作業を行なう作業現場から離れた箇所に設けられている。
遠隔操作ユニット32は、操作部3202と、表示部3204と、制御部3206と、通信部3208とを含んで構成されている。
操作部3202は、作業者が建設機械の遠隔制御を行なうために操作するものであり、例えば、ジョイスティックや操作スイッチなどから構成されている。
表示部3204は、建設機械側ユニット34から送信される図4に示すような俯瞰画像を表示するものであり、液晶表示装置などのディスプレイで構成されている。
制御部3206は、操作部3202になされた操作に対応する操作指令を生成し通信部3208に供給すると共に、建設機械側ユニット34から送信された俯瞰画像を通信部3208を介して受け付け表示部3204に供給するものである。
通信部3208は、建設機械側ユニット34の通信部3406との間で操作指令および俯瞰画像の通信を行なうものである。
これら2つの通信部3208、3406は無線回線で結ばれている。
無線回線としては、例えばSS無線など従来公知の様々な無線回線が使用可能であり、無線回線の種類、構成、方式は任意である。また、複数種類の無線回線を組み合わせたり、あるいは、1以上の中継局を設けるなどしてもよい。
建設機械側ユニット34は、バックホウ10に設けられ、駆動部3402と、複数のカメラ36と、制御部3404と、通信部3406とを含んで構成されている。
駆動部3402は、バックホウ10の前記各操作装置を駆動するものであり、エアシリンダやモータなど従来公知の様々なアクチュエータが使用可能である。
複数のカメラ36は、前方カメラ3602、後方カメラ3604、左方カメラ3606,右方カメラ3608で構成されている。
図1、図2に示すように、前方カメラ3602は、上部旋回体14の前部に搭載されバックホウ10の前方を撮像するものである。
後方カメラ3604は、上部旋回体14の後部に搭載されバックホウ10の後方を撮像するものである。
左方カメラ3606は、上部旋回体14の左側部に搭載されバックホウ10の左方を撮像するものである。
右方カメラ3608は、上部旋回体14の右側部に搭載されバックホウ10の右方を撮像するものである。
本実施の形態では、各カメラ36の画角は180度である。
なお、後述する俯瞰画像を生成できれば、各カメラ36の画角は180度未満でもよい。しかしながら、各カメラ36の画角を180度とし、上記のように上部旋回体14の前後左右にカメラ36をそれぞれ設置することにより、上部旋回体14(バックホウ10)の周辺の全周にわたる画像を効率よくかつ死角を発生させることなく得ることができ、図4に示すような俯瞰画像を正確に生成する上で有利となる。
また、各カメラ36は、各カメラ36の光軸が鉛直軸回りおよび水平軸回りに調節可能となるように、不図示の雲台を介して上部旋回体14に取着されている。
制御部3404は、遠隔操作ユニット32から送信された操作指令を前記通信部3406を介して受け付けると共に、その操作指令に基づいて駆動部3402を制御することでバックホウ10の前記各操作装置を操作するものである。
また、制御部3404は、各カメラ36から供給されるバックホウ10の周囲の撮像画像に基づいてバックホウ10を中心としたバックホウ10全周の俯瞰画像(図4)を生成し、それら撮像画像を通信部3406を介して遠隔操作ユニット32の通信部3208に送信するものである。
また、制御部3404による俯瞰画像の生成は、各カメラ36から得られた撮像画像を視点変換処理して得た視点変換画像を組み合わせることによりなされるが、このような視点変換処理や視点変換画像の組み合わせの処理として、従来公知の様々な方法が採用可能である。
したがって、本実施の形態では、遠隔操作ユニット32の表示部3204、制御部3206、通信部3208と、建設機械側ユニット34の通信部3406、制御部3404、各カメラ36とによって、俯瞰画像表示装置が構成されている。
なお、本実施の形態では、建設機械側ユニット34の制御部3404によって俯瞰画像を生成する場合について説明したが、各カメラ36からの撮像画像をそれぞれ遠隔操作ユニット32に送信し、遠隔操作ユニット32の制御部3206によってそれら撮像画像に基づいて俯瞰画像を生成するようにしてもよい。
また、本実施の形態では、建設機械側ユニット34に4つのカメラ36を設ける場合について説明したが、俯瞰画像を生成することができれば、カメラ36の台数は限定されない。1台あるいは複数台の監視カメラを設け、監視カメラで撮像された監視画像を遠隔操作ユニット32に送信し、遠隔操作ユニット32の表示部3204で監視画像を表示させるなど任意である。その際、監視カメラはその向きが予め固定されていても、あるいは、遠隔制御によって監視カメラの向きを変更できるようにしてもよい。
次に、本実施の形態の建設機械用俯瞰画像表示装置のカメラのキャリブレーション方法について説明する。
各カメラ36のキャリブレーションを行なうに際してはキャリブレーション用のパーソナルコンピュータを用意し、各カメラ36とパーソナルコンピュータとを接続しておく。
図5に示すように、パーソナルコンピュータ38は、CPU3802と、不図示のインターフェース回路およびバスライン3801を介して接続されたROM3804、RAM3806、ハードディスク装置3808、キーボード3810、マウス3812、ディスプレイ3814、入出力インターフェース3816などを有している。
ROM3804は所定の制御プログラムなどを格納し、RAM3806はワーキングエリアを提供するものである。
ハードディスク装置3808は、カメラのキャリブレーションを行なうために必要な機能を実現するためのプログラムを格納している。
キーボード3810およびマウス3812は、操作者による操作入力を受け付けるものである。
ディスプレイ3814は、各カメラ36から供給される撮像画像を画面に表示するものであり、例えば、液晶表示装置などで構成されている。本実施の形態では、ディスプレイ38014が画像表示手段38A(図6)を構成している。
入出力インターフェース3816は、周辺装置との間でデータの授受を行うものであり、本実施の形態では、各カメラ36から撮像画像を受け付けるものである。
パーソナルコンピュータ38は、CPU3802が前記プログラムを実行することによって、図6に示すように、マーカー生成手段38Bと、画像制御手段38Cとを実現するものである。
マーカー生成手段38Bは、ディスプレイ3814の画面に表示する鉛直線、水平線、中心円を含むマーカーを生成して画像制御手段38Cに供給するものである。
画像制御手段38Cは、キーボード3810あるいはマウス3812の操作に応じて各カメラ36から供給される撮像画像から選択された1つのカメラ36の撮像画像をディスプレイ3814に表示させるものである。
また、画像制御手段38は、マーカー生成手段38Bから供給されるマーカーを各カメラ36から供給される撮像画像に重ね合わせてディスプレイ3814に表示する。
また、画像制御手段38Cは、キーボード3810あるいはマウス3812の操作に応じて画像表示手段38Aの表示倍率(ズーム)を拡大して撮像画像を表示させる。
図10に示すように、ディスプレイ3814の画面40は矩形状を呈している。
マーカーを構成する鉛直線LVは、ディスプレイ3814の画面40上の中心Pcを通り画面40の上下方向に延在するものである。
マーカーを構成する水平線LHは、ディスプレイ3814の画面40上の中心Pcを通り鉛直線LVと直交するものである。
マーカーを構成する中心円Cは、鉛直線LVと水平線LHとが交差する点を囲む正円である。
次に、建設機械用俯瞰画像表示装置のカメラのキャリブレーションの具体的な手順について図7のフローチャートを参照して説明する。
まず、バックホウ10を平坦な地盤G上に設置し、図8に示すように、平面視した状態で各カメラ36の光軸が一致すべき基準線LGを、バックホウ10が設置された平坦な地盤G上で、かつ、各カメラ36が撮像可能な範囲に、各カメラ36毎に描く(ステップS10:第1の工程)。
図8では、バックホウ10の前後方向および左右方向に延在する格子状の基準線LGを地盤G上に描いた場合を示すが、基準線LGは4台のカメラ36のそれぞれに対応して1本ずつ描けばよい。
次に、第1の作業者は、パーソナルコンピュータ38を操作して、複数のカメラ36から選択された1つのカメラ36で得られた撮像画像をディスプレイ3814に表示させる(ステップS12:第2の工程)。
そして、マーカー生成手段38B、画像制御手段38Cが、ディスプレイ3814の画面40に、図10に示すように、前述した鉛直線LV、水平線LH、中心円Cが重ね合わされた撮像画像を表示させる(ステップS14:第3の工程)。
なお、図10、図11においては、図面を簡略化するため、選択されたカメラ36の光軸が一致すべき基準線LG0およびこの基準線LG0と平行する他の基準線LGのみを図示し、それら基準線LG0、LGと直交する基準線LGは図示を省略している。
次に、図9に示すように、第2の作業者は、基準線LG上で地盤Gに所定の高さを有する棒状体としての箱尺42(スタッフ)を直角に設置する(ステップS16:第4の工程)。箱尺42を設置する位置は、選択されたカメラ36によって箱尺42が撮像可能な位置であればよい。
なお、箱尺42は、その表面に高さ(長さ)を示す目盛4202が表示されているため、後述するステップS20における指標44を表示する作業を簡単かつ確実に行なう上で有利となる。
箱尺42を地盤G上に直角に設置することにより、ディスプレイ3814の画面40には、図10に示すように、延在方向が基準線LG0と一致する箱尺42と、鉛直線LVとが表示されているが、この段階では、箱尺42の延在方向と鉛直線LVとが合致していない。
次に、図11に示すように、第1の作業者は、ディスプレイ3814の画面40を目視しつつ、ディスプレイ3814の画面40に表示された箱尺42の画像と鉛直線LVとが重なるように、選択されたカメラ36の光軸の鉛直軸回りの角度を調節する(ステップS18:第5の工程)。
次に、図9に示すように、第2の作業者は、選択されたカメラ36の撮像素子と同じ高さの箱尺42の箇所に指標44を表示する(ステップS20:第6の工程)。そして、第1の作業者は、パーソナルコンピュータ38を操作して、図12に示すように、ディスプレイ3814の画面40を拡大表示(ズーム)する(ステップS22:第6の工程)。
これにより、ディスプレイ3814の画面40に拡大表示された箱尺42および指標44が表示される。
この際、中心円Cが撮像画像に重ね合わせて表示されているため、また、画面40が拡大表示されているため、指標44と水平線LHとの位置関係が視認しやすく図られている。
箱尺42に指標44を表示することにより、ディスプレイ3814の画面40には、図12に示すように、箱尺42と水平線LHとが表示されているが、この段階では、指標44と水平線LHとの高さ(画面40の上下方向における位置)が合致していない。
次に、図13に示すように、第1の作業者は、ディスプレイ3814の画面40に表示された指標44の画像と画面40上の水平線LHとが重なるように選択されたカメラ36の光軸の水平軸回りの角度を調節する(ステップS24:第7の工程)。
これにより、選択されたカメラ36の光軸の鉛直軸回りの角度および水平軸回りの角度の調節がなされ、選択されたカメラ36のキャリブレーションが完了する。
次に、キャリブレーションすべきカメラ36が残っているか否かを判断し(ステップS24)、調節すべきカメラ36があれば、ステップS12に戻って同様の処理(ステップS12〜S24:第1の工程〜第7の工程)を繰り返す。
全てのカメラ36のキャリブレーションが完了したならばキャリブレーションの処理を終了する。
以上説明したように本実施の形態によれば、平面視した状態で各カメラ36の光軸が一致すべき基準線LGを、バックホウ10が設置された平坦な地盤G上で、かつ、各カメラ36が撮像可能な範囲に、各カメラ36毎に描き、複数のカメラ36から選択された1つのカメラ36で得られた撮像画像と、鉛直線LVおよび水平線LHとをディスプレイ3814の画面40に重ねて表示し、基準線LG上で地盤Gに所定の高さの箱尺42を直角に設置した。そして、箱尺42の画像と鉛直線LVとが重なるように選択されたカメラ36の光軸の鉛直軸回りの角度を調節し、選択されたカメラ36の撮像素子と同じ高さの箱尺42の箇所に表示された指標44の画像と画面40上の水平線LHとが重なるように選択されたカメラ36の光軸の水平軸回りの角度を調節するようにした。
そのため、各カメラ36の向きをそれぞれ正確に調整するキャリブレーション(校正)を精度良く行なう上で有利となる。
したがって、乗用車などに比較してその大きさが大きい建設機械は、建設機械の全周をカバーする俯瞰画像の範囲も極めて広いものとなり、各カメラ36の向きのずれが俯瞰画像の正確さに与える影響は極めて大きなものとなるにも拘わらず、各カメラ36の向きのずれを最小限にでき、得られる俯瞰画像の正確さを向上する上で有利となる。
また、本実施の形態では、バックホウ10が遠隔操作により無人運転される建設機械であるため、従来のように建設機械に搭載したビデオカメラからの画像、移動カメラ車からの画像、固定カメラからの画像などに基づいて遠隔操作を行なう場合に比較して、建設機械の移動や旋回に起因する撮像画像の死角の発生を最小限にでき、遠隔操作の作業性の向上を図る上で有利となる。
なお、本実施の形態では、建設機械が遠隔操作可能なものである場合について説明したが、建設機械は、作業員が乗り込んで直接操作するものであってもよい。この場合、画像表示手段38Aは、俯瞰画像を建設機械を操作する作業員が視認可能となるように設ければよい。
また、建設機械は、バックホウ10に限定されるものではなく、移動式クレーンやブルドーザーなど従来公知の様々な建設機械であってもよい。
10 バックホウ(建設機械)
36 カメラ
3602 前方カメラ
3604 後方カメラ
3606 左方カメラ
3608 右方カメラ
38A 画像表示手段
40 画面
Pc 中心
LV 鉛直線
LH 水平線
C 中心円
G 地盤
LG、LG0 基準線
42 箱尺(棒状体)
44 指標

Claims (7)

  1. 建設機械に搭載された複数のカメラから得られる前記建設機械の周囲の撮像画像に基づいて前記建設機械を中心とした建設機械全周の俯瞰画像を生成して表示する俯瞰画像表示装置におけるカメラのキャリブレーション方法であって、
    平面視した状態で前記各カメラの光軸が一致すべき基準線を、前記建設機械が設置された平坦な地盤上で、かつ、前記各カメラが撮像可能な範囲に、前記各カメラ毎に描く第1の工程と、
    前記複数のカメラから選択された1つのカメラで得られた撮像画像を画像表示手段に表示する第2の工程と、
    前記画像表示手段の画面に、前記画面上の中心を通り前記画面の上下方向に延在する鉛直線と、前記画面上の中心を通り前記鉛直線と直交する水平線とを表示する第3の工程と、
    前記基準線上で前記地盤に所定の高さの棒状体を直角に設置する第4の工程と、
    前記画像表示手段の画面に表示された前記棒状体の画像と前記鉛直線とが重なるように前記選択されたカメラの光軸の鉛直軸回りの角度を調節する第5の工程と、
    前記選択されたカメラの撮像素子と同じ高さの前記棒状体の箇所に指標を表示する第6の工程と、
    前記画像表示手段の画面に表示された指標の画像と前記画面上の水平線とが重なるように前記選択されたカメラの光軸の水平軸回りの角度を調節する第7の工程とを含み、
    前記複数のカメラのそれぞれについて前記第2の工程から前記第7の工程までを実施する、
    ことを特徴とする建設機械用俯瞰画像表示装置のカメラのキャリブレーション方法。
  2. 前記複数のカメラは、
    前記建設機械の前部に搭載され前記建設機械の前方を撮像する前方カメラと、
    前記建設機械の後部に搭載され前記建設機械の後方を撮像する後方カメラと、
    前記建設機械の左側部に搭載され前記建設機械の左方を撮像する左方カメラと、
    前記建設機械の右側部に搭載され前記建設機械の右方を撮像する右方カメラとを備え、
    前記各カメラの画角は180度である、
    ことを特徴とする請求項1記載の建設機械用俯瞰画像表示装置のカメラのキャリブレーション方法。
  3. 前記第3の工程は、前記表示手段の画面に前記鉛直線と前記水平線とが交差する点を囲む中心円を表示する、
    ことを特徴とする請求項1または2記載の建設機械用俯瞰画像表示装置のカメラのキャリブレーション方法。
  4. 前記第6の工程は、前記表示手段の画面を拡大表示する、
    ことを特徴とする請求項1〜3の何れか1項記載の建設機械用俯瞰画像表示装置のカメラのキャリブレーション方法。
  5. 前記棒状体は箱尺である、
    ことを特徴とする請求項1〜4の何れか1項記載の建設機械用俯瞰画像表示装置のカメラのキャリブレーション方法。
  6. 前記建設機械は、遠隔制御により無人運転される、
    ことを特徴とする請求項1〜5の何れか1項記載の建設機械用俯瞰画像表示装置のカメラのキャリブレーション方法。
  7. 請求項1〜6の何れか1項記載の建設機械用俯瞰画像表示装置のカメラのキャリブレーション方法によって複数のカメラのキャリブレーションがなされている、
    ことを特徴とする俯瞰画像表示装置。
JP2013212868A 2013-10-10 2013-10-10 建設機械に搭載される俯瞰画像表示装置におけるカメラのキャリブレーション方法及びその結果を用いた俯瞰画像表示装置 Active JP6182044B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013212868A JP6182044B2 (ja) 2013-10-10 2013-10-10 建設機械に搭載される俯瞰画像表示装置におけるカメラのキャリブレーション方法及びその結果を用いた俯瞰画像表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013212868A JP6182044B2 (ja) 2013-10-10 2013-10-10 建設機械に搭載される俯瞰画像表示装置におけるカメラのキャリブレーション方法及びその結果を用いた俯瞰画像表示装置

Publications (2)

Publication Number Publication Date
JP2015075426A true JP2015075426A (ja) 2015-04-20
JP6182044B2 JP6182044B2 (ja) 2017-08-16

Family

ID=53000388

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013212868A Active JP6182044B2 (ja) 2013-10-10 2013-10-10 建設機械に搭載される俯瞰画像表示装置におけるカメラのキャリブレーション方法及びその結果を用いた俯瞰画像表示装置

Country Status (1)

Country Link
JP (1) JP6182044B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016013686A1 (ja) * 2015-07-31 2016-01-28 株式会社小松製作所 作業機械の表示システム、作業機械の表示装置、および作業機械の表示方法
CN106647819A (zh) * 2016-11-22 2017-05-10 中车青岛四方车辆研究所有限公司 移动式图像采集装置及高速列车一级检修智能辅助***
JP2020045687A (ja) * 2018-09-19 2020-03-26 日立建機株式会社 作業機械
CN111263032A (zh) * 2018-11-30 2020-06-09 浙江宇视科技有限公司 一种摄像设备
JP2020113888A (ja) * 2019-01-11 2020-07-27 株式会社豊田自動織機 車両用撮像装置
JP2020165235A (ja) * 2019-03-29 2020-10-08 住友建機株式会社 ショベル

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100007734A1 (en) * 2007-01-16 2010-01-14 Pioneer Corporation Vehicular image processing device, and vehicular image processing program
JP2010219663A (ja) * 2009-03-13 2010-09-30 Alpine Electronics Inc 撮像装置のキャリブレーション方法およびキャリブレーションシステム
JP2011009823A (ja) * 2009-06-23 2011-01-13 Caterpillar Japan Ltd 遠隔制御用作業機械の画像表示方法
JP2011040825A (ja) * 2009-08-06 2011-02-24 Nippon Soken Inc 画像補正装置、画像補正方法、及びそれらに用いられる変換マップ作成方法
JP2011087308A (ja) * 2010-11-25 2011-04-28 Aisin Seiki Co Ltd 車載カメラの校正装置、方法、及びプログラム
WO2013058093A1 (ja) * 2011-10-18 2013-04-25 日立建機株式会社 作業機械の周囲監視装置
JP2013207622A (ja) * 2012-03-29 2013-10-07 Fujitsu Ten Ltd キャリブレーション装置及びキャリブレーション方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100007734A1 (en) * 2007-01-16 2010-01-14 Pioneer Corporation Vehicular image processing device, and vehicular image processing program
JP2010219663A (ja) * 2009-03-13 2010-09-30 Alpine Electronics Inc 撮像装置のキャリブレーション方法およびキャリブレーションシステム
JP2011009823A (ja) * 2009-06-23 2011-01-13 Caterpillar Japan Ltd 遠隔制御用作業機械の画像表示方法
JP2011040825A (ja) * 2009-08-06 2011-02-24 Nippon Soken Inc 画像補正装置、画像補正方法、及びそれらに用いられる変換マップ作成方法
JP2011087308A (ja) * 2010-11-25 2011-04-28 Aisin Seiki Co Ltd 車載カメラの校正装置、方法、及びプログラム
WO2013058093A1 (ja) * 2011-10-18 2013-04-25 日立建機株式会社 作業機械の周囲監視装置
JP2013207622A (ja) * 2012-03-29 2013-10-07 Fujitsu Ten Ltd キャリブレーション装置及びキャリブレーション方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016013686A1 (ja) * 2015-07-31 2016-01-28 株式会社小松製作所 作業機械の表示システム、作業機械の表示装置、および作業機械の表示方法
JP5956693B2 (ja) * 2015-07-31 2016-07-27 株式会社小松製作所 作業機械の表示システム、作業機械の表示装置、および作業機械の表示方法
JPWO2016013686A1 (ja) * 2015-07-31 2017-04-27 株式会社小松製作所 作業機械の表示システム、作業機械の表示装置、および作業機械の表示方法
US10337174B2 (en) 2015-07-31 2019-07-02 Komatsu Ltd. Working machine display system, working machine display device, and working machine display for prompt screen transition even when abnormal processing occurs
CN106647819A (zh) * 2016-11-22 2017-05-10 中车青岛四方车辆研究所有限公司 移动式图像采集装置及高速列车一级检修智能辅助***
CN106647819B (zh) * 2016-11-22 2020-01-31 中车青岛四方车辆研究所有限公司 移动式图像采集装置及高速列车一级检修智能辅助***
JP2020045687A (ja) * 2018-09-19 2020-03-26 日立建機株式会社 作業機械
CN111263032A (zh) * 2018-11-30 2020-06-09 浙江宇视科技有限公司 一种摄像设备
JP2020113888A (ja) * 2019-01-11 2020-07-27 株式会社豊田自動織機 車両用撮像装置
JP7200682B2 (ja) 2019-01-11 2023-01-10 株式会社豊田自動織機 車両用撮像装置
JP2020165235A (ja) * 2019-03-29 2020-10-08 住友建機株式会社 ショベル
JP7346061B2 (ja) 2019-03-29 2023-09-19 住友建機株式会社 ショベル

Also Published As

Publication number Publication date
JP6182044B2 (ja) 2017-08-16

Similar Documents

Publication Publication Date Title
JP6182044B2 (ja) 建設機械に搭載される俯瞰画像表示装置におけるカメラのキャリブレーション方法及びその結果を用いた俯瞰画像表示装置
JP5820787B2 (ja) 画像処理装置、及びプログラム
JP5113586B2 (ja) 作業車両
WO2013058093A1 (ja) 作業機械の周囲監視装置
JP5390813B2 (ja) 空間情報表示装置及び支援装置
CN112639226B (zh) 校正作业支援***
JP2007090481A (ja) ロボットシミュレーション装置
JP2013036243A (ja) 建設機械制御システム
JP6651607B2 (ja) ショベル
WO2019124043A1 (ja) 建設機械
JP2022085454A (ja) 作業支援システムの制御方法、作業支援システムの制御プログラム
JP2022166939A (ja) 作業支援システムの設定方法、作業支援システムの設定プログラム
US20240076855A1 (en) Method for controlling work assistance system, and program for controlling work assistance system
JP6256874B2 (ja) 建設機械用俯瞰画像表示装置
JP2015005093A (ja) パターンマッチング装置及びパターンマッチング方法
EP4050164A1 (en) Work assisting server and method for selecting imaging device
JP2012061587A (ja) ロボットのティーチングシステム
WO2020183987A1 (ja) 作業機械
JP6433664B2 (ja) 建設機械用俯瞰画像表示装置
JP2013062692A (ja) 車載カメラの較正装置及び方法
JP2016078142A (ja) ロボット装置の制御方法、およびロボット装置
JP2023040971A (ja) 遠隔操作支援装置、遠隔操作支援システムおよび遠隔操作支援方法
JP2019173407A (ja) 作業機械
KR100993241B1 (ko) 이동 로봇 모니터링 시스템, 및 방법
JP2020045687A (ja) 作業機械

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160921

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170721

R150 Certificate of patent or registration of utility model

Ref document number: 6182044

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250