JP3827480B2 - 自動運転建設機械およびその位置計測手段の校正方法 - Google Patents
自動運転建設機械およびその位置計測手段の校正方法 Download PDFInfo
- Publication number
- JP3827480B2 JP3827480B2 JP22936999A JP22936999A JP3827480B2 JP 3827480 B2 JP3827480 B2 JP 3827480B2 JP 22936999 A JP22936999 A JP 22936999A JP 22936999 A JP22936999 A JP 22936999A JP 3827480 B2 JP3827480 B2 JP 3827480B2
- Authority
- JP
- Japan
- Prior art keywords
- construction machine
- measuring means
- coordinate system
- automatic operation
- position measuring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Operation Control Of Excavators (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、自動運転を行う建設機械に係わり、特に、ダンプトラックやクラッシャ等の作業機械へ自動積み込み作業を行う自動運転建設機械およびその位置計測装置の校正方法に関する。
【０００２】
【従来の技術】
通常、砕石現場等において、油圧ショベル等の建設機械によるダンプトラックやクラッシャ等への積み込み作業は、ある決まった場所から土石を掘削し、ダンプトラックのベッセルやクラッシャのホッパ等の決まった場所へ放土するという単調な繰り返し作業である。このような単調な繰り返し作業は、オペレータにとって苦痛であり、人手を介在せずに自動的に行わせるという欲求が高まっている。
【０００３】
従来、このような積み込み作業の自動化の一つの方法としては、掘削位置と放土位置とを教示して、これらの位置間で、油圧ショベルを走行させずに旋回作業を主とする繰り返し作業を行わせている。例えば、特開平９−１９５３２１号公報には、教示された動作を繰り返して、油圧ショベルの掘削から放土までの一連の作業を自動的に行わせる技術が開示されている。
【０００４】
しかし、この従来技術では、掘削によるジャッキアップや旋回の慣性力等の原因により、自動運転ショベル自体が位置ずれしてしまうという可能性がある。また、ダンプトラックが毎回、同じ場所に停車するとは限らず、ダンプトラック上の放土すべき適切な位置に積み込むことが出来ない可能性がある。そこで、この問題を解決するために、自動運転ショベルにビデオカメラ等の撮像手段を設置し、撮像データからダンプトラック等の目標物としての作業機械の所定の放土位置を算出して放土することが考えられる。例えば、特開平１０−８８６２５号公報には、ホイールローダーにステレオビジョンシステムを塔載して、掘削目標場所までの距離を測定して掘削を行い、また、放土目標場所までの位置を測定して放土を行わせる技術が開示されている。
【０００５】
【発明が解決しようとする課題】
ところで、このような作業目標までの距離を測定して作業を行わせる場合、距離センサをどこに設置してもその測定結果を自動運転建設機械の制御系に反映させるためには、自動運転建設機械上における距離センサの位置を校正しておく必要がある。通常、この校正は建設機械の寸法からその位置を求めたり、外部に設けた校正装置によって校正を行ったりする必要がある。
【０００６】
しかし、距離センサの位置を動かしたり、付け替えた時には校正を行わなければならない。この校正に手間がかかると建設機械の稼働率の低下につながるので、作業現場ではこの校正を平易にかつ迅速に行う必要がある。
【０００７】
また、建設機械の寸法から校正を行う場合は、取り付ける建設機械の大きさが変わるとその校正値も変わるので、そのたびにシステムの変更を行う必要があり、この場合も稼働率の低下をきたすので、どのような建設機械の機種にも迅速に対応できる校正方法が必要となる。
【０００８】
本発明の目的は、上記の間題点を鑑みてなされたものであり、自動運転建設機械本体上に校正のための基準点を設けることにより稼働現場での校正と建設機械の機種が変わることによる影響を受けない校正方法を可能にした自動運転建設機械およびその位置計測装置の校正方法を提供することにある。
【０００９】
【課題を解決するための手段】
本発明では上記の課題を解決するために次のような手段を採用した。
【００１０】
第１の手段は、教示して記憶された教示データを順次読み出して、油圧ショベルの掘削から放土までの一巡する作業を繰り返し行う自動運転建設機械において、前記自動運転建設機械本体上に設置される位置を計測する位置計測手段と、該位置計測手段によって掘削位置を計測し、計測された掘削位置によって教示された掘削位置を補正するとともに、前記位置計測手段によって放土位置を計測し、計測された放土位置によって教示された放土位置を補正する手段と、前記自動運転建設機械本体上または前記自動運転建設機械本体に取り付け可能に設けられ、前記自動運転建設機械本体上での互いの位置が既知である複数の基準点を備える手段とを備え、前記位置計測手段により前記基準点の位置を計測することにより、前記位置計測手段の前記自動運転建設機械に対する位置を校正可能にしたことを特徴とする。
【００１１】
第２の手段は、第１の手段において、前記基準点を備える手段は、前記油圧ショベルのフロント部に設けられることを特徴とする。
【００１２】
第３の手段は、第２の手段において、前記基準点を備える手段は、前記フロント部に取り付けられる校正用治具であることを特徴とする。
【００１３】
第４の手段は、第１の手段ないし第３の手段のいずれか１つの手段おいて、前記位置計測手段は、少なくとも１台のカメラにより構成される視覚センサを備えることを特徴とする。
【００１４】
第５の手段は、前記自動運転建設機械本体上に設置される位置を計測する位置計測手段と、該位置計測手段によって掘削位置を計測し、計測された掘削位置によって教示された掘削位置を補正するとともに、前記位置計測手段によって放土位置を計測し、計測された放土位置によって教示された放土位置を補正する手段と、前記自動運転建設機械本体上に設けられ、前記自動運転建設機械本体上での互いの位置が既知である複数の基準点とを備え、教示して記憶された教示データを順次読み出して、油圧ショベルの掘削から放土までの一巡する作業を繰り返し行う自動運転建設機械に設けられる位置計測手段の校正方法において、前記位置計測手段により前記基準点の位置を計測することにより、前記位置計測手段の前記自動運転建設機械に対する位置を校正することを特徴とする。
【００１５】
第６の手段は、教示して記憶された教示データを順次読み出して、油圧ショベルの掘削から放土までの一巡する作業を繰り返し行う自動運転建設機械に設けられる位置計測手段の校正方法において、前記油圧ショベルを校正のための所定の姿勢にするステップと、前記油圧ショベルのフロントの各関節における角度を検出して自動運転建設機械本体の制御座標系から前記自動運転建設機械本体上での互いの位置が既知である複数の基準点を備える基準点座標系への第１の変換行列を求めるステップと、前記自動運転建設機械本体に設けられる撮影手段により前記基準点を撮像して前記基準点座標系から撮像座標系への第２の変換行列を求めるステップと、前記第１の変換行列と前記第２の変換行列から前記制御座標系から前記撮像座標系への第３の変換行列を求めるステップと、前記第３の変換行列の逆変換行列を求めるステップとからなることを特徴とする。
【００１６】
第７の手段は、第５の手段または第６の手段のいずれか１つの手段において、前記位置計測手段の校正は、前記油圧ショベルのフロント部の姿勢を複数回変更して実施することを特徴とする。
【００１７】
【発明の実施の形態】
以下に、本発明の一実施形態を図１から図９を用いて説明する。
【００１８】
図２は、本実施形態に係わる自動運転建設機械およびその作業形態の一例を示す図である。
【００１９】
同図において、１は後述する土石貯留所４に貯留された土石４１を掘削して後述するダンプトラック３に放土する自動運転建設機械の一例としての自動運転ショベル、２は自動運転ショベル１から遠隔の位置に配置され自動運転ショベル１を遠隔操作する遠隔操作装置、３は土石４１が積み込まれるベッセル３１を備え、自動運転ショベル１から放土された土石を積み込み運搬するダンプトラック、４は土石貯留所、４２は土石貯留所４の範囲を示すために設け た目印である。
ここで、自動運転ショベル１は、さらに走行体１１と、走行体１１上に旋回可能に設けた旋回体１２と、旋回体１２に俯仰動可能に設けたブーム１４と、ブーム１４の先端に回動可能に設けたアーム１５と、アーム１５の先端に回動可能に設けたバケット１６と、旋回体１２とブーム１４との俯仰角を検出する角度センサ１７と、ブーム１４とアーム１５との回動角を検出する角度センサ１８と、アーム１５とバケット１６との回動角を検出する角度センサ１９と、旋回体１２の旋回角を検出する角度センサ６０と、旋回体１２に設けた運転台１３と、運転台１３の屋上に設けたダンプトラック３の積み込み場所と土石貯留所４を撮像するために設けたビデオカメラ６１と、ビデオカメラ６１を水平方向及び垂直方向に旋回可能にする雲台６２と、自動運転ショベル１と遠隔操作装置２との間で各種のデータの送受信を行う無線機６３とから構成されている。
【００２０】
なお、本実施形態では、ビデオカメラ６１を運転台１３の屋上に設置したが、撮像に適した場所であるならば自動運転ショベル１のどこに設置してもよい。
【００２１】
図１は、本実施形態に係る自動運転建設機械の主として再生動作時の制御機構を示すブロック図である。
【００２２】
なお、同図において図２に示す同一符号の箇所は同一箇所を示す。
【００２３】
同図において、１０は自動運転ショベル１に搭載される装置の範囲を示し、１００は主としてコンピュータで構成される自動運転を行うための各種の制御を行う自動運転コントローラ、１０１は後述するサーボ制御部１００６から出力する駆動信号によって駆動される補助制御弁、１０２は補助制御弁１０１から出力される油圧信号によって制御され、後述するアクチュエータ１０３に流入する油量を制御する主制御弁、１０３は自動運転ショベル１の旋回体１２、ブーム１４、アーム１５およびバケット１６の各シリンダおよび旋回モータを作動するためのアクチュエータ、１０４は後述するサーボ前処理部１００５へ補正値を出力する補正値計算部、１０４４は後述する位置計測部１０４１で取り込まれる画像等を確認するモニタ、６４は雲台６２の俯仰角度と旋回角度を検出して、これらを制御する雲台制御部、６５は雲台制御部６４を介してオペレーターが雲台の俯仰角度と旋回角度を操作する雲台操作部、６６は再生動作時の作業位置の教示時に、後述する教示位置格納部１００１に教示位置データおよび教示コマンド格納部１００２に教示コマンドをそれぞれ格納させる教示操作部である。
【００２４】
さらに、自動運転コントローラ１００は、教示時に教示操作部６６による教示操作に従って作成された教示位置データと各教示位置での雲台６２の教示位置データを記憶する教示位置格納部１００１と、教示時に作成された教示コマンドを記憶する教示コマンド格納部１００２と、教示コマンド格納部１００２からの教示コマンドをシーケンシャルに読み出し、教示位置出力部１００４に教示位置データを出力させるための指令信号を出力すると共に、教示位置データ間の移動速度等の指令信号を出力するコマンドインタプリタ部１００３と、コマンドインタプリタ部１００３からの指令に従って教示位置格納部１００１に格納されている教示位置データを出力する教示位置出力部１００４と、教示位置出力部１００４から出力される教示位置データを補間処理して補間された位置データに後述する補正値算出部１０４３から出力される補正値を加算して目標位置データを出力するサーボ前処理部１００５と、サーボ前処理部１００５からの入力値と現在位置演算部１００７からの帰還値とを比較してその偏差を補正する駆動信号を補助制御弁１０１に出力するサーボ制御部１００６と、角度センサ１７〜１９，６０からの検出信号に基づいて自動運転ショベル１の現在位置を演算する現在位置演算部１００７と、から構成される。
【００２５】
また、補正位置計算部１０４は、ビデオカメラ６１により撮像した画像信号を取り込み、コマンドインタプリタ部１００３や教示操作部６６からの指令により目標位置を計測する位置計測部１０４１と、自動運転ショベル１とダンプトラック３との教示時の位置関係および自動運転ショベル１と土石貯留所４との教示時の位置関係を記憶する基準教示位置格納部１０４２と、コマンドインタプリタ部１００３からの指令による位置計測部１０４１の計算結果と基準教示位置格納部１０４２に格納されているの基準位置とにより目標位置の補正値を算出する補正値算出部１０４３と、から構成される。
【００２６】
また、遠隔操作装置２は、再生動作時に、後述するコマンドインタプリタ部１００３に自動運転ショベル１の再生動作の起動指令または停止指令を出力する再生操作部２１と、前記指令を車載装置１０に送信する無線機２２とから構成される。
【００２７】
ここで、教示時は、オペレーターは、教示操作部６６によって自動運転ショベル１の姿勢を教示すると共に、自動運転ショベルが掘削動作に入る前には放土位置がモニタ１０４４に映し出されるように、また、放土動作に入る前には掘削位置がモニタ１０４４に映し出されるように、雲台操作部６５により雲台６２の姿勢を操作する。この時の姿勢は雲台の教示位置として教示位置格納部１００１に記憶される。
【００２８】
次に、図１に示す位置計測部１０４１における位置計測の処理手順を図３に示すフローチャートを用いて説明する。
【００２９】
再生動作時、ビデオカメラ６１によって撮像された画像信号は、位置計測部１０４１に入力される。位置計測部１０４１に取り込まれた画像信号は、ステップ３０１において、フィルタでノイズ除去され、ステップ３０２でエッジ抽出のオペレータを用いてエッジの抽出が行われる。次に、ステップ３０３では抽出したエッジからハフ変換等の手法を用いて直線の抽出を行う。ステップ３０４においてはステップ３０３で抽出した直線とステップ３０２で抽出したエッジとから、画像内の線分の端点と交点を検出する。次に、ステップ３０５において、あらかじめ登録してある対象物のモデルとステップ３０４で得られた線分の情報とから対象物の形状の認識を行う。形状の認識が出来ると、ステップ３０６において、ベッセル４１上の特徴点の位置を算出する。
【００３０】
ここで、位置計測部１０４１が認識したベッセル４１の形状および特徴点Ｓ１，Ｓ２，Ｓ３，Ｓ４の例を図４に示す。
【００３１】
また、特徴点抽出を簡略化するためにダンプトラック３のベッセル３１に特徴点を明確にするための目印として光源等を取り付けて、明るさの違いによって特徴点を抽出するようにしてもよい。
【００３２】
ここで、上記の特徴点の算出は、図５に示すように、一般に、少なくともベッセル３１等の対象物の３点の特徴点間の距離が既知であって、ビデオカメラ６１で撮像した画面内でのこれらの点の位置ｓ１〜ｓ４が解れば、後述する公知の計算方法によって各点の空間での位置を求めることが出来る。
【００３３】
同図において、７０に示すＸｏ，Ｙｏ，Ｚｏはベッセル４１の目標物に設定した目標物座標系であり、この座標系７０は特徴点の座標を表わすことが出来れば空間中のどこにとってもよいが、ここでは特徴点Ｓ１〜Ｓ４のうちの１つである点ｓ１を目標物座標系の原点としている。７１に示すＸｃ，Ｙｃ，Ｚｃはカメラ６１のレンズ中心を原点としたカメラ座標系である。７２に示すＸｗ，Ｙｗ，Ｚｗは自動運転ショベル１を自動制御するための基準となる制御座標系である。
【００３４】
なお、前述の公知の計算方法としては、大村等によって発表された電子情報通信学会論文誌Ｄ−ＩＩＶｏ１．Ｊ７２−Ｄ−ＩＩＮｏ．９ｐｐ１４４１−１４４７が知られている。
【００３５】
一般的に、座標系同士の位置関係は４行４列の同次変換行列で表すことができる。以下に、本実施形態に係る座標系同士の位置関係を表わす４行４列の同次変換行列について説明する。
【００３６】
図５において、目標物座標系７０からカメラ座標系７１への変換行列をｃＨｏ、カメラ座標系７１から制御座標系７２への変換行列をｗＨｃ、目標物座標系７０から制御座標系７２への変換行列をｗＨｏとすると、各変換行列間の関係は、
ｗＨｏ＝ｗＨｃ×ｃＨｏ …（１）
で表わすことが出来る。
【００３７】
この変換行列は、例えば、目標物座標系７０での任意の点の座標を（ｘｏ，ｙｏ，ｚｏ）とし、同じ点が制御座標系７２で（ｘｗ，ｙｗ，ｚｗ）という座標で表わせる時、
【数１】
という関係が成り立つ。
【００３８】
前述した公知の計算方法を用いれば、目標物座標系７０上の配置が既知である基準点とカメラで撮像した基準点の画像から３次元空間上での基準点の座標が求まるので、（１）式における目標物座標系７０からカメラ座標系７１への変換行列ｃＨｏを求めることが出来る。また、カメラ座標系７１から制御座標系７２への変換行列ｗＨｃは、カメラの車体上の設置場所によって求まるが後述する方法によって校正を行う。このようにして変換行列ｃＨｏと変換行列ｗＨｃが求まると、（１）式により、目標物座標系７０から制御座標系７２への変換行列ｗＨｏが求まり、その結果、目標物と制御座標系の位置関係を求めることが出来る。
【００３９】
次いで、ステップ３０７において、算出された特徴点の位置情報からカメラ座標系７１における目標位置を算出する。次いで、ステップ３０８において前述した方法で算出した校正値を基にカメラ座標系７１から制御座標系７２への変換を行って制御座標系７２における目標位置を算出する。
【００４０】
掘削位置の抽出については、図６に示すように、土石貯留所４の左右にその範囲を示すための４つの特徴点Ｓ１’，Ｓ２’，Ｓ３’，Ｓ４’をもった目印４２を設置する。ここでも目印４２の位置関係は既知とすることが出来るので、目印４２をビデオカメラ６１により撮像し、前記と同様の方法により土石貯留所４の位置を算出することができる。
【００４１】
自動運転を行う際には、以上のようにして計測した目標位置と基準教示位置格納部１０４２に格納している基準位置とを補正値算出部１０４３で比較して補正値を算出する。算出した補正値をサーボ前処理部１００５に補正値として与えることにより位置補正をしながら作業を行う。
【００４２】
次に、（１）式における変換行列ｗＨｏを求める方法、即ち、ビデオカメラ６１の位置を校正する方法について図７から図９を用いて説明する。
【００４３】
図７はバケット１６に校正用治具を取り付けた自動運転ショベルを示す図であり、図８は図７に示すバケット１６付近の拡大図である。
【００４４】
これらの図において、１６１は校正時にバケット１６に取り付けられる校正用の治具、１６１３は治具１６１上に原点を持つ治具座標系（Ｘｓ，Ｙｓ，Ｚｓ）、１６１１，１６１２は両者が交差する点を治具座標系の原点として示すための線、１６１４は治具１６１の表面に施され、それぞれの配置が既知であるマークである。
【００４５】
なお、図７の各座標系は座標軸が２本しか記載されていないが、残りの軸は右手系でとると考える。
【００４６】
また、マーク１６１４には十字の図形が用いられているが、このマーク１６１４は画像処理により検出することができ、また、各マーク１６１４の配置が分かるようなものであればどのような形状でもよい。治具座標系（Ｘｓ，Ｙｓ，Ｚｓ）が設定されると、各マーク１６１４の原点からの配置を確定することができる。
【００４７】
治具１６１はバケット１６に固定してあり、バケット１６に対する取り付け位置は既知であり、また、この治具１６１は校正の時にだけ取り付け、通常の作業を行っている時は外ずしておく。
【００４８】
この治具１６１上のマーク１６１４の位置は、バケット１６への取り付け位置が既知であるので、フロント部の各関節に取り付けてある角度計１７〜１９の出力から、ショベル本体に対するそれぞれの位置、即ち、制御座標系７２における治具１６１上のマーク１６１４の位置が既知となる。即ち、制御座標系７２から治具座標系１６１３への変換行列ｓＨｗは治具１６１の取り付け位置とフロントの角度より求まる。
【００４９】
一方、治具１６１を本実施形態に係る位置計測装置のカメラ６１で撮影し、前述の方法にて位置計測を行うと治具座標系１６１３からカメラ座標系７１への変換行列ｃＨｓを求めることが出来る。
【００５０】
従って、上記の２つの変換行列ｓＨｗ，ｃＨｓから以下の式により制御座標系７２からカメラ座標系７１への変換行列ｃＨｗを求めることができる。
【００５１】
ｃＨｗ＝ｃＨｓ×ｓＨｗ …（３）
ここで、ｗＨｃ＝ｃＨｗ−１ …（４）
であるので、（３）式と（４）式により変換行列ｗＨｃが求まり、（１）式において、変換行列ｗＨｃおよび変換行列ｃＨｏが求まることにより、制御座標系７２とカメラ座標系７１の位置関係を表わす変換行列ｗＨｏを求めることができる。
【００５２】
ここで、上記の変換行列ｗＨｃを求める、即ち、制御座標系７２に対するカメラ座標系７１の校正に係わる処理手順を図９に示すフローチャートを用いて説明する。
【００５３】
まず、ステップ９０１において、フロントを校正の姿勢に移動させる。校正の姿勢は治具１６１上のマークがカメラ６１で撮影した画面内に入っていればどのような姿勢でも良いが、出来るだけ光軸と治具１６１が垂直になるように、即ち、画面と治具１６１の面が平行となるような姿勢が望ましい。次に、ステップ９０２において、校正の姿勢の状態のフロントの姿勢を、各関節に取り付けてある角度計から検出する。次に、ステップ９０３において、ステップ９０２で検出したフロントの姿勢より制御座標系７２から治具座標系１６１３への変換行列であるｓＨｗを算出する。次にステップ９０４において、治具１６１の画像を取り込む。次にステップ９０５において撮像した治具１６１の画像から線分を抽出し交差する線分であるマーク１６１４の画面上の座標を抽出する。次にステップ９０６において、既知である治具座標系１６１３上のマーク１６１４の座標とステップ９０５で抽出した画面上のマークの座標から前述の公知の計算方法によって空間上のマーク１６１４の座標を求め、その結果から治具座標系１６１３からカメラ座標系７１への変換行列ｃＨｓを算出する。次にステップ９０７において、ステップ９０３で算出した制御座標系７２から治具座標系１６１３への変換行列ｓＨｗとステップ９０６で算出した治具座標系１６１３からカメラ座標系７１への変換行列ｃＨｓを（３）式へ代入して制御座標系７２からカメラ座標系７１への変換行列ｃＨｗを算出する。次にステップ９０８において、ステップ９０７で算出した制御座標系７２からカメラ座標系７１への変換行列ｃＨｗを（４）式へ代入して、カメラ座標系７１から制御座標系７２への変換行列ｗＨｃを算出する。
【００５４】
次にステップ９０９においてその計算結果を保存する。保存した変換行列ｗＨｃは、図３に示す再生動作時のフローチャートのステップ３０８における（１）式による演算に使用する。
【００５５】
以上のような手順により、実際の取り付け位置から校正した位置関係を求めることが出来る。
【００５６】
本実施形態では、校正のために取る姿勢を一つにしているが、図９に示すフローチャートのステップ９０５の抽出が終わったところでフロントの姿勢を変更し、処理を繰り返しサンプルする点数を増やすことにより結果の冗長性を増すことが出来る。
【００５７】
また、本実施形態では、校正用の治具１６１をバケット１６に取り付けているが、油圧ショベル１上のその他の部位に治具を取り付けて校正を行うことも出来る。
【００５８】
さらに、本実施形態では、バケット１６に治具１６１を取り付けて校正を行っているが、治具を取り付けずにバケット１６そのものの特徴点、例えば、爪の先やバケットの縁を抽出して算出することにより、校正を行うこともできる。
【００５９】
【発明の効果】
本発明によれば、位置計測手段により自動運転建設機械本体に設けた基準点の位置を計測することにより、位置計測手段の自動運転建設機械に対する位置を校正することができるので、平易な手段で位置計測手段の校正を行うことができ、自動運転建設機械の稼働率を低下させずにメンテナンスを行うことができる。
【００６０】
また、制御対象となるフロント部に基準点を設けたので、制御座標系に対する基準点の位置を校正するために別途計測する必要がなく、建設機械の機種によって計測方法を変更する必要がなくなり、機種や取り付け位置を変更しても迅速に校正を行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る自動運転建設機械の主として再生動作時の制御機構を示すブロック図である。
【図２】本実施形態に係わる自動運転建設機械およびその作業形態の一例を示す図である。
【図３】図１に示す位置計測部１０４１における位置計測の処理手順を示すフローチャートである。
【図４】図１に示す位置計測部１０４１が認識したベッセル４１の形状および特徴点Ｓ１，Ｓ２，Ｓ３，Ｓ４を示す図である。
【図５】図２に示すベッセル３１等の目標物に設定した目標物座標系７０、テレビカメラ６１のレンズ中心を原点にしたカメラ座標系７１、および自動運転ショベルを自動運転するための基準となる制御座標系７２を示す図である。
【図６】図１に示す位置計測部１０４１が土石貯留所４の特徴点Ｓ１’，Ｓ２’，Ｓ３’，Ｓ４’として認識する目印４２を示す図である。
【図７】本実施形態に係る治具１６１がバケット１６に取り付けられた自動運転ショベル１を示す図である。
【図８】図７に示す治具１６１が取り付けられたバケット１６付近の拡大図である。
【図９】本実施形態に係る位置計測装置の制御座標系７２に対するカメラ座標系７１の校正に係る処理手順を示すフローチャートである。
【符号の説明】
１ 自動運転建設機械本体
１０ 車載装置
１００１ 教示位置格納部
１００２ 教示コマンド格納部
１００３ コマンドインタプリタ部
１００４ 教示位置出力処理部
１００５ サーボ前処理部
１００６ サーボ制御部
１００７ 現在位置演算部
１０１ 補助制御弁
１０２ 主制御弁
１０３ アクチュエータ
１０４ 補正位置計算部
１０４１ 位置計測部
１０４２ 基準位置格納部
１０４３ 補正値算出部
１０４４ モニタ
１６ バケット
１６１ 校正用治具
２ 遠隔操作装置
２１ 再生操作部
２２，６３ 無線機
３ ダンプトラック
３１ ベッセル
４ 土石貯留所
４１ 土石
４２ 土石貯留範囲目印
６１ ビデオカメラ
６２ 雲台
６４ 雲台制御部
６５ 雲台操作部
６６ 教示操作部
【発明の属する技術分野】
本発明は、自動運転を行う建設機械に係わり、特に、ダンプトラックやクラッシャ等の作業機械へ自動積み込み作業を行う自動運転建設機械およびその位置計測装置の校正方法に関する。
【０００２】
【従来の技術】
通常、砕石現場等において、油圧ショベル等の建設機械によるダンプトラックやクラッシャ等への積み込み作業は、ある決まった場所から土石を掘削し、ダンプトラックのベッセルやクラッシャのホッパ等の決まった場所へ放土するという単調な繰り返し作業である。このような単調な繰り返し作業は、オペレータにとって苦痛であり、人手を介在せずに自動的に行わせるという欲求が高まっている。
【０００３】
従来、このような積み込み作業の自動化の一つの方法としては、掘削位置と放土位置とを教示して、これらの位置間で、油圧ショベルを走行させずに旋回作業を主とする繰り返し作業を行わせている。例えば、特開平９−１９５３２１号公報には、教示された動作を繰り返して、油圧ショベルの掘削から放土までの一連の作業を自動的に行わせる技術が開示されている。
【０００４】
しかし、この従来技術では、掘削によるジャッキアップや旋回の慣性力等の原因により、自動運転ショベル自体が位置ずれしてしまうという可能性がある。また、ダンプトラックが毎回、同じ場所に停車するとは限らず、ダンプトラック上の放土すべき適切な位置に積み込むことが出来ない可能性がある。そこで、この問題を解決するために、自動運転ショベルにビデオカメラ等の撮像手段を設置し、撮像データからダンプトラック等の目標物としての作業機械の所定の放土位置を算出して放土することが考えられる。例えば、特開平１０−８８６２５号公報には、ホイールローダーにステレオビジョンシステムを塔載して、掘削目標場所までの距離を測定して掘削を行い、また、放土目標場所までの位置を測定して放土を行わせる技術が開示されている。
【０００５】
【発明が解決しようとする課題】
ところで、このような作業目標までの距離を測定して作業を行わせる場合、距離センサをどこに設置してもその測定結果を自動運転建設機械の制御系に反映させるためには、自動運転建設機械上における距離センサの位置を校正しておく必要がある。通常、この校正は建設機械の寸法からその位置を求めたり、外部に設けた校正装置によって校正を行ったりする必要がある。
【０００６】
しかし、距離センサの位置を動かしたり、付け替えた時には校正を行わなければならない。この校正に手間がかかると建設機械の稼働率の低下につながるので、作業現場ではこの校正を平易にかつ迅速に行う必要がある。
【０００７】
また、建設機械の寸法から校正を行う場合は、取り付ける建設機械の大きさが変わるとその校正値も変わるので、そのたびにシステムの変更を行う必要があり、この場合も稼働率の低下をきたすので、どのような建設機械の機種にも迅速に対応できる校正方法が必要となる。
【０００８】
本発明の目的は、上記の間題点を鑑みてなされたものであり、自動運転建設機械本体上に校正のための基準点を設けることにより稼働現場での校正と建設機械の機種が変わることによる影響を受けない校正方法を可能にした自動運転建設機械およびその位置計測装置の校正方法を提供することにある。
【０００９】
【課題を解決するための手段】
本発明では上記の課題を解決するために次のような手段を採用した。
【００１０】
第１の手段は、教示して記憶された教示データを順次読み出して、油圧ショベルの掘削から放土までの一巡する作業を繰り返し行う自動運転建設機械において、前記自動運転建設機械本体上に設置される位置を計測する位置計測手段と、該位置計測手段によって掘削位置を計測し、計測された掘削位置によって教示された掘削位置を補正するとともに、前記位置計測手段によって放土位置を計測し、計測された放土位置によって教示された放土位置を補正する手段と、前記自動運転建設機械本体上または前記自動運転建設機械本体に取り付け可能に設けられ、前記自動運転建設機械本体上での互いの位置が既知である複数の基準点を備える手段とを備え、前記位置計測手段により前記基準点の位置を計測することにより、前記位置計測手段の前記自動運転建設機械に対する位置を校正可能にしたことを特徴とする。
【００１１】
第２の手段は、第１の手段において、前記基準点を備える手段は、前記油圧ショベルのフロント部に設けられることを特徴とする。
【００１２】
第３の手段は、第２の手段において、前記基準点を備える手段は、前記フロント部に取り付けられる校正用治具であることを特徴とする。
【００１３】
第４の手段は、第１の手段ないし第３の手段のいずれか１つの手段おいて、前記位置計測手段は、少なくとも１台のカメラにより構成される視覚センサを備えることを特徴とする。
【００１４】
第５の手段は、前記自動運転建設機械本体上に設置される位置を計測する位置計測手段と、該位置計測手段によって掘削位置を計測し、計測された掘削位置によって教示された掘削位置を補正するとともに、前記位置計測手段によって放土位置を計測し、計測された放土位置によって教示された放土位置を補正する手段と、前記自動運転建設機械本体上に設けられ、前記自動運転建設機械本体上での互いの位置が既知である複数の基準点とを備え、教示して記憶された教示データを順次読み出して、油圧ショベルの掘削から放土までの一巡する作業を繰り返し行う自動運転建設機械に設けられる位置計測手段の校正方法において、前記位置計測手段により前記基準点の位置を計測することにより、前記位置計測手段の前記自動運転建設機械に対する位置を校正することを特徴とする。
【００１５】
第６の手段は、教示して記憶された教示データを順次読み出して、油圧ショベルの掘削から放土までの一巡する作業を繰り返し行う自動運転建設機械に設けられる位置計測手段の校正方法において、前記油圧ショベルを校正のための所定の姿勢にするステップと、前記油圧ショベルのフロントの各関節における角度を検出して自動運転建設機械本体の制御座標系から前記自動運転建設機械本体上での互いの位置が既知である複数の基準点を備える基準点座標系への第１の変換行列を求めるステップと、前記自動運転建設機械本体に設けられる撮影手段により前記基準点を撮像して前記基準点座標系から撮像座標系への第２の変換行列を求めるステップと、前記第１の変換行列と前記第２の変換行列から前記制御座標系から前記撮像座標系への第３の変換行列を求めるステップと、前記第３の変換行列の逆変換行列を求めるステップとからなることを特徴とする。
【００１６】
第７の手段は、第５の手段または第６の手段のいずれか１つの手段において、前記位置計測手段の校正は、前記油圧ショベルのフロント部の姿勢を複数回変更して実施することを特徴とする。
【００１７】
【発明の実施の形態】
以下に、本発明の一実施形態を図１から図９を用いて説明する。
【００１８】
図２は、本実施形態に係わる自動運転建設機械およびその作業形態の一例を示す図である。
【００１９】
同図において、１は後述する土石貯留所４に貯留された土石４１を掘削して後述するダンプトラック３に放土する自動運転建設機械の一例としての自動運転ショベル、２は自動運転ショベル１から遠隔の位置に配置され自動運転ショベル１を遠隔操作する遠隔操作装置、３は土石４１が積み込まれるベッセル３１を備え、自動運転ショベル１から放土された土石を積み込み運搬するダンプトラック、４は土石貯留所、４２は土石貯留所４の範囲を示すために設け た目印である。
ここで、自動運転ショベル１は、さらに走行体１１と、走行体１１上に旋回可能に設けた旋回体１２と、旋回体１２に俯仰動可能に設けたブーム１４と、ブーム１４の先端に回動可能に設けたアーム１５と、アーム１５の先端に回動可能に設けたバケット１６と、旋回体１２とブーム１４との俯仰角を検出する角度センサ１７と、ブーム１４とアーム１５との回動角を検出する角度センサ１８と、アーム１５とバケット１６との回動角を検出する角度センサ１９と、旋回体１２の旋回角を検出する角度センサ６０と、旋回体１２に設けた運転台１３と、運転台１３の屋上に設けたダンプトラック３の積み込み場所と土石貯留所４を撮像するために設けたビデオカメラ６１と、ビデオカメラ６１を水平方向及び垂直方向に旋回可能にする雲台６２と、自動運転ショベル１と遠隔操作装置２との間で各種のデータの送受信を行う無線機６３とから構成されている。
【００２０】
なお、本実施形態では、ビデオカメラ６１を運転台１３の屋上に設置したが、撮像に適した場所であるならば自動運転ショベル１のどこに設置してもよい。
【００２１】
図１は、本実施形態に係る自動運転建設機械の主として再生動作時の制御機構を示すブロック図である。
【００２２】
なお、同図において図２に示す同一符号の箇所は同一箇所を示す。
【００２３】
同図において、１０は自動運転ショベル１に搭載される装置の範囲を示し、１００は主としてコンピュータで構成される自動運転を行うための各種の制御を行う自動運転コントローラ、１０１は後述するサーボ制御部１００６から出力する駆動信号によって駆動される補助制御弁、１０２は補助制御弁１０１から出力される油圧信号によって制御され、後述するアクチュエータ１０３に流入する油量を制御する主制御弁、１０３は自動運転ショベル１の旋回体１２、ブーム１４、アーム１５およびバケット１６の各シリンダおよび旋回モータを作動するためのアクチュエータ、１０４は後述するサーボ前処理部１００５へ補正値を出力する補正値計算部、１０４４は後述する位置計測部１０４１で取り込まれる画像等を確認するモニタ、６４は雲台６２の俯仰角度と旋回角度を検出して、これらを制御する雲台制御部、６５は雲台制御部６４を介してオペレーターが雲台の俯仰角度と旋回角度を操作する雲台操作部、６６は再生動作時の作業位置の教示時に、後述する教示位置格納部１００１に教示位置データおよび教示コマンド格納部１００２に教示コマンドをそれぞれ格納させる教示操作部である。
【００２４】
さらに、自動運転コントローラ１００は、教示時に教示操作部６６による教示操作に従って作成された教示位置データと各教示位置での雲台６２の教示位置データを記憶する教示位置格納部１００１と、教示時に作成された教示コマンドを記憶する教示コマンド格納部１００２と、教示コマンド格納部１００２からの教示コマンドをシーケンシャルに読み出し、教示位置出力部１００４に教示位置データを出力させるための指令信号を出力すると共に、教示位置データ間の移動速度等の指令信号を出力するコマンドインタプリタ部１００３と、コマンドインタプリタ部１００３からの指令に従って教示位置格納部１００１に格納されている教示位置データを出力する教示位置出力部１００４と、教示位置出力部１００４から出力される教示位置データを補間処理して補間された位置データに後述する補正値算出部１０４３から出力される補正値を加算して目標位置データを出力するサーボ前処理部１００５と、サーボ前処理部１００５からの入力値と現在位置演算部１００７からの帰還値とを比較してその偏差を補正する駆動信号を補助制御弁１０１に出力するサーボ制御部１００６と、角度センサ１７〜１９，６０からの検出信号に基づいて自動運転ショベル１の現在位置を演算する現在位置演算部１００７と、から構成される。
【００２５】
また、補正位置計算部１０４は、ビデオカメラ６１により撮像した画像信号を取り込み、コマンドインタプリタ部１００３や教示操作部６６からの指令により目標位置を計測する位置計測部１０４１と、自動運転ショベル１とダンプトラック３との教示時の位置関係および自動運転ショベル１と土石貯留所４との教示時の位置関係を記憶する基準教示位置格納部１０４２と、コマンドインタプリタ部１００３からの指令による位置計測部１０４１の計算結果と基準教示位置格納部１０４２に格納されているの基準位置とにより目標位置の補正値を算出する補正値算出部１０４３と、から構成される。
【００２６】
また、遠隔操作装置２は、再生動作時に、後述するコマンドインタプリタ部１００３に自動運転ショベル１の再生動作の起動指令または停止指令を出力する再生操作部２１と、前記指令を車載装置１０に送信する無線機２２とから構成される。
【００２７】
ここで、教示時は、オペレーターは、教示操作部６６によって自動運転ショベル１の姿勢を教示すると共に、自動運転ショベルが掘削動作に入る前には放土位置がモニタ１０４４に映し出されるように、また、放土動作に入る前には掘削位置がモニタ１０４４に映し出されるように、雲台操作部６５により雲台６２の姿勢を操作する。この時の姿勢は雲台の教示位置として教示位置格納部１００１に記憶される。
【００２８】
次に、図１に示す位置計測部１０４１における位置計測の処理手順を図３に示すフローチャートを用いて説明する。
【００２９】
再生動作時、ビデオカメラ６１によって撮像された画像信号は、位置計測部１０４１に入力される。位置計測部１０４１に取り込まれた画像信号は、ステップ３０１において、フィルタでノイズ除去され、ステップ３０２でエッジ抽出のオペレータを用いてエッジの抽出が行われる。次に、ステップ３０３では抽出したエッジからハフ変換等の手法を用いて直線の抽出を行う。ステップ３０４においてはステップ３０３で抽出した直線とステップ３０２で抽出したエッジとから、画像内の線分の端点と交点を検出する。次に、ステップ３０５において、あらかじめ登録してある対象物のモデルとステップ３０４で得られた線分の情報とから対象物の形状の認識を行う。形状の認識が出来ると、ステップ３０６において、ベッセル４１上の特徴点の位置を算出する。
【００３０】
ここで、位置計測部１０４１が認識したベッセル４１の形状および特徴点Ｓ１，Ｓ２，Ｓ３，Ｓ４の例を図４に示す。
【００３１】
また、特徴点抽出を簡略化するためにダンプトラック３のベッセル３１に特徴点を明確にするための目印として光源等を取り付けて、明るさの違いによって特徴点を抽出するようにしてもよい。
【００３２】
ここで、上記の特徴点の算出は、図５に示すように、一般に、少なくともベッセル３１等の対象物の３点の特徴点間の距離が既知であって、ビデオカメラ６１で撮像した画面内でのこれらの点の位置ｓ１〜ｓ４が解れば、後述する公知の計算方法によって各点の空間での位置を求めることが出来る。
【００３３】
同図において、７０に示すＸｏ，Ｙｏ，Ｚｏはベッセル４１の目標物に設定した目標物座標系であり、この座標系７０は特徴点の座標を表わすことが出来れば空間中のどこにとってもよいが、ここでは特徴点Ｓ１〜Ｓ４のうちの１つである点ｓ１を目標物座標系の原点としている。７１に示すＸｃ，Ｙｃ，Ｚｃはカメラ６１のレンズ中心を原点としたカメラ座標系である。７２に示すＸｗ，Ｙｗ，Ｚｗは自動運転ショベル１を自動制御するための基準となる制御座標系である。
【００３４】
なお、前述の公知の計算方法としては、大村等によって発表された電子情報通信学会論文誌Ｄ−ＩＩＶｏ１．Ｊ７２−Ｄ−ＩＩＮｏ．９ｐｐ１４４１−１４４７が知られている。
【００３５】
一般的に、座標系同士の位置関係は４行４列の同次変換行列で表すことができる。以下に、本実施形態に係る座標系同士の位置関係を表わす４行４列の同次変換行列について説明する。
【００３６】
図５において、目標物座標系７０からカメラ座標系７１への変換行列をｃＨｏ、カメラ座標系７１から制御座標系７２への変換行列をｗＨｃ、目標物座標系７０から制御座標系７２への変換行列をｗＨｏとすると、各変換行列間の関係は、
ｗＨｏ＝ｗＨｃ×ｃＨｏ …（１）
で表わすことが出来る。
【００３７】
この変換行列は、例えば、目標物座標系７０での任意の点の座標を（ｘｏ，ｙｏ，ｚｏ）とし、同じ点が制御座標系７２で（ｘｗ，ｙｗ，ｚｗ）という座標で表わせる時、
【数１】
【００３８】
前述した公知の計算方法を用いれば、目標物座標系７０上の配置が既知である基準点とカメラで撮像した基準点の画像から３次元空間上での基準点の座標が求まるので、（１）式における目標物座標系７０からカメラ座標系７１への変換行列ｃＨｏを求めることが出来る。また、カメラ座標系７１から制御座標系７２への変換行列ｗＨｃは、カメラの車体上の設置場所によって求まるが後述する方法によって校正を行う。このようにして変換行列ｃＨｏと変換行列ｗＨｃが求まると、（１）式により、目標物座標系７０から制御座標系７２への変換行列ｗＨｏが求まり、その結果、目標物と制御座標系の位置関係を求めることが出来る。
【００３９】
次いで、ステップ３０７において、算出された特徴点の位置情報からカメラ座標系７１における目標位置を算出する。次いで、ステップ３０８において前述した方法で算出した校正値を基にカメラ座標系７１から制御座標系７２への変換を行って制御座標系７２における目標位置を算出する。
【００４０】
掘削位置の抽出については、図６に示すように、土石貯留所４の左右にその範囲を示すための４つの特徴点Ｓ１’，Ｓ２’，Ｓ３’，Ｓ４’をもった目印４２を設置する。ここでも目印４２の位置関係は既知とすることが出来るので、目印４２をビデオカメラ６１により撮像し、前記と同様の方法により土石貯留所４の位置を算出することができる。
【００４１】
自動運転を行う際には、以上のようにして計測した目標位置と基準教示位置格納部１０４２に格納している基準位置とを補正値算出部１０４３で比較して補正値を算出する。算出した補正値をサーボ前処理部１００５に補正値として与えることにより位置補正をしながら作業を行う。
【００４２】
次に、（１）式における変換行列ｗＨｏを求める方法、即ち、ビデオカメラ６１の位置を校正する方法について図７から図９を用いて説明する。
【００４３】
図７はバケット１６に校正用治具を取り付けた自動運転ショベルを示す図であり、図８は図７に示すバケット１６付近の拡大図である。
【００４４】
これらの図において、１６１は校正時にバケット１６に取り付けられる校正用の治具、１６１３は治具１６１上に原点を持つ治具座標系（Ｘｓ，Ｙｓ，Ｚｓ）、１６１１，１６１２は両者が交差する点を治具座標系の原点として示すための線、１６１４は治具１６１の表面に施され、それぞれの配置が既知であるマークである。
【００４５】
なお、図７の各座標系は座標軸が２本しか記載されていないが、残りの軸は右手系でとると考える。
【００４６】
また、マーク１６１４には十字の図形が用いられているが、このマーク１６１４は画像処理により検出することができ、また、各マーク１６１４の配置が分かるようなものであればどのような形状でもよい。治具座標系（Ｘｓ，Ｙｓ，Ｚｓ）が設定されると、各マーク１６１４の原点からの配置を確定することができる。
【００４７】
治具１６１はバケット１６に固定してあり、バケット１６に対する取り付け位置は既知であり、また、この治具１６１は校正の時にだけ取り付け、通常の作業を行っている時は外ずしておく。
【００４８】
この治具１６１上のマーク１６１４の位置は、バケット１６への取り付け位置が既知であるので、フロント部の各関節に取り付けてある角度計１７〜１９の出力から、ショベル本体に対するそれぞれの位置、即ち、制御座標系７２における治具１６１上のマーク１６１４の位置が既知となる。即ち、制御座標系７２から治具座標系１６１３への変換行列ｓＨｗは治具１６１の取り付け位置とフロントの角度より求まる。
【００４９】
一方、治具１６１を本実施形態に係る位置計測装置のカメラ６１で撮影し、前述の方法にて位置計測を行うと治具座標系１６１３からカメラ座標系７１への変換行列ｃＨｓを求めることが出来る。
【００５０】
従って、上記の２つの変換行列ｓＨｗ，ｃＨｓから以下の式により制御座標系７２からカメラ座標系７１への変換行列ｃＨｗを求めることができる。
【００５１】
ｃＨｗ＝ｃＨｓ×ｓＨｗ …（３）
ここで、ｗＨｃ＝ｃＨｗ−１ …（４）
であるので、（３）式と（４）式により変換行列ｗＨｃが求まり、（１）式において、変換行列ｗＨｃおよび変換行列ｃＨｏが求まることにより、制御座標系７２とカメラ座標系７１の位置関係を表わす変換行列ｗＨｏを求めることができる。
【００５２】
ここで、上記の変換行列ｗＨｃを求める、即ち、制御座標系７２に対するカメラ座標系７１の校正に係わる処理手順を図９に示すフローチャートを用いて説明する。
【００５３】
まず、ステップ９０１において、フロントを校正の姿勢に移動させる。校正の姿勢は治具１６１上のマークがカメラ６１で撮影した画面内に入っていればどのような姿勢でも良いが、出来るだけ光軸と治具１６１が垂直になるように、即ち、画面と治具１６１の面が平行となるような姿勢が望ましい。次に、ステップ９０２において、校正の姿勢の状態のフロントの姿勢を、各関節に取り付けてある角度計から検出する。次に、ステップ９０３において、ステップ９０２で検出したフロントの姿勢より制御座標系７２から治具座標系１６１３への変換行列であるｓＨｗを算出する。次にステップ９０４において、治具１６１の画像を取り込む。次にステップ９０５において撮像した治具１６１の画像から線分を抽出し交差する線分であるマーク１６１４の画面上の座標を抽出する。次にステップ９０６において、既知である治具座標系１６１３上のマーク１６１４の座標とステップ９０５で抽出した画面上のマークの座標から前述の公知の計算方法によって空間上のマーク１６１４の座標を求め、その結果から治具座標系１６１３からカメラ座標系７１への変換行列ｃＨｓを算出する。次にステップ９０７において、ステップ９０３で算出した制御座標系７２から治具座標系１６１３への変換行列ｓＨｗとステップ９０６で算出した治具座標系１６１３からカメラ座標系７１への変換行列ｃＨｓを（３）式へ代入して制御座標系７２からカメラ座標系７１への変換行列ｃＨｗを算出する。次にステップ９０８において、ステップ９０７で算出した制御座標系７２からカメラ座標系７１への変換行列ｃＨｗを（４）式へ代入して、カメラ座標系７１から制御座標系７２への変換行列ｗＨｃを算出する。
【００５４】
次にステップ９０９においてその計算結果を保存する。保存した変換行列ｗＨｃは、図３に示す再生動作時のフローチャートのステップ３０８における（１）式による演算に使用する。
【００５５】
以上のような手順により、実際の取り付け位置から校正した位置関係を求めることが出来る。
【００５６】
本実施形態では、校正のために取る姿勢を一つにしているが、図９に示すフローチャートのステップ９０５の抽出が終わったところでフロントの姿勢を変更し、処理を繰り返しサンプルする点数を増やすことにより結果の冗長性を増すことが出来る。
【００５７】
また、本実施形態では、校正用の治具１６１をバケット１６に取り付けているが、油圧ショベル１上のその他の部位に治具を取り付けて校正を行うことも出来る。
【００５８】
さらに、本実施形態では、バケット１６に治具１６１を取り付けて校正を行っているが、治具を取り付けずにバケット１６そのものの特徴点、例えば、爪の先やバケットの縁を抽出して算出することにより、校正を行うこともできる。
【００５９】
【発明の効果】
本発明によれば、位置計測手段により自動運転建設機械本体に設けた基準点の位置を計測することにより、位置計測手段の自動運転建設機械に対する位置を校正することができるので、平易な手段で位置計測手段の校正を行うことができ、自動運転建設機械の稼働率を低下させずにメンテナンスを行うことができる。
【００６０】
また、制御対象となるフロント部に基準点を設けたので、制御座標系に対する基準点の位置を校正するために別途計測する必要がなく、建設機械の機種によって計測方法を変更する必要がなくなり、機種や取り付け位置を変更しても迅速に校正を行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る自動運転建設機械の主として再生動作時の制御機構を示すブロック図である。
【図２】本実施形態に係わる自動運転建設機械およびその作業形態の一例を示す図である。
【図３】図１に示す位置計測部１０４１における位置計測の処理手順を示すフローチャートである。
【図４】図１に示す位置計測部１０４１が認識したベッセル４１の形状および特徴点Ｓ１，Ｓ２，Ｓ３，Ｓ４を示す図である。
【図５】図２に示すベッセル３１等の目標物に設定した目標物座標系７０、テレビカメラ６１のレンズ中心を原点にしたカメラ座標系７１、および自動運転ショベルを自動運転するための基準となる制御座標系７２を示す図である。
【図６】図１に示す位置計測部１０４１が土石貯留所４の特徴点Ｓ１’，Ｓ２’，Ｓ３’，Ｓ４’として認識する目印４２を示す図である。
【図７】本実施形態に係る治具１６１がバケット１６に取り付けられた自動運転ショベル１を示す図である。
【図８】図７に示す治具１６１が取り付けられたバケット１６付近の拡大図である。
【図９】本実施形態に係る位置計測装置の制御座標系７２に対するカメラ座標系７１の校正に係る処理手順を示すフローチャートである。
【符号の説明】
１ 自動運転建設機械本体
１０ 車載装置
１００１ 教示位置格納部
１００２ 教示コマンド格納部
１００３ コマンドインタプリタ部
１００４ 教示位置出力処理部
１００５ サーボ前処理部
１００６ サーボ制御部
１００７ 現在位置演算部
１０１ 補助制御弁
１０２ 主制御弁
１０３ アクチュエータ
１０４ 補正位置計算部
１０４１ 位置計測部
１０４２ 基準位置格納部
１０４３ 補正値算出部
１０４４ モニタ
１６ バケット
１６１ 校正用治具
２ 遠隔操作装置
２１ 再生操作部
２２，６３ 無線機
３ ダンプトラック
３１ ベッセル
４ 土石貯留所
４１ 土石
４２ 土石貯留範囲目印
６１ ビデオカメラ
６２ 雲台
６４ 雲台制御部
６５ 雲台操作部
６６ 教示操作部
Claims (7)
- 教示して記憶された教示データを順次読み出して、油圧ショベルの掘削から放土までの一巡する作業を繰り返し行う自動運転建設機械において、
自動運転建設機械本体上に設置される位置を計測する位置計測手段と、該位置計測手段によって掘削位置を計測し、計測された掘削位置によって教示された掘削位置を補正するとともに、前記位置計測手段によって放土位置を計測し、計測された放土位置によって教示された放土位置を補正する手段と、前記自動運転建設機械本体上または前記自動運転建設機械本体に取り付け可能に設けられ、前記自動運転建設機械本体上での互いの位置が既知である複数の基準点を備える手段とを備え、前記位置計測手段により前記基準点の位置を計測することにより、前記位置計測手段の自動運転建設機械に対する位置を校正可能にしたことを特徴とする自動運転建設機械。 - 請求項１において、
前記基準点を備える手段は、前記油圧ショベルのフロント部に設けられることを特徴とする自動運転建設機械。 - 請求項２において、
前記基準点を備える手段は、前記フロント部に取り付けられる校正用治具であることを特徴とする自動運転建設機械。 - 請求項１ないし請求項３のいずれか１つの請求項おいて、
前記位置計測手段は、少なくとも１台のカメラにより構成される視覚センサを備えることを特徴とする自動運転建設機械。 - 自動運転建設機械本体上に設置される位置を計測する位置計測手段と、該位置計測手段によって掘削位置を計測し、計測された掘削位置によって教示された掘削位置を補正するとともに、前記位置計測手段によって放土位置を計測し、計測された放土位置によって教示された放土位置を補正する手段と、前記自動運転建設機械本体上に設けられ、前記自動運転建設機械本体上での互いの位置が既知である複数の基準点とを備え、教示して記憶された教示データを順次読み出して、油圧ショベルの掘削から放土までの一巡する作業を繰り返し行う自動運転建設機械に設けられる位置計測手段の校正方法において、
前記位置計測手段により前記基準点の位置を計測することにより、前記位置計測手段の前記自動運転建設機械に対する位置を校正することを特徴とする自動運転建設機械に設けられる位置計測手段の校正方法。 - 教示して記憶された教示データを順次読み出して、油圧ショベルの掘削から放土までの一巡する作業を繰り返し行う自動運転建設機械に設けられる位置計測手段の校正方法において、
前記油圧ショベルを校正のための所定の姿勢にするステップと、前記油圧ショベルのフロントの各関節における角度を検出して自動運転建設機械本体の制御座標系から前記自動運転建設機械本体上での互いの位置が既知である複数の基準点を備える基準点座標系への第１の変換行列を求めるステップと、前記自動運転建設機械本体に設けられる撮影手段により前記基準点を撮像して前記基準点座標系から撮像座標系への第２の変換行列を求めるステップと、前記第１の変換行列と前記第２の変換行列から前記制御座標系から前記撮像座標系への第３の変換行列を求めるステップと、前記第３の変換行列の逆変換行列を求めるステップとからなることを特徴とする自動運転建設機械に設けられる位置計測手段の校正方法。 - 請求項５または請求項６のいずれか１つの請求項において、前記位置計測手段の校正は、前記油圧ショベルのフロント部の姿勢を複数回変更して実施することを特徴とする自動運転建設機械に設けられる位置計測手段の校正方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22936999A JP3827480B2 (ja) | 1999-08-13 | 1999-08-13 | 自動運転建設機械およびその位置計測手段の校正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22936999A JP3827480B2 (ja) | 1999-08-13 | 1999-08-13 | 自動運転建設機械およびその位置計測手段の校正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001055762A JP2001055762A (ja) | 2001-02-27 |
| JP3827480B2 true JP3827480B2 (ja) | 2006-09-27 |
Family
ID=16891101
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22936999A Expired - Fee Related JP3827480B2 (ja) | 1999-08-13 | 1999-08-13 | 自動運転建設機械およびその位置計測手段の校正方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3827480B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019187937A1 (ja) | 2018-03-29 | 2019-10-03 | ヤンマー株式会社 | 障害物検知システム、及び、作業車両 |
| WO2021140864A1 (ja) * | 2020-01-10 | 2021-07-15 | 株式会社デンソー | 検出器の姿勢・位置検出システムおよび検出器の姿勢・位置検出方法 |
| JP2021182001A (ja) * | 2018-03-29 | 2021-11-25 | ヤンマーパワーテクノロジー株式会社 | 作業車両 |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005194825A (ja) * | 2004-01-09 | 2005-07-21 | Shin Caterpillar Mitsubishi Ltd | 建設機械における作業機制御装置 |
| JP5271758B2 (ja) * | 2009-03-11 | 2013-08-21 | 日立建機株式会社 | 作業機械の油圧駆動装置 |
| JP5248377B2 (ja) | 2009-03-16 | 2013-07-31 | 日立建機株式会社 | 作業機械の油圧駆動装置 |
| JP6407663B2 (ja) * | 2014-10-30 | 2018-10-17 | 日立建機株式会社 | 作業支援画像生成装置、及びそれを備えた作業機械の操縦システム |
| KR101711413B1 (ko) * | 2015-03-27 | 2017-03-02 | 가부시키가이샤 고마쓰 세이사쿠쇼 | 작업 기계의 교정 장치 및 작업 기계의 작업기 파라미터의 교정 방법 |
| JP6480830B2 (ja) * | 2015-08-24 | 2019-03-13 | 株式会社小松製作所 | ホイールローダの制御システム、その制御方法およびホイールローダの制御方法 |
| WO2016047807A1 (ja) * | 2015-09-30 | 2016-03-31 | 株式会社小松製作所 | 校正システム、作業機械及び校正方法 |
| KR101885704B1 (ko) * | 2016-03-29 | 2018-08-06 | 가부시키가이샤 고마쓰 세이사쿠쇼 | 교정 시스템, 작업 기계 및 교정 방법 |
| JP6925816B2 (ja) | 2017-02-09 | 2021-08-25 | 株式会社小松製作所 | 位置計測システム、作業機械、及び位置計測方法 |
| JP2017193958A (ja) * | 2017-07-25 | 2017-10-26 | 株式会社小松製作所 | 校正システム、作業機械及び校正方法 |
| JP6860460B2 (ja) * | 2017-09-21 | 2021-04-14 | 日立建機株式会社 | 建設機械 |
| JP7073232B2 (ja) * | 2018-09-06 | 2022-05-23 | 住友重機械工業株式会社 | ショベル及びショベルの情報更新方法 |
| JP7301514B2 (ja) * | 2018-09-21 | 2023-07-03 | 日立建機株式会社 | 座標変換システム及び作業機械 |
| JP2021155980A (ja) * | 2020-03-26 | 2021-10-07 | 株式会社小松製作所 | 作業機械および作業機械の制御方法 |
| JP7452473B2 (ja) * | 2021-03-08 | 2024-03-19 | コベルコ建機株式会社 | 容器計測システム |
| CN118251533A (zh) * | 2021-10-15 | 2024-06-25 | 住友重机械工业株式会社 | 施工机械的周边监视***、信息处理装置及周边监视方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5809658A (en) * | 1993-09-29 | 1998-09-22 | Snap-On Technologies, Inc. | Method and apparatus for calibrating cameras used in the alignment of motor vehicle wheels |
| JPH1088625A (ja) * | 1996-09-13 | 1998-04-07 | Komatsu Ltd | 自動掘削機、自動掘削方法および自動積み込み方法 |
| JP3789218B2 (ja) * | 1997-10-22 | 2006-06-21 | 日立建機株式会社 | 自動運転建設機械およびその運転方法 |
-
1999
- 1999-08-13 JP JP22936999A patent/JP3827480B2/ja not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019187937A1 (ja) | 2018-03-29 | 2019-10-03 | ヤンマー株式会社 | 障害物検知システム、及び、作業車両 |
| KR20200139125A (ko) | 2018-03-29 | 2020-12-11 | 얀마 파워 테크놀로지 가부시키가이샤 | 장애물 검지 시스템, 및, 작업 차량 |
| JP2021182001A (ja) * | 2018-03-29 | 2021-11-25 | ヤンマーパワーテクノロジー株式会社 | 作業車両 |
| WO2021140864A1 (ja) * | 2020-01-10 | 2021-07-15 | 株式会社デンソー | 検出器の姿勢・位置検出システムおよび検出器の姿勢・位置検出方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001055762A (ja) | 2001-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3827480B2 (ja) | 自動運転建設機械およびその位置計測手段の校正方法 | |
| JP2000192514A (ja) | 自動運転建設機械およびその運転方法 | |
| JP5108350B2 (ja) | 油圧ショベルの作業量計測方法および作業量計測装置 | |
| JP2844040B2 (ja) | ３次元表示装置 | |
| JPWO2018043104A1 (ja) | ホイールローダおよびホイールローダの制御方法 | |
| JP7420733B2 (ja) | 表示制御システムおよび表示制御方法 | |
| WO2015182455A1 (ja) | 作業機の作動状態検出システム及び作業機 | |
| JP5052463B2 (ja) | 作業機械のステレオ画像処理装置 | |
| CN111032962B (zh) | 工程机械 | |
| JP6848039B2 (ja) | ショベル | |
| JP7023813B2 (ja) | 作業機械 | |
| JP3609164B2 (ja) | 建設機械の領域制限掘削制御の掘削領域設定装置 | |
| JP2010066117A5 (ja) | ||
| EP3907336A1 (en) | Monitoring device and construction machine | |
| JP4196826B2 (ja) | 旋回式作業車両の後方視野表示装置 | |
| JP2007061042A (ja) | 作業機の自動制御システム | |
| JP7276046B2 (ja) | 作業機械の動作教示システム | |
| US20240117604A1 (en) | Automatic mode for object detection range setting | |
| JP3789218B2 (ja) | 自動運転建設機械およびその運転方法 | |
| JP2000064359A (ja) | 自動運転建設機械 | |
| WO2022186215A1 (ja) | 作業機械 | |
| JPH11293708A (ja) | 自動運転建設機械 | |
| CN116234962A (zh) | 用于作业机器的虚拟边界*** | |
| JP3926464B2 (ja) | 自動運転ショベル | |
| US11680387B1 (en) | Work vehicle having multi-purpose camera for selective monitoring of an area of interest |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040916 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060616 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060627 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060704 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |