JP6799557B2 - 作業機械 - Google Patents

Description

本発明は、作業機械に関する。

近年、作業機械の電子化、情報化が進み、多くの電子機器が搭載されるようになっている。例えば、油圧ショベル等の作業機械には、車体の周囲を複数のカメラによって撮影し、その映像をキャブ内の表示部に表示することにより、キャブ内の作業者が運転席に着座したまま映像を確認することができ、車体の周囲の状況を知ることができるものがある。特に、油圧ショベル等の作業機械では、構造上の理由によりキャブ内の作業者の車体の周囲に対する視界が制限され易いので、キャブ内の作業者が表示部の映像から車体の周囲の状況をより正確に把握できる技術が重要となっている。

このようなキャブ内の作業者の視界を補助する従来技術として、例えば、特許文献１には、車体に搭載された複数のカメラで車体の周囲を撮影し、撮影した映像を合成処理することで車体の上空から車体と周囲の状況を俯瞰的に撮影した映像（以降、便宜的に俯瞰映像と称する）を生成し、キャブ内の表示部に表示させる技術が開示されている。

特開２０１４−１２５８６５号公報

上記従来技術のように、複数の映像から合成した俯瞰映像などを表示部に表示する際には、カメラの取付位置や取付角度の設計値（設定値）からの誤差（以降、取付位置誤差及び取付角度誤差と称する）により、合成した俯瞰映像にラップやずれが発生するので、カメラの取付位置誤差及び取付角度誤差を補正する必要がある。各カメラの取付位置誤差及び取付角度誤差の補正方法としては、例えば、各カメラの撮影範囲の予め定めた範囲などにマーカ（目印）となるものを設置した後、各カメラで撮影された映像中のマーカを基準点にして各カメラ（各映像）間のラップやずれを補正する補正値を算出する方法があり、その補正値を俯瞰映像の生成処理に適用することによってラップやずれを抑制している。

ところで、作業機械は屋外で使用されることが多く、また、キャリブレーションのマーカを設置するためにはある程度広いスペースが必要になるため、キャリブレーションの実施についても屋外で行われることが多い。しかしながら、屋外でのキャリブレーションを考える場合には、マーカに太陽光のような強い光が当たってカメラへの反射光が強くなると、映像が白飛びしてマーカを確認できなくなってしまう恐れがある。また、複数のマーカを用いる必要があるため、設置の作業工数に関するコストやマーカ自体の取得のためのコストも必要となる。

本発明は上記に鑑みてなされたものであり、キャリブレーションにおける耐環境性を向上し、コストを抑制することができる作業機械を提供することを目的とする。

本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、下部走行体と、前記下部走行体に対して旋回可能に設けられた上部旋回体と、前記下部走行体に対する前記上部旋回体の旋回角度を検出する旋回角度検出部と、前記上部旋回体に配置され、前記下部走行体と前記上部旋回体とにより構成された車体の周囲を撮影する複数のカメラと、前記複数のカメラによって撮影された映像を表示する表示装置と、前記複数のカメラの取付位置および取付角度を記憶するカメラ取付位置記憶部、前記カメラ取付位置記憶部に記憶された前記複数のカメラの取付位置及び取付角度に基づいて、前記複数のカメラによってそれぞれ撮影された映像を合成して合成映像を生成し、前記表示装置に出力するカメラ映像結合部、及び、前記複数のカメラの取付位置および取付角度の誤差を補正するための補正値を、前記複数のカメラによって撮影されたキャリブレーションマーカを含む映像に基づいて算出し、前記カメラ取付位置記憶部に出力する補正値算出部を有する制御装置とを備えた作業機械において、前記制御装置は、前記キャリブレーションマーカの前記車体に対する予め設定された位置を記憶するマーカ位置記憶部と、前記マーカ位置記憶部に記憶された前記キャリブレーションマーカの位置及び前記カメラ取付位置記憶部に記憶された前記複数のカメラの取付位置および取付角度に基づいて、前記複数のカメラの撮影範囲の予め定めた範囲に前記キャリブレーションマーカが入るような前記上部旋回体の旋回角度の範囲である撮影角度を算出する撮影角度算出部と、前記旋回角度検出部で検出した前記上部旋回体の旋回角度が前記撮影角度算出部で算出した前記撮影角度の範囲内であるかどうかを判定する車体角度判定部と、前記車体角度判定部の判定結果に基づいた情報を前記表示装置に表示して前記作業機械の操作者に前記上部旋回体の旋回操作を指示するガイダンス部と、前記車体角度判定部で前記上部旋回体の旋回角度が前記撮影角度の範囲内であると判定された場合に、前記複数のカメラのうち前記キャリブレーションマーカの撮影を行う前記カメラを決定し、その情報を指定情報として出力するカメラ指定部と、前記カメラ指定部から前記指定情報が出力されると、前記指定情報で指定された前記カメラからの映像を取得する撮影部とをさらに備えたものとする。

本発明によれば、キャリブレーションにおける耐環境性を向上し、コストを抑制することができる。

第１の実施の形態に係る作業機械の一例である油圧ショベルの構成を模式的に示す側面図である。 第１の実施の形態に係る作業機械の一例である油圧ショベルの構成を模式的に示す上面図である。 第１の実施の形態に係る作業機械の周囲表示装置を模式的に示す図である。 制御装置の映像合成部の処理機能を示す図である。 制御装置のキャリブレーション部の処理機能を示す図である。 キャリブレーション部全体の処理を示すフローチャートである。 制御装置のガイダンス部の処理機能を示すフローチャートである。 ガイダンス部のガイダンス処理を示すフローチャートである。 制御装置の補正値算出部の処理機能を示すフローチャートである。 補正値算出部の補正値算出処理を示すフローチャートである。 ガイダンス部の画面に表示されるガイダンス画面の一例を示す図である。 キャリブレーション映像の生成処理の流れの一例を示す図である。 図９の場面におけるキャリブレーション映像を模式的に示す図である。 キャリブレーション映像の生成処理の流れの一例を示す図である。 図１１の場面におけるキャリブレーション映像を模式的に示す図である。 キャリブレーション映像の生成処理の流れの一例を示す図である。 図１３の場面におけるキャリブレーション映像を模式的に示す図である。 キャリブレーション映像の生成処理の流れの一例を示す図である。 図１５の場面におけるキャリブレーション映像を模式的に示す図である。 第２の実施の形態に係るキャリブレーション映像の生成処理の流れの一例を示す図である。 図１７の場面におけるキャリブレーション映像を模式的に示す図である。 第２の実施の形態に係るキャリブレーション映像の生成処理の流れの一例を示す図である。 図１９の場面におけるキャリブレーション映像を模式的に示す図である。 第３の実施の形態に係る制御装置のキャリブレーション部の処理機能を示す機能ブロック図である。 上部旋回体の旋回制御に係る処理機能を旋回制御部とともに抜き出して示す機能ブロック図である。

以下、本発明の実施の形態を図面を参照しつつ説明する。なお、本実施の形態では、作業機械の一例としてクローラ式の下部走行体と上部旋回体とで車体を構成する油圧ショベルを例示して説明するが、例えば、ホイール式油圧ショベルやクレーンのように旋回動作を行う上部旋回体を有する作業機械であれば、油圧駆動型や電動駆動型などの駆動方式によらず本発明の適用が可能である。

＜第１の実施の形態＞
本発明の第１の実施の形態を図１〜９図を参照しつつ説明する。
図１は本実施の形態に係る作業機械の一例である油圧ショベルの構成を模式的に示す側面図であり、図２は上面図である。

図１において、油圧ショベル１は、上部旋回体３と、前記上部旋回体３の前側に俯仰動可能に支持された多関節型のフロント作業機４と、上部旋回体３を旋回可能に支持する自走可能なクローラ式の下部走行体２とで構成されている。上部旋回体３と下部走行体２は、油圧ショベル１の車体を構成している。

上部旋回体３は、支持構造体をなす旋回フレーム５を有しており、旋回フレーム５の前側にはフロント作業機４の基端部が回動可能に支持されている。また、旋回フレーム５の後側には、フロント作業機４との重量バランスをとるためのカウンタウエイト１０が取付けられている。旋回フレーム５の前方左側には、油圧ショベル１を操作するオペレータが乗り込むためのキャブ６が配設されている。

キャブ６内には、オペレータが着座する座席や、フロント作業機４の駆動操作、上部旋回体３の旋回操作、下部走行体２の走行操作などを行う操作装置（いずれも図示せず）のほか、座席に着座したオペレータが見やすい位置であってオペレータによる外部視野の妨げにならない位置に表示装置１７が配置されている。

また、カウンタウエイト１０の前側には、内部にエンジン、油圧ポンプ、熱交換装置等の搭載機器類（いずれも図示せず）を収容する建屋カバー７が配設されている。建屋カバー７は、旋回フレーム５の左右両側に位置して前後方向に延びた左右の側面板７Ａと、各側面板７Ａの上端部間を接続する水平方向に延びた上面板７Ｂとにより大略構成され、建屋カバー７の後側はカウンタウエイト１０によって閉塞されている。建屋カバー７の上面板７Ｂ上には、建屋カバー７内に収容された搭載機器類を上方から覆うエンジンカバー８が設けられている。

上部旋回体３の前側におけるキャブ６の前側上部と、上部旋回体３の左右それぞれの上部（つまり、建屋カバー７の上面板７Ｂの左右端部）であって前後方向の中央付近と、カウンタウエイト１０の左右中央位置とには、それぞれ、車体近傍を含む車体周囲が撮影範囲となるように配置されたカメラ１１ａ〜１１ｄが設置されている。

図３は、本実施の形態に係る作業機械の周囲表示装置を模式的に示す図である。

図３にいて周囲表示装置は、複数（例えば、本実施の形態では４台）のカメラ１１ａ〜１１ｄと、複数のカメラ１１ａ〜１１ｄによって撮影された映像を表示するモニタ（液晶モニタ）などの表示装置１７と、周囲表示装置の全体の動作を制御する制御装置２００としてのコントローラ１２及びパソコン１３とを備えている。なお、本実施の形態においては、コントローラ１２及びパソコン１３が互いに連携して周囲表示装置の制御装置２００としての機能を果たす場合を例示して説明するが、コントローラ１２とパソコン１３のいずれか一方のみで制御装置２００の機能を果たすように構成しても良い。

表示装置１７には、各カメラ１１ａ〜１１ｄで撮影された映像や、これらの映像を鉛直上方から撮影したように（つまり、上方視点となるように）視点変換した映像、或いは、各カメラ１１ａ〜１１ｄで撮影した映像１８ａ〜１８ｄを合成処理することで車体の上空から車体と周囲の状況を俯瞰的に撮影した映像（以降、俯瞰映像１８と称する）を映し出す画面１５が設けられている。図３では、表示装置１７の画面１５に俯瞰映像１８が表示されている場合を例示している。俯瞰映像１８は、例えば、俯瞰映像１８における自車の形状および大きさを概略的に示す自車アイコン１６を中央に配置し、自車アイコン１６の上下左右にカメラ１１ａ，１１ｃ，１１ｂ，１１ｄで撮影した映像を自車が中心となるような上方視点の映像１８ａ，１８ｃ，１８ｂ，１８ｄにそれぞれ変換して配置することで形成されている。また、コントローラ１２には、画面１５に映し出される映像の種類を切り替える映像切替スイッチ１４が接続されている。

本願発明は上記のように構成した作業機械に適用されるものであり、本実施の形態に係る作業機械の周囲表示装置の制御装置２００は、カメラ１１ａ〜１１ｄの映像から表示装置１７に表示する映像を生成する映像合成部１２１と、カメラ１１ａ〜１１ｄに関するキャリブレーションを行うキャリブレーション部１００とを有している。

図４は制御装置の映像合成部の処理機能を示す機能ブロック図である。

図４において、映像合成部１２１は、カメラ１１ａ〜１１ｄによって撮影された映像を記憶する映像記憶部１２２と、カメラ１１ａ〜１１ｄの取付位置および取付角度を記憶するカメラ取付位置記憶部１２５と、表示装置１７に表示する映像を生成するための複数の生成方法を記憶する結合パターン記憶部１２３と、映像切替スイッチ１４の操作に基づいて結合パターン記憶部１２３に記憶された複数の生成方法の１つを選択的に設定する結合パターン設定部１２４と、結合パターン設定部１２４で設定された生成方法とカメラ取付位置記憶部１２５に記憶された情報とに基づいて、映像記憶部１２２に記憶されたカメラ１１ａ〜１１ｄの映像から表示装置１７に表示する映像を生成し、表示装置１７に出力するカメラ映像結合部１２６とを有している。

結合パターン記憶部１２３に記憶されている生成方法としては、例えば、各カメラ１１ａ〜１１ｄの何れか１つの映像をそのまま出力する方法や、各カメラ１１ａ〜１１ｄの何れか１つの映像を上方視点に変換したものを出力する方法、各カメラ１１ａ〜１１ｄの映像を合成して車体の上空から車体と周囲の状況を俯瞰的に撮影した俯瞰映像１８を生成し出力する方法などがある。

カメラ取付位置記憶部１２５には、キャリブレーション部１００の補正値算出部１１１で演算された補正値が入力されており、カメラ取付位置記憶部１２５には、その補正値が反映されたカメラ１１ａ〜１１ｄの取付位置および取付角度が記憶されている。カメラ映像結合部１２６では、カメラ取付位置記憶部１２５に記憶されるカメラ１１ａ〜１１ｄの取付位置および取付角度を用いて表示装置１７に表示する映像を生成するので、その精度が高いほど、カメラ映像結合部１２６で生成される映像の精度が高くなる。例えば、カメラ映像結合部１２６において、カメラ取付位置記憶部１２５に記憶されるカメラ１１ａ〜１１ｄの取付位置および取付角度を用いて複数のカメラ１１ａ〜１１ｄでそれぞれ撮影された画像を合成することにより俯瞰映像１８を生成する場合には、カメラ取付位置記憶部１２５に記憶されるカメラ１１ａ〜１１ｄの取付位置および取付角度の精度が高いほど、俯瞰映像１８における自車アイコン１６の周囲に配置される各映像１８ａ〜１８ｂ間のずれ（隣接する映像の境界に沿う方向の位置の誤差）やラップ（隣接する映像の境界に垂直な方向の位置の誤差）が小さくなり、より精度の良い俯瞰映像１８となる。

図５Ａは、制御装置のキャリブレーション部の処理機能を示す機能ブロック図である。

図５Ａにおいて、キャリブレーション部１００は、マーカ位置記憶部１０３、撮影角度算出部１０４、車体角度判定部１０５、ガイダンス部１０６、カメラ指定部１０７、撮影部１０８、映像切り出し部１０９、映像結合生成部１１０、及び、補正値算出部１１１の各機能部により構成されている。

キャリブレーション部１００は、油圧ショベル１周囲の予め定めた位置に配置したキャリブレーションマーカがカメラ１１ａ〜１１ｄの撮影範囲の予め定めた範囲に入るよう旋回操作をオペレータにガイダンスするガイダンス処理と、撮影した映像中のキャリブレーションマーカを基準点にして各カメラの取付位置誤差や取付角度誤差に起因する各カメラ映像間のラップやずれを補正するための補正値を算出する補正値算出処理とを行い、その補正値を俯瞰映像の生成処理に適用することによってラップやずれを抑制する処理を行う。補正値算出処理では、上部旋回体３の旋回方向に隣接するカメラ１１ａ〜１１ｄの撮影範囲の重複する範囲（画像重複範囲）で撮影したキャリブレーションマーカ２０３の画像に基づいて各カメラ映像間のラップやずれを補正するための補正値を算出する。また、ガイダンス処理では、画像重複範囲でのキャリブレーションマーカ２０３の撮影のための旋回操作をオペレータにガイダンスする。

マーカ位置記憶部１０３は、車体の周囲に配置されたキャリブレーションマーカ２０３（後の図９等参照）の車体に対する位置を設定するマーカ位置指定部１０２で設定されたキャリブレーションマーカの位置を記憶している。キャリブレーションマーカ２０３は、カメラ取付位置記憶部１２５に記憶されるカメラ１１ａ〜１１ｄの取付位置および取付角度のキャリブレーションに用いられるものである。キャリブレーションマーカ２０３は、上部旋回体３の旋回方向に隣接するカメラ１１ａ〜１１ｄの撮影範囲の重複する範囲（画像重複範囲）の数（本実施の形態では４つ）よりも少ない数が配置される。本実施の形態では、１つのキャリブレーションマーカ２０３を配置する場合を例示している。マーカ位置指定部１０２は、例えば、映像切替スイッチ１４とともに表示装置１７の操作装置として設けられた他のスイッチやテンキーなどであり、車体に対して設定された座標系におけるキャリブレーションマーカ２０３の位置やキャリブレーションマーカ２０３間の距離を直接入力したり、或いは、複数の選択肢から選択的に設定したりするものである。

撮影角度算出部１０４は、マーカ位置記憶部１０３およびカメラ取付位置記憶部１２５に記憶された情報に基づいて、カメラ１１ａ〜１１ｄの撮影範囲の重複する範囲（画像重複範囲）のいずれかにキャリブレーションマーカ２０３が含まれる場合の上部旋回体３の下部走行体２に対する旋回角度、すなわち、カメラ１１ａ〜１１ｄによる撮影を行う旋回角度（撮影角度）を算出する。各画像重複範囲において少なくとも１回はキャリブレーションマーカ２０３の撮影が必要であるため、撮影範囲の重複する範囲（画像重複範囲）が複数ある場合には、それぞれについて旋回角度が算出される。本実施の形態においては、１つのキャリブレーションマーカ２０３を配置し、カメラ１１ａ〜１１ｄの撮影範囲の重複する範囲（画像重複範囲）の数が４つである場合を例示しており、撮影角度算出部１０４で算出される撮影角度の数は４つとなる。なお、本実施の形態における撮影角度算出部１０４では、画像重複範囲ごとに旋回角度（撮影角度）を１つの値（例えば、画像重複範囲の上部旋回体３における旋回方向中央にキャリブレーションマーカ２０３が位置するような旋回角度）として算出する場合を例示する。

車体角度判定部１０５は、下部走行体２に対する上部旋回体３の旋回角度を検出する旋回角度検出部１０１（例えば、旋回角度センサ）からの検出結果と撮影角度算出部１０４の算出結果とに基づいて、カメラ１１ａ〜１１ｄによる撮影を行う旋回角度であるかどうか、すなわち、いずれかの画像重複範囲の上部旋回体３における旋回方向中央にキャリブレーションマーカ２０３が位置する旋回角度であるかどうかを判定する。

旋回角度検出部１０１は、下部走行体２の基準方向（例えば、走行に係る油圧モータの位置を後方とした場合の前方）に対する上部旋回体３の基準方向（例えば、キャブ６の正面方向）の相対的な旋回角度を検出するものであり、例えば、角速度計やポテンショメータ等の旋回センサであって、検出結果は−１８０度以上かつ１８０度未満の範囲の値をとるものとする。すなわち、下部走行体２と上部旋回体３の基準方向が一致した状態の旋回角度を０（ゼロ）度とし、旋回角度検出部１０１の検出結果（旋回角度）が正の場合は下部走行体２に対して上部旋回体３が右方向に旋回した状態であり、負の場合は左方向に旋回した状態であるとする。

車体角度判定部１０５は、例えば、旋回角度検出部１０１の検出結果（旋回角度）から撮影角度算出部１０４の算出結果（撮影角度）を除することでその差分を算出し、その差分が予め定めた範囲（すなわち、旋回角度が撮影角度に一致したと判定する範囲）内である場合には、カメラ１１ａ〜１１ｄによる撮影を行う旋回角度であると判定し、その判定結果（旋回角度が撮影角度に一致したとする判定結果）を差分に係る情報（差分情報）とともにガイダンス部１０６およびカメラ指定部１０７に出力する。同様に、旋回角度と撮影角度の差分が予め定めた範囲（すなわち、旋回角度が撮影角度に一致したと判定する範囲）の外である場合には、その判定結果（旋回角度が撮影角度に一致していないとする判定結果）を差分情報とともにガイダンス部１０６およびカメラ指定部１０７に出力する。なお、旋回角度が撮影角度に一致したと判定する範囲を、画像重複範囲内にキャリブレーションマーカ２０３が位置する範囲を逸脱しない範囲で広げることによって、車体角度判定部１０５での判定に柔軟性を持たせることができる。

また、車体角度判定部１０５は、撮影角度算出部１０４の算出結果が複数ある場合には、後述する映像結合生成部１１０から残りの算出結果があるかどうかを確認する信号（問い合わせ信号）に基づいて各算出結果についての判定を順次行う。また、撮影角度算出部１０４の算出結果の全てにおいて判定が終了している場合には、映像結合生成部１１０からの問い合わせ信号に対してその旨を知らせる信号を出力する。

車体角度判定部１０５では、それぞれ、−１８０度以上かつ１８０度未満の範囲の値をとる旋回角度検出部１０１の検出結果（旋回角度）から撮影角度算出部１０４の算出結果（撮影角度）を除することで差分を算出しており、その差分が−１８０度以上かつ１８０度未満の範囲の値をとる場合には、その値をそのまま差分情報として出力する。また、旋回角度から撮影角度を除して得られた差分が−１８０度未満の場合には、その差分に３６０度を加算した値を差分情報として出力し、得られた差分が１８０度以上の場合には、その差分から３６０度を除した値を差分情報として出力する。すなわち、差分情報は、正（０（ゼロ）を含む）または負の値をとる。

ガイダンス部１０６は、車体角度判定部１０５の判定結果および差分情報に基づいた情報をガイダンス画面として表示装置１７に表示し、油圧ショベル１のオペレータに上部旋回体３の旋回操作を指示するものである。

図６Ａは、キャリブレーション部のガイダンス部の処理機能を示す機能ブロック図である。

図６Ａにおいて、ガイダンス部１０６は、目標旋回方向判定部１３０、ガイダンス映像作成部１３１、及び、ガイダンスパターン記憶部１３２の各機能部により構成されている。

目標旋回方向判定部１３０は、車体角度判定部１０５から出力される差分情報が正の値である場合には目標旋回方向を左旋回操作と判定し、負の値である場合には目標旋回方向を右旋回操作と判定する。ガイダンス映像作成部１３１は、目標旋回方向判定部１３０の判定結果と、車体角度判定部１０５からの差分情報とに基づいて、ガイダンスパターン記憶部１３２に記憶されている文字列や図形等を読み出してガイダンス画面を生成し、表示装置１７に出力する。

図８は、ガイダンス部の画面に表示されるガイダンス画面の一例を示す図である。

図８において、ガイダンス画面には、カメラ１１ａ〜１１ｄのキャリブレーションを行うキャリブレーションモードに入ったことを文字列等によってオペレータに報知するキャリブレーションモード表示部５０と、上部旋回体３の旋回操作の旋回方向（目標旋回方向）や目標旋回角度（旋回角度と撮影角度が一致するのに必要な旋回の角度：差分情報の絶対値）などの指示内容を文字列等によってオペレータに報知する旋回操作指示表示部５１が表示されている。また、図８には、旋回操作指示表示部５１の指示内容を図形（例えば、矢印）や残り旋回角度（すなわち、目標旋回角度であって差分情報の絶対値）でオペレータに報知する旋回操作指示補助表示部５１ａが表示されている。図８の例では、オペレータに右方向への９０°の旋回操作を指示している場合を例示している。例えば、この状態からオペレータが右旋回操作を行うと、旋回操作指示表示部５１や旋回操作指示補助表示部５１ａに表示されている目標旋回角度が上部旋回体３の旋回に伴って減少し、旋回角度と撮影角度が一致した場合には目標旋回角度として０（ゼロ）度が表示される。

カメラ指定部１０７は、車体角度判定部１０５の判定結果（旋回角度が撮影角度に一致したかどうかの判定結果）と、マーカ位置記憶部１０３およびカメラ取付位置記憶部１２５の情報と、旋回角度検出部１０１の検出結果（旋回角度）とに基づいて、複数のカメラ１１ａ〜１１ｄのうち撮影を行うカメラを決定し、その情報（指定情報）を撮影部１０８に出力することによって撮影を行うカメラを撮影部１０８に対して指定する。カメラ指定部１０７は、車体角度判定部１０５における旋回角度と撮影角度が一致したとする判定結果（カメラ１１ａ〜１１ｄによる撮影を行う旋回角度であると判定した場合）を契機として、マーカ位置記憶部１０３の情報から車体に対するキャリブレーションマーカ２０３の位置を取得し、マーカ位置記憶部１０３およびカメラ取付位置記憶部１２５の情報からキャリブレーションマーカ２０３を撮影範囲に含んでいるカメラ（例えば、後の図９の例ではカメラ１１ｃ，１１ｄ）を特定し、撮影を行うカメラとして指定する。

撮影部１０８は、カメラ指定部１０７からの指定情報が送られてくると、カメラ指定部１０７により指定情報で指定されたカメラ１１ａ〜１１ｄを駆動して映像を撮影する。カメラ１１ａ〜１１ｄで撮影された映像は、映像切り出し部１０９に送られる。

映像切り出し部１０９は、マーカ位置記憶部１０３およびカメラ取付位置記憶部１２５の情報と、旋回角度検出部１０１の検出結果とに基づいて、撮影部１０８によりカメラ１１ａ〜１１ｄからの得られた映像から、キャリブレーションマーカ２０３が含まれる範囲（正確には、キャリブレーションマーカ２０３が含まれると推定される範囲）を切り出して、映像結合生成部１１０に出力する。映像切り出し部１０９は、マーカ位置記憶部１０３の情報から車体に対するキャリブレーションマーカ２０３の位置を取得し、マーカ位置記憶部１０３およびカメラ取付位置記憶部１２５の情報からキャリブレーションマーカ２０３を撮影範囲に含んでいるカメラ（例えば、後の図９の例ではカメラ１１ｃ，１１ｄ）を特定し、キャリブレーションマーカ２０３が含まれる範囲を推定して、その範囲を切り出す。なお、映像切り出し部１０９が切り出す範囲はキャリブレーションマーカ２０３が含まれる範囲であれば良く、例えば、カメラ１１ａ〜１１ｄで撮影される映像を左右中央で二分割した場合のいずれか一方を切り出す範囲としても良い。

映像結合生成部１１０は、映像切り出し部１０９で切り出した映像をカメラ１１ａ〜１１ｄごとに結合して補正値算出部１１１で用いるキャリブレーション映像１１０ａ〜１１０ｄ（後の図１０等参照）を生成する。映像結合生成部１１０は、映像切り出し部で切り出した映像の結合処理が終了すると、撮影角度算出部１０４の算出結果（撮影角度）の全てについて映像の結合処理が終了したかどうかを問い合わせる信号を車体角度判定部１０５に出力する。撮影角度算出部１０４の算出結果が複数あり、他の映像の結合処理が必要な場合には、車体角度判定部１０５は残りの他の算出結果について判定結果をカメラ指定部１０７に順次出力する。映像結合生成部１１０は、撮影角度算出部１０４の算出結果の全てについて判定が終了した旨の信号が車体角度判定部１０５から出力され、映像の結合処理が終了してキャリブレーション映像１１０ａ〜１１０ｄの生成処理が終了すると、生成したキャリブレーション映像１１０ａ〜１１０ｄを補正値算出部１１１に出力する。

補正値算出部１１１は、複数のカメラ１１ａ〜１１ｄの取付位置および取付角度の誤差を補正するための補正値をキャリブレーション映像１１０ａ〜１１０ｄに基づいて算出し、カメラ取付位置記憶部１２５に出力するものである。

図７Ａは、キャリブレーション部の補正値算出部の処理機能を示す機能ブロック図である。

図７Ａにおいて、補正値算出部１１１は、映像取得部１１２、マーカ位置設定部１１３、及び、取付誤差算出部１１４の各機能部により構成されている。

映像取得部１１２は、映像結合生成部１１０で生成されたキャリブレーション映像１１０ａ〜１１０ｄを取得する。マーカ位置設定部１１３は、映像取得部１１２で取得されたキャリブレーション映像１１０ａ〜１１０ｄにおけるキャリブレーションマーカ２０３の位置を設定する。キャリブレーションマーカ２０３の位置の設定には、種々の方法が考えられるが、例えば、オペレータがパソコン１３の画面及び入力装置を用いてキャリブレーション映像１１０ａ〜１１０ｄ上のキャリブレーションマーカ２０３の位置を指定したり、或いは、マーカ位置設定部１１３がキャリブレーション映像１１０ａ〜１１０ｄからキャリブレーションマーカ２０３の特徴を検出する機能を有し、その特徴の検出結果から設定したりする場合が考えられる。取付誤差算出部１１４は、マーカ位置設定部１１３によって設定されたキャリブレーション映像１１０ａ〜１１０ｄ上のマーカの位置とカメラ取付位置記憶部１２５に記憶されているカメラ１１ａ〜１１ｄの取付位置および取付角度から取付誤差を算出し、補正値としてカメラ取付位置記憶部１２５に出力する。

ここで、本実施の形態におけるキャリブレーション映像の生成処理の流れについて説明する。本実施の形態では、上部旋回体３の前後左右にカメラ１１ａ〜１１ｄが配置され、車体の右後方に１つのキャリブレーションマーカ２０３が配置されている場合を例示している。すなわち、本実施の形態では、カメラ１１ａ〜１１ｄの撮影範囲の重複する範囲は４つとなる。

図９、図１１、図１３、及び、図１５は、キャリブレーション映像の生成処理の流れの一例を示す図であり、上部旋回体の方向とキャリブレーションマーカの位置との関係をそれぞれ示す上面図である。また、図１０、図１２、図１４、及び、図１６は、それぞれ、図９、図１１、図１３、図１５の場面におけるキャリブレーション映像を模式的に示す図である。図９、図１１、図１３、図１５においては、上部旋回体３の旋回中心を通って車体の前後方向および左右方向に延びる補助線２０１，２０２を示し、車体の前方を方向Ａ、左方向を方向Ｂ、後方を方向Ｃ、右方向を方向Ｄと定義する。

例えば、図９に示すように、上部旋回体３が車体の前方（方向Ａ）を向き、車体の右後方（方向Ｃ，Ｄの間）に１つのキャリブレーションマーカ２０３が配置されている場合を初期状態とする。この場合、カメラ１１ｃの撮影範囲の左側とカメラ１１ｄの撮影範囲の右側が重複し、かつ、その重複範囲にキャリブレーションマーカ２０３が位置している。このとき、車体角度判定部１０５では、カメラ１１ｃ，１１ｄにより撮影する旋回角度であると判定し、カメラ指定部１０７では、カメラ１１ｃ，１１ｄを指定し、映像切り出し部１０９では、カメラ１１ｃの映像の左側とカメラ１１ｄの映像の右側においてキャリブレーションマーカ２０３を含む範囲を切り出す。なお、ガイダンス部１０６において、必要に応じてキャリブレーション映像の生成中であることを示す文字列を表示装置１７に表示させるようにしても良い。

このとき、図１０に示すように、映像結合生成部１１０は、映像切り出し部１０９で切り出した映像を上部旋回体３の後方を撮影するカメラ１１ｃのキャリブレーション映像１１０ｃの左側映像１１０ｃＬ、および、上部旋回体３の右方向を撮影するカメラ１１ｄのキャリブレーション映像１１０ｄの右側映像１１０ｄＲとして結合する。

続いて、車体角度判定部１０５では、撮影角度算出部１０４の他の算出結果についてキャリブレーション映像１１０ａ〜１１０ｄの生成を継続する。例えば、図１１に示すように、上部旋回体３が車体の左方向（方向Ｂ）を向いた状態、すなわち、カメラ１１ｂの撮影範囲の左側とカメラ１１ｃの撮影範囲の右側が重複し、かつ、その重複範囲にキャリブレーションマーカ２０３が位置している状態をキャリブレーション映像１１０ａ〜１１０ｄの生成を行う次の姿勢とする。このとき、車体角度判定部１０５では撮影する旋回角度ではないと判定し、ガイダンス部１０６は、左へ９０°旋回するように（すなわち、図９の姿勢から図１１の姿勢に旋回するように）オペレータに指示するガイダンス画面を表示装置１７に表示する。

オペレータがガイダンス画面の指示に従って上部旋回体３を旋回させ、図１１に示す姿勢となると、車体角度判定部１０５では、カメラ１１ｂ，１１ｃにより撮影する旋回角度であると判定し、カメラ指定部１０７では、カメラ１１ｂ，１１ｃを指定し、映像切り出し部１０９では、カメラ１１ｂの映像の左側とカメラ１１ｃの映像の右側においてキャリブレーションマーカ２０３を含む範囲を切り出す。なお、ガイダンス部１０６において、必要に応じてキャリブレーション映像の生成中であることを示す文字列を表示装置１７に表示させるようにしても良い。

このとき、図１２に示すように、映像結合生成部１１０は、映像切り出し部１０９で切り出した映像を上部旋回体３の左方向を撮影するカメラ１１ｂのキャリブレーション映像１１０ｂの左側映像１１０ｂＬ、および、上部旋回体３の後方を撮影するカメラ１１ｃのキャリブレーション映像１１０ｃの右側映像１１０ｃＲとして結合する。

続いて、車体角度判定部１０５では、撮影角度算出部１０４のさらに他の算出結果についてキャリブレーション映像１１０ａ〜１１０ｄの生成を継続する。例えば、図１３に示すように、上部旋回体３が車体の後方（方向Ｃ）を向いた状態、すなわち、カメラ１１ａの撮影範囲の左側とカメラ１１ｂの撮影範囲の右側が重複し、かつ、その重複範囲にキャリブレーションマーカ２０３が位置している状態をキャリブレーション映像１１０ａ〜１１０ｄの生成を行う次の姿勢とする。このとき、車体角度判定部１０５では撮影する旋回角度ではないと判定し、ガイダンス部１０６は、左へ９０°旋回するように（すなわち、図１１の姿勢から図１３の姿勢に旋回するように）オペレータに指示するガイダンス画面を表示装置１７に表示する。

オペレータがガイダンス画面の指示に従って上部旋回体３を旋回させ、図１３に示す姿勢となると、車体角度判定部１０５では、カメラ１１ａ，１１ｂにより撮影する旋回角度であると判定し、カメラ指定部１０７では、カメラ１１ａ，１１ｂを指定し、映像切り出し部１０９では、カメラ１１ａの映像の左側とカメラ１１ｂの映像の右側においてキャリブレーションマーカ２０３を含む範囲を切り出す。なお、ガイダンス部１０６において、必要に応じてキャリブレーション映像の生成中であることを示す文字列を表示装置１７に表示させるようにしても良い。

このとき、図１４に示すように、映像結合生成部１１０は、映像切り出し部１０９で切り出した映像を上部旋回体３の前方を撮影するカメラ１１ａのキャリブレーション映像１１０ａの左側映像１１０ａＬ、および、上部旋回体３の左方向を撮影するカメラ１１ｂのキャリブレーション映像１１０ｂの右側映像１１０ｂＲとして結合する。

続いて、車体角度判定部１０５では、撮影角度算出部１０４のさらに他の算出結果についてキャリブレーション映像１１０ａ〜１１０ｄの生成を継続する。例えば、図１５に示すように、上部旋回体３が車体の右方向（方向Ｄ）を向いた状態、すなわち、カメラ１１ｄの撮影範囲の左側とカメラ１１ａの撮影範囲の右側が重複し、かつ、その重複範囲にキャリブレーションマーカ２０３が位置している状態をキャリブレーション映像１１０ａ〜１１０ｄの生成を行う次の姿勢とする。このとき、車体角度判定部１０５では撮影する旋回角度ではないと判定し、ガイダンス部１０６は、左へ９０°旋回するように（すなわち、図１３の姿勢から図１５の姿勢に旋回するように）オペレータに指示するガイダンス画面を表示装置１７に表示する。

オペレータがガイダンス画面の指示に従って上部旋回体３を旋回させ、図１５に示す姿勢となると、車体角度判定部１０５では、カメラ１１ｄ，１１ａにより撮影する旋回角度であると判定し、カメラ指定部１０７では、カメラ１１ｄ，１１ａを指定し、映像切り出し部１０９では、カメラ１１ａの映像の左側とカメラ１１ａの映像の右側においてキャリブレーションマーカ２０３を含む範囲を切り出す。なお、ガイダンス部１０６において、必要に応じてキャリブレーション映像の生成中であることを示す文字列を表示装置１７に表示させるようにしても良い。

このとき、図１６に示すように、映像結合生成部１１０は、映像切り出し部１０９で切り出した映像を上部旋回体３の右方向を撮影するカメラ１１ｄのキャリブレーション映像１１０ｄの左側映像１１０ｄＬ、および、上部旋回体３の前方を撮影するカメラ１１ａのキャリブレーション映像１１０ａの右側映像１１０ａＲとして結合する。

以上のように構成した本実施の形態における周囲表示装置の処理の流れについて詳細に説明する。

図５Ｂはキャリブレーション部全体の処理を示すフローチャートであり、図６Ｂはガイダンス部のガイダンス処理を示すフローチャートであり、図７Ｂは補正値算出部の補正値算出処理を示すフローチャートである。

図５Ｂにおいて、キャリブレーション部１００の撮影角度算出部１０４は、まず、マーカ位置記憶部１０３に記憶されたキャリブレーションマーカ２０３の位置に基づいて、画像重複範囲でのキャリブレーションマーカ２０３の撮影角度を算出する（ステップＳ１００）。本実施の形態では、１つのキャリブレーションマーカ２０３を４つの画像重複範囲で撮影する場合を例示しており、したがって、撮影角度算出部１０４では４つの撮影角度が算出される（図９〜図１６等参照）。

続いて、車体角度判定部１０５は、旋回角度検出部１０１から旋回角度を読み込み（ステップＳ１１０）、車体角度と撮影角度算出部１０４で算出された撮影角度とを比較して（ステップＳ１２０）、車体角度が撮影角度であるかどうかを判定する（ステップＳ１３０）。

ステップＳ１３０での判定結果がＮＯである場合には、旋回角度が撮影角度となるような旋回操作をオペレータに促すガイダンス処理を行う（ステップＳ２００：図６Ｂ）。

図６Ｂに示すように、ガイダンス処理（ステップＳ２００）において、ガイダンス部１０６の目標旋回方向判定部１３０は、車体角度判定部１０５からの算出結果、すなわち、撮影角度と旋回角度の差分を読み込み（ステップＳ２１０）、その差分の正負に基づいて目標旋回方向を判定する（ステップＳ２２０）。例えば、撮影角度と旋回角度との差分が９０°（正の値）である場合には、目標旋回方向が右方向であると判定する。

続いて、ガイダンス部１０６のガイダンス映像作成部１３１は、ステップＳ２２０での判定結果に基づいて、ガイダンスパターン記憶部１３２からガイダンス画面の生成に用いる図形等（例えば、右旋回をオペレータに指示する矢印図形）を読み出し（ステップＳ２３０）、旋回方向や旋回角度をオペレータに指示するガイダンス映像（図８参照）を作成し（ステップＳ２４０）、作成したガイダンス映像を表示装置に出力する（ステップＳ２５０）。ガイダンス映像は、例えば、図８で示したように、右旋回を矢印図形で指示し、数値（ここでは、９０°）で旋回角度を指示する。

また、ステップＳ１３０での判定結果がＹＥＳである場合、すなわち、車体角度判定部１０５で車体角度が撮影角度であると判定された場合には、カメラ指定部１０７は、複数のカメラ１１ａ〜１１ｄのうち、画像重複範囲にキャリブレーションマーカ２０３が含まれるカメラを撮影を行うカメラとして指定する（ステップＳ１４０）。本実施の形態においては、例えば、撮影するカメラの指定が初回の場合、図９で説明したようにカメラ１１ｃ，１１ｄが指定される。続いて、撮影部１０８は、ステップＳ１４０においてカメラ指定部１０７で指定されたカメラ１１ｃ，１１ｄで撮影を行い（ステップＳ１５０）、映像切り出し部１０９はカメラ１１ｃ，１１ｄからの映像を取得して（ステップＳ１６０）、キャリブレーションマーカ２０３が含まれる範囲を切り出す（ステップＳ１７０）。

続いて、ステップＳ１７０において映像切り出し部１０９で切り出された画像は、図１０で説明したように、キャリブレーション映像１１０ｃの左側映像１１０ｃＬ及びキャリブレーション映像１１０ｄの右側映像１１０ｄＲとして結合される（ステップＳ１８０）。

ここで、映像結合生成部１１０は、撮影角度算出部１０４で算出された全ての撮影角度で撮影を行ったかどうかを判定し（ステップＳ１９０）、判定結果がＮＯの場合には、ステップＳ２００の処理（ガイダンス処理）に戻り、全ての撮影角度での撮影が終了するまでステップＳ１１０〜Ｓ１８０の処理を繰り返す。すなわち、例えば、ステップＳ１４０でのカメラ指定部１０７による２回目のカメラの指定においては図１１で説明したようにカメラ１１ｂ，１１ｃが指定され、ステップＳ１７０，Ｓ１８０では図１２で説明したように映像切り出し部１０９で切り出された画像がキャリブレーション映像１１０ｂの左側映像１１０ｂＬ及びキャリブレーション映像１１０ｃの右側映像１１０ｃＲとして結合される。同様に、ステップＳ１４０でのカメラ指定部１０７による３回目のカメラの指定においては図１３で説明したようにカメラ１１ａ，１１ｂが指定され、ステップＳ１７０，Ｓ１８０では図１４で説明したように映像切り出し部１０９で切り出された画像がキャリブレーション映像１１０ａの左側映像１１０ａＬ及びキャリブレーション映像１１０ｂの右側映像１１０ｂＲとして結合される。また、ステップＳ１４０でのカメラ指定部１０７による４回目のカメラの指定においては図１５で説明したようにカメラ１１ａ，１１ｄが指定され、ステップＳ１７０，Ｓ１８０では図１６で説明したように映像切り出し部１０９で切り出された画像がキャリブレーション映像１１０ａの右側映像１１０ａＲ及びキャリブレーション映像１１０ｄの左側映像１１０ｄＬとして結合される。

ステップＳ１９０での判定結果がＹＥＳの場合、すなわち、撮影角度算出部１０４で算出された全ての撮影角度で撮影を行った場合には、補正値算出処理を行う（ステップＳ３００：図７Ｂ）。

図７Ｂに示すように、補正値算出処理（ステップＳ３００）において、補正値算出部１１１の映像取得部１１２は、映像結合生成部１１０で生成されたキャリブレーション映像１１０ａ〜１１０ｄを取得する（ステップＳ３１０）。続いて、マーカ位置設定部１１３は、キャリブレーション映像１１０ａ〜１１０ｄ中のキャリブレーションマーカの位置を設定する（ステップＳ３２０）。続いて、取付誤差算出部１１４は、キャリブレーション映像１１０ａ〜１１０ｄ上のマーカの位置とカメラ取付位置記憶部１２５に記憶されているカメラ１１ａ〜１１ｄの取付位置および取付角度から取付誤差を算出し（ステップＳ３３０）、算出した取付誤差を補正値としてカメラ取付位置記憶部１２５に出力する（ステップ）。

以上のように構成した本実施の形態における効果を説明する。

作業機械は屋外で使用されることが多く、また、キャリブレーションのマーカを設置するためにはある程度広いスペースが必要になるため、キャリブレーションの実施についても屋外で行われることが多い。しかしながら、屋外でのキャリブレーションを考える場合には、マーカに太陽光のような強い光が当たってカメラへの反射光が強くなると、映像が白飛びしてマーカを確認できなくなってしまう恐れがある。また、複数のマーカを用いる必要があるため、設置の作業工数に関するコストやマーカ自体の取得のためのコストも必要となる。

これに対して本実施の形態においては、１つのキャリブレーションマーカ２０３を用いてキャリブレーションを行う。また、キャリブレーションにおける一連の流れにおいては、キャリブレーションマーカ２０３の位置の変更等も行っていない。したがって、例えば、太陽光のような強い光が当たらないようなキャリブレーションマーカ２０３を配置しなければならない場合にも、１つのキャリブレーションマーカ２０３についてのみ設置する位置を調整すれば良いため設置が容易であり、設置に係る作業工数を抑制することができる。また、設置すべきキャリブレーションマーカ２０３が１つであるので、設置の作業工数に関するコストやマーカ自体の取得のためのコストも抑制することができる。すなわち、本実施の形態においては、キャリブレーションにおける耐環境性を向上し、コストを抑制することができる。

＜第２の実施の形態＞
本発明の第２の実施の形態を図１７〜図２０を参照しつつ説明する。本実施の形態では第１の実施の形態との相違点についてのみ説明するものとし、図面において第１の実施の形態と同様の部材には同じ符号を付し、説明を省略する。

本実施の形態は、第１の実施の形態においてキャリブレーションマーカを２つ用いる場合を示すものである。

本実施の形態におけるキャリブレーション映像の生成処理の流れについて説明する。本実施の形態では、上部旋回体３の前後左右にカメラ１１ａ〜１１ｄが配置され、車体の左右後方に１つずつ（合計２つ）のキャリブレーションマーカ２０４，２０５がそれぞれ配置されている場合を例示している。すなわち、本実施の形態では、カメラ１１ａ〜１１ｄの撮影範囲の重複する範囲は４つとなる。

図１７及び図１９は、キャリブレーション映像の生成処理の流れの一例を示す図であり、上部旋回体の方向とキャリブレーションマーカの位置との関係をそれぞれ示す上面図である。また、図１８及び図２０は、それぞれ、図１７及び図１９の場面におけるキャリブレーション映像を模式的に示す図である。図１７及び図１９においては、上部旋回体３の旋回中心を通って車体の前後方向および左右方向に延びる補助線２０１，２０２を示し、車体の前方を方向Ａ、左方向を方向Ｂ、後方を方向Ｃ、右方向を方向Ｄと定義する。

例えば、図１７に示すように、上部旋回体３が車体の前方（方向Ａ）を向き、車体の左右後方（方向Ｂ，Ｃの間、及び、方向Ｃ，Ｄの間）に１つずつのキャリブレーションマーカ２０４，２０５が配置されている場合を初期状態とする。この場合、カメラ１１ｂの撮影範囲の左側とカメラ１１ｃの撮影範囲の右側が重複し、かつ、その重複範囲にキャリブレーションマーカ２０４が位置し、また、カメラ１１ｃの撮影範囲の左側とカメラ１１ｄの撮影範囲の右側が重複し、かつ、その重複範囲にキャリブレーションマーカ２０５が位置している。このとき、車体角度判定部１０５では、カメラ１１ｂ，１１ｃ，１１ｄにより撮影する旋回角度であると判定し、カメラ指定部１０７では、カメラ１１ｂ，１１ｃ，１１ｄを指定し、映像切り出し部１０９では、カメラ１１ｂの映像の左側とカメラ１１ｃの映像の右側においてキャリブレーションマーカ２０４を含む範囲を切り出し、カメラ１１ｃの映像の左側とカメラ１１ｄの映像の右側においてキャリブレーションマーカ２０５を含む範囲を切り出す。なお、ガイダンス部１０６において、必要に応じてキャリブレーション映像の生成中であることを示す文字列を表示装置１７に表示させるようにしても良い。

このとき、図１８に示すように、映像結合生成部１１０は、映像切り出し部１０９で切り出した映像を上部旋回体３の左方向を撮影するカメラ１１ｂのキャリブレーション映像１１０ｂの左側映像１１０ｂＬ、上部旋回体３の後方を撮影するカメラ１１ｃのキャリブレーション映像１１０ｃの右側映像１１０ｃＲ、上部旋回体３の後方を撮影するカメラ１１ｃのキャリブレーション映像１１０ｃの左側映像１１０ｃＬ、および、上部旋回体３の右方向を撮影するカメラ１１ｄのキャリブレーション映像１１０ｄの右側映像１１０ｄＲとして結合する。

続いて、車体角度判定部１０５では、撮影角度算出部１０４の他の算出結果についてキャリブレーション映像１１０ａ〜１１０ｄの生成を継続する。例えば、図１９に示すように、上部旋回体３が車体の後方（方向Ｃ）を向いた状態、すなわち、カメラ１１ｄの撮影範囲の左側とカメラ１１ａの撮影範囲の右側が重複し、かつ、その重複範囲にキャリブレーションマーカ２０４が位置し、また、カメラ１１ａの撮影範囲の左側とカメラ１１ｂの撮影範囲の右側が重複し、かつ、その重複範囲にキャリブレーションマーカ２０５が位置している状態をキャリブレーション映像１１０ａ〜１１０ｄの生成を行う次の姿勢とする。このとき、車体角度判定部１０５では撮影する旋回角度ではないと判定し、ガイダンス部１０６は、左（又は右）へ１８０°旋回するように（すなわち、図１７の姿勢から図１９の姿勢に旋回するように）オペレータに指示するガイダンス画面を表示装置１７に表示する。

オペレータがガイダンス画面の指示に従って上部旋回体３を旋回させ、図１９に示す姿勢となると、車体角度判定部１０５では、カメラ１１ａ，１１ｂ，１１ｄにより撮影する旋回角度であると判定し、カメラ指定部１０７では、カメラ１１ａ，１１ｂ，１１ｄを指定し、撮影部１０８ではカメラ指定部１０７で指定されたカメラ１１ａ，１１ｂ，１１ｄを駆動して映像を撮影するとともに映像切り出し部１０９に出力し、映像切り出し部１０９では、カメラ１１ｄの映像の左側とカメラ１１ａの映像の右側においてキャリブレーションマーカ２０４を含む範囲を切り出し、カメラ１１ａの映像の左側とカメラ１１ｂの映像の右側においてキャリブレーションマーカ２０５を含む範囲を切り出す。なお、ガイダンス部１０６において、必要に応じてキャリブレーション映像の生成中であることを示す文字列を表示装置１７に表示させるようにしても良い。

このとき、図２０に示すように、映像結合生成部１１０は、映像切り出し部１０９で切り出した映像を上部旋回体３の右方向を撮影するカメラ１１ｄのキャリブレーション映像１１０ｄの左側映像１１０ｄＬ、上部旋回体３の前方を撮影するカメラ１１ａのキャリブレーション映像１１０ａの右側映像１１０ａＲ、上部旋回体３の前方を撮影するカメラ１１ａのキャリブレーション映像１１０ａの左側映像１１０ａＬ、および、上部旋回体３の左方向を撮影するカメラ１１ｂのキャリブレーション映像１１０ｂの右側映像１１０ｂＲとして結合する。

その他の構成は第１の実施の形態と同様である。

以上のように構成した本実施の形態においても第１の実施の形態と同様の効果を得ることができる。

＜第３の実施の形態＞
本発明の第３の実施の形態を図２１及び図２２を参照しつつ説明する。本実施の形態では第１の実施の形態との相違点についてのみ説明するものとし、図面において第１の実施の形態と同様の部材には同じ符号を付し、説明を省略する。

本実施の形態は、第１の実施の形態において、オペレータによる上部旋回体３の旋回操作をアシストする半自動制御を行うものである。

図２１は、制御装置のキャリブレーション部の処理機能を示す機能ブロック図である。また、図２２は、上部旋回体の旋回制御に係る処理機能を旋回制御部とともに抜き出して示す機能ブロック図である。

図２１において、キャリブレーション部１００Ａは、マーカ位置記憶部１０３、撮影角度算出部１０４、車体角度判定部１０５、ガイダンス部１０６、カメラ指定部１０７、撮影部１０８、映像切り出し部１０９、映像結合生成部１１０、補正値算出部１１１、及び、旋回制御判定部１４０の各機能部により構成されている。

車体角度判定部１０５は、下部走行体２に対する上部旋回体３の旋回角度を検出する旋回角度検出部１０１からの検出結果と撮影角度算出部１０４の算出結果とに基づいて、カメラ１１ａ〜１１ｄによる撮影を行う旋回角度であるかどうか、すなわち、いずれかの画像重複範囲の上部旋回体３における旋回方向中央にキャリブレーションマーカ２０３が位置する旋回角度であるかどうかを判定する。

車体角度判定部１０５は、例えば、旋回角度検出部１０１の検出結果（旋回角度）から撮影角度算出部１０４の算出結果（撮影角度）を除することでその差分を算出し、その差分が予め定めた範囲（すなわち、旋回角度が撮影角度に一致したと判定する範囲）内である場合には、カメラ１１ａ〜１１ｄによる撮影を行う旋回角度であると判定し、その判定結果（旋回角度が撮影角度に一致したとする判定結果）を差分に係る情報（差分情報）とともにガイダンス部１０６、カメラ指定部１０７、及び、旋回制御判定部１４０に出力する。

旋回制御判定部１４０は、車体角度判定部１０５の判定結果に基づいて、オペレータによる上部旋回体３の旋回操作をアシストする半自動制御を行うものである。具体的には、旋回制御判定部１４０は、車体角度判定部１０５によってカメラ１１ａ〜１１ｄによる撮影を行う旋回角度であると判定された場合（すなわち、旋回角度が撮影角度に一致したと判定された場合）に、上部旋回体３の旋回動作を制限して停止させる状態であると判定し、旋回制御部１４１に上部旋回体３の旋回動作を制限して停止させる指示信号を出力する。これにより、車体角度判定部１０５で上部旋回体３の旋回角度が撮影角度の範囲内であると判定された場合に旋回制御部１４１を制御して、下部走行体２に対する上部旋回体３の旋回動作を制限して停止させる。

旋回制御部１４１は、下部走行体２に対する上部旋回体３の旋回動作を制御するものである。旋回制御部１４１には、操作系圧力生成部１５１（例えば、エンジンなどにより駆動されるパイロットポンプ）によって生成されたパイロット圧を元に旋回操作部１５２（例えば、キャブ６に配置された操作装置）で生成された旋回操作のパイロット圧（旋回操作信号）が入力される。また、上部旋回体３を旋回駆動する旋回動力部１５５（例えば、旋回油圧モータ）には、出力制御部１５４（例えば、コントロールバルブ）を介した動力系圧力生成部１５３（例えば、エンジンなどの原動機により駆動される油圧ポンプ）によって生成され作動油が供給されている。出力制御部１５４は、旋回制御部１４１を介して入力されるパイロット圧（旋回操作信号）に基づいて、動力系圧力生成部１５３から旋回動力部１５５に供給される作動油の流量および方向を制御する。旋回制御部１４１は、旋回制御判定部１４０からの指示信号に基づいて、旋回操作部１５２から出力制御部１５４に入力される旋回操作信号を制限することにより、上部旋回体３の旋回動作を制限（遮断）して停止させる。

なお、車体角度判定部１０５から得られる旋回角度検出部１０１の検出結果と撮影角度算出部１０４の算出結果の差分の大きさに応じて旋回動作の制限度合いを調整しても良い。例えば、算出結果の差分が小さくなるのに従って旋回動作の制限を強くしていき、差分が０（ゼロ）になった場合（或いは、予め定めた範囲となった場合）に旋回動作を停止させるようにしても良い。これにより、オペレータによる旋回操作での上部旋回体３の位置調整の負担を軽減することができる。

なお、本発明は上記の各実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内の様々な変形例や組み合わせが含まれる。

例えば、複数のカメラ１１ａ〜１１ｄからの映像からキャリブレーションマーカ２０３を検出するマーカ検出部を制御装置２００に新たに備え、撮影角度算出部１０４がマーカ検出部の検出結果に基づいて、複数のカメラ１１ａ〜１１ｄの撮影範囲が重複する範囲に前記キャリブレーションマーカ２０３が入る上部旋回体３の旋回角度を算出するように構成してもよい。また、このとき、カメラ指定部１０７は、マーカ検出部の検出結果に基づいて、複数のカメラ１１ａ〜１１ｄのうち撮影を行うカメラを指定するように構成すれば良い。

また、補正値算出部１１１において、入力されるキャリブレーション映像におけるキャリブレーションマーカ２０３の撮影状態から補正値の算出が実行可能かどうかを判定し、判定結果をガイダンス部１０６等を介して表示装置１７に表示し、キャリブレーションの可否をオペレータに報知する映像判定部を備えて構成しても良い。

次に上記の各実施の形態の特徴について説明する。

（１）上記の実施の形態では、下部走行体２と、前記下部走行体に対して旋回可能に設けられた上部旋回体３と、前記下部走行体に対する前記上部旋回体の旋回角度を検出する旋回角度検出部１０１と、前記上部旋回体に配置され、前記下部走行体と前記上部旋回体とにより構成された車体の周囲を撮影する複数のカメラ１１ａ〜１１ｄと、前記複数のカメラによって撮影された映像を表示する表示装置１７と、前記複数のカメラの取付位置および取付角度を記憶するカメラ取付位置記憶部１２５、前記カメラ取付位置記憶部に記憶された前記複数のカメラの取付位置及び取付角度に基づいて、前記複数のカメラによってそれぞれ撮影された映像を合成して合成映像を生成し、前記表示装置に出力するカメラ映像結合部１２６、及び、前記複数のカメラの取付位置および取付角度の誤差を補正するための補正値を、前記複数のカメラによって撮影されたキャリブレーションマーカ２０３を含む映像に基づいて算出し、前記カメラ取付位置記憶部に出力する補正値算出部１１１を有する制御装置（例えば、コントローラ１２及びパソコン１３により構成された制御装置２００）とを備えた作業機械（例えば、油圧ショベル１）において、前記制御装置は、前記キャリブレーションマーカの前記車体に対する予め設定された位置を記憶するマーカ位置記憶部１０３と、前記マーカ位置記憶部に記憶された前記キャリブレーションマーカの位置及び前記カメラ取付位置記憶部に記憶された前記複数のカメラの取付位置及び取付角度に基づいて、前記複数のカメラの撮影範囲の予め定めた範囲に前記キャリブレーションマーカが入るような前記上部旋回体の旋回角度の範囲である撮影角度を算出する撮影角度算出部１０４と、前記旋回角度算出部で検出した前記上部旋回体の旋回角度が前記撮影角度算出部で算出した前記撮影角度の範囲内であるかどうかを判定する車体角度判定部１０５と、前記車体角度判定部の判定結果に基づいた情報を前記表示装置に表示して前記作業機械の操作者に前記上部旋回体の旋回操作を指示するガイダンス部１０６と、前記車体角度判定部で前記上部旋回体の旋回角度が前記撮影角度の範囲内であると判定された場合に、前記複数のカメラのうち前記キャリブレーションマーカの撮影を行う前記カメラを決定し、その情報を指定情報として出力するカメラ指定部１０７と、前記カメラ指定部から前記指定情報が出力されると、前記指定情報で指定された前記カメラからの映像を取得する撮影部１０８とをさらに備えたものとした。

これにより、キャリブレーションにおける耐環境性を向上し、コストを抑制することができる。

（２）また、上記の実施の形態では、（１）の作業機械（例えば、油圧ショベル１）において、前記制御装置２００は、前記複数のカメラ１１ａ〜１１ｄからの映像から前記キャリブレーションマーカ２０３を検出するマーカ検出部をさらに備え、前記撮影角度算出部１０４は、前記マーカ検出部によって前記キャリブレーションマーカが前記複数のカメラの撮影範囲の予め定めた範囲に入ったことを検知した場合に、その時の前記上部旋回体３の旋回角度に基づいて、前記撮影角度を算出しするものとした。

（３）また、上記の実施の形態では、（１）の作業機械（例えば、油圧ショベル１）において、前記制御装置２００は、前記撮影部で取得した前記カメラ１１ａ〜１１ｄの映像から前記キャリブレーションマーカ２０３を含む所定の範囲を切り出す映像切り出し部１０９をさらに備え、前記カメラ映像結合部１２６は、前記映像切り出し部で切り出した映像を前記複数のカメラのそれぞれについて結合し、前記補正値算出部１１１で用いるキャリブレーション映像を前記複数のカメラのそれぞれについて生成する映像結合生成部１１０とを備え、前記補正値算出部は、前記映像結合生成部で生成された前記キャリブレーション映像を用いて前記補正値を算出するものとした。

（４）また、上記の実施の形態では、（１）の作業機械（例えば、油圧ショベル１）において、前記補正値算出部１１１は、前記キャリブレーションマーカ２０３の撮影状態から前記補正値の算出が実行可能かどうかを判定し、実行不可であると判定された場合に前記判定結果を前記表示装置１７に表示して、オペレータに前記補正値の算出が出来ないことを報知する映像判定部を備えたものとした。

（５）また、上記の実施の形態では、（１）の作業機械（例えば、油圧ショベル１）において、前記下部走行体に対する前記上部旋回体の旋回動作を制御する旋回制御部１４１をさらに備え、前記制御装置２００は、前記車体角度判定部で前記上部旋回体の旋回角度が前記撮影角度の範囲内であると判定された場合に前記旋回制御部を制御して、前記下部走行体２に対する前記上部旋回体の旋回動作を制限して停止させる旋回制御部１４１をさらに備えたものとした。

＜付記＞
なお、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内の様々な変形例や組み合わせが含まれる。また、本発明は、上記の実施の形態で説明した全ての構成を備えるものに限定されず、その構成の一部を削除したものも含まれる。また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等により実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。

１…油圧ショベル、２…下部走行体、３…上部旋回体、４…フロント作業機、５…旋回フレーム、６…キャブ、７…建屋カバー、７Ａ…側面板、７Ｂ…上面板、８…エンジンカバー、１０…カウンタウエイト、１１ａ〜１１ｄ…カメラ、１２…コントローラ、１３…パソコン、１４…映像切替スイッチ、１５…画面、１６…自車アイコン、１７…表示装置、１８…俯瞰映像、１８ａ〜１８ｄ…映像、５０…キャリブレーションモード表示部、５１…旋回操作指示表示部、５１ａ…旋回操作指示補助表示部、１００，１００Ａ…キャリブレーション部、１０１…旋回角度検出部、１０２…マーカ位置指定部、１０３…マーカ位置記憶部、１０４…撮影角度算出部、１０５…車体角度判定部、１０６…ガイダンス部、１０７…カメラ指定部、１０８…撮影部、１０９…映像切り出し部、１１０…映像結合生成部、１１０ａ〜１１０ｄ…キャリブレーション映像、１１１…補正値算出部、１１２…映像取得部、１１３…マーカ位置設定部、１１４…取付誤差算出部、１２１…映像合成部、１２２…映像記憶部、１２３…結合パターン記憶部、１２４…結合パターン設定部、１２５…カメラ取付位置記憶部、１２６…カメラ映像結合部、１３０…目標旋回方向判定部、１３１…ガイダンス映像作成部、１３２…ガイダンスパターン記憶部、１４０…旋回制御判定部、１４１…旋回制御部、１５１…操作系圧力生成部、１５２…旋回操作部、１５３…動力系圧力生成部、１５４…出力制御部、１５５…旋回動力部、２００…制御装置、２０３〜２０５…キャリブレーションマーカ

Claims (5)

1. 下部走行体と、
   前記下部走行体に対して旋回可能に設けられた上部旋回体と、
   前記下部走行体に対する前記上部旋回体の旋回角度を検出する旋回角度検出部と、
   前記上部旋回体に配置され、前記下部走行体と前記上部旋回体とにより構成された車体の周囲を撮影する複数のカメラと、
   前記複数のカメラによって撮影された映像を表示する表示装置と、
   前記複数のカメラの取付位置および取付角度を記憶するカメラ取付位置記憶部、前記カメラ取付位置記憶部に記憶された前記複数のカメラの取付位置及び取付角度に基づいて、前記複数のカメラによってそれぞれ撮影された映像を合成して合成映像を生成し、前記表示装置に出力するカメラ映像結合部、及び、前記複数のカメラの取付位置および取付角度の誤差を補正するための補正値を、前記複数のカメラによって撮影されたキャリブレーションマーカを含む映像に基づいて算出し、前記カメラ取付位置記憶部に出力する補正値算出部を有する制御装置とを備えた作業機械において、
   前記制御装置は、
   前記キャリブレーションマーカの前記車体に対する予め設定された位置を記憶するマーカ位置記憶部と、
   前記マーカ位置記憶部に記憶された前記キャリブレーションマーカの位置及び前記カメラ取付位置記憶部に記憶された前記複数のカメラの取付位置および取付角度に基づいて、前記複数のカメラの撮影範囲の予め定めた範囲に前記キャリブレーションマーカが入るような前記上部旋回体の旋回角度の範囲である撮影角度を算出する撮影角度算出部と、
   前記旋回角度検出部で検出した前記上部旋回体の旋回角度が前記撮影角度算出部で算出した前記撮影角度の範囲内であるかどうかを判定する車体角度判定部と、
   前記車体角度判定部の判定結果に基づいた情報を前記表示装置に表示して前記作業機械の操作者に前記上部旋回体の旋回操作を指示するガイダンス部と、
   前記車体角度判定部で前記上部旋回体の旋回角度が前記撮影角度の範囲内であると判定された場合に、前記複数のカメラのうち前記キャリブレーションマーカの撮影を行う前記カメラを決定し、その情報を指定情報として出力するカメラ指定部と、
   前記カメラ指定部から前記指定情報が出力されると、前記指定情報で指定された前記カメラからの映像を取得する撮影部とをさらに備えたことを特徴とする作業機械。
2. 請求項１記載の作業機械において、
   前記制御装置は、前記複数のカメラからの映像から前記キャリブレーションマーカを検出するマーカ検出部をさらに備え、
   前記撮影角度算出部は、前記マーカ検出部によって前記キャリブレーションマーカが前記複数のカメラの撮影範囲の予め定めた範囲に入ったことを検知した場合に、その時の前記上部旋回体の旋回角度に基づいて、前記撮影角度を算出することを特徴とする作業機械。
3. 請求項１記載の作業機械において、
   前記制御装置は、前記撮影部で取得した前記カメラの映像から前記キャリブレーションマーカを含む所定の範囲を切り出す映像切り出し部と、
   前記映像切り出し部で切り出した映像を前記複数のカメラのそれぞれについて結合し、前記補正値算出部で用いるキャリブレーション映像を前記複数のカメラのそれぞれについて生成する映像結合生成部とをさらに備え、
   前記補正値算出部は、前記映像結合生成部で生成された前記キャリブレーション映像を用いて前記補正値を算出することを特徴とする作業機械。
4. 請求項１記載の作業機械において、
   前記補正値算出部は、前記キャリブレーションマーカの撮影状態から前記補正値の算出が実行可能かどうかを判定し、実行不可であると判定された場合に判定結果を前記表示装置に表示して、オペレータに前記補正値の算出が出来ないことを報知する映像判定部を備えたことを特徴とする作業機械。
5. 請求項１記載の作業機械において、
   前記下部走行体に対する前記上部旋回体の旋回動作を制御する旋回制御部をさらに備え、
   前記制御装置は、前記車体角度判定部で前記上部旋回体の旋回角度が前記撮影角度の範囲内であると判定された場合に前記旋回制御部を制御して、前記下部走行体に対する前記上部旋回体の旋回動作を制限して停止させる旋回制御判定部をさらに備えたことを特徴とする作業機械。

Images