JP6799557B2 - Work machine - Google Patents
Work machine Download PDFInfo
- Publication number
- JP6799557B2 JP6799557B2 JP2018063135A JP2018063135A JP6799557B2 JP 6799557 B2 JP6799557 B2 JP 6799557B2 JP 2018063135 A JP2018063135 A JP 2018063135A JP 2018063135 A JP2018063135 A JP 2018063135A JP 6799557 B2 JP6799557 B2 JP 6799557B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- angle
- turning
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Operation Control Of Excavators (AREA)
- Component Parts Of Construction Machinery (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、作業機械に関する。 The present invention relates to a working machine.
近年、作業機械の電子化、情報化が進み、多くの電子機器が搭載されるようになっている。例えば、油圧ショベル等の作業機械には、車体の周囲を複数のカメラによって撮影し、その映像をキャブ内の表示部に表示することにより、キャブ内の作業者が運転席に着座したまま映像を確認することができ、車体の周囲の状況を知ることができるものがある。特に、油圧ショベル等の作業機械では、構造上の理由によりキャブ内の作業者の車体の周囲に対する視界が制限され易いので、キャブ内の作業者が表示部の映像から車体の周囲の状況をより正確に把握できる技術が重要となっている。 In recent years, the digitization and computerization of work machines have progressed, and many electronic devices have come to be installed. For example, in a work machine such as a hydraulic excavator, the surroundings of the vehicle body are photographed by a plurality of cameras, and the image is displayed on the display unit in the cab so that the worker in the cab can view the image while sitting in the driver's seat. There are things that can be confirmed and the situation around the car body can be known. In particular, in a work machine such as a hydraulic excavator, the visibility of the worker in the cab with respect to the surroundings of the vehicle body is likely to be restricted due to structural reasons, so that the operator in the cab can see the situation around the vehicle body from the image on the display. Technology that can be accurately grasped is important.
このようなキャブ内の作業者の視界を補助する従来技術として、例えば、特許文献１には、車体に搭載された複数のカメラで車体の周囲を撮影し、撮影した映像を合成処理することで車体の上空から車体と周囲の状況を俯瞰的に撮影した映像（以降、便宜的に俯瞰映像と称する）を生成し、キャブ内の表示部に表示させる技術が開示されている。
As a conventional technique for assisting the field of view of an operator in such a cab, for example, in
上記従来技術のように、複数の映像から合成した俯瞰映像などを表示部に表示する際には、カメラの取付位置や取付角度の設計値（設定値）からの誤差（以降、取付位置誤差及び取付角度誤差と称する）により、合成した俯瞰映像にラップやずれが発生するので、カメラの取付位置誤差及び取付角度誤差を補正する必要がある。各カメラの取付位置誤差及び取付角度誤差の補正方法としては、例えば、各カメラの撮影範囲の予め定めた範囲などにマーカ（目印）となるものを設置した後、各カメラで撮影された映像中のマーカを基準点にして各カメラ（各映像）間のラップやずれを補正する補正値を算出する方法があり、その補正値を俯瞰映像の生成処理に適用することによってラップやずれを抑制している。 When displaying a bird's-eye view image synthesized from a plurality of images on the display unit as in the above-mentioned conventional technique, an error from the design value (set value) of the camera mounting position and mounting angle (hereinafter, mounting position error and (Referred to as mounting angle error) causes laps and deviations in the combined bird's-eye view image, so it is necessary to correct the mounting position error and mounting angle error of the camera. As a method of correcting the mounting position error and the mounting angle error of each camera, for example, after installing a marker (mark) in a predetermined range of the shooting range of each camera, in the image shot by each camera. There is a method of calculating a correction value that corrects laps and deviations between each camera (each image) using the marker of the above as a reference point, and by applying the correction value to the bird's-eye view image generation processing, laps and deviations are suppressed. ing.
ところで、作業機械は屋外で使用されることが多く、また、キャリブレーションのマーカを設置するためにはある程度広いスペースが必要になるため、キャリブレーションの実施についても屋外で行われることが多い。しかしながら、屋外でのキャリブレーションを考える場合には、マーカに太陽光のような強い光が当たってカメラへの反射光が強くなると、映像が白飛びしてマーカを確認できなくなってしまう恐れがある。また、複数のマーカを用いる必要があるため、設置の作業工数に関するコストやマーカ自体の取得のためのコストも必要となる。 By the way, since the work machine is often used outdoors and a large space is required to install the calibration marker, the calibration is often performed outdoors. However, when considering outdoor calibration, if the marker is exposed to strong light such as sunlight and the reflected light to the camera becomes stronger, the image may be overexposed and the marker may not be visible. .. In addition, since it is necessary to use a plurality of markers, costs related to installation work man-hours and costs for acquiring the markers themselves are also required.
本発明は上記に鑑みてなされたものであり、キャリブレーションにおける耐環境性を向上し、コストを抑制することができる作業機械を提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide a work machine capable of improving environmental resistance in calibration and suppressing costs.
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、下部走行体と、前記下部走行体に対して旋回可能に設けられた上部旋回体と、前記下部走行体に対する前記上部旋回体の旋回角度を検出する旋回角度検出部と、前記上部旋回体に配置され、前記下部走行体と前記上部旋回体とにより構成された車体の周囲を撮影する複数のカメラと、前記複数のカメラによって撮影された映像を表示する表示装置と、前記複数のカメラの取付位置および取付角度を記憶するカメラ取付位置記憶部、前記カメラ取付位置記憶部に記憶された前記複数のカメラの取付位置及び取付角度に基づいて、前記複数のカメラによってそれぞれ撮影された映像を合成して合成映像を生成し、前記表示装置に出力するカメラ映像結合部、及び、前記複数のカメラの取付位置および取付角度の誤差を補正するための補正値を、前記複数のカメラによって撮影されたキャリブレーションマーカを含む映像に基づいて算出し、前記カメラ取付位置記憶部に出力する補正値算出部を有する制御装置とを備えた作業機械において、前記制御装置は、前記キャリブレーションマーカの前記車体に対する予め設定された位置を記憶するマーカ位置記憶部と、前記マーカ位置記憶部に記憶された前記キャリブレーションマーカの位置及び前記カメラ取付位置記憶部に記憶された前記複数のカメラの取付位置および取付角度に基づいて、前記複数のカメラの撮影範囲の予め定めた範囲に前記キャリブレーションマーカが入るような前記上部旋回体の旋回角度の範囲である撮影角度を算出する撮影角度算出部と、前記旋回角度検出部で検出した前記上部旋回体の旋回角度が前記撮影角度算出部で算出した前記撮影角度の範囲内であるかどうかを判定する車体角度判定部と、前記車体角度判定部の判定結果に基づいた情報を前記表示装置に表示して前記作業機械の操作者に前記上部旋回体の旋回操作を指示するガイダンス部と、前記車体角度判定部で前記上部旋回体の旋回角度が前記撮影角度の範囲内であると判定された場合に、前記複数のカメラのうち前記キャリブレーションマーカの撮影を行う前記カメラを決定し、その情報を指定情報として出力するカメラ指定部と、前記カメラ指定部から前記指定情報が出力されると、前記指定情報で指定された前記カメラからの映像を取得する撮影部とをさらに備えたものとする。 The present application includes a plurality of means for solving the above problems, and to give an example thereof, the lower traveling body, the upper rotating body provided so as to be rotatable with respect to the lower traveling body, and the lower traveling body. A swivel angle detection unit that detects the swivel angle of the upper swivel body, a plurality of cameras arranged on the upper swivel body and taking a picture of the surroundings of a vehicle body composed of the lower traveling body and the upper swivel body, and the above. A display device that displays images taken by a plurality of cameras, a camera mounting position storage unit that stores the mounting positions and mounting angles of the plurality of cameras, and mounting of the plurality of cameras stored in the camera mounting position storage unit. Based on the position and mounting angle, the images captured by the plurality of cameras are combined to generate a composite video, and the camera image coupling portion is output to the display device, and the mounting positions and mounting of the plurality of cameras. A control device having a correction value calculation unit that calculates a correction value for correcting an angle error based on images including calibration markers taken by the plurality of cameras and outputs the correction value to the camera mounting position storage unit. In the work machine provided with, the control device has a marker position storage unit that stores a preset position of the calibration marker with respect to the vehicle body, a position of the calibration marker stored in the marker position storage unit, and the position of the calibration marker. Based on the mounting positions and mounting angles of the plurality of cameras stored in the camera mounting position storage unit, the upper swivel body such that the calibration marker is placed in a predetermined range of the shooting range of the plurality of cameras. Whether the shooting angle calculation unit that calculates the shooting angle, which is the range of the turning angle, and the turning angle of the upper swivel body detected by the turning angle detection unit are within the shooting angle range calculated by the shooting angle calculation unit. A vehicle body angle determination unit that determines whether or not the vehicle body angle is determined, and a guidance unit that displays information based on the determination result of the vehicle body angle determination unit on the display device and instructs the operator of the work machine to perform a turning operation of the upper swing body. When the body angle determination unit determines that the turning angle of the upper swivel body is within the range of the shooting angle, the camera that shoots the calibration marker among the plurality of cameras is determined. It further includes a camera designation unit that outputs the information as designated information, and a shooting unit that acquires an image from the camera designated by the designated information when the designated information is output from the camera designation unit. And.
本発明によれば、キャリブレーションにおける耐環境性を向上し、コストを抑制することができる。 According to the present invention, the environmental resistance in calibration can be improved and the cost can be suppressed.
以下、本発明の実施の形態を図面を参照しつつ説明する。なお、本実施の形態では、作業機械の一例としてクローラ式の下部走行体と上部旋回体とで車体を構成する油圧ショベルを例示して説明するが、例えば、ホイール式油圧ショベルやクレーンのように旋回動作を行う上部旋回体を有する作業機械であれば、油圧駆動型や電動駆動型などの駆動方式によらず本発明の適用が可能である。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the present embodiment, as an example of the work machine, a hydraulic excavator in which a crawler-type lower traveling body and an upper swinging body form a vehicle body will be described as an example, but for example, a wheel-type hydraulic excavator or a crane will be described. The present invention can be applied to any work machine having an upper swing body that performs a swivel operation, regardless of a drive system such as a hydraulic drive type or an electric drive type.
＜第１の実施の形態＞
本発明の第１の実施の形態を図１〜９図を参照しつつ説明する。
図１は本実施の形態に係る作業機械の一例である油圧ショベルの構成を模式的に示す側面図であり、図２は上面図である。
<First Embodiment>
The first embodiment of the present invention will be described with reference to FIGS. 1 to 9.
FIG. 1 is a side view schematically showing a configuration of a hydraulic excavator which is an example of a work machine according to the present embodiment, and FIG. 2 is a top view.
図１において、油圧ショベル１は、上部旋回体３と、前記上部旋回体３の前側に俯仰動可能に支持された多関節型のフロント作業機４と、上部旋回体３を旋回可能に支持する自走可能なクローラ式の下部走行体２とで構成されている。上部旋回体３と下部走行体２は、油圧ショベル１の車体を構成している。
In FIG. 1, the
上部旋回体３は、支持構造体をなす旋回フレーム５を有しており、旋回フレーム５の前側にはフロント作業機４の基端部が回動可能に支持されている。また、旋回フレーム５の後側には、フロント作業機４との重量バランスをとるためのカウンタウエイト１０が取付けられている。旋回フレーム５の前方左側には、油圧ショベル１を操作するオペレータが乗り込むためのキャブ６が配設されている。
The upper
キャブ６内には、オペレータが着座する座席や、フロント作業機４の駆動操作、上部旋回体３の旋回操作、下部走行体２の走行操作などを行う操作装置（いずれも図示せず）のほか、座席に着座したオペレータが見やすい位置であってオペレータによる外部視野の妨げにならない位置に表示装置１７が配置されている。
In the
また、カウンタウエイト１０の前側には、内部にエンジン、油圧ポンプ、熱交換装置等の搭載機器類（いずれも図示せず）を収容する建屋カバー７が配設されている。建屋カバー７は、旋回フレーム５の左右両側に位置して前後方向に延びた左右の側面板７Ａと、各側面板７Ａの上端部間を接続する水平方向に延びた上面板７Ｂとにより大略構成され、建屋カバー７の後側はカウンタウエイト１０によって閉塞されている。建屋カバー７の上面板７Ｂ上には、建屋カバー７内に収容された搭載機器類を上方から覆うエンジンカバー８が設けられている。
Further, on the front side of the
上部旋回体３の前側におけるキャブ６の前側上部と、上部旋回体３の左右それぞれの上部（つまり、建屋カバー７の上面板７Ｂの左右端部）であって前後方向の中央付近と、カウンタウエイト１０の左右中央位置とには、それぞれ、車体近傍を含む車体周囲が撮影範囲となるように配置されたカメラ１１ａ〜１１ｄが設置されている。
The front upper part of the
図３は、本実施の形態に係る作業機械の周囲表示装置を模式的に示す図である。 FIG. 3 is a diagram schematically showing a peripheral display device of a work machine according to the present embodiment.
図３にいて周囲表示装置は、複数（例えば、本実施の形態では４台）のカメラ１１ａ〜１１ｄと、複数のカメラ１１ａ〜１１ｄによって撮影された映像を表示するモニタ（液晶モニタ）などの表示装置１７と、周囲表示装置の全体の動作を制御する制御装置２００としてのコントローラ１２及びパソコン１３とを備えている。なお、本実施の形態においては、コントローラ１２及びパソコン１３が互いに連携して周囲表示装置の制御装置２００としての機能を果たす場合を例示して説明するが、コントローラ１２とパソコン１３のいずれか一方のみで制御装置２００の機能を果たすように構成しても良い。
In FIG. 3, the surrounding display device is a display such as a plurality of
表示装置１７には、各カメラ１１ａ〜１１ｄで撮影された映像や、これらの映像を鉛直上方から撮影したように（つまり、上方視点となるように）視点変換した映像、或いは、各カメラ１１ａ〜１１ｄで撮影した映像１８ａ〜１８ｄを合成処理することで車体の上空から車体と周囲の状況を俯瞰的に撮影した映像（以降、俯瞰映像１８と称する）を映し出す画面１５が設けられている。図３では、表示装置１７の画面１５に俯瞰映像１８が表示されている場合を例示している。俯瞰映像１８は、例えば、俯瞰映像１８における自車の形状および大きさを概略的に示す自車アイコン１６を中央に配置し、自車アイコン１６の上下左右にカメラ１１ａ，１１ｃ，１１ｂ，１１ｄで撮影した映像を自車が中心となるような上方視点の映像１８ａ，１８ｃ，１８ｂ，１８ｄにそれぞれ変換して配置することで形成されている。また、コントローラ１２には、画面１５に映し出される映像の種類を切り替える映像切替スイッチ１４が接続されている。
The
本願発明は上記のように構成した作業機械に適用されるものであり、本実施の形態に係る作業機械の周囲表示装置の制御装置２００は、カメラ１１ａ〜１１ｄの映像から表示装置１７に表示する映像を生成する映像合成部１２１と、カメラ１１ａ〜１１ｄに関するキャリブレーションを行うキャリブレーション部１００とを有している。
The present invention is applied to the work machine configured as described above, and the
図４は制御装置の映像合成部の処理機能を示す機能ブロック図である。 FIG. 4 is a functional block diagram showing a processing function of the video synthesis unit of the control device.
図４において、映像合成部１２１は、カメラ１１ａ〜１１ｄによって撮影された映像を記憶する映像記憶部１２２と、カメラ１１ａ〜１１ｄの取付位置および取付角度を記憶するカメラ取付位置記憶部１２５と、表示装置１７に表示する映像を生成するための複数の生成方法を記憶する結合パターン記憶部１２３と、映像切替スイッチ１４の操作に基づいて結合パターン記憶部１２３に記憶された複数の生成方法の１つを選択的に設定する結合パターン設定部１２４と、結合パターン設定部１２４で設定された生成方法とカメラ取付位置記憶部１２５に記憶された情報とに基づいて、映像記憶部１２２に記憶されたカメラ１１ａ〜１１ｄの映像から表示装置１７に表示する映像を生成し、表示装置１７に出力するカメラ映像結合部１２６とを有している。
In FIG. 4, the
結合パターン記憶部１２３に記憶されている生成方法としては、例えば、各カメラ１１ａ〜１１ｄの何れか１つの映像をそのまま出力する方法や、各カメラ１１ａ〜１１ｄの何れか１つの映像を上方視点に変換したものを出力する方法、各カメラ１１ａ〜１１ｄの映像を合成して車体の上空から車体と周囲の状況を俯瞰的に撮影した俯瞰映像１８を生成し出力する方法などがある。
As a generation method stored in the coupling
カメラ取付位置記憶部１２５には、キャリブレーション部１００の補正値算出部１１１で演算された補正値が入力されており、カメラ取付位置記憶部１２５には、その補正値が反映されたカメラ１１ａ〜１１ｄの取付位置および取付角度が記憶されている。カメラ映像結合部１２６では、カメラ取付位置記憶部１２５に記憶されるカメラ１１ａ〜１１ｄの取付位置および取付角度を用いて表示装置１７に表示する映像を生成するので、その精度が高いほど、カメラ映像結合部１２６で生成される映像の精度が高くなる。例えば、カメラ映像結合部１２６において、カメラ取付位置記憶部１２５に記憶されるカメラ１１ａ〜１１ｄの取付位置および取付角度を用いて複数のカメラ１１ａ〜１１ｄでそれぞれ撮影された画像を合成することにより俯瞰映像１８を生成する場合には、カメラ取付位置記憶部１２５に記憶されるカメラ１１ａ〜１１ｄの取付位置および取付角度の精度が高いほど、俯瞰映像１８における自車アイコン１６の周囲に配置される各映像１８ａ〜１８ｂ間のずれ（隣接する映像の境界に沿う方向の位置の誤差）やラップ（隣接する映像の境界に垂直な方向の位置の誤差）が小さくなり、より精度の良い俯瞰映像１８となる。
The correction value calculated by the correction
図５Ａは、制御装置のキャリブレーション部の処理機能を示す機能ブロック図である。 FIG. 5A is a functional block diagram showing a processing function of the calibration unit of the control device.
図５Ａにおいて、キャリブレーション部１００は、マーカ位置記憶部１０３、撮影角度算出部１０４、車体角度判定部１０５、ガイダンス部１０６、カメラ指定部１０７、撮影部１０８、映像切り出し部１０９、映像結合生成部１１０、及び、補正値算出部１１１の各機能部により構成されている。
In FIG. 5A, the
キャリブレーション部１００は、油圧ショベル１周囲の予め定めた位置に配置したキャリブレーションマーカがカメラ１１ａ〜１１ｄの撮影範囲の予め定めた範囲に入るよう旋回操作をオペレータにガイダンスするガイダンス処理と、撮影した映像中のキャリブレーションマーカを基準点にして各カメラの取付位置誤差や取付角度誤差に起因する各カメラ映像間のラップやずれを補正するための補正値を算出する補正値算出処理とを行い、その補正値を俯瞰映像の生成処理に適用することによってラップやずれを抑制する処理を行う。補正値算出処理では、上部旋回体３の旋回方向に隣接するカメラ１１ａ〜１１ｄの撮影範囲の重複する範囲（画像重複範囲）で撮影したキャリブレーションマーカ２０３の画像に基づいて各カメラ映像間のラップやずれを補正するための補正値を算出する。また、ガイダンス処理では、画像重複範囲でのキャリブレーションマーカ２０３の撮影のための旋回操作をオペレータにガイダンスする。
The
マーカ位置記憶部１０３は、車体の周囲に配置されたキャリブレーションマーカ２０３（後の図９等参照）の車体に対する位置を設定するマーカ位置指定部１０２で設定されたキャリブレーションマーカの位置を記憶している。キャリブレーションマーカ２０３は、カメラ取付位置記憶部１２５に記憶されるカメラ１１ａ〜１１ｄの取付位置および取付角度のキャリブレーションに用いられるものである。キャリブレーションマーカ２０３は、上部旋回体３の旋回方向に隣接するカメラ１１ａ〜１１ｄの撮影範囲の重複する範囲（画像重複範囲）の数（本実施の形態では４つ）よりも少ない数が配置される。本実施の形態では、１つのキャリブレーションマーカ２０３を配置する場合を例示している。マーカ位置指定部１０２は、例えば、映像切替スイッチ１４とともに表示装置１７の操作装置として設けられた他のスイッチやテンキーなどであり、車体に対して設定された座標系におけるキャリブレーションマーカ２０３の位置やキャリブレーションマーカ２０３間の距離を直接入力したり、或いは、複数の選択肢から選択的に設定したりするものである。
The marker
撮影角度算出部１０４は、マーカ位置記憶部１０３およびカメラ取付位置記憶部１２５に記憶された情報に基づいて、カメラ１１ａ〜１１ｄの撮影範囲の重複する範囲（画像重複範囲）のいずれかにキャリブレーションマーカ２０３が含まれる場合の上部旋回体３の下部走行体２に対する旋回角度、すなわち、カメラ１１ａ〜１１ｄによる撮影を行う旋回角度（撮影角度）を算出する。各画像重複範囲において少なくとも１回はキャリブレーションマーカ２０３の撮影が必要であるため、撮影範囲の重複する範囲（画像重複範囲）が複数ある場合には、それぞれについて旋回角度が算出される。本実施の形態においては、１つのキャリブレーションマーカ２０３を配置し、カメラ１１ａ〜１１ｄの撮影範囲の重複する範囲（画像重複範囲）の数が４つである場合を例示しており、撮影角度算出部１０４で算出される撮影角度の数は４つとなる。なお、本実施の形態における撮影角度算出部１０４では、画像重複範囲ごとに旋回角度（撮影角度）を１つの値（例えば、画像重複範囲の上部旋回体３における旋回方向中央にキャリブレーションマーカ２０３が位置するような旋回角度）として算出する場合を例示する。
The shooting
車体角度判定部１０５は、下部走行体２に対する上部旋回体３の旋回角度を検出する旋回角度検出部１０１（例えば、旋回角度センサ）からの検出結果と撮影角度算出部１０４の算出結果とに基づいて、カメラ１１ａ〜１１ｄによる撮影を行う旋回角度であるかどうか、すなわち、いずれかの画像重複範囲の上部旋回体３における旋回方向中央にキャリブレーションマーカ２０３が位置する旋回角度であるかどうかを判定する。
The vehicle body
旋回角度検出部１０１は、下部走行体２の基準方向（例えば、走行に係る油圧モータの位置を後方とした場合の前方）に対する上部旋回体３の基準方向（例えば、キャブ６の正面方向）の相対的な旋回角度を検出するものであり、例えば、角速度計やポテンショメータ等の旋回センサであって、検出結果は−１８０度以上かつ１８０度未満の範囲の値をとるものとする。すなわち、下部走行体２と上部旋回体３の基準方向が一致した状態の旋回角度を０（ゼロ）度とし、旋回角度検出部１０１の検出結果（旋回角度）が正の場合は下部走行体２に対して上部旋回体３が右方向に旋回した状態であり、負の場合は左方向に旋回した状態であるとする。
The turning
車体角度判定部１０５は、例えば、旋回角度検出部１０１の検出結果（旋回角度）から撮影角度算出部１０４の算出結果（撮影角度）を除することでその差分を算出し、その差分が予め定めた範囲（すなわち、旋回角度が撮影角度に一致したと判定する範囲）内である場合には、カメラ１１ａ〜１１ｄによる撮影を行う旋回角度であると判定し、その判定結果（旋回角度が撮影角度に一致したとする判定結果）を差分に係る情報（差分情報）とともにガイダンス部１０６およびカメラ指定部１０７に出力する。同様に、旋回角度と撮影角度の差分が予め定めた範囲（すなわち、旋回角度が撮影角度に一致したと判定する範囲）の外である場合には、その判定結果（旋回角度が撮影角度に一致していないとする判定結果）を差分情報とともにガイダンス部１０６およびカメラ指定部１０７に出力する。なお、旋回角度が撮影角度に一致したと判定する範囲を、画像重複範囲内にキャリブレーションマーカ２０３が位置する範囲を逸脱しない範囲で広げることによって、車体角度判定部１０５での判定に柔軟性を持たせることができる。
The vehicle body
また、車体角度判定部１０５は、撮影角度算出部１０４の算出結果が複数ある場合には、後述する映像結合生成部１１０から残りの算出結果があるかどうかを確認する信号（問い合わせ信号）に基づいて各算出結果についての判定を順次行う。また、撮影角度算出部１０４の算出結果の全てにおいて判定が終了している場合には、映像結合生成部１１０からの問い合わせ信号に対してその旨を知らせる信号を出力する。
Further, when there are a plurality of calculation results of the shooting
車体角度判定部１０５では、それぞれ、−１８０度以上かつ１８０度未満の範囲の値をとる旋回角度検出部１０１の検出結果（旋回角度）から撮影角度算出部１０４の算出結果（撮影角度）を除することで差分を算出しており、その差分が−１８０度以上かつ１８０度未満の範囲の値をとる場合には、その値をそのまま差分情報として出力する。また、旋回角度から撮影角度を除して得られた差分が−１８０度未満の場合には、その差分に３６０度を加算した値を差分情報として出力し、得られた差分が１８０度以上の場合には、その差分から３６０度を除した値を差分情報として出力する。すなわち、差分情報は、正（０（ゼロ）を含む）または負の値をとる。
In the vehicle body
ガイダンス部１０６は、車体角度判定部１０５の判定結果および差分情報に基づいた情報をガイダンス画面として表示装置１７に表示し、油圧ショベル１のオペレータに上部旋回体３の旋回操作を指示するものである。
The
図６Ａは、キャリブレーション部のガイダンス部の処理機能を示す機能ブロック図である。 FIG. 6A is a functional block diagram showing a processing function of the guidance unit of the calibration unit.
図６Ａにおいて、ガイダンス部１０６は、目標旋回方向判定部１３０、ガイダンス映像作成部１３１、及び、ガイダンスパターン記憶部１３２の各機能部により構成されている。
In FIG. 6A, the
目標旋回方向判定部１３０は、車体角度判定部１０５から出力される差分情報が正の値である場合には目標旋回方向を左旋回操作と判定し、負の値である場合には目標旋回方向を右旋回操作と判定する。ガイダンス映像作成部１３１は、目標旋回方向判定部１３０の判定結果と、車体角度判定部１０５からの差分情報とに基づいて、ガイダンスパターン記憶部１３２に記憶されている文字列や図形等を読み出してガイダンス画面を生成し、表示装置１７に出力する。
The target turning
図８は、ガイダンス部の画面に表示されるガイダンス画面の一例を示す図である。 FIG. 8 is a diagram showing an example of a guidance screen displayed on the screen of the guidance unit.
図８において、ガイダンス画面には、カメラ１１ａ〜１１ｄのキャリブレーションを行うキャリブレーションモードに入ったことを文字列等によってオペレータに報知するキャリブレーションモード表示部５０と、上部旋回体３の旋回操作の旋回方向（目標旋回方向）や目標旋回角度（旋回角度と撮影角度が一致するのに必要な旋回の角度：差分情報の絶対値）などの指示内容を文字列等によってオペレータに報知する旋回操作指示表示部５１が表示されている。また、図８には、旋回操作指示表示部５１の指示内容を図形（例えば、矢印）や残り旋回角度（すなわち、目標旋回角度であって差分情報の絶対値）でオペレータに報知する旋回操作指示補助表示部５１ａが表示されている。図８の例では、オペレータに右方向への９０°の旋回操作を指示している場合を例示している。例えば、この状態からオペレータが右旋回操作を行うと、旋回操作指示表示部５１や旋回操作指示補助表示部５１ａに表示されている目標旋回角度が上部旋回体３の旋回に伴って減少し、旋回角度と撮影角度が一致した場合には目標旋回角度として０（ゼロ）度が表示される。
In FIG. 8, on the guidance screen, the calibration
カメラ指定部１０７は、車体角度判定部１０５の判定結果（旋回角度が撮影角度に一致したかどうかの判定結果）と、マーカ位置記憶部１０３およびカメラ取付位置記憶部１２５の情報と、旋回角度検出部１０１の検出結果（旋回角度）とに基づいて、複数のカメラ１１ａ〜１１ｄのうち撮影を行うカメラを決定し、その情報（指定情報）を撮影部１０８に出力することによって撮影を行うカメラを撮影部１０８に対して指定する。カメラ指定部１０７は、車体角度判定部１０５における旋回角度と撮影角度が一致したとする判定結果（カメラ１１ａ〜１１ｄによる撮影を行う旋回角度であると判定した場合）を契機として、マーカ位置記憶部１０３の情報から車体に対するキャリブレーションマーカ２０３の位置を取得し、マーカ位置記憶部１０３およびカメラ取付位置記憶部１２５の情報からキャリブレーションマーカ２０３を撮影範囲に含んでいるカメラ（例えば、後の図９の例ではカメラ１１ｃ，１１ｄ）を特定し、撮影を行うカメラとして指定する。
The
撮影部１０８は、カメラ指定部１０７からの指定情報が送られてくると、カメラ指定部１０７により指定情報で指定されたカメラ１１ａ〜１１ｄを駆動して映像を撮影する。カメラ１１ａ〜１１ｄで撮影された映像は、映像切り出し部１０９に送られる。
When the designated information from the
映像切り出し部１０９は、マーカ位置記憶部１０３およびカメラ取付位置記憶部１２５の情報と、旋回角度検出部１０１の検出結果とに基づいて、撮影部１０８によりカメラ１１ａ〜１１ｄからの得られた映像から、キャリブレーションマーカ２０３が含まれる範囲（正確には、キャリブレーションマーカ２０３が含まれると推定される範囲）を切り出して、映像結合生成部１１０に出力する。映像切り出し部１０９は、マーカ位置記憶部１０３の情報から車体に対するキャリブレーションマーカ２０３の位置を取得し、マーカ位置記憶部１０３およびカメラ取付位置記憶部１２５の情報からキャリブレーションマーカ２０３を撮影範囲に含んでいるカメラ（例えば、後の図９の例ではカメラ１１ｃ，１１ｄ）を特定し、キャリブレーションマーカ２０３が含まれる範囲を推定して、その範囲を切り出す。なお、映像切り出し部１０９が切り出す範囲はキャリブレーションマーカ２０３が含まれる範囲であれば良く、例えば、カメラ１１ａ〜１１ｄで撮影される映像を左右中央で二分割した場合のいずれか一方を切り出す範囲としても良い。
The
映像結合生成部１１０は、映像切り出し部１０９で切り出した映像をカメラ１１ａ〜１１ｄごとに結合して補正値算出部１１１で用いるキャリブレーション映像１１０ａ〜１１０ｄ（後の図１０等参照）を生成する。映像結合生成部１１０は、映像切り出し部で切り出した映像の結合処理が終了すると、撮影角度算出部１０４の算出結果（撮影角度）の全てについて映像の結合処理が終了したかどうかを問い合わせる信号を車体角度判定部１０５に出力する。撮影角度算出部１０４の算出結果が複数あり、他の映像の結合処理が必要な場合には、車体角度判定部１０５は残りの他の算出結果について判定結果をカメラ指定部１０７に順次出力する。映像結合生成部１１０は、撮影角度算出部１０４の算出結果の全てについて判定が終了した旨の信号が車体角度判定部１０５から出力され、映像の結合処理が終了してキャリブレーション映像１１０ａ〜１１０ｄの生成処理が終了すると、生成したキャリブレーション映像１１０ａ〜１１０ｄを補正値算出部１１１に出力する。
The image
補正値算出部１１１は、複数のカメラ１１ａ〜１１ｄの取付位置および取付角度の誤差を補正するための補正値をキャリブレーション映像１１０ａ〜１１０ｄに基づいて算出し、カメラ取付位置記憶部１２５に出力するものである。
The correction
図７Ａは、キャリブレーション部の補正値算出部の処理機能を示す機能ブロック図である。 FIG. 7A is a functional block diagram showing a processing function of the correction value calculation unit of the calibration unit.
図７Ａにおいて、補正値算出部１１１は、映像取得部１１２、マーカ位置設定部１１３、及び、取付誤差算出部１１４の各機能部により構成されている。
In FIG. 7A, the correction
映像取得部１１２は、映像結合生成部１１０で生成されたキャリブレーション映像１１０ａ〜１１０ｄを取得する。マーカ位置設定部１１３は、映像取得部１１２で取得されたキャリブレーション映像１１０ａ〜１１０ｄにおけるキャリブレーションマーカ２０３の位置を設定する。キャリブレーションマーカ２０３の位置の設定には、種々の方法が考えられるが、例えば、オペレータがパソコン１３の画面及び入力装置を用いてキャリブレーション映像１１０ａ〜１１０ｄ上のキャリブレーションマーカ２０３の位置を指定したり、或いは、マーカ位置設定部１１３がキャリブレーション映像１１０ａ〜１１０ｄからキャリブレーションマーカ２０３の特徴を検出する機能を有し、その特徴の検出結果から設定したりする場合が考えられる。取付誤差算出部１１４は、マーカ位置設定部１１３によって設定されたキャリブレーション映像１１０ａ〜１１０ｄ上のマーカの位置とカメラ取付位置記憶部１２５に記憶されているカメラ１１ａ〜１１ｄの取付位置および取付角度から取付誤差を算出し、補正値としてカメラ取付位置記憶部１２５に出力する。
The
ここで、本実施の形態におけるキャリブレーション映像の生成処理の流れについて説明する。本実施の形態では、上部旋回体３の前後左右にカメラ１１ａ〜１１ｄが配置され、車体の右後方に１つのキャリブレーションマーカ２０３が配置されている場合を例示している。すなわち、本実施の形態では、カメラ１１ａ〜１１ｄの撮影範囲の重複する範囲は４つとなる。
Here, the flow of the calibration video generation process in the present embodiment will be described. In the present embodiment, the case where the
図９、図１１、図１３、及び、図１５は、キャリブレーション映像の生成処理の流れの一例を示す図であり、上部旋回体の方向とキャリブレーションマーカの位置との関係をそれぞれ示す上面図である。また、図１０、図１２、図１４、及び、図１６は、それぞれ、図９、図１１、図１３、図１５の場面におけるキャリブレーション映像を模式的に示す図である。図９、図１１、図１３、図１５においては、上部旋回体３の旋回中心を通って車体の前後方向および左右方向に延びる補助線２０１，２０２を示し、車体の前方を方向Ａ、左方向を方向Ｂ、後方を方向Ｃ、右方向を方向Ｄと定義する。
9, FIG. 11, FIG. 13, and FIG. 15 are views showing an example of the flow of the calibration image generation process, and are top views showing the relationship between the direction of the upper swing body and the position of the calibration marker, respectively. Is. In addition, FIGS. 10, 12, 14, and 16 are diagrams schematically showing calibration images in the scenes of FIGS. 9, 11, 13, and 15, respectively. 9, 11, 13, and 15 show
例えば、図９に示すように、上部旋回体３が車体の前方（方向Ａ）を向き、車体の右後方（方向Ｃ，Ｄの間）に１つのキャリブレーションマーカ２０３が配置されている場合を初期状態とする。この場合、カメラ１１ｃの撮影範囲の左側とカメラ１１ｄの撮影範囲の右側が重複し、かつ、その重複範囲にキャリブレーションマーカ２０３が位置している。このとき、車体角度判定部１０５では、カメラ１１ｃ，１１ｄにより撮影する旋回角度であると判定し、カメラ指定部１０７では、カメラ１１ｃ，１１ｄを指定し、映像切り出し部１０９では、カメラ１１ｃの映像の左側とカメラ１１ｄの映像の右側においてキャリブレーションマーカ２０３を含む範囲を切り出す。なお、ガイダンス部１０６において、必要に応じてキャリブレーション映像の生成中であることを示す文字列を表示装置１７に表示させるようにしても良い。
For example, as shown in FIG. 9, a case where the
このとき、図１０に示すように、映像結合生成部１１０は、映像切り出し部１０９で切り出した映像を上部旋回体３の後方を撮影するカメラ１１ｃのキャリブレーション映像１１０ｃの左側映像１１０ｃＬ、および、上部旋回体３の右方向を撮影するカメラ１１ｄのキャリブレーション映像１１０ｄの右側映像１１０ｄＲとして結合する。
At this time, as shown in FIG. 10, the image
続いて、車体角度判定部１０５では、撮影角度算出部１０４の他の算出結果についてキャリブレーション映像１１０ａ〜１１０ｄの生成を継続する。例えば、図１１に示すように、上部旋回体３が車体の左方向（方向Ｂ）を向いた状態、すなわち、カメラ１１ｂの撮影範囲の左側とカメラ１１ｃの撮影範囲の右側が重複し、かつ、その重複範囲にキャリブレーションマーカ２０３が位置している状態をキャリブレーション映像１１０ａ〜１１０ｄの生成を行う次の姿勢とする。このとき、車体角度判定部１０５では撮影する旋回角度ではないと判定し、ガイダンス部１０６は、左へ９０°旋回するように（すなわち、図９の姿勢から図１１の姿勢に旋回するように）オペレータに指示するガイダンス画面を表示装置１７に表示する。
Subsequently, the vehicle body
オペレータがガイダンス画面の指示に従って上部旋回体３を旋回させ、図１１に示す姿勢となると、車体角度判定部１０５では、カメラ１１ｂ，１１ｃにより撮影する旋回角度であると判定し、カメラ指定部１０７では、カメラ１１ｂ，１１ｃを指定し、映像切り出し部１０９では、カメラ１１ｂの映像の左側とカメラ１１ｃの映像の右側においてキャリブレーションマーカ２０３を含む範囲を切り出す。なお、ガイダンス部１０６において、必要に応じてキャリブレーション映像の生成中であることを示す文字列を表示装置１７に表示させるようにしても良い。
When the operator turns the
このとき、図１２に示すように、映像結合生成部１１０は、映像切り出し部１０９で切り出した映像を上部旋回体３の左方向を撮影するカメラ１１ｂのキャリブレーション映像１１０ｂの左側映像１１０ｂＬ、および、上部旋回体３の後方を撮影するカメラ１１ｃのキャリブレーション映像１１０ｃの右側映像１１０ｃＲとして結合する。
At this time, as shown in FIG. 12, the image
続いて、車体角度判定部１０５では、撮影角度算出部１０４のさらに他の算出結果についてキャリブレーション映像１１０ａ〜１１０ｄの生成を継続する。例えば、図１３に示すように、上部旋回体３が車体の後方（方向Ｃ）を向いた状態、すなわち、カメラ１１ａの撮影範囲の左側とカメラ１１ｂの撮影範囲の右側が重複し、かつ、その重複範囲にキャリブレーションマーカ２０３が位置している状態をキャリブレーション映像１１０ａ〜１１０ｄの生成を行う次の姿勢とする。このとき、車体角度判定部１０５では撮影する旋回角度ではないと判定し、ガイダンス部１０６は、左へ９０°旋回するように（すなわち、図１１の姿勢から図１３の姿勢に旋回するように）オペレータに指示するガイダンス画面を表示装置１７に表示する。
Subsequently, the vehicle body
オペレータがガイダンス画面の指示に従って上部旋回体３を旋回させ、図１３に示す姿勢となると、車体角度判定部１０５では、カメラ１１ａ，１１ｂにより撮影する旋回角度であると判定し、カメラ指定部１０７では、カメラ１１ａ，１１ｂを指定し、映像切り出し部１０９では、カメラ１１ａの映像の左側とカメラ１１ｂの映像の右側においてキャリブレーションマーカ２０３を含む範囲を切り出す。なお、ガイダンス部１０６において、必要に応じてキャリブレーション映像の生成中であることを示す文字列を表示装置１７に表示させるようにしても良い。
When the operator turns the
このとき、図１４に示すように、映像結合生成部１１０は、映像切り出し部１０９で切り出した映像を上部旋回体３の前方を撮影するカメラ１１ａのキャリブレーション映像１１０ａの左側映像１１０ａＬ、および、上部旋回体３の左方向を撮影するカメラ１１ｂのキャリブレーション映像１１０ｂの右側映像１１０ｂＲとして結合する。
At this time, as shown in FIG. 14, the image
続いて、車体角度判定部１０５では、撮影角度算出部１０４のさらに他の算出結果についてキャリブレーション映像１１０ａ〜１１０ｄの生成を継続する。例えば、図１５に示すように、上部旋回体３が車体の右方向（方向Ｄ）を向いた状態、すなわち、カメラ１１ｄの撮影範囲の左側とカメラ１１ａの撮影範囲の右側が重複し、かつ、その重複範囲にキャリブレーションマーカ２０３が位置している状態をキャリブレーション映像１１０ａ〜１１０ｄの生成を行う次の姿勢とする。このとき、車体角度判定部１０５では撮影する旋回角度ではないと判定し、ガイダンス部１０６は、左へ９０°旋回するように（すなわち、図１３の姿勢から図１５の姿勢に旋回するように）オペレータに指示するガイダンス画面を表示装置１７に表示する。
Subsequently, the vehicle body
オペレータがガイダンス画面の指示に従って上部旋回体３を旋回させ、図１５に示す姿勢となると、車体角度判定部１０５では、カメラ１１ｄ，１１ａにより撮影する旋回角度であると判定し、カメラ指定部１０７では、カメラ１１ｄ，１１ａを指定し、映像切り出し部１０９では、カメラ１１ａの映像の左側とカメラ１１ａの映像の右側においてキャリブレーションマーカ２０３を含む範囲を切り出す。なお、ガイダンス部１０６において、必要に応じてキャリブレーション映像の生成中であることを示す文字列を表示装置１７に表示させるようにしても良い。
When the operator turns the
このとき、図１６に示すように、映像結合生成部１１０は、映像切り出し部１０９で切り出した映像を上部旋回体３の右方向を撮影するカメラ１１ｄのキャリブレーション映像１１０ｄの左側映像１１０ｄＬ、および、上部旋回体３の前方を撮影するカメラ１１ａのキャリブレーション映像１１０ａの右側映像１１０ａＲとして結合する。
At this time, as shown in FIG. 16, the image
以上のように構成した本実施の形態における周囲表示装置の処理の流れについて詳細に説明する。 The processing flow of the surrounding display device according to the present embodiment configured as described above will be described in detail.
図５Ｂはキャリブレーション部全体の処理を示すフローチャートであり、図６Ｂはガイダンス部のガイダンス処理を示すフローチャートであり、図７Ｂは補正値算出部の補正値算出処理を示すフローチャートである。 FIG. 5B is a flowchart showing the processing of the entire calibration unit, FIG. 6B is a flowchart showing the guidance processing of the guidance unit, and FIG. 7B is a flowchart showing the correction value calculation processing of the correction value calculation unit.
図５Ｂにおいて、キャリブレーション部１００の撮影角度算出部１０４は、まず、マーカ位置記憶部１０３に記憶されたキャリブレーションマーカ２０３の位置に基づいて、画像重複範囲でのキャリブレーションマーカ２０３の撮影角度を算出する（ステップＳ１００）。本実施の形態では、１つのキャリブレーションマーカ２０３を４つの画像重複範囲で撮影する場合を例示しており、したがって、撮影角度算出部１０４では４つの撮影角度が算出される（図９〜図１６等参照）。
In FIG. 5B, the shooting
続いて、車体角度判定部１０５は、旋回角度検出部１０１から旋回角度を読み込み（ステップＳ１１０）、車体角度と撮影角度算出部１０４で算出された撮影角度とを比較して（ステップＳ１２０）、車体角度が撮影角度であるかどうかを判定する（ステップＳ１３０）。
Subsequently, the vehicle body
ステップＳ１３０での判定結果がＮＯである場合には、旋回角度が撮影角度となるような旋回操作をオペレータに促すガイダンス処理を行う（ステップＳ２００：図６Ｂ）。 If the determination result in step S130 is NO, guidance processing is performed to prompt the operator to perform a turning operation so that the turning angle becomes the shooting angle (step S200: FIG. 6B).
図６Ｂに示すように、ガイダンス処理（ステップＳ２００）において、ガイダンス部１０６の目標旋回方向判定部１３０は、車体角度判定部１０５からの算出結果、すなわち、撮影角度と旋回角度の差分を読み込み（ステップＳ２１０）、その差分の正負に基づいて目標旋回方向を判定する（ステップＳ２２０）。例えば、撮影角度と旋回角度との差分が９０°（正の値）である場合には、目標旋回方向が右方向であると判定する。
As shown in FIG. 6B, in the guidance process (step S200), the target turning
続いて、ガイダンス部１０６のガイダンス映像作成部１３１は、ステップＳ２２０での判定結果に基づいて、ガイダンスパターン記憶部１３２からガイダンス画面の生成に用いる図形等（例えば、右旋回をオペレータに指示する矢印図形）を読み出し（ステップＳ２３０）、旋回方向や旋回角度をオペレータに指示するガイダンス映像（図８参照）を作成し（ステップＳ２４０）、作成したガイダンス映像を表示装置に出力する（ステップＳ２５０）。ガイダンス映像は、例えば、図８で示したように、右旋回を矢印図形で指示し、数値（ここでは、９０°）で旋回角度を指示する。
Subsequently, the guidance
また、ステップＳ１３０での判定結果がＹＥＳである場合、すなわち、車体角度判定部１０５で車体角度が撮影角度であると判定された場合には、カメラ指定部１０７は、複数のカメラ１１ａ〜１１ｄのうち、画像重複範囲にキャリブレーションマーカ２０３が含まれるカメラを撮影を行うカメラとして指定する（ステップＳ１４０）。本実施の形態においては、例えば、撮影するカメラの指定が初回の場合、図９で説明したようにカメラ１１ｃ，１１ｄが指定される。続いて、撮影部１０８は、ステップＳ１４０においてカメラ指定部１０７で指定されたカメラ１１ｃ，１１ｄで撮影を行い（ステップＳ１５０）、映像切り出し部１０９はカメラ１１ｃ，１１ｄからの映像を取得して（ステップＳ１６０）、キャリブレーションマーカ２０３が含まれる範囲を切り出す（ステップＳ１７０）。
Further, when the determination result in step S130 is YES, that is, when the vehicle body
続いて、ステップＳ１７０において映像切り出し部１０９で切り出された画像は、図１０で説明したように、キャリブレーション映像１１０ｃの左側映像１１０ｃＬ及びキャリブレーション映像１１０ｄの右側映像１１０ｄＲとして結合される（ステップＳ１８０）。
Subsequently, the images cut out by the
ここで、映像結合生成部１１０は、撮影角度算出部１０４で算出された全ての撮影角度で撮影を行ったかどうかを判定し（ステップＳ１９０）、判定結果がＮＯの場合には、ステップＳ２００の処理（ガイダンス処理）に戻り、全ての撮影角度での撮影が終了するまでステップＳ１１０〜Ｓ１８０の処理を繰り返す。すなわち、例えば、ステップＳ１４０でのカメラ指定部１０７による２回目のカメラの指定においては図１１で説明したようにカメラ１１ｂ，１１ｃが指定され、ステップＳ１７０，Ｓ１８０では図１２で説明したように映像切り出し部１０９で切り出された画像がキャリブレーション映像１１０ｂの左側映像１１０ｂＬ及びキャリブレーション映像１１０ｃの右側映像１１０ｃＲとして結合される。同様に、ステップＳ１４０でのカメラ指定部１０７による３回目のカメラの指定においては図１３で説明したようにカメラ１１ａ，１１ｂが指定され、ステップＳ１７０，Ｓ１８０では図１４で説明したように映像切り出し部１０９で切り出された画像がキャリブレーション映像１１０ａの左側映像１１０ａＬ及びキャリブレーション映像１１０ｂの右側映像１１０ｂＲとして結合される。また、ステップＳ１４０でのカメラ指定部１０７による４回目のカメラの指定においては図１５で説明したようにカメラ１１ａ，１１ｄが指定され、ステップＳ１７０，Ｓ１８０では図１６で説明したように映像切り出し部１０９で切り出された画像がキャリブレーション映像１１０ａの右側映像１１０ａＲ及びキャリブレーション映像１１０ｄの左側映像１１０ｄＬとして結合される。
Here, the video
ステップＳ１９０での判定結果がＹＥＳの場合、すなわち、撮影角度算出部１０４で算出された全ての撮影角度で撮影を行った場合には、補正値算出処理を行う（ステップＳ３００：図７Ｂ）。
When the determination result in step S190 is YES, that is, when shooting is performed at all the shooting angles calculated by the shooting
図７Ｂに示すように、補正値算出処理（ステップＳ３００）において、補正値算出部１１１の映像取得部１１２は、映像結合生成部１１０で生成されたキャリブレーション映像１１０ａ〜１１０ｄを取得する（ステップＳ３１０）。続いて、マーカ位置設定部１１３は、キャリブレーション映像１１０ａ〜１１０ｄ中のキャリブレーションマーカの位置を設定する（ステップＳ３２０）。続いて、取付誤差算出部１１４は、キャリブレーション映像１１０ａ〜１１０ｄ上のマーカの位置とカメラ取付位置記憶部１２５に記憶されているカメラ１１ａ〜１１ｄの取付位置および取付角度から取付誤差を算出し（ステップＳ３３０）、算出した取付誤差を補正値としてカメラ取付位置記憶部１２５に出力する（ステップ）。
As shown in FIG. 7B, in the correction value calculation process (step S300), the
以上のように構成した本実施の形態における効果を説明する。 The effects of the present embodiment configured as described above will be described.
作業機械は屋外で使用されることが多く、また、キャリブレーションのマーカを設置するためにはある程度広いスペースが必要になるため、キャリブレーションの実施についても屋外で行われることが多い。しかしながら、屋外でのキャリブレーションを考える場合には、マーカに太陽光のような強い光が当たってカメラへの反射光が強くなると、映像が白飛びしてマーカを確認できなくなってしまう恐れがある。また、複数のマーカを用いる必要があるため、設置の作業工数に関するコストやマーカ自体の取得のためのコストも必要となる。 Since the work machine is often used outdoors and a large space is required to install the calibration marker, the calibration is often performed outdoors. However, when considering outdoor calibration, if the marker is exposed to strong light such as sunlight and the reflected light to the camera becomes stronger, the image may be overexposed and the marker may not be visible. .. In addition, since it is necessary to use a plurality of markers, costs related to installation work man-hours and costs for acquiring the markers themselves are also required.
これに対して本実施の形態においては、１つのキャリブレーションマーカ２０３を用いてキャリブレーションを行う。また、キャリブレーションにおける一連の流れにおいては、キャリブレーションマーカ２０３の位置の変更等も行っていない。したがって、例えば、太陽光のような強い光が当たらないようなキャリブレーションマーカ２０３を配置しなければならない場合にも、１つのキャリブレーションマーカ２０３についてのみ設置する位置を調整すれば良いため設置が容易であり、設置に係る作業工数を抑制することができる。また、設置すべきキャリブレーションマーカ２０３が１つであるので、設置の作業工数に関するコストやマーカ自体の取得のためのコストも抑制することができる。すなわち、本実施の形態においては、キャリブレーションにおける耐環境性を向上し、コストを抑制することができる。
On the other hand, in the present embodiment, calibration is performed using one
＜第２の実施の形態＞
本発明の第２の実施の形態を図１７〜図２０を参照しつつ説明する。本実施の形態では第１の実施の形態との相違点についてのみ説明するものとし、図面において第１の実施の形態と同様の部材には同じ符号を付し、説明を省略する。
<Second Embodiment>
A second embodiment of the present invention will be described with reference to FIGS. 17 to 20. In this embodiment, only the differences from the first embodiment will be described, and the same members as those in the first embodiment are designated by the same reference numerals in the drawings, and the description thereof will be omitted.
本実施の形態は、第１の実施の形態においてキャリブレーションマーカを２つ用いる場合を示すものである。 This embodiment shows a case where two calibration markers are used in the first embodiment.
本実施の形態におけるキャリブレーション映像の生成処理の流れについて説明する。本実施の形態では、上部旋回体３の前後左右にカメラ１１ａ〜１１ｄが配置され、車体の左右後方に１つずつ（合計２つ）のキャリブレーションマーカ２０４，２０５がそれぞれ配置されている場合を例示している。すなわち、本実施の形態では、カメラ１１ａ〜１１ｄの撮影範囲の重複する範囲は４つとなる。
The flow of the calibration video generation process in the present embodiment will be described. In the present embodiment, the
図１７及び図１９は、キャリブレーション映像の生成処理の流れの一例を示す図であり、上部旋回体の方向とキャリブレーションマーカの位置との関係をそれぞれ示す上面図である。また、図１８及び図２０は、それぞれ、図１７及び図１９の場面におけるキャリブレーション映像を模式的に示す図である。図１７及び図１９においては、上部旋回体３の旋回中心を通って車体の前後方向および左右方向に延びる補助線２０１，２０２を示し、車体の前方を方向Ａ、左方向を方向Ｂ、後方を方向Ｃ、右方向を方向Ｄと定義する。
17 and 19 are views showing an example of the flow of the calibration image generation process, and are top views showing the relationship between the direction of the upper swing body and the position of the calibration marker, respectively. 18 and 20, respectively, are diagrams schematically showing calibration images in the scenes of FIGS. 17 and 19, respectively. In FIGS. 17 and 19,
例えば、図１７に示すように、上部旋回体３が車体の前方（方向Ａ）を向き、車体の左右後方（方向Ｂ，Ｃの間、及び、方向Ｃ，Ｄの間）に１つずつのキャリブレーションマーカ２０４，２０５が配置されている場合を初期状態とする。この場合、カメラ１１ｂの撮影範囲の左側とカメラ１１ｃの撮影範囲の右側が重複し、かつ、その重複範囲にキャリブレーションマーカ２０４が位置し、また、カメラ１１ｃの撮影範囲の左側とカメラ１１ｄの撮影範囲の右側が重複し、かつ、その重複範囲にキャリブレーションマーカ２０５が位置している。このとき、車体角度判定部１０５では、カメラ１１ｂ，１１ｃ，１１ｄにより撮影する旋回角度であると判定し、カメラ指定部１０７では、カメラ１１ｂ，１１ｃ，１１ｄを指定し、映像切り出し部１０９では、カメラ１１ｂの映像の左側とカメラ１１ｃの映像の右側においてキャリブレーションマーカ２０４を含む範囲を切り出し、カメラ１１ｃの映像の左側とカメラ１１ｄの映像の右側においてキャリブレーションマーカ２０５を含む範囲を切り出す。なお、ガイダンス部１０６において、必要に応じてキャリブレーション映像の生成中であることを示す文字列を表示装置１７に表示させるようにしても良い。
For example, as shown in FIG. 17, the
このとき、図１８に示すように、映像結合生成部１１０は、映像切り出し部１０９で切り出した映像を上部旋回体３の左方向を撮影するカメラ１１ｂのキャリブレーション映像１１０ｂの左側映像１１０ｂＬ、上部旋回体３の後方を撮影するカメラ１１ｃのキャリブレーション映像１１０ｃの右側映像１１０ｃＲ、上部旋回体３の後方を撮影するカメラ１１ｃのキャリブレーション映像１１０ｃの左側映像１１０ｃＬ、および、上部旋回体３の右方向を撮影するカメラ１１ｄのキャリブレーション映像１１０ｄの右側映像１１０ｄＲとして結合する。
At this time, as shown in FIG. 18, the image
続いて、車体角度判定部１０５では、撮影角度算出部１０４の他の算出結果についてキャリブレーション映像１１０ａ〜１１０ｄの生成を継続する。例えば、図１９に示すように、上部旋回体３が車体の後方（方向Ｃ）を向いた状態、すなわち、カメラ１１ｄの撮影範囲の左側とカメラ１１ａの撮影範囲の右側が重複し、かつ、その重複範囲にキャリブレーションマーカ２０４が位置し、また、カメラ１１ａの撮影範囲の左側とカメラ１１ｂの撮影範囲の右側が重複し、かつ、その重複範囲にキャリブレーションマーカ２０５が位置している状態をキャリブレーション映像１１０ａ〜１１０ｄの生成を行う次の姿勢とする。このとき、車体角度判定部１０５では撮影する旋回角度ではないと判定し、ガイダンス部１０６は、左（又は右）へ１８０°旋回するように（すなわち、図１７の姿勢から図１９の姿勢に旋回するように）オペレータに指示するガイダンス画面を表示装置１７に表示する。
Subsequently, the vehicle body
オペレータがガイダンス画面の指示に従って上部旋回体３を旋回させ、図１９に示す姿勢となると、車体角度判定部１０５では、カメラ１１ａ，１１ｂ，１１ｄにより撮影する旋回角度であると判定し、カメラ指定部１０７では、カメラ１１ａ，１１ｂ，１１ｄを指定し、撮影部１０８ではカメラ指定部１０７で指定されたカメラ１１ａ，１１ｂ，１１ｄを駆動して映像を撮影するとともに映像切り出し部１０９に出力し、映像切り出し部１０９では、カメラ１１ｄの映像の左側とカメラ１１ａの映像の右側においてキャリブレーションマーカ２０４を含む範囲を切り出し、カメラ１１ａの映像の左側とカメラ１１ｂの映像の右側においてキャリブレーションマーカ２０５を含む範囲を切り出す。なお、ガイダンス部１０６において、必要に応じてキャリブレーション映像の生成中であることを示す文字列を表示装置１７に表示させるようにしても良い。
When the operator turns the
このとき、図２０に示すように、映像結合生成部１１０は、映像切り出し部１０９で切り出した映像を上部旋回体３の右方向を撮影するカメラ１１ｄのキャリブレーション映像１１０ｄの左側映像１１０ｄＬ、上部旋回体３の前方を撮影するカメラ１１ａのキャリブレーション映像１１０ａの右側映像１１０ａＲ、上部旋回体３の前方を撮影するカメラ１１ａのキャリブレーション映像１１０ａの左側映像１１０ａＬ、および、上部旋回体３の左方向を撮影するカメラ１１ｂのキャリブレーション映像１１０ｂの右側映像１１０ｂＲとして結合する。
At this time, as shown in FIG. 20, the image
その他の構成は第１の実施の形態と同様である。 Other configurations are the same as in the first embodiment.
以上のように構成した本実施の形態においても第１の実施の形態と同様の効果を得ることができる。 Also in the present embodiment configured as described above, the same effect as that of the first embodiment can be obtained.
＜第３の実施の形態＞
本発明の第３の実施の形態を図２１及び図２２を参照しつつ説明する。本実施の形態では第１の実施の形態との相違点についてのみ説明するものとし、図面において第１の実施の形態と同様の部材には同じ符号を付し、説明を省略する。
<Third embodiment>
A third embodiment of the present invention will be described with reference to FIGS. 21 and 22. In this embodiment, only the differences from the first embodiment will be described, and the same members as those in the first embodiment are designated by the same reference numerals in the drawings, and the description thereof will be omitted.
本実施の形態は、第１の実施の形態において、オペレータによる上部旋回体３の旋回操作をアシストする半自動制御を行うものである。
In this embodiment, in the first embodiment, semi-automatic control is performed to assist the turning operation of the
図２１は、制御装置のキャリブレーション部の処理機能を示す機能ブロック図である。また、図２２は、上部旋回体の旋回制御に係る処理機能を旋回制御部とともに抜き出して示す機能ブロック図である。 FIG. 21 is a functional block diagram showing a processing function of the calibration unit of the control device. Further, FIG. 22 is a functional block diagram showing the processing function related to the turning control of the upper turning body by extracting it together with the turning control unit.
図２１において、キャリブレーション部１００Ａは、マーカ位置記憶部１０３、撮影角度算出部１０４、車体角度判定部１０５、ガイダンス部１０６、カメラ指定部１０７、撮影部１０８、映像切り出し部１０９、映像結合生成部１１０、補正値算出部１１１、及び、旋回制御判定部１４０の各機能部により構成されている。
In FIG. 21, the
車体角度判定部１０５は、下部走行体２に対する上部旋回体３の旋回角度を検出する旋回角度検出部１０１からの検出結果と撮影角度算出部１０４の算出結果とに基づいて、カメラ１１ａ〜１１ｄによる撮影を行う旋回角度であるかどうか、すなわち、いずれかの画像重複範囲の上部旋回体３における旋回方向中央にキャリブレーションマーカ２０３が位置する旋回角度であるかどうかを判定する。
The vehicle body
車体角度判定部１０５は、例えば、旋回角度検出部１０１の検出結果（旋回角度）から撮影角度算出部１０４の算出結果（撮影角度）を除することでその差分を算出し、その差分が予め定めた範囲（すなわち、旋回角度が撮影角度に一致したと判定する範囲）内である場合には、カメラ１１ａ〜１１ｄによる撮影を行う旋回角度であると判定し、その判定結果（旋回角度が撮影角度に一致したとする判定結果）を差分に係る情報（差分情報）とともにガイダンス部１０６、カメラ指定部１０７、及び、旋回制御判定部１４０に出力する。
The vehicle body
旋回制御判定部１４０は、車体角度判定部１０５の判定結果に基づいて、オペレータによる上部旋回体３の旋回操作をアシストする半自動制御を行うものである。具体的には、旋回制御判定部１４０は、車体角度判定部１０５によってカメラ１１ａ〜１１ｄによる撮影を行う旋回角度であると判定された場合（すなわち、旋回角度が撮影角度に一致したと判定された場合）に、上部旋回体３の旋回動作を制限して停止させる状態であると判定し、旋回制御部１４１に上部旋回体３の旋回動作を制限して停止させる指示信号を出力する。これにより、車体角度判定部１０５で上部旋回体３の旋回角度が撮影角度の範囲内であると判定された場合に旋回制御部１４１を制御して、下部走行体２に対する上部旋回体３の旋回動作を制限して停止させる。
The turning
旋回制御部１４１は、下部走行体２に対する上部旋回体３の旋回動作を制御するものである。旋回制御部１４１には、操作系圧力生成部１５１（例えば、エンジンなどにより駆動されるパイロットポンプ）によって生成されたパイロット圧を元に旋回操作部１５２（例えば、キャブ６に配置された操作装置）で生成された旋回操作のパイロット圧（旋回操作信号）が入力される。また、上部旋回体３を旋回駆動する旋回動力部１５５（例えば、旋回油圧モータ）には、出力制御部１５４（例えば、コントロールバルブ）を介した動力系圧力生成部１５３（例えば、エンジンなどの原動機により駆動される油圧ポンプ）によって生成され作動油が供給されている。出力制御部１５４は、旋回制御部１４１を介して入力されるパイロット圧（旋回操作信号）に基づいて、動力系圧力生成部１５３から旋回動力部１５５に供給される作動油の流量および方向を制御する。旋回制御部１４１は、旋回制御判定部１４０からの指示信号に基づいて、旋回操作部１５２から出力制御部１５４に入力される旋回操作信号を制限することにより、上部旋回体３の旋回動作を制限（遮断）して停止させる。
The turning
なお、車体角度判定部１０５から得られる旋回角度検出部１０１の検出結果と撮影角度算出部１０４の算出結果の差分の大きさに応じて旋回動作の制限度合いを調整しても良い。例えば、算出結果の差分が小さくなるのに従って旋回動作の制限を強くしていき、差分が０（ゼロ）になった場合（或いは、予め定めた範囲となった場合）に旋回動作を停止させるようにしても良い。これにより、オペレータによる旋回操作での上部旋回体３の位置調整の負担を軽減することができる。
The degree of restriction of the turning operation may be adjusted according to the magnitude of the difference between the detection result of the turning
なお、本発明は上記の各実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内の様々な変形例や組み合わせが含まれる。 The present invention is not limited to each of the above embodiments, and includes various modifications and combinations within a range that does not deviate from the gist thereof.
例えば、複数のカメラ１１ａ〜１１ｄからの映像からキャリブレーションマーカ２０３を検出するマーカ検出部を制御装置２００に新たに備え、撮影角度算出部１０４がマーカ検出部の検出結果に基づいて、複数のカメラ１１ａ〜１１ｄの撮影範囲が重複する範囲に前記キャリブレーションマーカ２０３が入る上部旋回体３の旋回角度を算出するように構成してもよい。また、このとき、カメラ指定部１０７は、マーカ検出部の検出結果に基づいて、複数のカメラ１１ａ〜１１ｄのうち撮影を行うカメラを指定するように構成すれば良い。
For example, the
また、補正値算出部１１１において、入力されるキャリブレーション映像におけるキャリブレーションマーカ２０３の撮影状態から補正値の算出が実行可能かどうかを判定し、判定結果をガイダンス部１０６等を介して表示装置１７に表示し、キャリブレーションの可否をオペレータに報知する映像判定部を備えて構成しても良い。
Further, the correction
次に上記の各実施の形態の特徴について説明する。 Next, the features of each of the above embodiments will be described.
（１）上記の実施の形態では、下部走行体２と、前記下部走行体に対して旋回可能に設けられた上部旋回体３と、前記下部走行体に対する前記上部旋回体の旋回角度を検出する旋回角度検出部１０１と、前記上部旋回体に配置され、前記下部走行体と前記上部旋回体とにより構成された車体の周囲を撮影する複数のカメラ１１ａ〜１１ｄと、前記複数のカメラによって撮影された映像を表示する表示装置１７と、前記複数のカメラの取付位置および取付角度を記憶するカメラ取付位置記憶部１２５、前記カメラ取付位置記憶部に記憶された前記複数のカメラの取付位置及び取付角度に基づいて、前記複数のカメラによってそれぞれ撮影された映像を合成して合成映像を生成し、前記表示装置に出力するカメラ映像結合部１２６、及び、前記複数のカメラの取付位置および取付角度の誤差を補正するための補正値を、前記複数のカメラによって撮影されたキャリブレーションマーカ２０３を含む映像に基づいて算出し、前記カメラ取付位置記憶部に出力する補正値算出部１１１を有する制御装置（例えば、コントローラ１２及びパソコン１３により構成された制御装置２００）とを備えた作業機械（例えば、油圧ショベル１）において、前記制御装置は、前記キャリブレーションマーカの前記車体に対する予め設定された位置を記憶するマーカ位置記憶部１０３と、前記マーカ位置記憶部に記憶された前記キャリブレーションマーカの位置及び前記カメラ取付位置記憶部に記憶された前記複数のカメラの取付位置及び取付角度に基づいて、前記複数のカメラの撮影範囲の予め定めた範囲に前記キャリブレーションマーカが入るような前記上部旋回体の旋回角度の範囲である撮影角度を算出する撮影角度算出部１０４と、前記旋回角度算出部で検出した前記上部旋回体の旋回角度が前記撮影角度算出部で算出した前記撮影角度の範囲内であるかどうかを判定する車体角度判定部１０５と、前記車体角度判定部の判定結果に基づいた情報を前記表示装置に表示して前記作業機械の操作者に前記上部旋回体の旋回操作を指示するガイダンス部１０６と、前記車体角度判定部で前記上部旋回体の旋回角度が前記撮影角度の範囲内であると判定された場合に、前記複数のカメラのうち前記キャリブレーションマーカの撮影を行う前記カメラを決定し、その情報を指定情報として出力するカメラ指定部１０７と、前記カメラ指定部から前記指定情報が出力されると、前記指定情報で指定された前記カメラからの映像を取得する撮影部１０８とをさらに備えたものとした。
(1) In the above embodiment, the
これにより、キャリブレーションにおける耐環境性を向上し、コストを抑制することができる。 As a result, the environmental resistance in calibration can be improved and the cost can be suppressed.
（２）また、上記の実施の形態では、（１）の作業機械（例えば、油圧ショベル１）において、前記制御装置２００は、前記複数のカメラ１１ａ〜１１ｄからの映像から前記キャリブレーションマーカ２０３を検出するマーカ検出部をさらに備え、前記撮影角度算出部１０４は、前記マーカ検出部によって前記キャリブレーションマーカが前記複数のカメラの撮影範囲の予め定めた範囲に入ったことを検知した場合に、その時の前記上部旋回体３の旋回角度に基づいて、前記撮影角度を算出しするものとした。
(2) Further, in the above-described embodiment, in the work machine (for example, hydraulic excavator 1) of (1), the
（３）また、上記の実施の形態では、（１）の作業機械（例えば、油圧ショベル１）において、前記制御装置２００は、前記撮影部で取得した前記カメラ１１ａ〜１１ｄの映像から前記キャリブレーションマーカ２０３を含む所定の範囲を切り出す映像切り出し部１０９をさらに備え、前記カメラ映像結合部１２６は、前記映像切り出し部で切り出した映像を前記複数のカメラのそれぞれについて結合し、前記補正値算出部１１１で用いるキャリブレーション映像を前記複数のカメラのそれぞれについて生成する映像結合生成部１１０とを備え、前記補正値算出部は、前記映像結合生成部で生成された前記キャリブレーション映像を用いて前記補正値を算出するものとした。
(3) Further, in the above embodiment, in the work machine (for example, hydraulic excavator 1) of (1), the
（４）また、上記の実施の形態では、（１）の作業機械（例えば、油圧ショベル１）において、前記補正値算出部１１１は、前記キャリブレーションマーカ２０３の撮影状態から前記補正値の算出が実行可能かどうかを判定し、実行不可であると判定された場合に前記判定結果を前記表示装置１７に表示して、オペレータに前記補正値の算出が出来ないことを報知する映像判定部を備えたものとした。
(4) Further, in the above embodiment, in the work machine (for example, the hydraulic excavator 1) of (1), the correction
（５）また、上記の実施の形態では、（１）の作業機械（例えば、油圧ショベル１）において、前記下部走行体に対する前記上部旋回体の旋回動作を制御する旋回制御部１４１をさらに備え、前記制御装置２００は、前記車体角度判定部で前記上部旋回体の旋回角度が前記撮影角度の範囲内であると判定された場合に前記旋回制御部を制御して、前記下部走行体２に対する前記上部旋回体の旋回動作を制限して停止させる旋回制御部１４１をさらに備えたものとした。
(5) Further, in the above-described embodiment, the work machine (for example, the hydraulic excavator 1) of (1) is further provided with a turning
＜付記＞
なお、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内の様々な変形例や組み合わせが含まれる。また、本発明は、上記の実施の形態で説明した全ての構成を備えるものに限定されず、その構成の一部を削除したものも含まれる。また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等により実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。
<Additional notes>
The present invention is not limited to the above-described embodiment, and includes various modifications and combinations within a range that does not deviate from the gist thereof. Further, the present invention is not limited to the one including all the configurations described in the above-described embodiment, and includes the one in which a part of the configurations is deleted. Further, each of the above configurations, functions and the like may be realized by designing a part or all of them by, for example, an integrated circuit. Further, each of the above configurations, functions, and the like may be realized by software by the processor interpreting and executing a program that realizes each function.
１…油圧ショベル、２…下部走行体、３…上部旋回体、４…フロント作業機、５…旋回フレーム、６…キャブ、７…建屋カバー、７Ａ…側面板、７Ｂ…上面板、８…エンジンカバー、１０…カウンタウエイト、１１ａ〜１１ｄ…カメラ、１２…コントローラ、１３…パソコン、１４…映像切替スイッチ、１５…画面、１６…自車アイコン、１７…表示装置、１８…俯瞰映像、１８ａ〜１８ｄ…映像、５０…キャリブレーションモード表示部、５１…旋回操作指示表示部、５１ａ…旋回操作指示補助表示部、１００，１００Ａ…キャリブレーション部、１０１…旋回角度検出部、１０２…マーカ位置指定部、１０３…マーカ位置記憶部、１０４…撮影角度算出部、１０５…車体角度判定部、１０６…ガイダンス部、１０７…カメラ指定部、１０８…撮影部、１０９…映像切り出し部、１１０…映像結合生成部、１１０ａ〜１１０ｄ…キャリブレーション映像、１１１…補正値算出部、１１２…映像取得部、１１３…マーカ位置設定部、１１４…取付誤差算出部、１２１…映像合成部、１２２…映像記憶部、１２３…結合パターン記憶部、１２４…結合パターン設定部、１２５…カメラ取付位置記憶部、１２６…カメラ映像結合部、１３０…目標旋回方向判定部、１３１…ガイダンス映像作成部、１３２…ガイダンスパターン記憶部、１４０…旋回制御判定部、１４１…旋回制御部、１５１…操作系圧力生成部、１５２…旋回操作部、１５３…動力系圧力生成部、１５４…出力制御部、１５５…旋回動力部、２００…制御装置、２０３〜２０５…キャリブレーションマーカ 1 ... hydraulic excavator, 2 ... lower traveling body, 3 ... upper swivel body, 4 ... front work machine, 5 ... swivel frame, 6 ... cab, 7 ... building cover, 7A ... side plate, 7B ... top plate, 8 ... engine Cover, 10 ... counter weight, 11a to 11d ... camera, 12 ... controller, 13 ... personal computer, 14 ... video selector switch, 15 ... screen, 16 ... own vehicle icon, 17 ... display device, 18 ... bird's-eye view video, 18a to 18d ... video, 50 ... calibration mode display unit, 51 ... turning operation instruction display unit, 51a ... turning operation instruction auxiliary display unit, 100, 100A ... calibration unit, 101 ... turning angle detection unit, 102 ... marker position designation unit, 103 ... Marker position storage unit, 104 ... Shooting angle calculation unit, 105 ... Body angle determination unit, 106 ... Guidance unit, 107 ... Camera designation unit, 108 ... Shooting unit, 109 ... Video cropping unit, 110 ... Video combination generation unit, 110a to 110d ... Calibration video, 111 ... Correction value calculation unit, 112 ... Video acquisition unit, 113 ... Marker position setting unit, 114 ... Mounting error calculation unit, 121 ... Video synthesis unit, 122 ... Video storage unit, 123 ... Combined Pattern storage unit, 124 ... Coupling pattern setting unit, 125 ... Camera mounting position storage unit, 126 ... Camera image coupling unit, 130 ... Target turning direction determination unit, 131 ... Guidance image creation unit, 132 ... Guidance pattern storage unit, 140 ... Swivel control determination unit, 141 ... Swivel control unit, 151 ... Operation system pressure generation unit, 152 ... Swivel operation unit, 153 ... Power system pressure generation unit, 154 ... Output control unit, 155 ... Swivel power unit, 200 ... Control device, 203-205 ... Calibration marker
Claims (5)
前記下部走行体に対して旋回可能に設けられた上部旋回体と、
前記下部走行体に対する前記上部旋回体の旋回角度を検出する旋回角度検出部と、
前記上部旋回体に配置され、前記下部走行体と前記上部旋回体とにより構成された車体の周囲を撮影する複数のカメラと、
前記複数のカメラによって撮影された映像を表示する表示装置と、
前記複数のカメラの取付位置および取付角度を記憶するカメラ取付位置記憶部、前記カメラ取付位置記憶部に記憶された前記複数のカメラの取付位置及び取付角度に基づいて、前記複数のカメラによってそれぞれ撮影された映像を合成して合成映像を生成し、前記表示装置に出力するカメラ映像結合部、及び、前記複数のカメラの取付位置および取付角度の誤差を補正するための補正値を、前記複数のカメラによって撮影されたキャリブレーションマーカを含む映像に基づいて算出し、前記カメラ取付位置記憶部に出力する補正値算出部を有する制御装置とを備えた作業機械において、
前記制御装置は、
前記キャリブレーションマーカの前記車体に対する予め設定された位置を記憶するマーカ位置記憶部と、
前記マーカ位置記憶部に記憶された前記キャリブレーションマーカの位置及び前記カメラ取付位置記憶部に記憶された前記複数のカメラの取付位置および取付角度に基づいて、前記複数のカメラの撮影範囲の予め定めた範囲に前記キャリブレーションマーカが入るような前記上部旋回体の旋回角度の範囲である撮影角度を算出する撮影角度算出部と、
前記旋回角度検出部で検出した前記上部旋回体の旋回角度が前記撮影角度算出部で算出した前記撮影角度の範囲内であるかどうかを判定する車体角度判定部と、
前記車体角度判定部の判定結果に基づいた情報を前記表示装置に表示して前記作業機械の操作者に前記上部旋回体の旋回操作を指示するガイダンス部と、
前記車体角度判定部で前記上部旋回体の旋回角度が前記撮影角度の範囲内であると判定された場合に、前記複数のカメラのうち前記キャリブレーションマーカの撮影を行う前記カメラを決定し、その情報を指定情報として出力するカメラ指定部と、
前記カメラ指定部から前記指定情報が出力されると、前記指定情報で指定された前記カメラからの映像を取得する撮影部とをさらに備えたことを特徴とする作業機械。 With the lower running body,
An upper swivel body provided so as to be swivel with respect to the lower traveling body,
A turning angle detection unit that detects the turning angle of the upper turning body with respect to the lower traveling body,
A plurality of cameras arranged on the upper swivel body and photographing the surroundings of the vehicle body composed of the lower traveling body and the upper swivel body, and
A display device that displays images taken by the plurality of cameras, and
Photographed by the plurality of cameras based on the camera mounting position storage unit that stores the mounting positions and mounting angles of the plurality of cameras, and the mounting positions and mounting angles of the plurality of cameras stored in the camera mounting position storage unit. The camera image coupling unit that synthesizes the combined images to generate a composite image and outputs it to the display device, and the plurality of correction values for correcting errors in the mounting positions and mounting angles of the plurality of cameras. In a work machine equipped with a control device having a correction value calculation unit that calculates based on an image including a calibration marker taken by a camera and outputs it to the camera mounting position storage unit.
The control device is
A marker position storage unit that stores a preset position of the calibration marker with respect to the vehicle body,
The shooting range of the plurality of cameras is predetermined based on the position of the calibration marker stored in the marker position storage unit and the mounting positions and mounting angles of the plurality of cameras stored in the camera mounting position storage unit. A shooting angle calculation unit that calculates a shooting angle that is a range of the turning angle of the upper swing body such that the calibration marker is included in the range.
A vehicle body angle determination unit that determines whether or not the turning angle of the upper swivel body detected by the turning angle detection unit is within the range of the shooting angle calculated by the shooting angle calculation unit.
A guidance unit that displays information based on the determination result of the vehicle body angle determination unit on the display device and instructs the operator of the work machine to perform the rotation operation of the upper swing body.
When the vehicle body angle determination unit determines that the turning angle of the upper swinging body is within the range of the shooting angle, the camera that shoots the calibration marker is determined among the plurality of cameras, and the camera is determined. A camera designation unit that outputs information as designated information,
A work machine further provided with a photographing unit that acquires an image from the camera designated by the designated information when the designated information is output from the camera designated unit.
前記制御装置は、前記複数のカメラからの映像から前記キャリブレーションマーカを検出するマーカ検出部をさらに備え、
前記撮影角度算出部は、前記マーカ検出部によって前記キャリブレーションマーカが前記複数のカメラの撮影範囲の予め定めた範囲に入ったことを検知した場合に、その時の前記上部旋回体の旋回角度に基づいて、前記撮影角度を算出することを特徴とする作業機械。 In the work machine according to claim 1,
The control device further includes a marker detection unit that detects the calibration marker from images from the plurality of cameras.
When the marker detection unit detects that the calibration marker has entered a predetermined range of the shooting range of the plurality of cameras, the shooting angle calculation unit is based on the turning angle of the upper swivel body at that time. A work machine characterized by calculating the shooting angle.
前記制御装置は、前記撮影部で取得した前記カメラの映像から前記キャリブレーションマーカを含む所定の範囲を切り出す映像切り出し部と、
前記映像切り出し部で切り出した映像を前記複数のカメラのそれぞれについて結合し、前記補正値算出部で用いるキャリブレーション映像を前記複数のカメラのそれぞれについて生成する映像結合生成部とをさらに備え、
前記補正値算出部は、前記映像結合生成部で生成された前記キャリブレーション映像を用いて前記補正値を算出することを特徴とする作業機械。 In the work machine according to claim 1,
The control device includes an image cutting unit that cuts out a predetermined range including the calibration marker from the image of the camera acquired by the photographing unit.
An image combination generation unit that combines the images cut out by the image cutting unit for each of the plurality of cameras and generates a calibration image used in the correction value calculation unit for each of the plurality of cameras is further provided.
The correction value calculation unit is a work machine characterized in that the correction value is calculated using the calibration image generated by the image combination generation unit.
前記補正値算出部は、前記キャリブレーションマーカの撮影状態から前記補正値の算出が実行可能かどうかを判定し、実行不可であると判定された場合に判定結果を前記表示装置に表示して、オペレータに前記補正値の算出が出来ないことを報知する映像判定部を備えたことを特徴とする作業機械。 In the work machine according to claim 1,
The correction value calculation unit determines whether or not the calculation of the correction value can be executed from the shooting state of the calibration marker, and if it is determined that the calculation of the correction value cannot be executed, the determination result is displayed on the display device. A work machine provided with an image determination unit for notifying an operator that the correction value cannot be calculated.
前記下部走行体に対する前記上部旋回体の旋回動作を制御する旋回制御部をさらに備え、
前記制御装置は、前記車体角度判定部で前記上部旋回体の旋回角度が前記撮影角度の範囲内であると判定された場合に前記旋回制御部を制御して、前記下部走行体に対する前記上部旋回体の旋回動作を制限して停止させる旋回制御判定部をさらに備えたことを特徴とする作業機械。 In the work machine according to claim 1,
Further, a turning control unit for controlling the turning operation of the upper turning body with respect to the lower traveling body is provided.
The control device controls the turning control unit when the vehicle body angle determination unit determines that the turning angle of the upper turning body is within the range of the shooting angle, and the upper turning with respect to the lower traveling body. A work machine characterized by further provided with a turning control determination unit that limits and stops the turning motion of the body.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018063135A JP6799557B2 (en) | 2018-03-28 | 2018-03-28 | Work machine |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018063135A JP6799557B2 (en) | 2018-03-28 | 2018-03-28 | Work machine |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019173407A JP2019173407A (en) | 2019-10-10 |
| JP6799557B2 true JP6799557B2 (en) | 2020-12-16 |
Family
ID=68170030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018063135A Active JP6799557B2 (en) | 2018-03-28 | 2018-03-28 | Work machine |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6799557B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7127715B2 (en) * | 2020-09-28 | 2022-08-30 | 日本精機株式会社 | Work support system control method, work support system control program |
| WO2024117108A1 (en) * | 2022-11-29 | 2024-06-06 | 日本精機株式会社 | Work assisting system |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4977667B2 (en) * | 2008-09-02 | 2012-07-18 | 日立建機株式会社 | Visual aid for work machine |
| JP5523730B2 (en) * | 2009-04-07 | 2014-06-18 | アルパイン株式会社 | In-vehicle peripheral image display device |
| JP6106430B2 (en) * | 2012-12-27 | 2017-03-29 | 日立建機株式会社 | Work machine body periphery display device |
| US20150156391A1 (en) * | 2013-12-04 | 2015-06-04 | Chung-Shan Institute Of Science And Technology, Armaments Bureau, M.N.D | Vehicle image correction system and method thereof |
-
2018
- 2018-03-28 JP JP2018063135A patent/JP6799557B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019173407A (en) | 2019-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6794193B2 (en) | Image display system for work machines | |
| JP6777375B2 (en) | Work machine image display system, work machine remote control system and work machine | |
| CN107406035B (en) | Engineering operation machine | |
| JP5473870B2 (en) | Construction machine monitoring equipment | |
| JP6099333B2 (en) | Image generation apparatus, image display system, parameter acquisition apparatus, image generation method, and parameter acquisition method | |
| JP6106430B2 (en) | Work machine body periphery display device | |
| JP7420733B2 (en) | Display control system and display control method | |
| US20150009329A1 (en) | Device for monitoring surroundings of machinery | |
| KR20210021945A (en) | Excavator, information processing device | |
| JP2008144379A (en) | Image processing system of remote controlled working machine | |
| KR20180042251A (en) | Shovel's measuring device | |
| JP5052463B2 (en) | Stereo image processing device for work machines | |
| US10721397B2 (en) | Image processing system using predefined stitching configurations | |
| JP2008240362A (en) | Construction machine and method of guiding backward movement of construction machine | |
| JP6799557B2 (en) | Work machine | |
| JP2010018141A (en) | Display device in construction machine | |
| JP2010066117A5 (en) | ||
| CN111386369B (en) | Construction machine | |
| JP2011001775A (en) | Display device for construction machine | |
| JP6639990B2 (en) | Excavator | |
| KR102007535B1 (en) | Monitor display apparatus in construction machinery | |
| WO2019187560A1 (en) | Working machine control device | |
| JP7127715B2 (en) | Work support system control method, work support system control program | |
| JP2021038649A (en) | Image display system for work machine, remote operation system for work machine, work machine, and image display method for work machine | |
| WO2019187464A1 (en) | Display device and remote operation system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191219 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201028 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201104 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201120 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6799557 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |