JP2008144379A - Image processing system of remote controlled working machine - Google Patents

Image processing system of remote controlled working machine Download PDF

Info

Publication number
JP2008144379A
JP2008144379A JP2006329880A JP2006329880A JP2008144379A JP 2008144379 A JP2008144379 A JP 2008144379A JP 2006329880 A JP2006329880 A JP 2006329880A JP 2006329880 A JP2006329880 A JP 2006329880A JP 2008144379 A JP2008144379 A JP 2008144379A
Authority
JP
Japan
Prior art keywords
working machine
attitude
camera
measuring
terrain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2006329880A
Other languages
Japanese (ja)
Inventor
Takashi Yoneda
敬 米田
Nobuaki Matoba
信明 的場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Caterpillar Japan Ltd
Caterpillar Mitsubishi Ltd
Original Assignee
Caterpillar Mitsubishi Ltd
Shin Caterpillar Mitsubishi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Caterpillar Mitsubishi Ltd, Shin Caterpillar Mitsubishi Ltd filed Critical Caterpillar Mitsubishi Ltd
Priority to JP2006329880A priority Critical patent/JP2008144379A/en
Publication of JP2008144379A publication Critical patent/JP2008144379A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Operation Control Of Excavators (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Selective Calling Equipment (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processing system of a remote controlled working machine operable by radio by remote control and allowing an operator to understand positional relations of a landform being an object and the working machine easily and accurately by a simple configuration. <P>SOLUTION: This image processing system of the working machine operated by radio signals by remote control is provided with a first GPS receiving means 1a for measuring an absolute position of the working machine, a first attitude measuring means 2a for measuring attitude of the working machine, a landform measuring device 3 installed separately from the working machine to measure a shape of the landform being the object around it, a second GPS receiving means 1b for measuring an absolute position of the landform measuring means 3, a second attitude measuring means 2b for measuring attitude of the landform measuring device 3, a working machine computing means 4 for computing a three-dimensional shape of the working machine based on the absolute position and attitude of the working machine, a landform computing means 5 for computing a three-dimensional shape of the landform being the object based on the absolute position and attitude of the landform measuring device 3, and a display means 6 for displaying the three-dimensional shapes of the landform being the object and the working machine in a superimposed manner. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、無線により遠隔操縦される遠隔操縦作業機の画像処理システムに関する。   The present invention relates to an image processing system for a remote control work machine that is remotely controlled by radio.

従来、災害復旧工事や製鉄所，産業廃棄物処理場等、容易に人の近づけない作業現場において各種作業を行うための作業機として、遠隔操縦作業機が知られている。遠隔操縦作業機とは、油圧ショベルやブルドーザ等に代表される作業機に搭載されたエンジンや油圧アクチュエータを、無線を用いて遠隔操作できるようにしたものである。
例えば、遠隔操縦作業機では、通常の作業機において運転席に配置される操作レバーや操作スイッチ類と同様の各種入力装置が携帯型のコントローラに設けられ、コントローラの操作内容が無線により作業機へと送信されて、その作業機がコントローラの操作内容通りに作動するようになっている。これによりオペレータは、作業機の運転席外部から、つまり、作業機から離れた位置でその作業機の動作を制御できる。上記のような遠隔操縦作業機としては、例えば特許文献１に記載されたものがある。 Conventionally, a remote control work machine is known as a work machine for performing various kinds of work in a work site that cannot be easily approached by people such as disaster recovery work, a steel works, and an industrial waste disposal site. The remote control working machine is an engine or a hydraulic actuator mounted on a working machine represented by a hydraulic excavator or a bulldozer, which can be remotely operated by radio.
For example, in a remote control work machine, various input devices similar to operation levers and operation switches arranged in a driver's seat in a normal work machine are provided in a portable controller, and the operation contents of the controller are wirelessly transmitted to the work machine. And the work machine operates according to the operation content of the controller. Thus, the operator can control the operation of the work machine from the outside of the driver's seat of the work machine, that is, at a position away from the work machine. As such a remote control working machine, there is one described in Patent Document 1, for example.

特許文献１に記載の技術では、遠隔操作が可能な建設機械において、バケット刃先を自動追尾して撮影する作業用カメラを建設機械のキャブ上に搭載するとともに、作業用カメラで撮影された画像信号を無線電波で伝送してディスプレイに表示させる構成が開示されている。つまり、オペレータは、ディスプレイ上の画像を参照しながら建設機械を遠隔操作することで、実際のバケット刃先の状況を把握しつつ作業を進めることができるようになっている。   In the technique described in Patent Document 1, in a construction machine that can be operated remotely, a work camera that automatically tracks and photographs a bucket blade edge is mounted on the cab of the construction machine, and an image signal captured by the work camera is used. Has been disclosed that is transmitted on a radio wave and displayed on a display. That is, the operator can proceed with the work while grasping the actual state of the bucket blade edge by remotely operating the construction machine while referring to the image on the display.

しかし、特許文献１に記載されたような作業用カメラでは、バケットの動きと地形の形状との対応関係を把握しにくい。例えば、バケットを用いた土面の成形作業では、実際の地形が３次元形状であるのに対し、作業用カメラで捉えられるカメラ映像は平面的な２次元情報であるため、奥行きがわかりにくくなる。つまり、作業用カメラの撮影方向の情報が欠落してしまい、オペレータにとって作業を進めにくい場合がある。   However, in the work camera described in Patent Document 1, it is difficult to grasp the correspondence between the movement of the bucket and the shape of the terrain. For example, in the soil surface forming operation using a bucket, the actual topography is a three-dimensional shape, but the camera image captured by the work camera is planar two-dimensional information, making it difficult to understand the depth. . That is, information on the shooting direction of the work camera is lost, and it may be difficult for the operator to proceed with the work.

このような課題に対し、作業範囲における奥行き方向の情報を検出する装置を利用した技術が開発されている。例えば、特許文献２には、キャブ頂部にスキャニングレーザを備えるとともに、バケット近傍に反射板を備えた構成の遠隔操作式建設機械が記載されている。スキャニングレーザとは、照射したレーザの反射光を検出して、レーザの行程時間差に基づきレーザを反射した対象物までの距離を測定する装置である。このような装置を用いることで、奥行き方向の情報を把握することが可能となる。なお、この特許文献２に記載の技術では、反射板を用いてバケットからの反射光の強度を高めることで、バケットと地形とを区別して認識している。
特開平８−７４２９６号公報 特開２００４−２９４０６７号公報 In response to such a problem, a technique using an apparatus for detecting information in the depth direction in a work range has been developed. For example, Patent Document 2 describes a remotely operated construction machine having a configuration in which a scanning laser is provided at the top of a cab and a reflector is provided in the vicinity of the bucket. A scanning laser is a device that detects the reflected light of an irradiated laser and measures the distance to an object that reflects the laser based on a difference in laser travel time. By using such an apparatus, it is possible to grasp information in the depth direction. In the technique described in Patent Document 2, the intensity of reflected light from the bucket is increased using a reflector, and the bucket and the terrain are distinguished and recognized.
JP-A-8-74296 Japanese Patent Application Laid-Open No. 2004-294067

しかしながら、特許文献２に記載の技術において、スキャニングレーザによって測定される地形の形状は、スキャニングレーザに対する相対的な位置関係における形状でしかない。例えば、スキャニングレーザを搭載した作業機自体が均一な傾斜面に位置している場合には、スキャニングレーザ自体が斜めになり、傾斜面の勾配を測定することができないため、作業機の周囲の地形形状が水平であると見なされてしまう。   However, in the technique described in Patent Document 2, the shape of the terrain measured by the scanning laser is only a shape in a relative positional relationship with respect to the scanning laser. For example, if the work machine equipped with a scanning laser is located on a uniform inclined surface, the scanning laser itself is inclined and the slope of the inclined surface cannot be measured. The shape is assumed to be horizontal.

このようなスキャニングレーザによる検出情報と実際の地形との差異は、作業機の作業範囲のみの局所的な特徴を把握する分には単なる誤差として許容されるが、作業現場全体を大局的に捉えたいような場合や高度な施工精度を要求される場合には、正確な地形形状の把握を阻害する要因となりかねない。
また、特許文献２に記載の技術では、作業機にスキャニングレーザが搭載されているため、作業機の車体振動によって反射光の検知精度が低下して地形の計測に時間を要する場合や、正確な地形形状の計測ができない場合がある。 The difference between the information detected by the scanning laser and the actual topography is permissible as a mere error for grasping only the local features of the working range of the work implement, but the entire work site is viewed globally. If it is desired, or if a high degree of construction accuracy is required, it may be a factor that hinders accurate grasp of the topographic shape.
Further, in the technique described in Patent Document 2, since the scanning machine is mounted on the work machine, the detection accuracy of reflected light is lowered due to the vibration of the work machine body, and it takes time to measure the terrain. In some cases, topographical shape cannot be measured.

本発明は、このような課題に鑑みてなされたもので、無線により遠隔操縦が可能な遠隔操縦作業機において、簡素な構成で、対象地形と作業機との位置関係を容易かつ正確に把握することができるようにした、遠隔操縦作業機の画像処理システムを提供することを目的とする。   The present invention has been made in view of such problems, and in a remote control work machine capable of remote control by radio, the positional relationship between the target landform and the work machine can be easily and accurately grasped with a simple configuration. It is an object of the present invention to provide an image processing system for a remote control working machine that can be used.

上記目的を達成するため、請求項１記載の本発明の遠隔操縦作業機の画像処理システムは、無線信号によって遠隔操縦される作業機の画像処理システムにおいて、地球上における該作業機の絶対位置を計測する第１ＧＰＳ受信手段と、該作業機の姿勢を計測する第１姿勢計測手段と、該作業機とは別設され、該作業機の周囲の対象地形の形状を計測する地形計測装置と、該地球上における該地形計測装置の絶対位置を計測する第２ＧＰＳ受信手段と、該地形計測装置の姿勢を計測する第２姿勢計測手段と、該第１ＧＰＳ受信手段で計測された該作業機の絶対位置及び該第１姿勢計測手段で計測された該作業機の姿勢に基づいて、該作業機の三次元形状を演算する作業機演算手段と、該第２ＧＰＳ受信手段で計測された該地形計測装置の絶対位置及び該第２姿勢計測手段で計測された該地形計測装置の姿勢に基づいて、該対象地形の三次元形状を演算する地形演算手段と、該地形演算手段で演算された該対象地形の三次元形状及び該作業機演算手段で演算された該作業機の三次元形状を重畳表示する表示手段とを備えたことを特徴としている。   In order to achieve the above object, an image processing system for a remotely operated work machine according to claim 1 of the present invention is the image processing system for a remotely operated work machine operated by a radio signal, wherein the absolute position of the work machine on the earth is determined. A first GPS receiving means for measuring, a first attitude measuring means for measuring the attitude of the working machine, a terrain measuring device provided separately from the working machine and measuring the shape of the target terrain around the working machine, The second GPS receiving means for measuring the absolute position of the terrain measuring apparatus on the earth, the second attitude measuring means for measuring the attitude of the terrain measuring apparatus, and the absolute of the work implement measured by the first GPS receiving means. A work machine computing means for computing a three-dimensional shape of the work machine based on the position and the attitude of the work machine measured by the first attitude measuring means; and the terrain measuring device measured by the second GPS receiving means. Absolute position of And the terrain calculation means for calculating the three-dimensional shape of the target terrain based on the attitude of the terrain measurement device measured by the second attitude measurement means, and the three-dimensional of the target terrain calculated by the terrain calculation means And a display means for superimposing and displaying the shape and the three-dimensional shape of the work implement calculated by the work implement calculation means.

ここでいう絶対位置とは、準拠楕円体を基準とする座標系（グローバル座標系）における位置であって、例えば緯度，経度及び高度によって規定される位置のことを意味している。また、ここでいう姿勢とは、水平面（準拠楕円体の接平面）に対する傾斜の大きさ及び傾斜方向（方位）のことを意味している。また、ここでいう三次元形状とは、上記のグローバル座標系における座標情報によって構成された三次元形状を意味している。   The absolute position here means a position in a coordinate system (global coordinate system) with the reference ellipsoid as a reference, for example, a position defined by latitude, longitude, and altitude. In addition, the posture here means the magnitude of the inclination and the inclination direction (azimuth) with respect to the horizontal plane (tangential plane of the reference ellipsoid). The three-dimensional shape here means a three-dimensional shape constituted by coordinate information in the global coordinate system.

一方、地形計測装置で計測される該作業機の周囲の対象地形の形状とは、該作業機に対する相対位置によって規定される形状であり、例えば、該作業機に固定された座標系に対する座標情報によって構成された形状を意味する。
また、該第１ＧＰＳ受信手段及び該第２ＧＰＳ受信手段とは、ＧＰＳ衛星から伝播される電波信号を受信し、当該ＧＰＳ衛星までの距離を測定する受信機である。該第１ＧＰＳ受信手段及び該第２ＧＰＳ受信手段は、複数のＧＰＳ衛星からの電波信号を受信することで、地球上における平面位置や標高を測定する。なお、ＧＰＳとは、全地球測位システムの略称である。 On the other hand, the shape of the target terrain around the working machine measured by the terrain measuring device is a shape defined by a relative position with respect to the working machine. For example, coordinate information on a coordinate system fixed to the working machine Means the shape formed by
The first GPS receiving means and the second GPS receiving means are receivers that receive a radio signal propagated from a GPS satellite and measure the distance to the GPS satellite. The first GPS receiving unit and the second GPS receiving unit measure radio wave signals from a plurality of GPS satellites to measure a planar position and altitude on the earth. GPS is an abbreviation for the global positioning system.

また、請求項２記載の本発明の遠隔操縦作業機の画像処理システムは、請求項１記載の構成において、該作業機に搭載され、該作業機による作業範囲を撮影するカメラと、該作業機に対する該カメラの姿勢を検出するカメラ姿勢検出手段と、該第１ＧＰＳ受信手段で計測された該作業機の絶対位置，該第１姿勢計測手段で計測された該作業機の姿勢及び該カメラ姿勢検出手段で検出された該カメラの姿勢に基づいて、該カメラの撮影範囲の三次元形状を演算する撮影範囲演算手段とをさらに備え、該表示手段が、該地形演算手段で演算された該対象地形の三次元形状，該作業機演算手段で演算された該作業機の三次元形状及び該撮影範囲演算手段で演算された該カメラの該撮影範囲を重畳表示することを特徴としている。   According to a second aspect of the present invention, there is provided an image processing system for a remote control working machine according to the first aspect of the present invention, wherein the camera is mounted on the work machine and photographs a work range by the work machine, Camera attitude detection means for detecting the attitude of the camera with respect to the absolute position of the work implement measured by the first GPS receiving means, the attitude of the work implement measured by the first attitude measurement means, and the camera attitude detection Photographing range calculation means for calculating a three-dimensional shape of the shooting range of the camera based on the posture of the camera detected by the means, and the display means calculates the target terrain calculated by the terrain calculation means The three-dimensional shape of the camera, the three-dimensional shape of the work machine calculated by the work machine calculation means, and the shooting range of the camera calculated by the shooting range calculation means are superimposed and displayed.

なお、該カメラ姿勢検出手段において検出される該カメラの姿勢とは、該作業機に固定された座標系に対する姿勢を意味する。また、該カメラの姿勢は該カメラの撮影方向に対応する。
また、請求項３記載の本発明の遠隔操縦作業機の画像処理システムは、請求項２記載の構成において、該表示手段が、該対象地形の三次元形状，該作業機の三次元形状及び該撮影範囲の重畳画像と、該カメラで撮影された該作業範囲の映像とを同時に表示することを特徴としている。 The camera attitude detected by the camera attitude detection means means an attitude relative to the coordinate system fixed to the work implement. Further, the posture of the camera corresponds to the shooting direction of the camera.
According to a third aspect of the present invention, there is provided an image processing system for a remote control working machine according to the second aspect, wherein the display means includes a three-dimensional shape of the target terrain, a three-dimensional shape of the working machine, and the A superimposed image of the shooting range and an image of the work range shot by the camera are displayed at the same time.

また、請求項４記載の本発明の遠隔操縦作業機の画像処理システムは、請求項１〜３の何れか１項に記載の構成において、該作業機に搭載された作業装置としてのブーム，アーム及びバケットと、該ブーム，該アーム及び該バケットの各々の回動角を検出する回動角センサとをさらに備えたことを特徴としている。
つまり、該回動角センサを、該第１姿勢計測手段として機能させる。
なお、回動角センサで検出される該ブーム，該アーム及び該バケットの各々の回動角は、該作業機に固定された座標系に対する回動角を意味する。例えば、該作業機の上部旋回体に固定された座標系や、該ブームに固定さえた座標系，該アームに固定された座標系等が挙げられる。 According to a fourth aspect of the present invention, there is provided a remote control work machine image processing system according to any one of the first to third aspects, wherein a boom and an arm as a work device mounted on the work machine. And a bucket, and a rotation angle sensor for detecting a rotation angle of each of the boom, the arm, and the bucket.
That is, the rotation angle sensor is caused to function as the first attitude measuring unit.
Note that the rotation angle of each of the boom, the arm, and the bucket detected by the rotation angle sensor means a rotation angle with respect to a coordinate system fixed to the working machine. For example, a coordinate system fixed to the upper swing body of the work implement, a coordinate system fixed to the boom, a coordinate system fixed to the arm, and the like can be given.

また、請求項５記載の本発明の遠隔操縦作業機の画像処理システムは、請求項１〜４の何れか１項に記載の構成において、該地形計測装置として、複数のカメラからなるステレオカメラを備えたことを特徴としている。
なお、ここでいうステレオカメラとは、該複数のカメラによって撮影された画像間の視差を利用して、該画像中の被写体までの距離を算出するものである。 According to a fifth aspect of the present invention, in the image processing system for a remote control working machine according to the first aspect of the present invention, in the configuration according to any one of the first to fourth aspects, a stereo camera including a plurality of cameras is used as the terrain measuring device. It is characterized by having prepared.
Note that the term “stereo camera” here refers to calculating the distance to the subject in the image using the parallax between images taken by the plurality of cameras.

また、請求項６記載の本発明の遠隔操縦作業機の画像処理システムは、請求項１〜５の何れか１項に記載の構成において、該作業機の傾斜角を検出するジャイロと、該作業機が傾斜している方位を検出する方位センサとを有することを特徴としている。
なお、該ジャイロで検出される該傾斜角，該方位センサで検出される該方位は、それぞれグローバル座標系に対する傾斜角，グローバル座標系での方位を意味する。 According to a sixth aspect of the present invention, there is provided an image processing system for a remote control work machine according to the present invention, wherein the gyro for detecting an inclination angle of the work machine in the configuration according to any one of the first to fifth aspects, and the work And an azimuth sensor for detecting a azimuth in which the machine is inclined.
The inclination angle detected by the gyro and the direction detected by the azimuth sensor mean an inclination angle with respect to the global coordinate system and an orientation in the global coordinate system, respectively.

本発明の遠隔操縦作業機の画像処理システム（請求項１）によれば、作業機の遠隔操縦において、対象地形と作業機との位置関係を容易かつ正確に把握することができる。また、対象地形が作業機とは別設された地形計測装置によって計測されているため、対象地形と作業機との相対的な位置関係だけでなく、絶対的な位置関係を正確に把握することができ、施工性を向上させることができる。さらに、対象地形及び作業機の重畳表示により、上記の位置関係をオペレータにわかりやすく提供することができる。   According to the image processing system for a remote control work machine of the present invention (Claim 1), it is possible to easily and accurately grasp the positional relationship between the target landform and the work machine in the remote control of the work machine. In addition, since the target terrain is measured by a terrain measurement device that is installed separately from the work equipment, not only the relative positional relationship between the target terrain and the work equipment, but also the absolute positional relation must be accurately grasped. It is possible to improve the workability. Furthermore, the above positional relationship can be provided to the operator in an easy-to-understand manner by the superimposed display of the target terrain and the work implement.

また、本発明の遠隔操縦作業機の画像処理システム（請求項２）によれば、作業機の遠隔操縦において、対象地形中におけるカメラの撮影範囲を容易かつ正確に把握することができ、作業性を向上させることができる。
また、本発明の遠隔操縦作業機の画像処理システム（請求項３）によれば、演算によって得られた重畳画像と実際の作業範囲の映像とを同時に表示することにより、より正確に作業機の周囲の状況を把握することができる。 In addition, according to the image processing system for a remote control working machine of the present invention (Claim 2), the shooting range of the camera in the target terrain can be easily and accurately grasped in the remote control of the work machine, and the workability is improved. Can be improved.
Further, according to the image processing system for a remote control working machine of the present invention (Claim 3), the superimposed image obtained by the calculation and the video of the actual working range are simultaneously displayed, so that the working machine can be more accurately displayed. It is possible to grasp the surrounding situation.

また、本発明の遠隔操縦作業機の画像処理システム（請求項４）によれば、作業中における作業機全体の姿勢をより詳細に把握することができる。
また、本発明の遠隔操縦作業機の画像処理システム（請求項５）によれば、低コストで作業機の周囲の対象地形の形状を把握することができる。
また、本発明の遠隔操縦作業機の画像処理システム（請求項６）によれば、容易かつ安価に作業機の姿勢を把握することができる。 Further, according to the image processing system for a remote control working machine of the present invention (Claim 4), the posture of the entire working machine during work can be grasped in more detail.
Further, according to the image processing system for a remote control working machine of the present invention (Claim 5), the shape of the target terrain around the working machine can be grasped at low cost.
Further, according to the image processing system for a remote control working machine of the present invention (Claim 6), the posture of the working machine can be grasped easily and inexpensively.

以下、図面により、本発明の実施の形態について説明する。
図１〜図３は本発明の一実施形態に係る遠隔操縦作業機の画像処理システムを説明するものであり、図１（ａ）は本画像処理システムが適用された作業機の全体構成を示す模式的な側面図、（ｂ）は本画像処理システムに係るステレオカメラ及び操作室の構成を示す模式図、図２は本画像処理システムの信号処理に係る全体構成を示す制御ブロック図、図３は本画像処理システムによって表示される画像の一例であり、（ａ）は対象地形，作業機及びＴＶカメラの撮影範囲を重畳表示したＣＧ画像、（ｂ）は作業カメラで撮影された作業範囲の映像を示す。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
1 to 3 illustrate an image processing system for a remote control working machine according to an embodiment of the present invention, and FIG. 1 (a) shows an overall configuration of the working machine to which the image processing system is applied. FIG. 2B is a schematic side view, FIG. 2B is a schematic diagram showing a configuration of a stereo camera and an operation room according to the image processing system, FIG. 2 is a control block diagram showing an overall configuration related to signal processing of the image processing system, and FIG. Is an example of an image displayed by the present image processing system, (a) is a CG image in which the target terrain, the work machine, and the shooting range of the TV camera are superimposed, and (b) is a work range shot by the work camera. Show the picture.

［構成］
〔１．油圧ショベル〕
本遠隔操縦作業機の画像処理システムは、図１（ａ）に示す油圧ショベル２０に適用される。この油圧ショベル２０は、クローラ式の油圧走行装置を装備した下部走行体１３と、下部走行体１３の上に旋回自在に搭載された上部旋回体１４とを備える。 [Constitution]
[1. (Excavator)
The image processing system of the remote control working machine is applied to a hydraulic excavator 20 shown in FIG. The hydraulic excavator 20 includes a lower traveling body 13 equipped with a crawler type hydraulic traveling device, and an upper revolving body 14 that is rotatably mounted on the lower traveling body 13.

上部旋回体１４は、機体前方へ向けて延出する油圧駆動式の作業装置１１やオペレータ（運転者）が搭乗可能なキャブ１４ａ，エンジンや油圧ポンプが配置されるエンジンルーム１４ｂ，機体の重量バランスを保つためのカウンタウェイト１４ｃ等を備える。
作業装置１１は、ブーム１１ａ，アーム１１ｂ及びバケット１１ｃの三つの部位を有する。これらの各部位間には油圧シリンダが設けられ、各油圧シリンダを作動させることで各部位が独立して駆動される。図１（ａ）中では、ブーム１１ａを駆動するためのブームシリンダ１１Ａ，アーム１１ｂを駆動するためのアームシリンダ１１Ｂ及びバケット１１ｃの角度を制御するためのバケットシリンダ１１Ｃが示されている。 The upper-part turning body 14 includes a hydraulically-driven work device 11 extending toward the front of the body, a cab 14a on which an operator (driver) can board, an engine room 14b in which an engine and a hydraulic pump are disposed, and a weight balance of the body. Counter weight 14c and the like are provided.
The working device 11 has three parts: a boom 11a, an arm 11b, and a bucket 11c. A hydraulic cylinder is provided between these parts, and each part is driven independently by operating each hydraulic cylinder. FIG. 1A shows a boom cylinder 11A for driving the boom 11a, an arm cylinder 11B for driving the arm 11b, and a bucket cylinder 11C for controlling the angle of the bucket 11c.

ブーム１１ａは、図１（ａ）に示すように、その下端部を上部旋回体１４に軸支された部材である。ブームシリンダ１１Ａを伸縮作動させることで、ブーム１１ａの先端側が上下方向へ揺動する。ブーム１１ａと上部旋回体１４との軸支部分には、ブーム１１ａの回動角（上部旋回体６に対する回動角度）を検出する角度センサ（回動角センサ）１２ａが設けられる。   As shown in FIG. 1A, the boom 11 a is a member whose lower end is pivotally supported by the upper swing body 14. By operating the boom cylinder 11A to extend and contract, the tip end side of the boom 11a swings in the vertical direction. An angle sensor (rotation angle sensor) 12a for detecting a rotation angle of the boom 11a (a rotation angle with respect to the upper swing body 6) is provided at a pivotal support portion between the boom 11a and the upper swing body 14.

アーム１１ｂは、ブーム１１ａの先端に軸支された部材であり、アームシリンダ１１Ｂを伸縮作動させると、アーム１１ｂの前端側が上下方向へ揺動する。アーム１１ｂのブーム１１ａに対する軸支部分には、アーム１１ｂの回動角（ブーム５ａに対する回動角度）を検出する角度センサ（回動角センサ）１２ｂが設けられる。
バケット１１ｃはアーム１１ｂの先端に軸支された部材であり、バケットシリンダ１１Ｃを伸縮作動させることで開閉動作する。バケット１１ｃのアーム１１ｂに対する軸支部分には、バケット１１ｃの回動角（アーム５ｂに対する回動角度）を検出する角度センサ（回動角センサ）１２ｃが設けられる。角度センサ１２ａ〜１２ｃで検出された回動角の情報は、後述する入力処理器１５へ入力される。 The arm 11b is a member pivotally supported at the tip of the boom 11a, and when the arm cylinder 11B is extended and contracted, the front end side of the arm 11b swings in the vertical direction. An angle sensor (rotation angle sensor) 12b for detecting a rotation angle of the arm 11b (a rotation angle with respect to the boom 5a) is provided at a shaft support portion of the arm 11b with respect to the boom 11a.
The bucket 11c is a member that is pivotally supported at the tip of the arm 11b, and opens and closes by operating the bucket cylinder 11C to expand and contract. An angle sensor (rotation angle sensor) 12c for detecting a rotation angle of the bucket 11c (a rotation angle with respect to the arm 5b) is provided at a shaft support portion of the bucket 11c with respect to the arm 11b. Information on the rotation angle detected by the angle sensors 12a to 12c is input to the input processor 15 described later.

キャブ１４ａの後方に配置されたエンジンルーム１４ｂ内には、本油圧ショベル２０の駆動源となるエンジンや油圧装置を駆動するための油圧ポンプ等を配置する。なお、本油圧ショベル２０は、キャブ１４ａ内に装備された操作装置によるエンジン，油圧アクチュエータの操作が可能なだけでなく、携帯型のコントローラを用いた無線での遠隔操作が可能な遠隔操縦作業機である。   In an engine room 14b disposed behind the cab 14a, an engine serving as a drive source for the hydraulic excavator 20, a hydraulic pump for driving the hydraulic device, and the like are disposed. The hydraulic excavator 20 is not only capable of operating an engine and a hydraulic actuator by an operating device installed in the cab 14a, but also a remote control working machine capable of wireless remote operation using a portable controller. It is.

キャブ１４ａの上部には、作業範囲を撮影するＴＶカメラ（カメラ）７がキャブ１４ａに対して上下方向へ回動可能に設けられる。ＴＶカメラ７で撮影された映像は、同じくキャブ１４ａ上部に固設されたアンテナ１７から送信される。また、キャブ１４ａ上部には、ＴＶカメラ７の回動角度を検出する角度検出器（カメラ姿勢検出手段）８が併設される。つまり、ＴＶカメラ７は、ＴＶカメラ７の油圧ショベル２０に対する姿勢（つまり撮影方向）を検出する。角度検出器８で検出されたＴＶカメラ７の姿勢の情報は、後述する入力処理器１５へ入力される。   Above the cab 14a, a TV camera (camera) 7 for photographing the work range is provided so as to be rotatable in the vertical direction with respect to the cab 14a. The video image | photographed with the TV camera 7 is transmitted from the antenna 17 similarly fixed in the cab 14a upper part. In addition, an angle detector (camera posture detection means) 8 that detects the rotation angle of the TV camera 7 is provided in the upper part of the cab 14a. That is, the TV camera 7 detects the attitude of the TV camera 7 relative to the excavator 20 (that is, the shooting direction). Information on the attitude of the TV camera 7 detected by the angle detector 8 is input to the input processor 15 described later.

また、上部旋回体１４上には、作業機ＧＰＳ受信機（第１ＧＰＳ受信手段）１ａ及び作業機姿勢検出器（第１姿勢計測手段）２ａが固設される。作業機ＧＰＳ受信機１ａは、複数のＧＰＳ衛星から伝播される電波信号を受信し、当該ＧＰＳ衛星までの距離をそれぞれ計測するものである。これにより、地球上における油圧ショベル２０の絶対位置を計測する。ここでいう絶対位置とは、準拠楕円体を基準とする座標系（グローバル座標系）における位置であって、緯度，経度及び高度によって規定される位置のことを意味する。   A work implement GPS receiver (first GPS receiving means) 1 a and a work implement attitude detector (first attitude measuring means) 2 a are fixed on the upper swing body 14. The work machine GPS receiver 1a receives radio signals propagated from a plurality of GPS satellites and measures distances to the GPS satellites. Thereby, the absolute position of the excavator 20 on the earth is measured. The absolute position here means a position in a coordinate system (global coordinate system) based on the reference ellipsoid and is defined by latitude, longitude, and altitude.

作業機姿勢検出器２ａは、油圧ショベル２０の水平面（準拠楕円体の接平面）に対する傾斜の大きさを計測するジャイロと、その傾斜方向（方位）を計測する方位センサとを備えて構成される。ここで検出された油圧ショベル２０の絶対位置及び姿勢の情報は、入力処理器１５へ入力される。
入力処理器１５は、油圧ショベル２０の絶対位置，作業装置１１の各回動角，ＴＶカメラ７の姿勢情報及び油圧ショベル２０の姿勢情報を無線信号の送信データへ変換するものである。ここで変換された無線信号は、エンジンルーム１４ｂ上に固設されたアンテナ１６から送信される。 The work machine attitude detector 2a includes a gyro that measures the inclination of the excavator 20 with respect to the horizontal plane (the tangent plane of the reference ellipsoid), and an orientation sensor that measures the inclination direction (azimuth). . Information on the absolute position and orientation of the hydraulic excavator 20 detected here is input to the input processor 15.
The input processor 15 converts the absolute position of the excavator 20, each rotation angle of the work device 11, the attitude information of the TV camera 7, and the attitude information of the excavator 20 into transmission data of radio signals. The radio signal converted here is transmitted from an antenna 16 fixed on the engine room 14b.

〔２．ステレオカメラ〕
上記の油圧ショベル２０の作業現場には、油圧ショベル２０の周囲の対象地形の形状を計測するステレオカメラ（地形計測装置）３が設けられる。ステレオカメラ３は、複数のカメラによって撮影された画像間の視差を利用して、画像中の被写体までの距離を算出する。これにより、ステレオカメラ３の撮影範囲内の地形形状が計測される。ただしこれは、ステレオカメラ３の固設位置を基準とした座標系における座標情報によって構成された地形形状である。なお、このステレオカメラ３は、油圧ショベル２０とは別設され、例えば作業現場の建造物に固定される。作業現場が屋内の場合には、ステレオカメラ３を天井から吊り下げてもよい。 [2. Stereo camera)
At the work site of the hydraulic excavator 20, a stereo camera (terrain measuring device) 3 that measures the shape of the target terrain around the hydraulic excavator 20 is provided. The stereo camera 3 calculates the distance to the subject in the image using the parallax between images taken by a plurality of cameras. Thereby, the terrain shape within the photographing range of the stereo camera 3 is measured. However, this is a terrain shape constituted by coordinate information in a coordinate system based on the fixed position of the stereo camera 3. The stereo camera 3 is provided separately from the hydraulic excavator 20 and is fixed to a building on the work site, for example. When the work site is indoors, the stereo camera 3 may be suspended from the ceiling.

図１（ｂ）に示すように、ステレオカメラ３には、ステレオカメラＧＰＳ受信機（第２ＧＰＳ受信手段）１ｂ及びステレオカメラ姿勢検出器（第２姿勢計測装置）２ｂが固設される。ステレオカメラＧＰＳ受信機１ｂは、ステレオカメラ３の地球上における絶対位置を計測する。一方、ステレオカメラ姿勢検出器２ｂは、ステレオカメラ３の姿勢（撮影方向）を計測する。   As shown in FIG. 1B, the stereo camera 3 is fixedly provided with a stereo camera GPS receiver (second GPS receiving means) 1b and a stereo camera attitude detector (second attitude measuring device) 2b. The stereo camera GPS receiver 1b measures the absolute position of the stereo camera 3 on the earth. On the other hand, the stereo camera attitude detector 2b measures the attitude (shooting direction) of the stereo camera 3.

ステレオカメラ３で計測された地形形状，ステレオカメラＧＰＳ受信機１ｂで計測された絶対位置及びステレオカメラ姿勢検出器２ｂで計測された姿勢の各情報は、ステレオカメラ３に内蔵された信号処理器２１へ入力されて送信データに変換され、ＬＡＮ（有線又は無線）等の情報伝達網を介して送信される。   Each information of the terrain shape measured by the stereo camera 3, the absolute position measured by the stereo camera GPS receiver 1b, and the attitude measured by the stereo camera attitude detector 2b is a signal processor 21 incorporated in the stereo camera 3. Is converted into transmission data and transmitted through an information transmission network such as a LAN (wired or wireless).

〔３．操作室〕
図１（ｂ）に示すように、作業現場から離れた場所に操作室２３が設けられる。操作室２３は、油圧ショベル２０の遠隔操縦の操作を行う場所である。この操作室２３には、信号受信器１８，画像受信器１９，信号処理器１０，画像処理演算器２２及びモニタ（表示手段）６が備えられる。 [3. Operation room]
As shown in FIG. 1B, an operation room 23 is provided at a location away from the work site. The operation room 23 is a place where a remote control operation of the excavator 20 is performed. The operation room 23 includes a signal receiver 18, an image receiver 19, a signal processor 10, an image processing calculator 22, and a monitor (display means) 6.

信号受信器１８は、油圧ショベル２０のアンテナ１６から送信される無線信号を受信する。ここで受信された信号は、信号処理器２０へ入力される。一方、画像受信器１９は、油圧ショベル２０のアンテナ１７から送信されたＴＶカメラ７の映像を受信し、モニタ６へ出力する。
信号処理器１０は、信号受信器１８からの信号及び情報伝達網を介して接続された信号処理器２１からの信号に基づく演算を行うものであり、図２に示すように、地形形状演算処理器（地形演算手段）５，機体姿勢演算処理器（作業機演算手段）４及びカメラ撮影範囲演算処理器（撮影範囲演算手段）９を備えて構成される。 The signal receiver 18 receives a radio signal transmitted from the antenna 16 of the excavator 20. The signal received here is input to the signal processor 20. On the other hand, the image receiver 19 receives the video of the TV camera 7 transmitted from the antenna 17 of the excavator 20 and outputs it to the monitor 6.
The signal processor 10 performs an operation based on the signal from the signal receiver 18 and the signal from the signal processor 21 connected via the information transmission network. As shown in FIG. And a camera posture calculation processor (working machine calculation means) 4 and a camera shooting range calculation processor (shooting range calculation means) 9.

地形形状演算処理器５は、ステレオカメラ３で計測された地形形状，ステレオカメラ３の絶対位置及び姿勢から、ステレオカメラ３で撮影された地形の三次元形状を演算する。ここで演算される三次元形状は、グローバル座標系における座標情報によって構成された三次元形状である。ここで演算された油圧ショベル２０の周囲の地形の三次元データは、画像処理演算器２２へ入力される。   The terrain shape calculation processor 5 calculates the three-dimensional shape of the terrain imaged by the stereo camera 3 from the terrain shape measured by the stereo camera 3 and the absolute position and orientation of the stereo camera 3. The three-dimensional shape calculated here is a three-dimensional shape constituted by coordinate information in the global coordinate system. The three-dimensional data of the terrain around the hydraulic excavator 20 calculated here is input to the image processing calculator 22.

機体姿勢演算処理器４は、油圧ショベル２０の絶対位置，姿勢及び作業装置１１の回動角から、油圧ショベル２０のグローバル座標系における座標情報によって構成された三次元形状を演算する。ここで演算された油圧ショベル２０の三次元データは、画像処理演算器２２へ入力される。
カメラ撮影範囲演算処理器９は、ＴＶカメラ７の姿勢，油圧ショベル２０の絶対位置及び姿勢から、ＴＶカメラ７の撮影範囲のグローバル座標系での範囲形状を演算する。なお、ここで油圧ショベル２０の絶対位置及び姿勢が用いられる理由は、ＴＶカメラ７が油圧ショベル２０に設けられているからである。ここで演算された油圧ショベル２０の三次元データは、画像処理演算器２２へ入力される。 The body posture calculation processor 4 calculates the three-dimensional shape constituted by the coordinate information in the global coordinate system of the hydraulic excavator 20 from the absolute position and posture of the hydraulic excavator 20 and the rotation angle of the work device 11. The three-dimensional data of the excavator 20 calculated here is input to the image processing calculator 22.
The camera shooting range calculation processor 9 calculates a range shape in the global coordinate system of the shooting range of the TV camera 7 from the attitude of the TV camera 7 and the absolute position and attitude of the excavator 20. The reason why the absolute position and posture of the excavator 20 are used here is that the TV camera 7 is provided in the excavator 20. The three-dimensional data of the excavator 20 calculated here is input to the image processing calculator 22.

画像処理演算器２２は、地形形状演算処理器５，機体姿勢演算処理器４及びカメラ撮影範囲演算処理器９で演算された各三次元形状を合成し、一つのＣＧ画像データを作成してモニタ６へ出力する。つまりここでは、各三次元形状が重畳される。
モニタ６は、画像処理演算器２２で作成された一つの画像データとＴＶカメラ７の映像とを同時に表示する。ここでは、画面を二分割して二つの映像を同時に表示してもよいし、一方の映像に他方の映像をインポーズしてもよい。 The image processing arithmetic unit 22 synthesizes each three-dimensional shape calculated by the topographic shape arithmetic processing unit 5, the body posture arithmetic processing unit 4 and the camera shooting range arithmetic processing unit 9, creates one CG image data and monitors it. 6 is output. That is, here, each three-dimensional shape is superimposed.
The monitor 6 displays one image data created by the image processing arithmetic unit 22 and the video of the TV camera 7 at the same time. Here, the screen may be divided into two and two images may be displayed simultaneously, or the other image may be imposed on one image.

［作用］
上記のような構成により、本遠隔操縦作業機の画像処理システムは以下のように作用すれる。
まず、油圧ショベル２０では、作業機ＧＰＳ受信器１ａ，作業機姿勢検出器２ａ，角度センサ１２ａ〜１２ｃ及び角度検出器８のそれぞれにおいて、油圧ショベル２０の絶対位置情報，油圧ショベル２０の姿勢情報，作業装置１１の各回動角及びＴＶカメラ７の姿勢情報が随時計測，検出される。これらの検出情報は、入力処理器１５を介して油圧ショベル２０のアンテナ１６から送信され、操作室２３内の信号受信器１８を介して信号処理器１０へ入力される。油圧ショベル２０のＴＶカメラ７で撮影された映像は、アンテナ１７から送信され、操作室２３内の画像受信器１９で受信される。 [Action]
With the configuration as described above, the image processing system of the remote control working machine operates as follows.
First, in the excavator 20, in each of the work implement GPS receiver 1a, the work implement attitude detector 2a, the angle sensors 12a to 12c, and the angle detector 8, the absolute position information of the excavator 20, the attitude information of the excavator 20, Each rotation angle of the work device 11 and attitude information of the TV camera 7 are measured and detected as needed. These pieces of detection information are transmitted from the antenna 16 of the excavator 20 via the input processor 15 and input to the signal processor 10 via the signal receiver 18 in the operation chamber 23. An image captured by the TV camera 7 of the excavator 20 is transmitted from the antenna 17 and received by the image receiver 19 in the operation room 23.

一方、ステレオカメラＧＰＳ受信器１ａ，ステレオカメラ姿勢検出器２ｂ及びステレオカメラ３のそれぞれにおいて、ステレオカメラ３の絶対位置情報，ステレオカメラ３の姿勢情報及び油圧ショベル２０の周囲の対象地形の形状情報が随時計測，検出される。これらの検出情報は、信号処理器２１でデータ変換された後、情報伝達網を介して送信され、操作室２３内の信号処理器１０へ入力される。   On the other hand, in each of the stereo camera GPS receiver 1a, the stereo camera attitude detector 2b, and the stereo camera 3, the absolute position information of the stereo camera 3, the attitude information of the stereo camera 3, and the shape information of the target terrain around the excavator 20 are obtained. Measured and detected from time to time. These pieces of detection information are converted by the signal processor 21 and then transmitted via the information transmission network and input to the signal processor 10 in the operation room 23.

信号処理器１０において、油圧ショベル２０の三次元形状，油圧ショベル２０の周囲の地形の三次元形状及びＴＶカメラ７の撮影範囲形状が演算される。これらの演算では、グローバル座標系における座標情報によって構成された形状が算出される。その後、画像処理演算器２２において、これらの形状がＣＧ画像として合成される。
モニタ６では、画像処理演算器２２で合成されたＣＧ画像と画像受信器１９で受信されたＴＶカメラ７の映像とが同時に表示される。なお、これらのＣＧ画像及び映像は、随時更新される。 In the signal processor 10, the three-dimensional shape of the excavator 20, the three-dimensional shape of the terrain around the excavator 20, and the shooting range shape of the TV camera 7 are calculated. In these calculations, a shape constituted by coordinate information in the global coordinate system is calculated. Thereafter, these shapes are synthesized as a CG image in the image processing calculator 22.
On the monitor 6, the CG image synthesized by the image processing calculator 22 and the video of the TV camera 7 received by the image receiver 19 are displayed simultaneously. These CG images and videos are updated as needed.

例えば、モニタ６の表示画面が二分割され、その一方の分割画面に、図３（ａ）に示すように、油圧ショベル２０の三次元形状，油圧ショベル２０の周囲の地形の三次元形状及びＴＶカメラ７の撮影範囲形状が重畳表示される。また、他方の分割画面には、図３（ｂ）に示すように、実際の作業範囲の状況が表示される。ＴＶカメラ７の表示範囲は、図３（ａ）に破線で表示されているＴＶカメラ７の撮影範囲と略一致することになる。   For example, the display screen of the monitor 6 is divided into two, and as shown in FIG. 3A, the three-dimensional shape of the excavator 20, the three-dimensional shape of the terrain around the excavator 20, and the TV are displayed on one of the divided screens. The shooting range shape of the camera 7 is superimposed and displayed. In addition, as shown in FIG. 3B, the actual work range is displayed on the other divided screen. The display range of the TV camera 7 substantially coincides with the shooting range of the TV camera 7 displayed by the broken line in FIG.

［効果］
このように、本画像処理システムによれば、油圧ショベル２０とその周囲の地形との位置関係を容易かつ正確に把握することができる。たとえ油圧ショベル２０や地形が傾斜していても、ＧＰＳの利用によりその傾斜を正確に把握できる。すなわち、対象地形と作業機との相対的な位置関係だけでなく、絶対的な位置関係を正確に把握することができ、施工性を向上させることができる。 [effect]
Thus, according to the present image processing system, the positional relationship between the excavator 20 and the surrounding terrain can be easily and accurately grasped. Even if the excavator 20 or the terrain is inclined, the inclination can be accurately grasped by using GPS. That is, not only the relative positional relationship between the target landform and the work implement but also the absolute positional relationship can be accurately grasped, and the workability can be improved.

また、ステレオカメラ３が油圧ショベル２０とは別設されているため、油圧ショベル２０の車体振動が地形の計測に悪影響を与えることがなく、短時間で正確に地形計測を済ませることができる。
また、油圧ショベル２０，周囲の地形及びＴＶカメラ７の撮影範囲形状が一つのＣＧ画像として重畳表示されるため、これらの位置関係が視覚的にわかりやすい。なお、周囲の地形中における理論上の撮影範囲と、実際のＴＶカメラ７で撮影された映像とが同時に表意されるため、オペレータはこれらの対応関係をより明確に把握することができる。また、油圧ショベル２０とその周囲の状況を示すＣＧ画像とＴＶカメラ７の映像とが随時更新されるため、油圧ショベル２０の作業量を把握することもできる。
なお、本画像処理システムは構成が簡素であり、コストを低減させることができる。 Further, since the stereo camera 3 is provided separately from the hydraulic excavator 20, the body vibration of the hydraulic excavator 20 does not adversely affect the measurement of the terrain, and the terrain measurement can be completed accurately in a short time.
In addition, since the excavator 20, the surrounding terrain, and the shooting range shape of the TV camera 7 are superimposed and displayed as one CG image, the positional relationship between them is visually easy to understand. In addition, since the theoretical shooting range in the surrounding terrain and the video shot by the actual TV camera 7 are expressed simultaneously, the operator can grasp these correspondences more clearly. Further, since the hydraulic excavator 20, the CG image indicating the surrounding situation and the video of the TV camera 7 are updated at any time, the work amount of the hydraulic excavator 20 can be grasped.
The image processing system has a simple configuration and can reduce the cost.

［その他］
以上、本発明の実施形態について説明したが、本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
例えば、上述の実施形態では、本発明に係る遠隔操縦作業機の画像処理システムを油圧ショベル２０に適用したものを説明したが、これ以外の車両に適用することも考えられる。遠隔操縦が可能な作業機であれば、例えばブルドーザやホイールローダ等の作業機械全般に広く適用可能である。 [Others]
Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the spirit of the present invention.
For example, in the above-described embodiment, the image processing system for a remote control working machine according to the present invention is applied to the hydraulic excavator 20, but it may be applied to other vehicles. Any work machine capable of remote control can be widely applied to work machines such as bulldozers and wheel loaders.

また、上述の実施形態では、画像処理演算器２２において油圧ショベル２０の三次元形状，油圧ショベル２０の周囲の地形の三次元形状及びＴＶカメラ７の撮影範囲形状が合成されているが、ＴＶカメラ７の撮影範囲形状を省いた構成としてもよい。少なくとも油圧ショベル２０とその周囲の地形とが重畳表示されれば、絶対的な位置関係を正確に把握することができ、施工性を向上させることができる。   In the above-described embodiment, the three-dimensional shape of the hydraulic excavator 20, the three-dimensional shape of the terrain around the hydraulic excavator 20, and the shooting range shape of the TV camera 7 are synthesized in the image processing calculator 22. The configuration may be such that the shape of the photographing range 7 is omitted. If at least the excavator 20 and the surrounding terrain are superimposed and displayed, the absolute positional relationship can be accurately grasped, and the workability can be improved.

また、上述の実施形態では、図３（ａ），（ｂ）に示すようなＣＧ画像及びＴＶカメラ７の映像が同時に表示されているが、一つのモニタ上において所定の時間間隔で交互に表示する構成としてもよいし、複数のモニタを用意して同時に表示させる構成としてもよい。
また、上述の実施形態では、ブーム，アーム及びバケットの回動状態を検出する回動角センサ１２ａ〜１２ｃを備えた構成となっているが、これらの構成は必須ではない（例えば、ブルドーザやホイールローダに本発明の画像処理システムを適用する場合等）。なお、回動角センサの代わりに各油圧シリンダの作動量を検出するセンサを用いて、作業装置１１の姿勢を把握してもよい。 Further, in the above-described embodiment, the CG image and the video of the TV camera 7 as shown in FIGS. 3A and 3B are displayed at the same time, but alternately displayed at a predetermined time interval on one monitor. It is good also as a structure to prepare, and it is good also as a structure which prepares several monitors and displays simultaneously.
Moreover, in the above-mentioned embodiment, although it has the structure provided with the rotation angle sensors 12a-12c which detect the rotation state of a boom, an arm, and a bucket, these structures are not essential (for example, a bulldozer or a wheel) For example, when the image processing system of the present invention is applied to a loader). Note that the posture of the working device 11 may be grasped by using a sensor that detects the operation amount of each hydraulic cylinder instead of the rotation angle sensor.

また、油圧ショベル２０の周囲の地形形状に関しても、ステレオカメラ３以外のセンサを用いることが可能である。例えば、スキャニングレーザ等のレーダ装置を適用してもよい。
なお、上述の実施形態では、ジャイロ及び方位センサを用いて油圧ショベル２０の姿勢を検出しているが、グローバル座標系に対する姿勢を検出できるものであればこれに限定されず、他のセンサ類を用いてもよいことは言うまでもない。 Further, regarding the terrain shape around the excavator 20, a sensor other than the stereo camera 3 can be used. For example, a radar device such as a scanning laser may be applied.
In the above-described embodiment, the attitude of the hydraulic excavator 20 is detected using a gyroscope and an orientation sensor. However, the present invention is not limited to this as long as the attitude with respect to the global coordinate system can be detected, and other sensors are used. Needless to say, it may be used.

本発明の一実施形態に係る遠隔操縦作業機の画像処理システムを示す図であり、本画像処理システムが適用された作業機の全体構成を示す模式的な側面図、（ｂ）は本画像処理システムに係るステレオカメラ及び操作室の構成を示す模式図である。BRIEF DESCRIPTION OF THE DRAWINGS It is a figure which shows the image processing system of the remote control working machine which concerns on one Embodiment of this invention, and is a typical side view which shows the whole structure of the working machine to which this image processing system was applied, (b) is this image processing. It is a schematic diagram which shows the structure of the stereo camera and operation room which concern on a system. 本画像処理システムの信号処理に係る全体構成を示す制御ブロック図である。It is a control block diagram which shows the whole structure concerning the signal processing of this image processing system. 本画像処理システムによって表示される画像の一例であり、（ａ）は対象地形，作業機及びＴＶカメラの撮影範囲を重畳表示したＣＧ画像、（ｂ）は作業カメラで撮影された作業範囲の映像を示す。It is an example of the image displayed by this image processing system, (a) is a CG image on which the target terrain, the work machine, and the shooting range of the TV camera are superimposed, and (b) is a video of the work range shot by the work camera. Indicates.

符号の説明Explanation of symbols

１ａ 作業機ＧＰＳ受信器（第１ＧＰＳ受信手段）
１ｂ ステレオカメラＧＰＳ受信機（第２ＧＰＳ受信手段）
２ａ 作業機姿勢検出器（第１姿勢計測手段）
２ｂ ステレオカメラ姿勢検出器（第２姿勢計測装置）
３ ステレオカメラ（地形計測装置）
４ 機体姿勢演算処理器（作業機演算手段）
５ 地形形状演算処理器（地形演算手段）
６ モニタ（表示手段）
７ ＴＶカメラ（カメラ）
８ 角度検出器（カメラ姿勢検出手段）
９ カメラ撮影範囲演算処理器（撮影範囲演算手段）
１０ 信号処理器
１１ 作業装置
１２ａ〜１２ｃ 角度センサ（回動角センサ）
２０ 油圧ショベル（遠隔操縦作業機）
２３ 操作室 1a Work machine GPS receiver (first GPS receiving means)
1b Stereo camera GPS receiver (second GPS receiving means)
2a Work implement attitude detector (first attitude measuring means)
2b Stereo camera attitude detector (second attitude measuring device)
3 Stereo camera (terrain measuring device)
4 Aircraft attitude calculation processor (work machine calculation means)
5 Terrain shape calculation processor (terrain calculation means)
6 Monitor (display means)
7 TV camera (camera)
8 Angle detector (camera posture detection means)
9 Camera shooting range calculation processor (shooting range calculation means)
DESCRIPTION OF SYMBOLS 10 Signal processor 11 Working apparatus 12a-12c Angle sensor (turning angle sensor)
20 Hydraulic excavator (remote control work machine)
23 Operation room

Claims (6)

無線信号によって遠隔操縦される作業機の画像処理システムにおいて、
地球上における該作業機の絶対位置を計測する第１ＧＰＳ受信手段と、
該作業機の姿勢を計測する第１姿勢計測手段と、
該作業機とは別設され、該作業機の周囲の対象地形の形状を計測する地形計測装置と、
該地球上における該地形計測装置の絶対位置を計測する第２ＧＰＳ受信手段と、
該地形計測装置の姿勢を計測する第２姿勢計測手段と、
該第１ＧＰＳ受信手段で計測された該作業機の絶対位置及び該第１姿勢計測手段で計測された該作業機の姿勢に基づいて、該作業機の三次元形状を演算する作業機演算手段と、
該第２ＧＰＳ受信手段で計測された該地形計測装置の絶対位置及び該第２姿勢計測手段で計測された該地形計測装置の姿勢に基づいて、該対象地形の三次元形状を演算する地形演算手段と、
該地形演算手段で演算された該対象地形の三次元形状及び該作業機演算手段で演算された該作業機の三次元形状を重畳表示する表示手段と
を備えたことを特徴とする、遠隔操縦作業機の画像処理システム。 In an image processing system for a work machine remotely controlled by a wireless signal,
First GPS receiving means for measuring the absolute position of the work machine on the earth;
First attitude measuring means for measuring the attitude of the work implement;
A terrain measuring device that is provided separately from the work implement and measures the shape of the target terrain around the work implement;
Second GPS receiving means for measuring the absolute position of the terrain measuring device on the earth;
A second posture measuring means for measuring the posture of the terrain measuring device;
A working machine computing means for computing a three-dimensional shape of the working machine based on the absolute position of the working machine measured by the first GPS receiving means and the attitude of the working machine measured by the first attitude measuring means; ,
A terrain calculating means for calculating a three-dimensional shape of the target terrain based on the absolute position of the terrain measuring apparatus measured by the second GPS receiving means and the attitude of the terrain measuring apparatus measured by the second attitude measuring means. When,
A remote control comprising: a display unit configured to superimpose and display the three-dimensional shape of the target terrain calculated by the terrain calculating unit and the three-dimensional shape of the working unit calculated by the working unit calculating unit Image processing system for work equipment. 該作業機に搭載され、該作業機による作業範囲を撮影するカメラと、
該作業機に対する該カメラの姿勢を検出するカメラ姿勢検出手段と、
該第１ＧＰＳ受信手段で計測された該作業機の絶対位置，該第１姿勢計測手段で計測された該作業機の姿勢及び該カメラ姿勢検出手段で検出された該カメラの姿勢に基づいて、該カメラの撮影範囲の三次元形状を演算する撮影範囲演算手段とをさらに備え、
該表示手段が、該対象地形の三次元形状及び該作業機の三次元形状に加えて、該撮影範囲演算手段で演算された該カメラの該撮影範囲を重畳表示する
ことを特徴とする、請求項１記載の遠隔操縦作業機の画像処理システム。 A camera mounted on the work machine and photographing a work range by the work machine;
Camera posture detection means for detecting the posture of the camera with respect to the work implement;
Based on the absolute position of the working machine measured by the first GPS receiving means, the attitude of the working machine measured by the first attitude measuring means, and the attitude of the camera detected by the camera attitude detecting means, A shooting range calculation means for calculating the three-dimensional shape of the shooting range of the camera;
The display means superimposes and displays the shooting range of the camera calculated by the shooting range calculation means in addition to the three-dimensional shape of the target terrain and the three-dimensional shape of the work implement. Item 12. The image processing system for a remote control working machine according to Item 1. 該表示手段が、該対象地形の三次元形状，該作業機の三次元形状及び該撮影範囲の重畳画像と、該カメラで撮影された該作業範囲の映像とを同時に表示する
ことを特徴とする、請求項２記載の遠隔操縦作業機の画像処理システム。 The display means simultaneously displays a three-dimensional shape of the target terrain, a three-dimensional shape of the work implement, a superimposed image of the shooting range, and an image of the work range shot by the camera. The image processing system for a remote control working machine according to claim 2. 該作業機に搭載された作業装置としてのブーム，アーム及びバケットと、
該ブーム，該アーム及び該バケットの各々の回動角を検出する回動角センサとをさらに備えた
ことを特徴とする、請求項１〜３の何れか１項に記載の遠隔操縦作業機の画像処理システム。 A boom, an arm and a bucket as a working device mounted on the working machine;
The remote control working machine according to any one of claims 1 to 3, further comprising a rotation angle sensor that detects a rotation angle of each of the boom, the arm, and the bucket. Image processing system. 該地形計測装置として、複数のカメラからなるステレオカメラを備えた
ことを特徴とする、請求項１〜４の何れか１項に記載の遠隔操縦作業機の画像処理システム。 The remote control work machine image processing system according to any one of claims 1 to 4, wherein the terrain measuring device includes a stereo camera including a plurality of cameras. 該第１姿勢計測手段が、該作業機の傾斜角を検出するジャイロと、該作業機が傾斜している方位を検出する方位センサとを有する
ことを特徴とする、請求項１〜５の何れか１項に記載の遠隔操縦作業機の画像処理システム。 The first attitude measuring means includes a gyro that detects an inclination angle of the work implement, and an orientation sensor that detects an orientation in which the work implement is inclined. The image processing system for a remote control working machine according to claim 1.
JP2006329880A 2006-12-06 2006-12-06 Image processing system of remote controlled working machine Withdrawn JP2008144379A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006329880A JP2008144379A (en) 2006-12-06 2006-12-06 Image processing system of remote controlled working machine

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006329880A JP2008144379A (en) 2006-12-06 2006-12-06 Image processing system of remote controlled working machine

Publications (1)

Publication Number Publication Date
JP2008144379A true JP2008144379A (en) 2008-06-26

Family

ID=39604845

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006329880A Withdrawn JP2008144379A (en) 2006-12-06 2006-12-06 Image processing system of remote controlled working machine

Country Status (1)

Country Link
JP (1) JP2008144379A (en)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013168777A (en) * 2012-02-15 2013-08-29 Fujita Corp Remote control system
JP2013168778A (en) * 2012-02-15 2013-08-29 Fujita Corp Remote control system
JP2014013527A (en) * 2012-07-05 2014-01-23 East Japan Railway Co Image forming apparatus, image forming system, and image forming program
JP2015162886A (en) * 2014-02-28 2015-09-07 東芝ロジスティクス株式会社 obstacle monitoring system and program
WO2016079557A1 (en) * 2014-11-17 2016-05-26 Yanmar Co., Ltd. Display system for remote control of working machine
JP2017022433A (en) * 2015-07-07 2017-01-26 日立建機株式会社 Remote control system
JP2017110492A (en) * 2017-02-06 2017-06-22 住友建機株式会社 Shovel
JP2017147759A (en) * 2017-05-08 2017-08-24 住友建機株式会社 Shovel
WO2017163823A1 (en) * 2016-03-23 2017-09-28 株式会社小松製作所 Work vehicle
CN107447800A (en) * 2017-08-17 2017-12-08 山东省环科院环境工程有限公司 A kind of ephemeral stream polluted bed mud accurately controls dredging method
KR101944817B1 (en) * 2018-04-11 2019-02-07 (주)영신디엔씨 Detection Automatic System of Excavating Work Using Mobile Terminal
KR101944816B1 (en) * 2018-04-11 2019-02-07 (주)영신디엔씨 Detection Automatic System of Excavating Work
WO2019054003A1 (en) * 2017-09-15 2019-03-21 株式会社小松製作所 Display system, display method, and display device
CN110132255A (en) * 2019-04-10 2019-08-16 北京拓疆者智能科技有限公司 Control method, device, display terminal, mechanical equipment and man-machine interactive system
JP2019218059A (en) * 2019-09-18 2019-12-26 株式会社小松製作所 Construction machine
WO2020054412A1 (en) * 2018-09-14 2020-03-19 株式会社小松製作所 Work-machine display system and control method therefor
WO2020054411A1 (en) * 2018-09-14 2020-03-19 株式会社小松製作所 Display system for work machine, and method for controlling display system
JP2020125677A (en) * 2014-06-20 2020-08-20 住友重機械工業株式会社 Shovel and terrain data update method
JP2020128695A (en) * 2015-09-16 2020-08-27 住友重機械工業株式会社 Shovel and system for the same
JP2021073401A (en) * 2021-02-10 2021-05-13 住友重機械工業株式会社 Shovel, and system for shovel
CN112884710A (en) * 2021-01-19 2021-06-01 上海三一重机股份有限公司 Auxiliary image generation method, remote control method and device for operation machine
JP2022135239A (en) * 2021-03-05 2022-09-15 日立建機株式会社 Operation control system of construction machine
WO2023144988A1 (en) * 2022-01-28 2023-08-03 株式会社やまびこ Work robot system

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013168778A (en) * 2012-02-15 2013-08-29 Fujita Corp Remote control system
JP2013168777A (en) * 2012-02-15 2013-08-29 Fujita Corp Remote control system
JP2014013527A (en) * 2012-07-05 2014-01-23 East Japan Railway Co Image forming apparatus, image forming system, and image forming program
JP2015162886A (en) * 2014-02-28 2015-09-07 東芝ロジスティクス株式会社 obstacle monitoring system and program
JP7441710B2 (en) 2014-06-20 2024-03-01 住友重機械工業株式会社 A system including a shovel and a multicopter, and a shovel
JP2020125677A (en) * 2014-06-20 2020-08-20 住友重機械工業株式会社 Shovel and terrain data update method
WO2016079557A1 (en) * 2014-11-17 2016-05-26 Yanmar Co., Ltd. Display system for remote control of working machine
JP2017022433A (en) * 2015-07-07 2017-01-26 日立建機株式会社 Remote control system
JP2022079675A (en) * 2015-09-16 2022-05-26 住友重機械工業株式会社 Shovel and system for shovel
JP2020128695A (en) * 2015-09-16 2020-08-27 住友重機械工業株式会社 Shovel and system for the same
JP7053720B2 (en) 2015-09-16 2022-04-12 住友重機械工業株式会社 Excavator and system for excavator
JP7387795B2 (en) 2015-09-16 2023-11-28 住友重機械工業株式会社 Excavators and systems for excavators
JP2017172185A (en) * 2016-03-23 2017-09-28 株式会社小松製作所 Work vehicle
WO2017163823A1 (en) * 2016-03-23 2017-09-28 株式会社小松製作所 Work vehicle
JP2017110492A (en) * 2017-02-06 2017-06-22 住友建機株式会社 Shovel
JP2017147759A (en) * 2017-05-08 2017-08-24 住友建機株式会社 Shovel
CN107447800A (en) * 2017-08-17 2017-12-08 山东省环科院环境工程有限公司 A kind of ephemeral stream polluted bed mud accurately controls dredging method
US11280062B2 (en) 2017-09-15 2022-03-22 Komatsu Ltd. Display system, display method, and display device
JP2019054464A (en) * 2017-09-15 2019-04-04 株式会社小松製作所 Display system, display method, and display device
WO2019054003A1 (en) * 2017-09-15 2019-03-21 株式会社小松製作所 Display system, display method, and display device
AU2018333193B2 (en) * 2017-09-15 2021-03-18 Komatsu Ltd. Display system, display method, and display device
KR101944816B1 (en) * 2018-04-11 2019-02-07 (주)영신디엔씨 Detection Automatic System of Excavating Work
KR101944817B1 (en) * 2018-04-11 2019-02-07 (주)영신디엔씨 Detection Automatic System of Excavating Work Using Mobile Terminal
JP2020045633A (en) * 2018-09-14 2020-03-26 株式会社小松製作所 Display system of work machine and control method thereof
WO2020054411A1 (en) * 2018-09-14 2020-03-19 株式会社小松製作所 Display system for work machine, and method for controlling display system
WO2020054412A1 (en) * 2018-09-14 2020-03-19 株式会社小松製作所 Work-machine display system and control method therefor
JP7286287B2 (en) 2018-09-14 2023-06-05 株式会社小松製作所 Work machine display system and its control method
CN110132255A (en) * 2019-04-10 2019-08-16 北京拓疆者智能科技有限公司 Control method, device, display terminal, mechanical equipment and man-machine interactive system
CN110132255B (en) * 2019-04-10 2021-06-18 北京拓疆者智能科技有限公司 Control method and device, display terminal, mechanical equipment and human-computer interaction system
JP2019218059A (en) * 2019-09-18 2019-12-26 株式会社小松製作所 Construction machine
CN112884710A (en) * 2021-01-19 2021-06-01 上海三一重机股份有限公司 Auxiliary image generation method, remote control method and device for operation machine
JP2021073401A (en) * 2021-02-10 2021-05-13 住友重機械工業株式会社 Shovel, and system for shovel
JP2022135239A (en) * 2021-03-05 2022-09-15 日立建機株式会社 Operation control system of construction machine
WO2023144988A1 (en) * 2022-01-28 2023-08-03 株式会社やまびこ Work robot system

Similar Documents

Publication Publication Date Title
JP2008144379A (en) Image processing system of remote controlled working machine
WO2017061518A1 (en) Construction management system, construction management method and management device
JP6777375B2 (en) Work machine image display system, work machine remote control system and work machine
CN104884713B (en) The display system and its control method of construction implement
JP6322612B2 (en) Construction management system and shape measurement method
WO2020241618A1 (en) Map generation system and map generation method
JP2020159192A (en) Display system, construction machine, and display method
JP6585697B2 (en) Construction management system
WO2020003631A1 (en) Display control device and display control method
JP6867132B2 (en) Work machine detection processing device and work machine detection processing method
JP7420733B2 (en) Display control system and display control method
JP7080750B2 (en) Display control system, remote control system, display control device, and display control method
JP2010018141A (en) Display device in construction machine
JP6918716B2 (en) Construction machinery
JP2011001775A (en) Display device for construction machine
JP7386592B2 (en) Construction machinery operation assistance system
JP6606230B2 (en) Shape measurement system
JP6815462B2 (en) Shape measurement system and shape measurement method
JP6616149B2 (en) Construction method, work machine control system, and work machine
JP2021038649A (en) Image display system for work machine, remote operation system for work machine, work machine, and image display method for work machine
WO2023002796A1 (en) System for setting operation range of excavation machine and method for controlling same
AU2022252761A1 (en) Display control system, display control method and remote operation system
JP7436339B2 (en) Display control device and display method
WO2024070333A1 (en) Construction machine
JP7065002B2 (en) Work machine

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20100302