JP2017032276A

JP2017032276A - Position measurement system

Info

Publication number: JP2017032276A
Application number: JP2015148935A
Authority: JP
Inventors: 浩章青木; Hiroaki Aoki; 三郎片山; Saburo Katayama
Original assignee: Taisei Corp
Current assignee: Taisei Corp
Priority date: 2015-07-28
Filing date: 2015-07-28
Publication date: 2017-02-09
Anticipated expiration: 2035-07-28
Also published as: JP6598552B2

Abstract

PROBLEM TO BE SOLVED: To provide a position measurement system which measures a position of a work object without using measurement instruments.SOLUTION: A position measurement system 10 which is mounted in a construction machine 1 including a stereo camera 6 includes: a gyro sensor 11 as an inclination sensor for detecting the inclination of the stereo camera 6 to a level surface; and a stereo image analysis section 12 for calculating a position of a measurement point from a stereo image picked up by the stereo camera 6. The stereo image analysis section 12 corrects the position of the measurement point on the basis of the inclination detected by the gyro sensor 11.SELECTED DRAWING: Figure 3

Description

本発明は、位置計測システムに関する。 The present invention relates to a position measurement system.

作業員の立ち入れない作業区域では、遠隔操作による無人化施工が採用される場合がある。無人化施工では、例えば、作業現場から送られてくる映像を複数のモニタに表示し、オペレータがこのモニタを確認しながら無線通信を用いた遠隔操作により建設機械を制御する（例えば、特許文献１参照）。 In work areas where workers cannot enter, remote unmanned construction may be employed. In the unmanned construction, for example, images sent from the work site are displayed on a plurality of monitors, and an operator controls the construction machine by remote operation using wireless communication while checking the monitors (for example, Patent Document 1). reference).

ここで、建設機械に設置したカメラにより撮影した作業映像および作業現場に設置した建設機械の側面映像の二つの映像をモニタに表示すると、オペレータは側面映像を確認することで建設機械と作業対象物との距離感を把握すると共に作業映像を見ながら正確に遠隔操作を行うことができる。 Here, when two images are displayed on the monitor, the work image taken by the camera installed on the construction machine and the side image of the construction machine installed on the work site, the operator confirms the side image and the construction machine and the work object. The remote control can be performed accurately while grasping the sense of distance from the camera and watching the work image.

しかし、建設機械が移動しながら作業を行う場合や、側面映像を撮影するカメラの設置が困難な場合においては、作業映像だけを見てオペレータが遠隔操作を行うことがあった。この場合、作業映像だけでは遠近感に乏しいので、オペレータは今までの経験を頼りに建設機械と作業対象物との距離感を把握しなければならない。その為、オペレータの熟練度により作業効率が変わるだけでなく、建設機械の接触事故等のおそれもあった。 However, when the construction machine moves while moving, or when it is difficult to install a camera that captures a side image, the operator may perform a remote operation only by looking at the work image. In this case, since the work image alone is poor in perspective, the operator has to grasp the sense of distance between the construction machine and the work object based on the experience so far. Therefore, not only the work efficiency changes depending on the skill level of the operator, but there is also a risk of a construction machine contact accident or the like.

そこで、従来、建設機械にスキャニングレーザ手段を搭載する技術が提案されている。スキャニングレーザ手段は、作業する対象地形領域にレーザ光線を照射し、その反射光を受光するものである。これにより、オペレータは、側面映像がなくても建設機械と作業対象物との距離感を把握することが可能である。 Thus, conventionally, a technique for mounting a scanning laser means on a construction machine has been proposed. The scanning laser means irradiates a target terrain area to be worked with a laser beam and receives the reflected light. Thereby, the operator can grasp the sense of distance between the construction machine and the work object without the side image.

特開平８−７４２９６号公報JP-A-8-74296 特開２００４−２９４０６７号公報Japanese Patent Application Laid-Open No. 2004-294067

しかしながら、建設機械が作業する環境について十分に考慮されていないので、特許文献２に記載される技術を実際の無人化施工に用いることは難しかった。つまり、建設機械に搭載する機器類は、種々の耐久性（防水・防塵・耐振動・耐衝撃等）を備えていなければならないが、レーザ距離計や３Ｄスキャナ等の計測器類は、一般的にこれらの耐久性を備えていない。その為、計測器類を建設機械に搭載することは、容易でなかった。 However, since the environment in which construction machines work is not fully considered, it is difficult to use the technique described in Patent Document 2 for actual unmanned construction. In other words, equipment mounted on construction machinery must have various durability (waterproof / dustproof / vibration / shock resistant), but measuring instruments such as laser distance meters and 3D scanners are common. Does not have these durability. Therefore, it was not easy to mount measuring instruments on construction machines.

計測器の設置台として非常に優れた雲台等を設置し、また屋外の使用に耐え得るように計器類をカバーで覆うことも考えられるが、装置が大がかりになると共に費用が余計にかかるので望ましくない。なお、計器類をカバーで覆う場合は、カバーの材料（例えば、ガラスやアクリル等）が計測に悪影響を及ぼす可能性があるため、耐久性が上がっても計測精度が落ちることも懸念される。 It is conceivable to install a very good pan head or the like as a mounting base for measuring instruments, and to cover the instruments with a cover so that they can withstand outdoor use, but the equipment becomes large and the cost increases. Not desirable. In addition, when covering instruments with a cover, since the material (for example, glass, acrylic, etc.) of a cover may have a bad influence on measurement, there is a concern that measurement accuracy may fall even if durability improves.

このような観点から、本発明は、計測器類を用いることなく作業対象物の位置を計測することができる位置計測システムを提供する。 From such a viewpoint, the present invention provides a position measurement system that can measure the position of a work object without using measuring instruments.

前記課題を解決するため、本発明に係る位置計測システムは、ステレオカメラを有する建設機械に搭載される位置計測システムである。この位置計測システムは、水平面に対する前記ステレオカメラの傾きを検出する傾きセンサと、前記ステレオカメラで撮影されたステレオ画像から計測点の位置を算出するステレオ画像解析部とを備える。そして、ステレオ画像解析部は、前記傾きセンサが検出する傾きから前記計測点の位置を補正することを特徴とする。 In order to solve the above problems, a position measurement system according to the present invention is a position measurement system mounted on a construction machine having a stereo camera. The position measurement system includes an inclination sensor that detects an inclination of the stereo camera with respect to a horizontal plane, and a stereo image analysis unit that calculates the position of a measurement point from a stereo image captured by the stereo camera. The stereo image analyzer corrects the position of the measurement point from the tilt detected by the tilt sensor.

本発明に係る位置計測システムにおいては、傾きセンサによって水平面に対するステレオカメラの傾きを検出できるので、計測点の位置を補正することが可能である。したがって、地面が平らに整備されていない作業現場などにおいても、計測点の位置を正確に計測することができる。その為、本発明に係る位置計測システムによれば、操縦者は、建設機械を遠隔操作する場合においても距離感を把握することが容易である。 In the position measurement system according to the present invention, the tilt sensor can detect the tilt of the stereo camera with respect to the horizontal plane, so that the position of the measurement point can be corrected. Therefore, the position of the measurement point can be accurately measured even at a work site where the ground is not maintained flat. Therefore, according to the position measurement system according to the present invention, it is easy for the operator to grasp the sense of distance even when the construction machine is remotely operated.

本発明によれば、計測器類を用いることなく作業対象物の位置を計測することができる。 According to the present invention, the position of a work object can be measured without using measuring instruments.

本発明の実施形態に係る位置計測システムを搭載した建設機械の外観斜視図である。1 is an external perspective view of a construction machine equipped with a position measurement system according to an embodiment of the present invention. ステレオカメラの外観斜視図である。It is an external appearance perspective view of a stereo camera. 実施形態に係る建設機械の機能構成図である。It is a functional lineblock diagram of the construction machine concerning an embodiment. ステレオカメラ法を用いた画像解析における射影変換のイメージ図である。It is an image figure of the projective transformation in the image analysis using a stereo camera method. 作業現場における建設機械の状態を示す図であり、（ａ）は平坦な場所に建設機械が存在する場合を示し、（ｂ）は起伏のある場所に建設機械が存在する場合を示す。It is a figure which shows the state of the construction machine in a work site, (a) shows the case where a construction machine exists in a flat place, (b) shows the case where a construction machine exists in a undulating place. ステレオ画像解析部の処理を示すフローチャートの例示である。It is an illustration of the flowchart which shows the process of a stereo image analysis part. 実施例に係る建設機械の機能構成図である。It is a functional block diagram of the construction machine which concerns on an Example. 物体追跡部の処理を説明するための図である。It is a figure for demonstrating the process of an object tracking part. 物体追跡部におけるモニタへの表示画面の例示である。It is an example of the display screen to the monitor in an object tracking part. 物体追跡部の処理を示すフローチャートの例示である。It is an example of the flowchart which shows the process of an object tracking part. 二点間計測部の処理を説明するための図である。It is a figure for demonstrating the process of the measurement part between two points. 二点間計測部におけるモニタへの表示画面の例示である。It is an illustration of the display screen to the monitor in the measuring unit between two points. 二点間計測部の処理を示すフローチャートの例示である。It is an illustration of the flowchart which shows the process of the measurement part between two points. 形状計測部の処理を説明するための図である。It is a figure for demonstrating the process of a shape measurement part. 形状計測部におけるモニタへの表示画面の例示である。It is an example of the display screen to the monitor in a shape measurement part. 形状計測部の処理を示すフローチャートの例示である。It is an illustration of the flowchart which shows the process of a shape measurement part.

以下、本発明の実施をするための形態を、適宜図面を参照しながら詳細に説明する。
各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、参照する図面において、本発明を構成する部材の寸法は、説明を明確にするために誇張して表現されている場合がある。なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。 DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings as appropriate.
Each figure is only schematically shown so that the invention can be fully understood. Therefore, the present invention is not limited to the illustrated example. In the drawings to be referred to, dimensions of members constituting the present invention may be exaggerated for clarity of explanation. In addition, in each figure, about the same component or the same component, the same code | symbol is attached | subjected and those overlapping description is abbreviate | omitted.

≪実施形態に係る建設機械の構成について≫
図１を参照して、実施形態に係る建設機械１について説明する。建設機械１は、遠隔操作による無人化施工に用いられるものである。操縦者は、建設機械１に搭乗しておらず、作業現場から離れた場所に存在する遠隔操作室で操縦を行っている。この遠隔操作室には、例えば、モニタとコントローラとを備えるＰＣ（Personal Computer）が設置されており、操縦者は、モニタを見ながらコントローラの操作を行う。
建設機械１は、上部機構２と、上部機構２の前方に取り付けられた作業部機構３と、上部機構２の下部に取り付けられた下部機構４と、通信装置５と、遠隔操作に用いる画像を撮影するステレオカメラ６と、位置計測システム１０とで構成されている。 ≪About the configuration of the construction machine according to the embodiment≫
A construction machine 1 according to an embodiment will be described with reference to FIG. The construction machine 1 is used for unmanned construction by remote operation. The operator is not on the construction machine 1 and is operating in the remote control room that is located away from the work site. In this remote operation room, for example, a PC (Personal Computer) including a monitor and a controller is installed, and the operator operates the controller while looking at the monitor.
The construction machine 1 includes an upper mechanism 2, a working unit mechanism 3 attached to the front of the upper mechanism 2, a lower mechanism 4 attached to the lower part of the upper mechanism 2, a communication device 5, and an image used for remote operation. A stereo camera 6 for photographing and a position measurement system 10 are configured.

上部機構２は、操縦席２ａと、駆動源収容部２ｂとからなる。本実施形態では、無人化施工システムを行うことを想定しているので、操縦者は、操縦席２ａに搭乗していない。駆動源収容部２ｂには、エンジン、エンジンで発生した回転力を油圧に変換する油圧ポンプ、油圧ポンプから送られた油の圧力、流量、方向等を調整・制御するコントロールバルブ等が収容されている。上部機構２は、旋回体２ｃによって、水平方向の回転が可能である。 The upper mechanism 2 includes a cockpit 2a and a drive source accommodating portion 2b. In this embodiment, since it is assumed that an unmanned construction system is performed, the driver is not on the cockpit 2a. The drive source accommodating portion 2b accommodates an engine, a hydraulic pump that converts the rotational force generated by the engine into hydraulic pressure, a control valve that adjusts and controls the pressure, flow rate, direction, and the like of the oil sent from the hydraulic pump. Yes. The upper mechanism 2 can be rotated in the horizontal direction by the swing body 2c.

作業部機構３は、上部機構２に取り付けられたブーム３ａと、ブーム３ａの先端に取り付けられたアーム３ｂと、アーム３ｂの先端に取り付けられたアタッチメント３ｃと、これらの間に一つずつ介設された合計で三つの油圧シリンダ３ｄ，・・，３ｄとからなる。作業部機構３は、油圧シリンダ３ｄをコントロールバルブから送られる油を用いて伸縮することにより作動し、作業部機構３を直線状や内側に屈曲した状態にする。アタッチメント３ｃは、作業対象物に接触して実際に作業を行うものであり、作業の内容に応じて取り替え可能である。アタッチメント３ｃは、図１に示す以外にも、例えば、バケットや把持装置等であってもよい。 The working unit mechanism 3 includes a boom 3a attached to the upper mechanism 2, an arm 3b attached to the tip of the boom 3a, an attachment 3c attached to the tip of the arm 3b, and one between them. In total, three hydraulic cylinders 3d,. The working unit mechanism 3 operates by extending and contracting the hydraulic cylinder 3d using oil sent from the control valve, and makes the working unit mechanism 3 linear or bent inward. The attachment 3c actually performs work by contacting the work object, and can be replaced according to the content of the work. The attachment 3c may be, for example, a bucket or a gripping device other than that shown in FIG.

下部機構４は、車輪４ａと、車輪４ａを取り囲むクローラ４ｂとからなる。なお、下部機構４は、実施形態に示すクローラ式のものでなく、ホイール式のものであってもよい。
通信装置５は、無線通信を用いて、建設機械１の遠隔操作に必要な情報等を送受信する。通信装置５は、例えば、アンテナや通信制御部からなる。通信装置５は、例えば、建設機械１の制御信号を遠隔操作室のコントローラから受信し、また、ステレオカメラ６で撮影した画像を遠隔操作室のモニタに送信する。 The lower mechanism 4 includes a wheel 4a and a crawler 4b surrounding the wheel 4a. The lower mechanism 4 may be a wheel type instead of the crawler type shown in the embodiment.
The communication device 5 transmits and receives information necessary for remote operation of the construction machine 1 using wireless communication. The communication device 5 includes, for example, an antenna and a communication control unit. For example, the communication device 5 receives a control signal of the construction machine 1 from a controller in the remote operation room, and transmits an image captured by the stereo camera 6 to a monitor in the remote operation room.

ステレオカメラ６は、操縦席２ａの屋根に設置され、操縦席２ａの前方を撮影する。撮影された画像は、遠隔操作室内のモニタに表示されるため、操縦者は、遠隔操作室にいながらにして操縦席２ａに搭乗しているような感覚で操縦を行うことができる。図２を参照して、ステレオカメラ６の詳細な構成について説明する。 The stereo camera 6 is installed on the roof of the cockpit 2a and photographs the front of the cockpit 2a. Since the photographed image is displayed on the monitor in the remote operation room, the operator can perform the operation as if he / she is in the pilot seat 2a while in the remote operation room. A detailed configuration of the stereo camera 6 will be described with reference to FIG.

ステレオカメラ６は、右側のカメラ６ｒと、左側のカメラ６ｌと、右側のカメラ６ｒおよび左側のカメラ６ｌが固定されるシャフト６ａとからなる。右側のカメラ６ｒおよび左側のカメラ６ｌは、例えば、耐振機能を備えたＣＣＤ（Charged Coupled Device）カメラであり、所定のフレームレートの画像（例えば、毎秒１０枚の画像）を撮影することができる。カメラ６ｒで撮影された画像（以下では「右画像」と称する）およびカメラ６ｌで撮影された画像（以下では「左画像」と称する）の少なくとも何れか一方は、建設機械１を遠隔操作するために、遠隔操作室のモニタに表示される。なお、左側のカメラ６ｌに比べて右側のカメラ６ｒは作業部機構３に近い位置に存在するので、モニタに右画像を表示した方が操縦を行いやすい。 The stereo camera 6 includes a right camera 6r, a left camera 61, and a shaft 6a to which the right camera 6r and the left camera 61 are fixed. The right camera 6r and the left camera 61 are, for example, CCD (Charged Coupled Device) cameras having an anti-vibration function, and can capture images with a predetermined frame rate (for example, 10 images per second). At least one of an image photographed by the camera 6r (hereinafter referred to as “right image”) and an image photographed by the camera 6l (hereinafter referred to as “left image”) is for remotely operating the construction machine 1. Displayed on the monitor of the remote control room. Since the right camera 6r is located closer to the working unit mechanism 3 than the left camera 61, the right image on the monitor is easier to control.

また、ステレオカメラ６で撮影した右画像および左画像は、建設機械１の遠隔操作による操縦を補助する情報を作成するために用いられる。遠隔操作を補助する情報として、ここでは、作業対象物の位置に関する情報を想定しており、ステレオカメラ法を用いた画像解析により算出される。画像解析の詳細については後記する。 In addition, the right image and the left image captured by the stereo camera 6 are used to create information that assists the remote operation of the construction machine 1. Here, information regarding the position of the work target is assumed as information for assisting remote operation, and is calculated by image analysis using a stereo camera method. Details of the image analysis will be described later.

図２に示すように、ステレオカメラ６は、カメラ設置台７を介して建設機械１に設置される。カメラ設置台７は、シャフト６ａを支持する一対の支持部材７ａ，７ａと、上部架台７ｂと、下部架台７ｃと、上部架台７ｂと下部架台７ｃとの間に介設さえる４つの防振部材７ｄ，・・，７ｄとからなる。なお、カメラ設置台７は、図示していないが、アクリル製の防護板をステレオカメラ６の前面に設置してもよい。この場合、防護板によって飛石等を防護することが可能である。 As shown in FIG. 2, the stereo camera 6 is installed on the construction machine 1 via the camera installation table 7. The camera installation base 7 includes a pair of support members 7a and 7a that support the shaft 6a, an upper base 7b, a lower base 7c, and four vibration isolation members 7d that are interposed between the upper base 7b and the lower base 7c. ,..., 7d. Although the camera installation base 7 is not shown, an acrylic protective plate may be installed on the front surface of the stereo camera 6. In this case, it is possible to protect stepping stones and the like with a protective plate.

上部架台７ｂおよび下部架台７ｃは、いずれも底板および背板を備えた断面形状がＬ形の部材（山形鋼）からなる。上部架台７ｂの底板および背板には、支持部材７ａ，７ａが固設されている。また、下部架台７ｃの底板の下部には、磁石等の接合手段７ｅが設けられている。ステレオカメラ６は、磁石等を使った接合手段７ｅにより、操縦席２ａの屋根の上部に簡単に着脱可能である。
防振部材７ｄは、建設機械１の振動がステレオカメラ６に伝わるのを防止するためのものである。防振部材７ｄは、振動を抑えられるものであれば種類や構成は特に限定されず、例えば、ゴムを材料とするものであってよい。 Each of the upper gantry 7b and the lower gantry 7c is made of a member having an L-shaped cross section (an angle steel) provided with a bottom plate and a back plate. Support members 7a and 7a are fixed to the bottom plate and the back plate of the upper mount 7b. Moreover, the joining means 7e, such as a magnet, is provided in the lower part of the bottom plate of the lower mount 7c. The stereo camera 6 can be easily attached to and detached from the upper part of the roof of the cockpit 2a by a joining means 7e using a magnet or the like.
The vibration isolating member 7d is for preventing the vibration of the construction machine 1 from being transmitted to the stereo camera 6. The type and configuration of the vibration isolation member 7d are not particularly limited as long as vibration can be suppressed, and for example, rubber may be used as a material.

次に、建設機械１に搭載される位置計測システム１０の構成について、図３を参照して説明する。図３は、建設機械１の機能構成図である。
建設機械１は、図１で説明した構成以外に主制御部８を備えている。主制御部８は、通信装置５を介して遠隔操作室から受信した制御信号に基づいて上部機構２、作業部機構３および下部機構４を作動させる。主制御部８は、ＣＰＵ（Central Processing Unit）によるプログラム実行処理や、専用回路等により実現される。主制御部８がプログラム実行処理により実現する場合、主制御部８の機能を実現するためのプログラムが建設機械１内の図示しない記憶手段に格納される。 Next, the configuration of the position measurement system 10 mounted on the construction machine 1 will be described with reference to FIG. FIG. 3 is a functional configuration diagram of the construction machine 1.
The construction machine 1 includes a main control unit 8 in addition to the configuration described in FIG. The main control unit 8 operates the upper mechanism 2, the working unit mechanism 3, and the lower mechanism 4 based on the control signal received from the remote operation room via the communication device 5. The main control unit 8 is realized by a program execution process by a CPU (Central Processing Unit), a dedicated circuit, or the like. When the main control unit 8 is realized by a program execution process, a program for realizing the function of the main control unit 8 is stored in a storage unit (not shown) in the construction machine 1.

位置計測システム１０は、ジャイロセンサ１１と、ステレオ画像解析部１２とからなる。ジャイロセンサ１１は、水平面に対するステレオカメラ６の傾きを検出する。なお、ここでは、ステレオカメラ６の傾きを検出する傾きセンサとしてジャイロセンサ１１を想定して説明するが、水平面に対するステレオカメラ６の傾きを検出することが可能であればセンサの種類は特に限定されない。ジャイロセンサ１１は、ステレオカメラ６の傾きを精度よく検出可能な場所に設置されるのが望ましい。 The position measurement system 10 includes a gyro sensor 11 and a stereo image analysis unit 12. The gyro sensor 11 detects the inclination of the stereo camera 6 with respect to the horizontal plane. Here, the gyro sensor 11 will be described as an inclination sensor for detecting the inclination of the stereo camera 6. However, the type of sensor is not particularly limited as long as the inclination of the stereo camera 6 with respect to the horizontal plane can be detected. . It is desirable that the gyro sensor 11 be installed at a location where the tilt of the stereo camera 6 can be detected with high accuracy.

ステレオ画像解析部１２は、ステレオカメラ６から右画像および左画像を取得し、ステレオカメラ法を用いた画像解析を行う。ステレオ画像解析部１２は、ＣＰＵ（Central Processing Unit）によるプログラム実行処理や、専用回路等により実現される。ステレオ画像解析部１２がプログラム実行処理により実現する場合、ステレオ画像解析部１２の機能を実現するためのプログラムが建設機械１内の図示しない記憶手段に格納される。 The stereo image analysis unit 12 acquires the right image and the left image from the stereo camera 6 and performs image analysis using the stereo camera method. The stereo image analysis unit 12 is realized by a program execution process by a CPU (Central Processing Unit), a dedicated circuit, or the like. When the stereo image analysis unit 12 is realized by a program execution process, a program for realizing the function of the stereo image analysis unit 12 is stored in a storage unit (not shown) in the construction machine 1.

ステレオ画像解析部１２に用いられるステレオカメラ法の基本原理は、三角測量の原理と同様である。つまり、計測を行う計測点と、左側のカメラ６ｌと、右側のカメラ６ｒとを結んで測量区域を三角形で表し、この三角形の内角・辺長を用いて計測点を算出する。ここで、ステレオカメラ法を用いた画像解析を行うためには、実際の空間に設定した三次元座標と、右画像および左画像に設定した二次元座標との間で射影変換を行う必要がある。射影変換のイメージを図４に示す。そして、射影変換を行うためには、ステレオカメラ６の位置や姿勢と、その位置や姿勢で空間中の点を撮影した場合におけるステレオカメラ６の右画像，左画像に写し出される計測点の位置との関係を示す情報（以下、「射影変換情報」と称す）を予め作成しておく必要がある。射影変換情報は、例えば、射影変換の式やこの式の係数などである。 The basic principle of the stereo camera method used for the stereo image analysis unit 12 is the same as that of triangulation. That is, a measurement area is represented by a triangle by connecting the measurement point to be measured, the left camera 6l, and the right camera 6r, and the measurement point is calculated using the inner angle and side length of the triangle. Here, in order to perform image analysis using the stereo camera method, it is necessary to perform projective transformation between the three-dimensional coordinates set in the actual space and the two-dimensional coordinates set in the right image and the left image. . An image of the projective transformation is shown in FIG. In order to perform the projective transformation, the position and orientation of the stereo camera 6 and the positions of the measurement points projected on the right and left images of the stereo camera 6 when a point in the space is photographed with the position and orientation are determined. Information (hereinafter referred to as “projection conversion information”) must be created in advance. The projective transformation information is, for example, a projective transformation formula or a coefficient of this formula.

操縦者は、例えば、図５（ａ）で示すように、建設機械１が平坦な場所に存在する状態における射影変換情報を予め作成しておく。ステレオ画像解析部１２は、この射影変換情報を用いることで、建設機械１が平坦な場所に存在する状態でステレオカメラ６により撮影された画像に写し出される計測点の位置を計測することができる。
一方、建設機械１が作業する作業現場は、平坦な場所だけでなく起伏がある場所も多く存在する。例えば、図５（ｂ）に示すように、建設機械１が起伏のある場所に存在する状態では、ステレオカメラ６が水平面に対して傾くことになる。この場合、ステレオ画像解析部１２は、射影変換情報を作成する際に想定していたステレオカメラ６の位置や姿勢と、傾いた建設機械１におけるステレオカメラ６の位置や姿勢との差を考慮して画像解析を行う必要がある。 For example, as shown in FIG. 5A, the operator creates projection conversion information in a state where the construction machine 1 is present on a flat place. By using this projective transformation information, the stereo image analysis unit 12 can measure the position of the measurement point projected on the image photographed by the stereo camera 6 in a state where the construction machine 1 exists on a flat place.
On the other hand, the work site where the construction machine 1 works is not only a flat place but also a lot of places with undulations. For example, as shown in FIG. 5B, in a state where the construction machine 1 is present in a undulating place, the stereo camera 6 is inclined with respect to the horizontal plane. In this case, the stereo image analysis unit 12 considers the difference between the position and orientation of the stereo camera 6 assumed when creating the projective transformation information and the position and orientation of the stereo camera 6 in the inclined construction machine 1. Image analysis.

本実施形態では、ジャイロセンサ１１を用いて建設機械１の傾きθを検出し、この傾きθをステレオカメラ６の傾きθとして計測点の位置を補正する。つまり、ステレオ画像解析部１２は、ジャイロセンサ１１から検出した傾きθを取得し、取得した傾きθを用いて計測点の位置を補正する。ここで、計測点の位置の補正方法は、特に限定されるものではなく種々の方法が考えられる。例えば、ステレオ画像解析部１２は、計測点の位置を算出する前にカメラ６ｌ，６ｒの位置や姿勢を補正してもよいし、算出した計測点の位置を直接的に補正してもよい。 In the present embodiment, the inclination θ of the construction machine 1 is detected using the gyro sensor 11, and the position of the measurement point is corrected using the inclination θ as the inclination θ of the stereo camera 6. That is, the stereo image analysis unit 12 acquires the inclination θ detected from the gyro sensor 11, and corrects the position of the measurement point using the acquired inclination θ. Here, the method for correcting the position of the measurement point is not particularly limited, and various methods are conceivable. For example, the stereo image analysis unit 12 may correct the positions and orientations of the cameras 6l and 6r before calculating the position of the measurement point, or may directly correct the calculated position of the measurement point.

次に、図６を参照して、ステレオ画像解析部１２における処理について説明する。図６は、ステレオ画像解析部１２の処理を示すフローチャートの例示である。ここで、ステレオ画像解析部１２は、建設機械１が平坦な場所に存在する状態におけるステレオカメラ６の位置や姿勢と、右画像、左画像に写し出される計測点の位置との関係を示す射影変換情報を有しているものとする。この射影変換情報は、例えば、操縦者により予め作成される。 Next, processing in the stereo image analysis unit 12 will be described with reference to FIG. FIG. 6 is an example of a flowchart showing the processing of the stereo image analysis unit 12. Here, the stereo image analysis unit 12 performs projective transformation that indicates the relationship between the position and orientation of the stereo camera 6 in a state where the construction machine 1 is present on a flat place and the positions of the measurement points projected on the right image and the left image. It has information. This projective transformation information is created in advance by the operator, for example.

最初に、ステレオ画像解析部１２は、ステレオカメラ６の右画像および左画像、並びに撮影時のステレオカメラ６の傾きθを取得する（ステップＳ１）。続いて、ステレオ画像解析部１２は、通信装置５を介して、ステレオカメラ６の右画像を遠隔操作室に送信する（ステップＳ２）。なお、ステレオ画像解析部１２は、ステレオカメラ６の右画像に加えて、または右画像に替えて左画像を送信してもよい。続いて、ステレオ画像解析部１２は、右画像に写し出される計測点の位置（二次元座標値）を取得する（ステップＳ３）。計測点の位置を取得する方法は、特に限定されずに種々の方法であってよい。例えば、操縦者が、モニタ９ｂに表示される右画面に写し出される計測点を選択し、ステレオ画像解析部１２が選択された計測点の位置の座標情報を取得する。 First, the stereo image analysis unit 12 acquires the right image and the left image of the stereo camera 6, and the inclination θ of the stereo camera 6 at the time of shooting (step S1). Subsequently, the stereo image analysis unit 12 transmits the right image of the stereo camera 6 to the remote operation room via the communication device 5 (step S2). The stereo image analysis unit 12 may transmit the left image in addition to the right image of the stereo camera 6 or in place of the right image. Subsequently, the stereo image analyzing unit 12 acquires the position (two-dimensional coordinate value) of the measurement point projected on the right image (step S3). The method for acquiring the position of the measurement point is not particularly limited and may be various methods. For example, the operator selects a measurement point displayed on the right screen displayed on the monitor 9b, and the stereo image analysis unit 12 acquires coordinate information of the position of the selected measurement point.

次に、ステレオ画像解析部１２は、左画像に写し出される計測点の位置（二次元座標値）を算出する（ステップＳ４）。ステレオ画像解析部１２は、例えば、ステレオ相関法を用いて右画像に写し出される計測点の位置から左画像に写し出される計測点の位置を算出する。ステレオ相関法は、右画像および左画像の部分毎の輝度分布の相関関係から右画像と左画像との対応付けを行うものである。なお、ステップＳ２で左画像を遠隔操作室に送信した場合には、モニタ９ｂに表示される左画面に写し出される計測点を操縦者が選択し、選択された計測点の位置の座標情報をステレオ画像解析部１２が取得するようにしてもよい。 Next, the stereo image analyzer 12 calculates the position (two-dimensional coordinate value) of the measurement point projected on the left image (step S4). For example, the stereo image analysis unit 12 calculates the position of the measurement point projected on the left image from the position of the measurement point projected on the right image using the stereo correlation method. In the stereo correlation method, the right image and the left image are associated with each other from the correlation of the luminance distribution for each part of the right image and the left image. When the left image is transmitted to the remote operation room in step S2, the operator selects a measurement point displayed on the left screen displayed on the monitor 9b, and the coordinate information of the position of the selected measurement point is stereo. The image analysis unit 12 may acquire the image.

次に、ステレオ画像解析部１２は、右画像における計測点の位置と左画像における計測点の位置と予め作成された射影変換情報とから、射影変換を行って実際の空間に設定した三次元座標における計測点の位置（三次元座標値）を算出する（ステップＳ５）。続いて、ステレオ画像解析部１２は、ジャイロセンサ１１で検出したステレオカメラ６の傾きθに基づいて、ステップＳ５で算出した計測点の位置を補正する（ステップＳ６）。そして、ステレオ画像解析部１２は、補正した計測点の位置を遠隔操作室に送信し、ステレオカメラ６で撮影した画像と共にモニタ９ｂに表示する（ステップＳ７）。 Next, the stereo image analysis unit 12 performs the projective transformation from the position of the measurement point in the right image, the position of the measurement point in the left image, and the previously created projective transformation information, and sets the three-dimensional coordinates set in the actual space. The position (three-dimensional coordinate value) of the measurement point at is calculated (step S5). Subsequently, the stereo image analysis unit 12 corrects the position of the measurement point calculated in step S5 based on the inclination θ of the stereo camera 6 detected by the gyro sensor 11 (step S6). Then, the stereo image analysis unit 12 transmits the corrected position of the measurement point to the remote control room and displays it on the monitor 9b together with the image taken by the stereo camera 6 (step S7).

以上のように、実施形態に係る位置計測システム１０においては、ジャイロセンサ１１によって水平面に対するステレオカメラ６の傾きを検出できるので、計測点の位置を補正することが可能である。したがって、地面が平らに整備されていない作業現場などにおいても、計測点の位置を正確に計測することができる。その為、実施形態に係る位置計測システム１０によれば、操縦者は、建設機械１を遠隔操作する場合においても距離感を把握することが容易である。 As described above, in the position measurement system 10 according to the embodiment, since the inclination of the stereo camera 6 with respect to the horizontal plane can be detected by the gyro sensor 11, the position of the measurement point can be corrected. Therefore, the position of the measurement point can be accurately measured even at a work site where the ground is not maintained flat. Therefore, according to the position measurement system 10 according to the embodiment, the operator can easily grasp the sense of distance even when the construction machine 1 is remotely operated.

図７を参照して、実施例に係る建設機械１Ａについて説明する。実施例に係る建設機械１Ａの位置計測システム１０Ａは、実施形態で説明したステレオ画像解析部１２を用いて、物体追跡部１３、二点間計測部１４および形状計測部１５の三つの機能を実現している。これらの機能は、ＣＰＵ（Central Processing Unit）によるプログラム実行処理や、専用回路等により実現される。物体追跡部１３、二点間計測部１４および形状計測部１５がプログラム実行処理により実現する場合、これらの機能を実現するためのプログラムが建設機械１内の図示しない記憶手段に格納される。以下では、これらの機能について順番に説明する。 With reference to FIG. 7, the construction machine 1A according to the embodiment will be described. The position measurement system 10A of the construction machine 1A according to the example realizes three functions of the object tracking unit 13, the point-to-point measurement unit 14, and the shape measurement unit 15 by using the stereo image analysis unit 12 described in the embodiment. doing. These functions are realized by a program execution process by a CPU (Central Processing Unit), a dedicated circuit, or the like. When the object tracking unit 13, the point-to-point measurement unit 14, and the shape measurement unit 15 are realized by program execution processing, a program for realizing these functions is stored in a storage unit (not shown) in the construction machine 1. Hereinafter, these functions will be described in order.

＜物体追跡機能＞
物体追跡部１３は、追跡対象物までの距離を時間の経過と共に計測する。操縦者は、例えば、油圧シャベルで土砂をダンプに積み込む作業を遠隔操作で行う場合に、ダンプを追跡対象物に指定すると、物体追跡部１３によりダンプとの距離を常に把握しながら作業を行うことが可能である。 <Object tracking function>
The object tracking unit 13 measures the distance to the tracking target object as time passes. For example, when a dumper is designated as an object to be tracked when the operator loads the earth and sand into the dump truck with a hydraulic shovel by remote control, the operator performs the work while always grasping the distance from the dump truck by the object tracking unit 13. Is possible.

図８を参照して、物体追跡部１３について説明する。図８は、物体追跡部１３の処理の内容を説明するための図である。物体追跡部１３は、時刻ｔ₁での計測点Ｐ_{3D_t1}および時刻ｔ₂での計測点Ｐ_{3D_t2}のように、時間の経過と共に変化する計測点Ｐ_{3D_t1}，Ｐ_{3D_t2}の位置を算出する。ここで、物体追跡部１３は、各時刻における計測点の位置を算出する際に、実施形態で説明したステレオ画像解析部１２を用いてステレオカメラ６の傾きθに基づき計測点Ｐ_{3D_t1}，Ｐ_{3D_t2}の位置を補正する。その為、物体追跡部１３は、各時刻において正確な計測点Ｐ_{3D_t1}，Ｐ_{3D_t2}の位置を算出することが可能である。 The object tracking unit 13 will be described with reference to FIG. FIG. 8 is a diagram for explaining the processing contents of the object tracking unit 13. Object tracking unit 13, as in the measurement point P _{3D_t2} at the measurement point P _{3D_t1} and time t ₂ at time t _1, the measuring point P _{3D_t1} change over time, calculates the position of the P _{3D_t2.} Here, when calculating the position of the measurement point at each time, the object tracking unit 13 uses the stereo image analysis unit 12 described in the embodiment to measure the measurement points P _{3D_t1} and P _{3D_t2} based on the inclination θ of the stereo camera 6. Correct the position of. Therefore, the object tracking unit 13 can calculate the accurate positions of the measurement points P _{3D_t1} and P _{3D_t2} at each time.

図９を参照して、物体追跡部１３による追跡結果のモニタ９ｂへの表示方法について説明する。図９は、物体追跡部１３におけるモニタ９ｂへの表示画面の例示である。物体追跡画面１０１は、撮影画像表示欄１０２、距離表示欄１０３、追跡結果情報表示欄１０４からなる。
撮影画像表示欄１０２には、ステレオカメラ６により撮影された右画像および左画像の何れか一方が表示される。図９では、説明の便宜上、時刻ｔ₁における追跡対象物（実線）および時刻ｔ₂における追跡対象物（破線）を一つの画面上に表しているが、実際には現時点における追跡対象物のみが画面上に表示される。
距離表示欄１０３には、追跡対象物までの現在の距離が表示される。例えば、建設機械１Ａが追跡対象物に徐々に近づく場合を想定する。この場合、時刻ｔ₁における追跡対象物までの距離が「11.3m」であったとすると、時間の経過とともに距離表示欄１０３に表示される数値が「11.3m」から徐々に減少していく。なお、追跡対象物までの距離が予め設定した距離よりも近くなった場合に、物体追跡部１３は、距離表示欄１０３に接近を警告する表示を行うようにしてもよい。
追跡結果情報表示欄１０４には、追跡を開始してから現在までの横移動量や速度等が表示される。これらの値は、例えば、ステレオカメラ６に設定した座標系の原点から見たものであってよい。 With reference to FIG. 9, the display method of the tracking result by the object tracking unit 13 on the monitor 9b will be described. FIG. 9 is an example of a display screen on the monitor 9 b in the object tracking unit 13. The object tracking screen 101 includes a captured image display field 102, a distance display field 103, and a tracking result information display field 104.
In the captured image display field 102, either the right image or the left image captured by the stereo camera 6 is displayed. In FIG. 9, for the sake of convenience of explanation, the tracking target at time t ₁ (solid line) and the tracking target at time t ₂ (broken line) are shown on one screen. Displayed on the screen.
The distance display field 103 displays the current distance to the tracking target. For example, assume that the construction machine 1A gradually approaches the tracked object. In this case, if the distance to the tracking target at time t ₁ is “11.3 m”, the numerical value displayed in the distance display column 103 gradually decreases from “11.3 m” with the passage of time. Note that, when the distance to the tracking object is closer than a preset distance, the object tracking unit 13 may display a warning for approaching in the distance display field 103.
The tracking result information display field 104 displays the amount of lateral movement, the speed, etc. from the start of tracking to the present. These values may be viewed from the origin of the coordinate system set in the stereo camera 6, for example.

図１０を参照して、物体追跡部１３の具体的な処理を説明する。図１０は、物体追跡部１３の処理を示すフォローチャートの例示である。
物体追跡部１３は、まず、撮影画像表示欄１０２の中から追跡を行いたい追跡対象物の一点（以下、「追跡点」と称す）の指定を受け付ける（ステップＳ２１）。続いて、物体追跡部１３は、追跡点の右画像上の位置を求め（ステップＳ２２）、追跡点の三次元座標値を求める（ステップＳ２３）。続いて、物体追跡部１３は、追跡点までの距離から、追跡点の周囲50cm四方の画像上のピクセル（pixel）数を求め（ステップＳ２４）、求めた範囲を初期テンプレートとする（ステップＳ２５）。 A specific process of the object tracking unit 13 will be described with reference to FIG. FIG. 10 is an example of a follow chart showing the processing of the object tracking unit 13.
The object tracking unit 13 first receives designation of one point of the tracking target object to be tracked (hereinafter referred to as “tracking point”) from the captured image display field 102 (step S21). Subsequently, the object tracking unit 13 obtains the position of the tracking point on the right image (step S22), and obtains the three-dimensional coordinate value of the tracking point (step S23). Subsequently, the object tracking unit 13 obtains the number of pixels on the 50 cm square image around the tracking point from the distance to the tracking point (step S24), and uses the obtained range as an initial template (step S25). .

次に、物体追跡部１３は、ステレオカメラ６による撮影を開始させ（ステップＳ２６）、撮影中にステップＳ２７〜Ｓ３３の処理を繰り返し行う（ステップＳ２７）。続いて、物体追跡部１３は、追跡する対象の最大移動速度から最大移動量をpixelで算出し（ステップＳ２８）、前回の追跡点の位置を中心として、最大移動量を範囲とした領域内で順にテンプレートとのパターンマッチングを行う（ステップＳ２９）。この処理は、左右の画像それぞれにおいて行う。続いて、物体追跡部１３は、左右の画像それぞれで、テンプレートと画像の差が最小の位置を対象が移動した位置（新たな追跡点）とする（ステップＳ３０）。物体追跡部１３は、左右の画像における新しい追跡点から、三次元座標値を求める（ステップＳ３１）。 Next, the object tracking unit 13 starts shooting with the stereo camera 6 (step S26), and repeats the processing of steps S27 to S33 during shooting (step S27). Subsequently, the object tracking unit 13 calculates the maximum movement amount in pixels from the maximum movement speed of the object to be tracked (step S28), and within the region having the maximum movement amount as a range around the position of the previous tracking point. Pattern matching with the template is performed in order (step S29). This process is performed for each of the left and right images. Subsequently, the object tracking unit 13 sets the position where the difference between the template and the image is the smallest for each of the left and right images (a new tracking point) (step S30). The object tracking unit 13 obtains a three-dimensional coordinate value from new tracking points in the left and right images (step S31).

次に、物体追跡部１３は、新たな追跡点の三次元座標値から、50cm四方の画像上のpixel数を計算し、新しいテンプレート領域を求める（ステップＳ３２）。そして、物体追跡部１３は、距離表示欄１０３および追跡結果情報表示欄１０４に追跡結果の表示を行う（ステップＳ３３）。物体追跡部１３は、操縦者により撮影を終了されるまでの間、ステップＳ２７〜Ｓ３３の処理を繰り返し行う（ステップＳ２７）。 Next, the object tracking unit 13 calculates the number of pixels on the 50 cm square image from the three-dimensional coordinate value of the new tracking point, and obtains a new template area (step S32). Then, the object tracking unit 13 displays the tracking result in the distance display field 103 and the tracking result information display field 104 (step S33). The object tracking unit 13 repeats the processes of steps S27 to S33 until the shooting is finished by the operator (step S27).

＜二点間計測機能＞
二点間計測部１４は、計測対象物の寸法を測定する。操縦者は、例えば、遠隔操作で作業を行う場合に、作業を行うもの（例えば、岩等）の二点を指定すると、二点間計測部１４により岩の寸法を把握しながら作業を行うことが可能である。 <Two-point measurement function>
The point-to-point measurement unit 14 measures the dimension of the measurement object. For example, when the operator performs a remote operation, if the operator designates two points of work (for example, a rock), the operator performs the work while grasping the size of the rock by the point-to-point measurement unit 14. Is possible.

図１１を参照して、二点間計測部１４について説明する。図１１は、二点間計測部１４の処理の内容を説明するための図である。二点間計測部１４は、計測点Ｐ_{3D_1}，Ｐ_{3D_2}のように、１つの画像内における二点間の距離を算出する。ここで、二点間計測部１４は、各計測点の位置を算出する際に、実施形態で説明したステレオ画像解析部１２を用いてステレオカメラ６の傾きθに基づき計測点Ｐ_{3D_1}，Ｐ_{3D_2}の位置を補正する。その為、二点間計測部１４は、正確な計測点Ｐ_{3D_1}，Ｐ_{3D_2}の位置を算出することが可能である。 The point-to-point measuring unit 14 will be described with reference to FIG. FIG. 11 is a diagram for explaining the processing contents of the point-to-point measurement unit 14. The point-to-point measurement unit 14 calculates the distance between two points in one image, like the measurement points P _{3D_1} and P _{3D_2} . Here, when calculating the position of each measurement point, the point-to-point measurement unit 14 uses the stereo image analysis unit 12 described in the embodiment to measure the measurement points P _{3D_1} and P _{3D_2} based on the inclination θ of the stereo camera 6. Correct the position of. Therefore, the point-to-point measurement unit 14 can calculate the accurate positions of the measurement points P _{3D_1} and P _{3D_2} .

図１２を参照して、二点間計測部１４による計測結果のモニタ９ｂへの表示方法について説明する。図１２は、二点間計測部１４におけるモニタ９ｂへの表示画面の例示である。二点間計測画面２０１は、撮影画像表示欄２０２および計測結果情報表示欄２０３からなる。
撮影画像表示欄２０２には、ステレオカメラ６により撮影された右画像および左画像の何れか一方が表示される。図１２では、撮影画像表示欄２０２に計測対象物としての直方体が表示されており、この直方体の１辺の距離を計測した状態が表示されている。
計測結果情報表示欄２０３には、計測点に関する情報が表示される。 With reference to FIG. 12, a method for displaying the measurement result on the monitor 9b by the point-to-point measurement unit 14 will be described. FIG. 12 is an illustration of a display screen on the monitor 9 b in the two-point measuring unit 14. The two-point measurement screen 201 includes a captured image display field 202 and a measurement result information display field 203.
In the captured image display column 202, either the right image or the left image captured by the stereo camera 6 is displayed. In FIG. 12, a rectangular parallelepiped as a measurement object is displayed in the captured image display field 202, and a state in which the distance of one side of the rectangular parallelepiped is measured is displayed.
In the measurement result information display column 203, information on measurement points is displayed.

図１３を参照して、二点間計測部１４の具体的な処理を説明する。図１３は、二点間計測部１４の処理を示すフォローチャートの例示である。
二点間計測部１４は、まず、ステレオカメラ６による撮影を停止させ（ステップＳ４１）、撮影画像表示欄２０２に右側のカメラ６ｒで撮影した静止画像を表示させる。続いて、二点間計測部１４は、撮影画像表示欄２０２の中から計測を行いたい部分の一点（以下、「計測点」と称す）の指定を受け付け（ステップＳ４２）、ステレオ相関法により左画像上の計測点の位置を求める（ステップＳ４３）。 With reference to FIG. 13, the specific process of the point-to-point measurement unit 14 will be described. FIG. 13 is an example of a follow chart showing processing of the two-point measuring unit 14.
First, the point-to-point measurement unit 14 stops photographing by the stereo camera 6 (step S41), and displays a still image photographed by the right camera 6r in the photographed image display field 202. Subsequently, the point-to-point measurement unit 14 accepts designation of one point (hereinafter referred to as “measurement point”) to be measured from the captured image display field 202 (step S42), and left by the stereo correlation method. The position of the measurement point on the image is obtained (step S43).

次に、二点間計測部１４は、左右の画像における計測点の位置から、ステレオカメラ法で計測点の三次元位置（三次元座標値）を求め（ステップＳ４４）、求めた計測点の三次元座標値を登録する（ステップＳ４５）。続いて、二点間計測部１４は、２点の三次元座標値の登録を行ったか否かを判定する（ステップＳ４６）。計測点の三次元座標値の登録を１点でしか行っていない場合には、二点間計測部１４は、処理をステップＳ４２に戻して２点目の登録を行う。一方、２点の三次元座標値の登録を行っている場合には、二点間計測部１４は、登録した２点の計測点の二点間距離を計算する（ステップＳ４７）。そして、二点間計測部１４は、ステップＳ４７で計算した二点間距離を、撮影画像表示欄２０２の計測対象物に重ねて表示する（ステップＳ４８）。 Next, the two-point measuring unit 14 obtains a three-dimensional position (three-dimensional coordinate value) of the measurement point by the stereo camera method from the position of the measurement point in the left and right images (step S44), and the tertiary of the obtained measurement point. The original coordinate value is registered (step S45). Subsequently, the two-point measuring unit 14 determines whether or not the registration of the three-dimensional coordinate values of the two points has been performed (step S46). When the registration of the three-dimensional coordinate value of the measurement point is performed at only one point, the two-point measurement unit 14 returns the process to step S42 and performs the registration of the second point. On the other hand, when two-dimensional coordinate values of two points are registered, the point-to-point measurement unit 14 calculates the distance between the two measured points registered (step S47). Then, the point-to-point measurement unit 14 displays the distance between the two points calculated in step S47 so as to overlap the measurement object in the captured image display field 202 (step S48).

＜形状計測機能＞
形状計測部１５は、計測対象物の形状や重心を測定する。操縦者は、例えば、ブレーカー付油圧シャベルで割岩作業を遠隔操作で行う場合に、割岩するものを指定すると、形状計測部１５により割岩するものの形状や重心を把握しながら作業を行うことが可能である。 <Shape measurement function>
The shape measuring unit 15 measures the shape and the center of gravity of the measurement object. For example, when the operator is to remotely perform the split rock work with a hydraulic shovel with a breaker, the operator can perform the work while grasping the shape and center of gravity of the split rock by the shape measuring unit 15 when the one to be split is specified. is there.

図１４を参照して、形状計測部１５について説明する。図１４は、形状計測部１５の処理の内容を説明するための図である。形状計測部１５は、操縦者により計測対象物を選択されると、指定した点を含む物体を点群として抽出し、抽出した点群の各々の点を計測点として位置を算出する。また、形状計測部１５は、抽出した点群の重心点および重心点から鉛直方向にある点群表面上の点（以下、「作業点」と称す）を求める。 The shape measuring unit 15 will be described with reference to FIG. FIG. 14 is a diagram for explaining the processing contents of the shape measurement unit 15. When the operator selects a measurement object, the shape measuring unit 15 extracts an object including the designated point as a point group, and calculates a position using each point of the extracted point group as a measurement point. In addition, the shape measurement unit 15 obtains the center point of the extracted point group and a point on the surface of the point group in the vertical direction from the center point (hereinafter referred to as “work point”).

地面に置かれたものの形状や重心を測定する場合を想定した場合、形状計測部１５は、地面となる平面の方程式を求め、物体の点群の抽出を行う際に平面の方程式によって点群を抽出する範囲を決定する。形状計測部１５は、例えば、平面の方程式を求める際に、実施形態で説明したステレオ画像解析部１２を用いてステレオカメラ６の傾きθに基づき地面の位置を補正する。具体的には、カメラ座標系でＸＺ平面上に決め打ちした４点の座標値を、ジャイロセンサ１１で検出した傾きθ分だけＸ軸周りに回転し、ステレオカメラ６が設置されている高さ分だけ−Ｙ軸方向に移動して平面の方程式を求める。その為、形状計測部１５は、地面を正確に算出することが可能であり、これによって計測対象物を正確に特定できる。 When it is assumed that the shape and the center of gravity of an object placed on the ground are measured, the shape measuring unit 15 obtains an equation of a plane serving as the ground, and extracts the point cloud by the equation of the plane when extracting the point cloud of the object. Determine the range to be extracted. For example, when obtaining the plane equation, the shape measuring unit 15 corrects the position of the ground based on the inclination θ of the stereo camera 6 using the stereo image analyzing unit 12 described in the embodiment. Specifically, four coordinate values determined on the XZ plane in the camera coordinate system are rotated around the X axis by the inclination θ detected by the gyro sensor 11, and the height at which the stereo camera 6 is installed. The plane equation is obtained by moving in the -Y-axis direction by the same amount. Therefore, the shape measuring unit 15 can accurately calculate the ground, and thereby the measurement object can be accurately specified.

また、形状計測部１５は、点群の位置を算出する際や重心点および作業点を求める際に、実施形態で説明したステレオ画像解析部１２を用いてステレオカメラ６の傾きθに基づき点群の位置、重心点の位置および作業点の位置を補正する。その為、形状計測部１５は、正確にこれらの位置を計測することが可能である。 In addition, the shape measurement unit 15 uses the stereo image analysis unit 12 described in the embodiment to calculate the position of the point cloud and the center of gravity point and the work point, and then uses the point cloud based on the inclination θ of the stereo camera 6. , The position of the center of gravity, and the position of the work point are corrected. Therefore, the shape measuring unit 15 can accurately measure these positions.

図１５を参照して、形状計測部１５による計測結果のモニタ９ｂへの表示方法について説明する。図１５は、形状計測部１５におけるモニタ９ｂへの表示画面の例示である。形状計測画面３０１は、撮影画像表示欄３０２、計測結果情報表示欄３０３からなる。
撮影画像表示欄３０２には、ステレオカメラ６により撮影された右画像および左画像の何れか一方が表示される。図１５では、撮影画像表示欄３０２に計測対象物として直方体が表示されており、この直方体を計測した状態が表示されている。撮影画像表示欄３０２には、計測対象物の形状が点群として表示されており、また、作業点が二重丸で表示されている。
計測結果情報表示欄３０３には、計測した重心点の位置が表示される。これらの値は、例えば、ステレオカメラ６に設定した座標系の原点から見たものであってよい。 With reference to FIG. 15, a method for displaying the measurement result on the monitor 9 b by the shape measuring unit 15 will be described. FIG. 15 is an example of a display screen on the monitor 9 b in the shape measuring unit 15. The shape measurement screen 301 includes a captured image display field 302 and a measurement result information display field 303.
In the captured image display field 302, either the right image or the left image captured by the stereo camera 6 is displayed. In FIG. 15, a rectangular parallelepiped is displayed as a measurement object in the captured image display field 302, and a state in which the rectangular parallelepiped is measured is displayed. In the photographed image display field 302, the shape of the measurement object is displayed as a point cloud, and the work points are displayed as double circles.
In the measurement result information display field 303, the measured position of the center of gravity is displayed. These values may be viewed from the origin of the coordinate system set in the stereo camera 6, for example.

図１６を参照して、形状計測部１５の具体的な処理を説明する。図１６は、形状計測部１５の処理を示すフォローチャートの例示である。
形状計測部１５は、まず、ステレオカメラ６による撮影を停止させ（ステップＳ６１）、撮影画像表示欄３０２に右側のカメラ６ｒで撮影した静止画像を表示させる。続いて、形状計測部１５は、撮影画像表示欄３０２の中から形状等の計測を行いたい計測対象物の指定を受け付ける（ステップＳ６２）。続いて、形状計測部１５は、ステレオ相関法で右画像と左画像との相関関係を計算することにより三次元点群を求める（ステップＳ６３）。ステップＳ６３で相関関係を計算する範囲は、画面全体であってもよいし、ステップＳ６２で指定を受けた位置の周囲のように画面の特定の範囲であってもよい。 A specific process of the shape measuring unit 15 will be described with reference to FIG. FIG. 16 is an example of a follow chart showing the processing of the shape measuring unit 15.
The shape measuring unit 15 first stops photographing with the stereo camera 6 (step S61), and displays a still image photographed by the right camera 6r in the photographed image display field 302. Subsequently, the shape measuring unit 15 accepts designation of a measurement object to be measured for a shape or the like from the captured image display field 302 (step S62). Subsequently, the shape measuring unit 15 obtains a three-dimensional point group by calculating the correlation between the right image and the left image by the stereo correlation method (step S63). The range in which the correlation is calculated in step S63 may be the entire screen, or may be a specific range on the screen such as around the position specified in step S62.

次に、形状計測部１５は、相関計算の結果から、地面となる平面の方程式を求める（ステップＳ６４）。続いて、形状計測部１５は、三次元点群から地面と一定距離以内にある点群を除外する（ステップＳ６５）。続いて、形状計測部１５は、指定された計測点の周囲の平均座標値を求め（ステップＳ６６）、求めた平均座標値を中心とした最大計測サイズを直径とする範囲の外に存在する点を除外する（ステップＳ６７）。形状計測部１５は、残った点を二次元画像である撮影画像表示欄３０２上に投影し、指定点を含む領域を重心の検出対象範囲とする（ステップＳ６８）。 Next, the shape measuring unit 15 obtains an equation of a plane serving as the ground from the result of the correlation calculation (step S64). Subsequently, the shape measuring unit 15 excludes point groups within a certain distance from the ground from the three-dimensional point group (step S65). Subsequently, the shape measuring unit 15 obtains an average coordinate value around the designated measurement point (step S66), and a point existing outside the range having the maximum measurement size centered on the obtained average coordinate value as a diameter. Are excluded (step S67). The shape measuring unit 15 projects the remaining points on the captured image display field 302 that is a two-dimensional image, and sets the area including the designated point as the detection target range of the center of gravity (step S68).

次に、形状計測部１５は、対象点群の平均座標値を求め、計測対象物の重心とする（ステップＳ６９）。形状計測部１５は、重心から鉛直方向に延びる直線の方程式を求め（ステップＳ７０）、求めた直線に一番近い点の座標値を求める（ステップＳ７１）。続いて、形状計測部１５は、重心点と直線に一番近い点の鉛直方向の距離を求め（ステップＳ７２）、重心点から求めた距離だけ離れた直線上の点を物体表面上の点（作業点）とする（ステップＳ７３）。そして、形状計測部１５は、検出結果をカメラ座標系から車両座標系への変換を行い（ステップＳ７４）、検出結果を撮影画像表示欄３０２および計測結果情報表示欄３０３に表示する（ステップＳ７５）。形状計測部１５は、例えば、抽出した点群や作業点を目立つ色の点として、撮影画像表示欄３０２の計測対象物に重ねて表示する。 Next, the shape measurement unit 15 obtains the average coordinate value of the target point group and sets it as the center of gravity of the measurement target (step S69). The shape measuring unit 15 obtains an equation of a straight line extending in the vertical direction from the center of gravity (step S70), and obtains a coordinate value of a point closest to the obtained straight line (step S71). Subsequently, the shape measuring unit 15 obtains a vertical distance between the center of gravity and a point closest to the straight line (step S72), and a point on the straight line separated by the distance obtained from the center of gravity is a point on the object surface ( Working point) (step S73). Then, the shape measuring unit 15 converts the detection result from the camera coordinate system to the vehicle coordinate system (step S74), and displays the detection result in the captured image display field 302 and the measurement result information display field 303 (step S75). . For example, the shape measurement unit 15 displays the extracted point group or work point as a conspicuous color point on the measurement object in the captured image display field 302.

［変形例］
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を変えない範囲で実施することができる。実施形態の変形例を以下に示す。 [Modification]
As mentioned above, although embodiment of this invention was described, this invention is not limited to this, It can implement in the range which does not change the meaning of a claim. The modification of embodiment is shown below.

実施形態では、ステレオカメラ６は、二台のカメラ６ｒ，６ｌからなっていたが、三台以上のカメラから構成されていてもよい。その場合、すべてのカメラが撮影した画像から計測点を算出してもよいし、選択した二台以上のカメラが撮影した画像から計測点を算出することもできる。 In the embodiment, the stereo camera 6 includes the two cameras 6r and 6l. However, the stereo camera 6 may include three or more cameras. In that case, measurement points may be calculated from images captured by all cameras, or measurement points may be calculated from images captured by two or more selected cameras.

また、実施形態では、建設機械１がステレオ画像解析部１２を備える構成であったが、外部の装置（例えば、遠隔操作室内のＰＣ）がステレオ画像解析部１２を備える構成であってもよい。その場合、ジャイロセンサ１１によって計測された傾きθやステレオカメラ６が撮影した画像は、通信装置５を介してステレオ画像解析部１２を備える当該外部の装置に送信されるようにする。なお、物体追跡部１３、二点間計測部１４および形状計測部１５についても同様に、外部の装置（例えば、遠隔操作室内のＰＣ）が備える構成であってもよい。 In the embodiment, the construction machine 1 is configured to include the stereo image analysis unit 12, but an external device (for example, a PC in the remote operation room) may include the stereo image analysis unit 12. In that case, the inclination θ measured by the gyro sensor 11 and the image taken by the stereo camera 6 are transmitted to the external device including the stereo image analysis unit 12 via the communication device 5. Similarly, the object tracking unit 13, the point-to-point measurement unit 14, and the shape measurement unit 15 may be configured to be provided in an external device (for example, a PC in a remote operation room).

１，１Ａ建設機械
２上部機構
３作業部機構
４下部機構
５通信装置
６ステレオカメラ
６ｒ，６ｌカメラ
７カメラ設置台
１０，１０Ａ位置計測システム
１１ジャイロセンサ
１２ステレオ画像解析部
１３物体追跡部
１４二点間計測部
１５形状計測部 DESCRIPTION OF SYMBOLS 1,1A Construction machine 2 Upper part mechanism 3 Working part mechanism 4 Lower part mechanism 5 Communication apparatus 6 Stereo camera 6r, 6l Camera 7 Camera installation stand 10, 10A Position measurement system 11 Gyro sensor 12 Stereo image analysis part 13 Object tracking part 14 Two points Interim measurement unit 15 Shape measurement unit

Claims

ステレオカメラを有する建設機械に搭載される位置計測システムであって、
水平面に対する前記ステレオカメラの傾きを検出する傾きセンサと、
前記ステレオカメラで撮影されたステレオ画像から計測点の位置を算出するステレオ画像解析部と、を備え、
前記ステレオ画像解析部は、前記傾きセンサが検出する傾きから前記計測点の位置を補正する、
ことを特徴とする位置計測システム。 A position measurement system mounted on a construction machine having a stereo camera,
An inclination sensor for detecting an inclination of the stereo camera with respect to a horizontal plane;
A stereo image analysis unit that calculates the position of a measurement point from a stereo image captured by the stereo camera, and
The stereo image analysis unit corrects the position of the measurement point from the tilt detected by the tilt sensor.
A position measurement system characterized by this.