JP2021079762A - Creation method of composite distance image, creation method of image for monitoring sediment collection, and creation device of composite distance image - Google Patents

Abstract

To provide a method for creating a camera image that allows a user to easily grasp a distance feeling in a worksite.SOLUTION: A composite distance image creation method comprises: a step S111 of capturing a stereo image with two cameras of a plurality of cameras; a step S113 of converting a camera image captured by one of the two cameras into a distance image by using the captured stereo image; a step S114 of designating a prescribed region or prescribed subject of the camera image captured by the one camera; a step S115 of extracting distance data of the prescribed region or prescribed subject designated from the distance image; a step S116 of creating a composite distance image obtained by combining the extracted distance data and the camera image captured by the one camera; and a step S117 of displaying the created composite distance image on a display screen of a display device as an image for monitoring.SELECTED DRAWING: Figure 3

Description

本発明は、例えば、建設機械の遠隔操作用のモニター画面に表示される画像の作成方法とその装置に関するもので、特に、作業現場の距離感を把握することのできる画像の作成に関する。 The present invention relates to, for example, a method for creating an image displayed on a monitor screen for remote control of a construction machine and its device, and more particularly to creating an image capable of grasping a sense of distance at a work site.

一般に、遠隔操作で建設作業をする際には、車載カメラや作業付近カメラで撮影した画像（以下、カメラ画像という）をモニターに表示し、オペレータがこの表示されたカメラ画像を参照して、建設機械を遠隔操作することが行われている。
その際、オペレータは、複数台のカメラとモニターにより、作業場所の距離感（奥行き感）をつかむようにしていた。これは、モニターに表示されるカメラ画像が二次元画像であるため、奥行き感がつかみにくいためである。
しかし、複数のカメラ画像を用いた場合でも、奥行き感の精度は、オペレータのセンスや経験によるところが大きいため、遠隔操作作業の作業効率は低いものとなっていた。
一方、車両自動運転等では、歩行者などの障害物との距離を計測するため、複数台のカメラを用いて撮影した画像をステレオ処理して、撮影した画像（カメラ画像）を当該車両から障害物までの距離を表す画像（距離画像）に変換する技術が知られている（例えば、特許文献１参照）。 Generally, when performing construction work by remote control, an image taken by an in-vehicle camera or a camera near the work (hereinafter referred to as a camera image) is displayed on a monitor, and the operator refers to the displayed camera image for construction. The machine is being operated remotely.
At that time, the operator tried to grasp the sense of distance (sense of depth) of the work place by using a plurality of cameras and monitors. This is because the camera image displayed on the monitor is a two-dimensional image, so it is difficult to get a sense of depth.
However, even when a plurality of camera images are used, the accuracy of the sense of depth depends largely on the sense and experience of the operator, so that the work efficiency of the remote control work is low.
On the other hand, in automatic vehicle driving, in order to measure the distance to obstacles such as pedestrians, images taken by multiple cameras are stereo-processed, and the captured images (camera images) are obstructed from the vehicle. A technique for converting an image (distance image) representing a distance to an object is known (see, for example, Patent Document 1).

特開２００８−３０４２４８号公報Japanese Unexamined Patent Publication No. 2008-304248

しかしながら、上記の距離画像は、一般に、距離により色付けされた画像なので、通常のカメラ画像に比較して、被写体が見づらいといった問題点があった。 However, since the above-mentioned distance image is generally an image colored according to the distance, there is a problem that the subject is hard to see as compared with a normal camera image.

本発明は、上記従来の問題点に鑑みてなされたもので、作業現場における距離感を把握し易いカメラ画像を作成する方法を提供することを目的とする。 The present invention has been made in view of the above-mentioned conventional problems, and an object of the present invention is to provide a method for creating a camera image in which a sense of distance at a work site can be easily grasped.

本発明は、複数台のカメラで撮影したカメラ画像と、前記カメラ画像を用いて作成された距離画像とを合成した合成距離画像を作成する方法であって、前記複数台のカメラのうちの２台のカメラでステレオ画像を撮影するステップと、前記撮影されたステレオ画像を用いて、前記２台のカメラのうちの一方のカメラで撮影されたカメラ画像を距離画像に変換するステップと、前記一方のカメラで撮影されたカメラ画像の所定の領域、または、所定の被写体を指定するステップと、前記距離画像から前記指定された所定の領域、または、所定の被写体の距離データを抽出するステップと、前記抽出された距離データと前記一方のカメラで撮影されたカメラ画像とを合成した合成距離画像を作成するステップと、前記作成された合成距離画像を、モニター用画像として表示装置の表示画面に表示するステップと、を備えたことを特徴とする。
このように、撮影されたカメラ画像のうちの必要な箇所のみを距離画像として表示するようにしたので、従来の距離画像に比較して、画像の見やすさを大幅に改善することができるだけでなく、カメラ画像と距離画像との切換えも不要となる。したがって、この合成距離画像を、例えば、遠隔操作作業のモニター画面に表示するカメラ画像とすれば、作業効率を大幅に向上させることができる。
なお、遠隔操作作業のモニターに適用する場合には、ステレオ撮影する一対のカメラを複数箇所に設置して、異なる視点から合成距離画像を取得し、これらの合成距離画像をモニター画面に表示すれば、被写体に対する距離感をより確実に把握できる。
また、前記表示装置として、作業員が装着可能な表示手段であるウェアブル端末を用いたので、ディスプレイ、キーボード等が不要となり、入出力装置もシンプルになるので、装置の省スペース化を図ることができる。このとき、ウェアブル端末として、メガネタイプのウェアブル端末を使用すれば、目の視点から画像が確認できるので、被写体に対する距離感の把握が更に容易となる。 The present invention is a method of creating a composite distance image in which a camera image taken by a plurality of cameras and a distance image created by using the camera image are combined, and two of the plurality of cameras. A step of taking a stereo image with one camera, a step of converting a camera image taken by one of the two cameras into a distance image using the taken stereo image, and one of the above. A step of designating a predetermined area or a predetermined subject of a camera image taken by the camera, and a step of extracting distance data of the designated area or a predetermined subject from the distance image. The step of creating a composite distance image by combining the extracted distance data and the camera image taken by one of the cameras, and displaying the created composite distance image as a monitor image on the display screen of the display device. It is characterized by having a step to do.
In this way, since only the necessary part of the captured camera image is displayed as a distance image, not only can the visibility of the image be significantly improved as compared with the conventional distance image. , It is not necessary to switch between the camera image and the distance image. Therefore, if this composite distance image is, for example, a camera image to be displayed on the monitor screen of the remote control work, the work efficiency can be significantly improved.
When applying to a monitor for remote control work, a pair of cameras for stereo shooting can be installed at multiple locations, composite distance images can be acquired from different viewpoints, and these composite distance images can be displayed on the monitor screen. , The sense of distance to the subject can be grasped more reliably.
Further, since a wearable terminal, which is a display means that can be worn by workers, is used as the display device, a display, a keyboard, etc. are not required, and the input / output device is also simplified, so that the space of the device can be saved. it can. At this time, if a glasses-type wearable terminal is used as the wearable terminal, the image can be confirmed from the viewpoint of the eyes, so that it becomes easier to grasp the sense of distance to the subject.

また、本発明は、集積場所に積上げられた土砂と、前記土砂と前記土砂を採取する採取手段とを複数台のカメラで撮影したカメラ画像から、前記土砂と前記採取手段との距離を把握するためのモニター用画像を作成する方法であって、前記複数台のカメラのうちの２台のカメラで、前記土砂と前記採取手段とを被写体としたステレオ画像を撮影するステップと、前記撮影されたステレオ画像を用いて、前記２台のカメラのうちの一方のカメラで撮影されたカメラ画像を距離画像に変換するステップと、前記一方のカメラで撮影されたカメラ画像の、少なくとも前記土砂と前記採取手段とを含む所定の領域を指定するステップと、前記距離画像から前記指定された所定の領域の距離データを抽出するステップと、
前記抽出された距離データと前記一方のカメラで撮影されたカメラ画像とを合成した合成距離画像を作成するステップと、前記作成された合成距離画像を、モニター用画像として表示装置の表示画面に表示するステップと、を備えたことを特徴とする。
このように、土砂と採取手段とが映っている領域のみを距離画像とした画像をモニター用画像として表示するようにしたので、カメラ画像と距離画像との切換えも不要となるだけでなく、土砂と採取手段との距離感を確実に把握することができる。 Further, in the present invention, the distance between the earth and sand and the collecting means is grasped from the camera images of the earth and sand piled up at the accumulation place and the earth and sand and the collecting means for collecting the earth and sand taken by a plurality of cameras. This is a method of creating a monitor image for the purpose, in which two cameras out of the plurality of cameras capture a stereo image of the earth and sand and the collecting means as subjects, and the captured image. A step of converting a camera image taken by one of the two cameras into a distance image using a stereo image, and at least the earth and sand and the collection of the camera image taken by the one camera. A step of designating a predetermined region including means, a step of extracting distance data of the designated predetermined region from the distance image, and a step of extracting distance data of the designated region.
The step of creating a composite distance image by synthesizing the extracted distance data and the camera image taken by one of the cameras, and displaying the created composite distance image as a monitor image on the display screen of the display device. It is characterized by having a step to do.
In this way, since the image in which only the area where the earth and sand and the collecting means are reflected is displayed as the distance image is displayed as the monitor image, not only the switching between the camera image and the distance image becomes unnecessary, but also the earth and sand It is possible to surely grasp the sense of distance between the image and the collection means.

また、本発明は、カメラ画像と距離画像とを合成した合成距離画像を作成する合成距離画像の作成装置であって、対象物を撮影する２台のカメラと、前記２台のカメラでステレオ撮影された前記対象物のステレオ画像から、前記対象物と予め設定された観測点との距離を算出する距離算出手段と、前記距離算出手段で算出された前記対象物と予め設定された観測点との距離のデータを用いて、前記２台のカメラのうちの一方のカメラで撮影されたカメラ画像を距離画像に変換する画像変換手段と、前記一方のカメラで撮影されたカメラ画像の所定の領域、または、所定の被写体を指定する変換部指定手段と、前記距離画像から前記指定された所定の領域、または、所定の被写体の距離データを抽出する抽出手段と、前記抽出された距離データと前記一方のカメラで撮影されたカメラ画像とを合成した合成距離画像を作成する画像合成手段と、前記作成された合成距離画像を、モニター用画像として表示画面に表示する表示装置と、を備えたことを特徴とする。
このような構成を採ることにより、従来の距離画像に比較して、画像の見やすさを大幅に改善することのできる画像を作成する装置を得ることができる。 Further, the present invention is a composite distance image creation device for creating a composite distance image in which a camera image and a distance image are combined, and stereo shooting with two cameras for photographing an object and the two cameras. A distance calculation means for calculating the distance between the object and a preset observation point from the stereo image of the object, and the object and the preset observation point calculated by the distance calculation means. An image conversion means for converting a camera image taken by one of the two cameras into a distance image using the distance data of the above, and a predetermined area of the camera image taken by the one camera. Or, a conversion unit designating means for designating a predetermined subject, an extraction means for extracting distance data of the designated predetermined area or a predetermined subject from the distance image, the extracted distance data, and the above. It is provided with an image synthesizing means for creating a composite distance image by synthesizing a camera image taken by one camera, and a display device for displaying the created composite distance image as a monitor image on a display screen. It is characterized by.
By adopting such a configuration, it is possible to obtain an apparatus for creating an image capable of significantly improving the visibility of the image as compared with the conventional distance image.

なお、前記発明の概要は、本発明の必要な全ての特徴を列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。この明細書において、コンクリートは、モルタルも含むものとする。 The outline of the present invention does not list all the necessary features of the present invention, and a subcombination of these feature groups can also be an invention. In this specification, concrete shall also include mortar.

本実施の形態に係るずり運搬車両操作システムを示す図である。It is a figure which shows the slide transport vehicle operation system which concerns on this embodiment. カメラ画像、距離画像、及び、合成距離画像の一例を示す図である。It is a figure which shows an example of a camera image, a distance image, and a composite distance image. 合成距離画像の作成方法を示すフローチャートである。It is a flowchart which shows the method of creating a composite distance image. 合成距離画像の作成方法を示す図である。It is a figure which shows the method of making a composite distance image.

図１（ａ），（ｂ）は、ずり運搬用車両操作システム１を示す図で、２はトンネル、３はショベルカー、４はダンプトラック、５はステレオカメラ、６は画像処理装置、７は表示装置、８は車両制御装置である。
ずり運搬用車両操作システム１は、トンネル２を掘削したときに発生した土砂（以下、ずりｚという）をショベルカー３により採取し、これをダンプトラック４の荷台４１に積み込んで、トンネル２の図示しない坑口近傍まで運搬するもので、遠隔操作室１０にて、図示しないオペレータが、作業現場を撮影したカメラ画像と、ステレオ撮影したステレオ画像を用いて作成された距離画像とを合成した合成距離画像を参照しながら、ショベルカー３を遠隔操作してずりｚを採取する。なお、ショベルカー３、車両制御装置８により遠隔操作される。また、本例では、ダンプトラック４については遠隔操作をしていないが、ダンプトラック４についても遠隔操作してもよい。
なお、以下、ずりｚを集積場所に集めて積上げたものをずり山Ｚという。
ステレオカメラ５はショベルカー３に設置され、画像処理装置６、表示装置７、及び、車両制御装置８は、遠隔操作室１０に設置される。
遠隔操作室１０は、トンネル２内もしくは地上などのトンネル切羽２１から離れた箇所に設置されるが、ずり山Ｚの近傍の、ショベルカー３の採取作業が目視困難な箇所にて、オペレータが、ショベルカー３の遠隔操作を行ってもよい。 1A and 1B are diagrams showing a vehicle operation system 1 for sliding transportation, where 2 is a tunnel, 3 is a shovel car, 4 is a dump truck, 5 is a stereo camera, 6 is an image processing device, and 7 is. The display device 8 is a vehicle control device.
The vehicle operation system 1 for shear transportation collects the earth and sand (hereinafter referred to as “slip z”) generated when the tunnel 2 is excavated by the excavator car 3, loads it on the loading platform 41 of the dump truck 4, and illustrates the tunnel 2. A composite distance image in which an operator (not shown) combines a camera image taken at a work site and a distance image created using a stereo image taken in stereo in a remote control room 10 to transport the vehicle to the vicinity of a tunnel entrance. The excavator car 3 is remotely controlled to collect the slip z while referring to. It is remotely controlled by the excavator car 3 and the vehicle control device 8. Further, in this example, the dump truck 4 is not remotely controlled, but the dump truck 4 may also be remotely controlled.
In addition, hereinafter, what is collected and piled up in the accumulation place is referred to as a slag heap Z.
The stereo camera 5 is installed in the excavator car 3, and the image processing device 6, the display device 7, and the vehicle control device 8 are installed in the remote control room 10.
The remote control room 10 is installed in a place away from the tunnel face 21 such as in the tunnel 2 or on the ground, but in a place near the slag heap Z where it is difficult to visually collect the excavator car 3, the operator can perform the operation. The excavator car 3 may be remotely controlled.

合成距離画像は、ステレオカメラ５、画像処理装置６、及び、表示装置７を用いて作成される。
ステレオカメラ５は、ショベルカー３の本体３１に設置された同一仕様の２台のカメラ（右カメラ５Ｒと左カメラ５Ｌ）を備え、ショベルカー３の本体３１の前方にあるショベルカー３のブーム３２、アーム３３、バケット３４、及び、ずり山Ｚなどを被写体として撮影する。本例では、ステレオカメラ５を、本体３１の前方に設置されたカメラ台３５に搭載した。なお、本体３１とは、無限軌道などの走行手段３６に、回転台３７を介して搭載されて、ブーム３２、アーム３３、及び、バケット３４を支持する旋回部を指す。
ここで、前方とは、本体３１が回転していないときのショベルカー３の進行方向（図１の切羽２１の方向）を指す。
図１（ｂ）に示すように、カメラ台３５は、ショベルカー３の本体３１の前方に立設された基台３５ａと、右カメラ５Ｒと左カメラ５Ｌとは平行等位になるように支持する支持部３５ｂとを備える。本例では、支持部３５ｂを基台３５ａに取付ける際に、ステレオカメラ５の光軸がやや上方を向くように取付けているが、支持部３５ｂを基台３５ａに、上下方向及び左右方向に回転可能に取付けるようにし、遠隔操作にて、ステレオカメラ５の撮影方向を変更できるようにしてもよい。
また、右カメラ５Ｒと左カメラ５Ｌとは、距離の測定か可能なように、光軸、カメラ間距離、レンズ歪も含めて、予めキャリブレーションされているものとする。 The composite distance image is created by using the stereo camera 5, the image processing device 6, and the display device 7.
The stereo camera 5 includes two cameras (right camera 5R and left camera 5L) of the same specifications installed in the main body 31 of the excavator car 3, and the boom 32 of the excavator car 3 in front of the main body 31 of the excavator car 3. , The arm 33, the bucket 34, the slip mountain Z, and the like are photographed as subjects. In this example, the stereo camera 5 is mounted on a camera stand 35 installed in front of the main body 31. The main body 31 refers to a swivel portion that is mounted on a traveling means 36 such as an endless track via a turntable 37 and supports a boom 32, an arm 33, and a bucket 34.
Here, the front refers to the traveling direction of the excavator car 3 (the direction of the face 21 in FIG. 1) when the main body 31 is not rotating.
As shown in FIG. 1B, the camera base 35 supports the base 35a erected in front of the main body 31 of the excavator car 3 so that the right camera 5R and the left camera 5L are in parallel equal positions. A support portion 35b is provided. In this example, when the support portion 35b is attached to the base 35a, the stereo camera 5 is attached so that the optical axis faces slightly upward, but the support portion 35b is rotated to the base 35a in the vertical and horizontal directions. The stereo camera 5 may be mounted so that the shooting direction of the stereo camera 5 can be changed by remote operation.
Further, it is assumed that the right camera 5R and the left camera 5L are calibrated in advance including the optical axis, the distance between cameras, and the lens distortion so that the distance can be measured.

画像処理装置６は、距離算出手段６１と、距離画像作成手段６２と、変換部指定手段である入力手段６３と、距離データ抽出手段６４と、合成距離画像作成手段６５とを備え、カメラ画像（ここでは、右カメラ５Ｒで撮影されたカメラ画像）と、右カメラ５Ｒと左カメラ５Ｌとにより撮影された画像（ステレオ画像）から作成した距離画像とを合成した合成距離画像を作成する。
距離算出手段６１では、図２（ａ）に示す、右カメラ５Ｒにより撮影された画像（右画像ＧＲ）と、左カメラ５Ｌにより撮影された画像（左画像ＧＬ）とから、カメラ（ここでは、右カメラ５Ｒ）と被写体との距離ｚ_rを算出する。
具体的には、左右のカメラ５Ｒ，５Ｌのカメラ間隔、右画像ＧＲと左画像ＧＬのそれぞれの被写体の座標、左右のカメラ５Ｒ，５Ｌの焦点距離、及び、上記のカメラ間隔に起因するシフト量である視差とから、三角測量の原理に基づいて、被写体から右カメラ５Ｒの焦点までの距離ｚ_rを算出する。図２（ａ）では、の被写体は、ずり山Ｚ、ショベルカー３のアーム３３とバケット３４、及び、トンネル２の切羽２１とトンネル側壁２２とトンネル底面２３である。
なお、距離画像を作成するための距離データとしては、上記距離ｚ_rを用いてもよいが、本例では、この距離ｚ_rを、予め設定されたショベルカー３の本体３１の基準位置（例えば、本体３１の中心など）からの距離Ｚ_rに変換し、この変換された距離Ｚ_rを、距離画像作成手段６２に送るようにしている。
距離画像作成手段６２では、右画像ＧＲの座標（ｘ_r，ｙ_r）を含む画素の色を、予め設定した、前記の座標（ｘ_r，ｙ_r）の位置における距離Ｚの大きさに対応する色に変換することで、距離により色付けされた画像である距離画像ＧＺを作成する。
図２（ｂ）は距離画像ＧＺの一例を示す図で、被写体との距離Ｚ_rが小さい（ショベルカー３の本体３１に近い）ほど濃く表示し、距離Ｚ_rが大きい（ショベルカー３の本体３１から遠い）ほど薄く表示した。なお、カラー画像とする場合には、ショベルカー３の本体３１近いほど赤に近い色とし、ショベルカー３の本体３１から遠いほど青に近い色とす
ればよい。 The image processing device 6 includes a distance calculating means 61, a distance image creating means 62, an input means 63 which is a conversion unit designating means, a distance data extracting means 64, and a composite distance image creating means 65, and provides a camera image ( Here, a composite distance image is created by synthesizing a distance image (camera image taken by the right camera 5R) and a distance image created from an image (stereo image) taken by the right camera 5R and the left camera 5L.
In the distance calculation means 61, the camera (here, the camera (here, the left image GL) is taken from the image taken by the right camera 5R (right image GR) and the image taken by the left camera 5L (left image GL) shown in FIG. 2A. to calculate the distance z _r between the right camera 5R) as a subject.
Specifically, the distance between the left and right cameras 5R and 5L, the coordinates of the subjects of the right image GR and the left image GL, the focal lengths of the left and right cameras 5R and 5L, and the shift amount due to the above camera distance. from the disparity and is based on the principle of triangulation to calculate the distance z _r from the object to the focal point of the right camera 5R. In FIG. 2A, the subjects are the heap Z, the arm 33 and the bucket 34 of the excavator car 3, the face 21 of the tunnel 2, the tunnel side wall 22, and the tunnel bottom surface 23.
As the distance data to create a distance image, may be used the distance z _r. In this embodiment, the distance z _r, preset reference position of the main body 31 of excavator 3 (e.g. , The center of the main body 31 and the like) _{is converted into a distance Z r,} and the converted distance Z _r is sent to the distance image creating means 62.
In the distance image creating means 62, the color of the pixel including _{the coordinates (x r} , y _r ) of the right image GR corresponds to the magnitude of the distance Z at the position of _{the coordinates (x r} , y _{r) set in advance.} By converting to the color to be used, a distance image GZ, which is an image colored by the distance, is created.
FIG. 2B is a diagram showing an example of the distance image GZ. The _{smaller the distance Z r} to the subject (closer to the main body 31 of the excavator car 3), the darker the display, and the _{larger the distance Z r} (the main body of the excavator car 3). The farther it is from 31), the lighter it is displayed. In the case of a color image, the color closer to the main body 31 of the excavator car 3 is closer to red, and the color closer to the main body 31 of the excavator car 3 is closer to blue.

入力手段６３は、右画像ＧＲ中の、距離画像に変換したい領域を指定するもので、本例では、表示装置７に装着されたマウスを用いた。
具体的には、図２（ｃ）の左側の図に示すように、右画像ＧＲを表示装置７のディスプレイ７Ｇ上に表示し、オペレータがマウスを動かすことで、右画像ＧＲの所定の領域Ｆを指定する。所定の領域は、矩形や円の枠が好適に用いられる。
距離データ抽出手段６４は、図２（ｃ）の右側の図に示すように、距離画像作成手段６２で作成した距離画像ＧＺのデータから、入力手段６３により指定された所定の領域Ｆｚ内の距離データを抽出して、合成距離画像作成手段６５に送る。なお、距離データは、カラー画像とする場合には、領域内の各画素の色データである。
合成距離画像作成手段６５では、図２（ｄ）に示すように、右画像ＧＲの所定の領域Ｆの画素データ（撮影データ）を、距離データ抽出手段６４で抽出された距離データに置き換えることで、所定の領域Ｆのみが距離データで、残りの部分が撮影データである画像、すなわち、距離画像とカメラで撮影されたカメラ画像とを合成した合成距離画像ＧＧを作成する。
表示装置７は、右画像ＧＲ、及び、合成距離画像ＧＧを、表示装置７のディスプレイ７Ｇに表示する。
車両制御装置８は、遠隔操作室１０に設置されて、ショベルカー３を遠隔操作する。 The input means 63 specifies an area in the right image GR to be converted into a distance image, and in this example, a mouse attached to the display device 7 is used.
Specifically, as shown in the figure on the left side of FIG. 2C, the right image GR is displayed on the display 7G of the display device 7, and the operator moves the mouse to move a predetermined area F of the right image GR. To specify. A rectangular or circular frame is preferably used for the predetermined area.
As shown in the figure on the right side of FIG. 2C, the distance data extracting means 64 is a distance within a predetermined region Fz designated by the input means 63 from the data of the distance image GZ created by the distance image creating means 62. The data is extracted and sent to the composite distance image creating means 65. The distance data is the color data of each pixel in the area in the case of a color image.
As shown in FIG. 2D, the composite distance image creating means 65 replaces the pixel data (photographed data) of the predetermined area F of the right image GR with the distance data extracted by the distance data extracting means 64. , A composite distance image GG is created by synthesizing an image in which only a predetermined area F is distance data and the remaining portion is shooting data, that is, a distance image and a camera image shot by a camera.
The display device 7 displays the right image GR and the composite distance image GG on the display 7G of the display device 7.
The vehicle control device 8 is installed in the remote control room 10 to remotely control the excavator car 3.

次に、ずり運搬用車両操作システム１の動作について、図３（ａ）のフローチャートを参照して説明する。
はじめに、ショベルカー３とダンプトラック４とを、ずり山がある地点(以下、現場という)まで移動させる（ステップＳ１０）。本例では、ショベルカー３を自動運転とし、ダンプトラック４については、運転手が走行させる形態とした。
次に、ステレオカメラ５により、現場の映像をステレオ撮影して合成距離画像を作成し、この合成距離画像を遠隔操作室１０の表示装置７のディスプレイ７Ｇ上に表示する（ステップＳ１１）。表示画面では、ずり山Ｚの一部とショベルカー３のバケット３４及びアーム３３とが写っている箇所を距離画像で表示する。合成距離画像の作成手順については、後述する。
オペレータは、ディスプレイ７Ｇに表示された距離画像を見ながら、ショベルカー３を遠隔操作して、ずり山Ｚからずりｚを採取して、ダンプトラック４の荷台４１に積み込む（ステップＳ１２）。
次に、ダンプトラック４に所定量のずりｚが積み込まれた否かを判定する（ステップＳ１３）。判定は、例えば、ダンプトラック４に荷重センサーを設置し、所定の重量が積み込まれたか否かを判定してもよいし、バケット３４による積込回数で判定してもよい。あるいは、ダンプトラック４の運転手が目視で判定してもよい。
ダンプトラック４に所定量のずりｚが積み込まれていない場合には、ステップＳ１１に戻って、ずりｚの積み込みを継続する。一方、ダンプトラック４に所定量のずりｚが積み込まれたと判定された場合には、ステップＳ１４に進み、ずりｚの回収が終了したか否かを判定する。判定は、にオペレータが、表示装置７のディスプレイ７Ｇ上に表示された右カメラ５Ｒもしくは左カメラ５Ｌのカメラ画像を参照して行う。
ずりｚの回収が終了していない場合には、ダンプトラック４を交代させる（ステップＳ１５）。具体的には、ずりｚが積み込まれたダンプトラック４をトンネル２の坑口付近に移動させるとともに、空のダンプトラック４を現場まで移動させる。
ずりｚの回収が終了した場合には、ずりｚが積み込まれたダンプトラック４をトンネル２の坑口付近まで戻すとともに、ショベルカー３とを遠隔操作にて回収して、作業を終了する。 Next, the operation of the slip-carrying vehicle operation system 1 will be described with reference to the flowchart of FIG. 3A.
First, the excavator car 3 and the dump truck 4 are moved to a point where there is a slag heap (hereinafter referred to as a site) (step S10). In this example, the excavator car 3 is automatically operated, and the dump truck 4 is driven by the driver.
Next, the stereo camera 5 captures the image of the site in stereo to create a composite distance image, and the composite distance image is displayed on the display 7G of the display device 7 of the remote control room 10 (step S11). On the display screen, a part of the slag heap Z and the portion where the bucket 34 and the arm 33 of the excavator car 3 are shown are displayed as a distance image. The procedure for creating the composite distance image will be described later.
The operator remotely controls the excavator car 3 while observing the distance image displayed on the display 7G, collects the slip z from the slip mountain Z, and loads it on the loading platform 41 of the dump truck 4 (step S12).
Next, it is determined whether or not a predetermined amount of shear z is loaded on the dump truck 4 (step S13). For the determination, for example, a load sensor may be installed on the dump truck 4 to determine whether or not a predetermined weight has been loaded, or the determination may be made based on the number of times of loading by the bucket 34. Alternatively, the driver of the dump truck 4 may make a visual judgment.
If a predetermined amount of the shear z is not loaded on the dump truck 4, the process returns to step S11 and the loading of the shear z is continued. On the other hand, when it is determined that a predetermined amount of the shear z has been loaded on the dump truck 4, the process proceeds to step S14, and it is determined whether or not the collection of the shear z is completed. The determination is made by the operator referring to the camera image of the right camera 5R or the left camera 5L displayed on the display 7G of the display device 7.
If the collection of the slip z has not been completed, the dump truck 4 is replaced (step S15). Specifically, the dump truck 4 loaded with the slide z is moved to the vicinity of the wellhead of the tunnel 2, and the empty dump truck 4 is moved to the site.
When the collection of the shear z is completed, the dump truck 4 loaded with the shear z is returned to the vicinity of the wellhead of the tunnel 2, and the excavator car 3 is recovered by remote control to end the work.

次に、ステップＳ１１の距離画像の作成方法及び表示方法について、図３（ｂ）のフローチャートを参照して説明する。
まず、右カメラ５Ｒと左カメラ５Ｌとにより、少なくとも、ショベルカー３のバケット３４と切羽２１の手前に堆積されたずり山Ｚをステレオ撮影する（ステップＳ１１１）。なお、左右のカメラ画像には、ずりｚを採取する箇所である、ずり山Ｚの上側とバケット３４及びアーム３３の一部（バケット３４との接続部）とが映っていればよい。
次に、図４（ａ）に示すように、ステレオ撮影された左右のカメラ画像ＧＲ，ＧＬを用いて、一方のカメラ（ここでは、右カメラ５Ｒ）で撮影したカメラ画像に写っている被写体と右カメラとの距離ｚ_rを算出する（ステップＳ１１２）。本例では、この算出した距離ｚ_rを、予め設定されたショベルカー３の本体３１の中心からの距離Ｚ_rに変換するようにしている。
次に、右画像ＧＲの画素の色を、距離Ｚの大きさに対応する色に変換して距離画像ＧＺを作成する（ステップＳ１１３）。ここでは、座標（ｘ_r，ｙ_r）の位置における距離はＺ_rなので、右画像ＧＲの各座標（ｘ_r，ｙ_r）を含む画素は、それぞれ、距離Ｚ_rに対応する色に色付けされる。
ステップＳ１１４では、図４（ｂ）の左上の図に示すように、右画像ＧＲを表示装置７のディスプレイ７Ｇ上に表示するとともに、右画像ＧＲ中の所定の領域Ｆを指定する。
ステップＳ１１５では、図４（ｂ）の左下の図に示すように、ステップＳ１１３で作成した距離画像ＧＺから、ステップＳ１１４で指定された所定の領域Ｆｚの距離データを抽出する。
次に、図４（ｂ）の右図に示すように、ステップＳ１１５で抽出された距離データとカメラで撮影されたカメラ画像とを合成した合成距離画像を作成（ステップＳ１１６）した後、この合成距離画像をディスプレイ７Ｇ上に表示する（ステップＳ１１７）。 Next, the method of creating and displaying the distance image in step S11 will be described with reference to the flowchart of FIG. 3 (b).
First, with the right camera 5R and the left camera 5L, at least the slag heap Z deposited in front of the bucket 34 and the face 21 of the excavator car 3 is stereo-photographed (step S111). It should be noted that the left and right camera images may show the upper side of the shear mountain Z and a part of the bucket 34 and the arm 33 (the connection portion with the bucket 34), which are the locations where the shear z is collected.
Next, as shown in FIG. 4A, using the left and right camera images GR and GL shot in stereo, the subject in the camera image taken by one camera (here, the right camera 5R). _{The distance z r} with the right camera is calculated (step S112). In this example, the calculated distance z _{r is converted into a preset distance Z r} from the center of the main body 31 of the excavator car 3.
Next, the color of the pixel of the right image GR is converted into a color corresponding to the size of the distance Z to create the distance image GZ (step S113). Here, since the distance at the position of the coordinates (x _r , y _{r ) is Z r} , the pixels including each coordinate (x _r , y _r ) of the right image GR are colored in the color corresponding to the _{distance Z r} , respectively. To.
In step S114, as shown in the upper left figure of FIG. 4B, the right image GR is displayed on the display 7G of the display device 7, and a predetermined area F in the right image GR is designated.
In step S115, as shown in the lower left figure of FIG. 4B, the distance data of the predetermined region Fz specified in step S114 is extracted from the distance image GZ created in step S113.
Next, as shown in the right figure of FIG. 4B, a composite distance image is created by combining the distance data extracted in step S115 and the camera image taken by the camera (step S116), and then this composite is performed. The distance image is displayed on the display 7G (step S117).

以上、本発明を実施の形態及び実施例を用いて説明したが、本発明の技術的範囲は前記実施の形態に記載の範囲には限定されない。前記実施の形態に、多様な変更または改良を加えることが可能であることが当業者にも明らかである。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲から明らかである。 Although the present invention has been described above with reference to the embodiments and examples, the technical scope of the present invention is not limited to the scope described in the embodiments. It will be apparent to those skilled in the art that various changes or improvements can be made to the above embodiments. It is clear from the claims that such modified or modified forms may also be included in the technical scope of the invention.

例えば、前記実施の形態では、ステレオカメラ５をショベルカー３の本体３１の前方中央に１台設けたが、前方の左右にも設けるなど、複数台用いるようにすれば、複数の視点からショベルカー３の動きを把握することができる。
また、ステレオカメラ５の設置位置も、本体３１の前方だけでなく、ショベルカー３の本体３１の後方であってもよいし、本体３１の後方のみであってもよい。この場合も、作業場所の奥行き感をつかむには、ステレオカメラ５を複数台とすることが好ましい。これにより、ずり山Ｚとバケット３４との距離だけでなく、バケット３４とトンネル側壁２２との距離や、バケット３４とダンプトラック４の荷台４１との距離なども把握できる。
また、前記実施の形態では、右画像ＧＲの領域Ｆを距離画像としたが、予め右画像ＧＲを複数の領域に分割して番号付けしておき、指定された領域の番号（単数、もしくは、複数）の領域を距離画像としてもよい。
あるいは、ずり山Ｚ，アーム３３、バケット３４などの被写体を指定し、指定された被写体のみを距離画像としてもよい。但し、この場合には、予め、深層学習などの画像認識の手法を用いて被写体を認識させておく必要があることはいうまでもない。
また、前記実施の形態では、合成距離画像ＧＧを表示装置７のディスプレイ７Ｇ上に表示したが、ウェアブル端末メガネ等のウェアブル端末の画像として表示してもよい。これにより、ディスプレイ７Ｇ等が不要になるので、省スペース化が図れる。 For example, in the above-described embodiment, one stereo camera 5 is provided in the front center of the main body 31 of the excavator car 3, but if a plurality of stereo cameras 5 are provided in the front left and right, the excavator car is provided from a plurality of viewpoints. It is possible to grasp the movement of 3.
Further, the stereo camera 5 may be installed not only in the front of the main body 31 but also in the rear of the main body 31 of the excavator car 3 or only in the rear of the main body 31. In this case as well, it is preferable to use a plurality of stereo cameras 5 in order to obtain a sense of depth in the work place. As a result, not only the distance between the slag heap Z and the bucket 34, but also the distance between the bucket 34 and the tunnel side wall 22 and the distance between the bucket 34 and the loading platform 41 of the dump truck 4 can be grasped.
Further, in the above-described embodiment, the area F of the right image GR is a distance image, but the right image GR is divided into a plurality of areas and numbered in advance, and the number of the designated area (singular or single or). Multiple) areas may be used as a distance image.
Alternatively, a subject such as a slag heap Z, an arm 33, or a bucket 34 may be designated, and only the designated subject may be used as a distance image. However, in this case, it goes without saying that it is necessary to recognize the subject in advance by using an image recognition method such as deep learning.
Further, in the above-described embodiment, the composite distance image GG is displayed on the display 7G of the display device 7, but it may be displayed as an image of a wearable terminal such as wearable terminal glasses. As a result, the display 7G and the like are not required, so that space can be saved.

また、前記実施の形態では、合成距離画像ＧＧを遠隔操作のモニターとして使用したが、合成距離画像ＧＧの使用例はこれに限るものではなく、例えば、トンネルの切羽や掘削面の管理に適用して、注目すべき箇所を距離画像とした合成距離画像をモニター画像とすれば、切羽や掘削面の凹凸状態を容易に把握することができる。
また、本発明の合成距離画像を、作業現場における機械と作業者との距離空間の把握に適用すれば、機械と作業者との距離が把握しやすくなるので、作業の安全性を更に向上させることができる。
また、本発明の合成距離画像は、クレーンと吊下げた荷物との距離の確認（上から見たときの、荷物の着地の確認）や、クレーンで吊下げた荷物と作業者との距離の確認（水平方向の距離確認）にも適用可能である。 Further, in the above-described embodiment, the composite distance image GG is used as a monitor for remote control, but the usage example of the composite distance image GG is not limited to this, and is applied to, for example, management of the face of a tunnel or an excavated surface. Therefore, if the composite distance image in which the notable part is used as the distance image is used as the monitor image, the uneven state of the face and the excavated surface can be easily grasped.
Further, if the composite distance image of the present invention is applied to grasp the distance space between the machine and the worker at the work site, the distance between the machine and the worker can be easily grasped, so that the safety of the work is further improved. be able to.
In addition, the composite distance image of the present invention confirms the distance between the crane and the suspended luggage (confirmation of the landing of the luggage when viewed from above) and the distance between the luggage suspended by the crane and the worker. It can also be applied to confirmation (confirmation of distance in the horizontal direction).

１ ずり運搬用車両操作システム、２ トンネル、２１ 切羽、３ ショベルカー、
３１ ショベルカーの本体、３２ ブーム、３３ アーム、３４ バケット、
３５ カメラ台、３６ 走行手段、３７ 回転台、４ ダンプトラック、
５ ステレオカメラ、５Ｒ 右カメラ、５Ｌ 左カメラ、６ 画像処理装置、
６１ 距離算出手段、６２ 距離画像作成手段、６３ 入力手段、
６４ 距離データ抽出手段、６５ 合成距離画像作成手段、７ 表示装置、
７Ｇ ディスプレイ、８ 車両制御装置、１０ 遠隔操作室、Ｚ ずり山、ｚ ずり。 1 Vehicle operation system for sliding transportation, 2 Tunnels, 21 Faces, 3 Excavators,
31 Excavator body, 32 boom, 33 arm, 34 bucket,
35 camera stand, 36 traveling means, 37 turntable, 4 dump truck,
5 stereo camera, 5R right camera, 5L left camera, 6 image processing device,
61 Distance calculation means, 62 Distance image creation means, 63 Input means,
64 Distance data extraction means, 65 Composite distance image creation means, 7 Display device,
7G display, 8 vehicle control device, 10 remote control room, Z slag heap, z slag.

Claims (4)

複数台のカメラで撮影したカメラ画像と、前記カメラ画像を用いて作成された距離画像とを合成した合成距離画像を作成する方法であって、
前記複数台のカメラのうちの２台のカメラでステレオ画像を撮影するステップと、
前記撮影されたステレオ画像を用いて、前記２台のカメラのうちの一方のカメラで撮影されたカメラ画像を距離画像に変換するステップと、
前記一方のカメラで撮影されたカメラ画像の所定の領域、または、所定の被写体を指定するステップと、
前記距離画像から前記指定された所定の領域、または、所定の被写体の距離データを抽出するステップと、
前記抽出された距離データと前記一方のカメラで撮影されたカメラ画像とを合成した合成距離画像を作成するステップと、
前記作成された合成距離画像を、モニター用画像として表示装置の表示画面に表示するステップと、
を備えたことを特徴とする合成距離画像の作成方法。 It is a method of creating a composite distance image by synthesizing a camera image taken by a plurality of cameras and a distance image created by using the camera image.
The step of taking a stereo image with two of the multiple cameras,
A step of converting a camera image taken by one of the two cameras into a distance image using the captured stereo image.
A step of designating a predetermined area or a predetermined subject of a camera image taken by one of the cameras.
A step of extracting distance data of the specified predetermined area or a predetermined subject from the distance image, and
A step of creating a composite distance image by synthesizing the extracted distance data and a camera image taken by one of the cameras, and
The step of displaying the created composite distance image as a monitor image on the display screen of the display device, and
A method of creating a composite distance image, which is characterized by being equipped with. 前記表示装置として、ウェアブル端末を用いたことを特徴とする請求項１に記載の合成距離画像の作成方法。 The method for creating a composite distance image according to claim 1, wherein a wearable terminal is used as the display device. 集積場所に積上げられた土砂と、前記土砂と前記土砂を採取する採取手段とを複数台のカメラで撮影したカメラ画像から、前記土砂と前記採取手段との距離を把握するためのモニター用画像を作成する方法であって、
前記複数台のカメラのうちの２台のカメラで、前記土砂と前記採取手段とを被写体としたステレオ画像を撮影するステップと、
前記撮影されたステレオ画像を用いて、前記２台のカメラのうちの一方のカメラで撮影されたカメラ画像を距離画像に変換するステップと、
前記一方のカメラで撮影されたカメラ画像の、少なくとも前記土砂と前記採取手段とを含む所定の領域を指定するステップと、
前記距離画像から前記指定された所定の領域の距離データを抽出するステップと、
前記抽出された距離データと前記一方のカメラで撮影されたカメラ画像とを合成した合成距離画像を作成するステップと、
前記作成された合成距離画像を、モニター用画像として表示装置の表示画面に表示するステップと、
を備えたことを特徴とする土砂採取モニター用画像の作成方法。 From the camera images taken by a plurality of cameras of the earth and sand piled up at the accumulation place and the earth and sand and the collecting means for collecting the earth and sand, a monitor image for grasping the distance between the earth and sand and the collecting means is obtained. How to create
A step of taking a stereo image of the earth and sand and the collecting means as subjects by two cameras out of the plurality of cameras, and a step of taking a stereo image.
A step of converting a camera image taken by one of the two cameras into a distance image using the captured stereo image.
A step of designating a predetermined area including at least the earth and sand and the collecting means of the camera image taken by the one camera.
A step of extracting distance data of the specified predetermined area from the distance image, and
A step of creating a composite distance image by synthesizing the extracted distance data and a camera image taken by one of the cameras, and
The step of displaying the created composite distance image as a monitor image on the display screen of the display device, and
A method of creating an image for a sediment collection monitor, which is characterized by being equipped with. カメラ画像と距離画像とを合成した合成距離画像を作成する装置であって、
対象物を撮影する２台のカメラと、
前記２台のカメラでステレオ撮影された前記対象物のステレオ画像から、前記対象物と予め設定された観測点との距離を算出する距離算出手段と、
前記距離算出手段で算出された前記対象物と予め設定された観測点との距離のデータを用いて、前記２台のカメラのうちの一方のカメラで撮影されたカメラ画像を距離画像に変換する画像変換手段と、
前記一方のカメラで撮影されたカメラ画像の所定の領域、または、所定の被写体を指定する変換部指定手段と、
前記距離画像から前記指定された所定の領域、または、所定の被写体の距離データを抽出する抽出手段と、
前記抽出された距離データと前記一方のカメラで撮影されたカメラ画像とを合成した合成距離画像を作成する画像合成手段と、
前記作成された合成距離画像を、モニター用画像として表示画面に表示する表示装置と、
を備えたことを特徴とする合成距離画像の作成装置。 A device that creates a composite distance image that combines a camera image and a distance image.
Two cameras that shoot the object and
A distance calculation means for calculating the distance between the object and a preset observation point from the stereo image of the object taken in stereo by the two cameras.
Using the distance data between the object and the preset observation point calculated by the distance calculation means, the camera image taken by one of the two cameras is converted into a distance image. Image conversion means and
A conversion unit designating means for designating a predetermined area or a predetermined subject of a camera image taken by one of the cameras.
An extraction means for extracting distance data of the specified predetermined area or a predetermined subject from the distance image, and
An image synthesizing means for creating a composite distance image by synthesizing the extracted distance data and a camera image taken by one of the cameras.
A display device that displays the created composite distance image on the display screen as a monitor image, and
A device for creating a composite distance image, which is characterized by being equipped with.

Images