JP7303008B2 - Image display method and remote control system - Google Patents
Image display method and remote control system Download PDFInfo
- Publication number
- JP7303008B2 JP7303008B2 JP2019070565A JP2019070565A JP7303008B2 JP 7303008 B2 JP7303008 B2 JP 7303008B2 JP 2019070565 A JP2019070565 A JP 2019070565A JP 2019070565 A JP2019070565 A JP 2019070565A JP 7303008 B2 JP7303008 B2 JP 7303008B2
- Authority
- JP
- Japan
- Prior art keywords
- laser
- display
- robot
- measurement point
- laser measurement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 59
- 238000005259 measurement Methods 0.000 claims description 182
- 238000004040 coloring Methods 0.000 claims description 45
- 239000000284 extract Substances 0.000 claims description 8
- 238000010276 construction Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 102220475340 DNA replication licensing factor MCM2_S41A_mutation Human genes 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 102220040592 rs587778386 Human genes 0.000 description 1
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Description
本発明は、ディスプレーを有する遠隔操縦装置によってロボットである車両や建機を遠隔操縦する際に用いるのに好適な画像表示方法及び遠隔操縦システムに関するものである。 BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image display method and a remote control system suitable for use in remotely controlling a vehicle or construction machine, which is a robot, using a remote control device having a display.
従来、上記したようなロボットとしては、例えば、特許文献1に記載された車両タイプの移動ロボットがある。 Conventionally, there is a vehicle-type mobile robot described in Patent Document 1, for example, as the above-described robot.
この移動ロボットは、レーザ光を走査して進行方向側のレーザ計測点群を取得するレーザレンジファインダと、自己位置を求めるGPS等の自己位置計測部と、レーザレンジファインダで得た進行方向側のレーザ計測点群のデータが入力されると共に自己位置計測部で得た自己位置データが入力される制御部を備えている。 This mobile robot has a laser range finder that scans a laser beam to obtain a group of laser measurement points in the traveling direction, a self-positioning unit such as a GPS that obtains its own position, and a moving direction side obtained by the laser range finder. A control section is provided to which the data of the laser measurement point cloud is input and the self-position data obtained by the self-position measurement section is input.
レーザレンジファインダで取得される進行方向側のレーザ計測点群のデータは、制御部において、移動ロボットが移動する度に自己位置計測部で取得されるレーザレンジファインダの位置を原点とするレーザ計測点群のデータに更新され、制御部から遠隔操縦装置に送信されてディスプレーにリアルタイムで表示される。 The data of the laser measurement point cloud on the traveling direction side acquired by the laser range finder is the laser measurement points with the position of the laser range finder as the origin, which is acquired by the self-position measurement unit each time the mobile robot moves in the control unit. Group data is updated, transmitted from the control unit to the remote control unit, and displayed on the display in real time.
この場合、遠隔操縦装置のディスプレーに表示されるレーザ計測点群の画像をよりリアルなものにするための手法として、レーザレンジファインダで得たプロファイルデータであるレーザ計測点群を座標(高さや距離)に基づいて色付けする方法がある。 In this case, as a method for making the image of the laser measurement point cloud displayed on the display of the remote control device more realistic, the laser measurement point cloud, which is the profile data obtained by the laser range finder, is coordinated (height and distance). ).
ところが、上記したレーザレンジファインダで取得するプロファイルデータは、レーザ計測点群の密度が薄いことから、レーザ計測点の位置情報に基づいて色付け処理を施したとしても、遠隔操縦に有用な画像を遠隔操縦装置のディスプレーに表示することができないという問題があり、この問題を解決することが従来の課題となっている。 However, since the profile data obtained by the above-described laser range finder has a low density of the laser measurement point cloud, even if the coloring process is performed based on the position information of the laser measurement points, the image useful for remote control can be obtained remotely. There is a problem that it cannot be displayed on the display of the control device, and solving this problem has been a conventional problem.
本発明は、上記した従来の課題に着目してなされたもので、ディスプレーを有する遠隔操縦装置によって、例えば、ロボットを遠隔操縦するに際して、遠隔操縦装置のディスプレーに有用な画像をリアルタイムで表示することが可能である画像表示方法及び遠隔操縦システムを提供することを目的としている。 SUMMARY OF THE INVENTION The present invention has been made in view of the above-mentioned problems of the conventional art, and is intended to display useful images on the display of a remote control device in real time when, for example, a robot is remotely controlled by a remote control device having a display. It is an object of the present invention to provide an image display method and a remote control system capable of
本発明の第1の態様は、レーザ光を走査して周囲のレーザ計測点群を取得するレーザセンサ、自己位置データを取得する自己位置計測部、及び、カラーデジタルカメラを搭載したロボットを、遠隔操縦用画像が表示されるディスプレーを有する遠隔操縦装置によって遠隔操縦するに際して、前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群に対して前記カラーデジタルカメラによる画像に基づく色付け処理を行うと共に、該色付け処理が成された前記レーザ計測点群に対して前記自己位置計測部で得た自己位置データに基づくセンサ座標系からグローバル座標系への変換を行い、色付け処理後の前記レーザ計測点群に対してセンサ座標系からグローバル座標系への変換を行ったうえで、前記レーザセンサにより取得する前記レーザ計測点群の表示データの範囲及び計測フレームの範囲を前記ロボットの移動速度が遅い場合には広い表示範囲に決定すると共に、ロボットの移動速度が速い場合には狭い表示範囲に決定して、該ロボットの移動に伴って逐次取得するレーザ計測点群を更新する毎に重ねて、前記遠隔操縦装置の前記ディスプレーに表示する構成としている。 According to a first aspect of the present invention, a robot equipped with a laser sensor that scans a laser beam to obtain a group of laser measurement points in the surrounding area, a self-position measurement unit that obtains self-position data, and a color digital camera is remotely operated. When the robot is remotely controlled by a remote control device having a display on which a control image is displayed, the laser measurement point cloud obtained by the laser sensor of the robot is colored based on the image obtained by the color digital camera. , the laser measurement point group subjected to the coloring process is converted from the sensor coordinate system to the global coordinate system based on the self-position data obtained by the self-position measurement unit , and the laser measurement after the coloring process is performed. After converting the point cloud from the sensor coordinate system to the global coordinate system, the range of the display data and the range of the measurement frame of the laser measurement point cloud acquired by the laser sensor are moved at a slow moving speed of the robot. In this case, a wide display range is determined, and when the robot moves at a high speed, a narrow display range is determined. It is configured to be displayed on the display of the remote control device.
また、本発明の第2の態様は、前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群のうちの高さが予め設定した前記ロボットにとって移動に支障を来す範囲内のレーザ計測点を抽出し、前記設定した範囲内のレーザ計測点が多く存在する側に表示視点を変更して前記遠隔操縦装置の前記ディスプレーに表示する構成としている。 In a second aspect of the present invention, among the laser measurement point group acquired by the laser sensor of the robot, the laser measurement points have a preset height within a range that hinders movement of the robot. is extracted, and the display viewpoint is changed to the side where there are many laser measurement points within the set range, and displayed on the display of the remote control device.
さらに、本発明の第3の態様において、前記ロボットは作動部を有し、前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群のうちの前記作動部にもっとも近いレーザ計測点を抽出し、該抽出したレーザ計測点と前記作動部との距離が予め設定した閾値以下の場合に該抽出したレーザ計測点側に表示視点を変更して前記遠隔操縦装置の前記ディスプレーに表示する構成としている。 Further, in the third aspect of the present invention, the robot has an operating section, and the laser measurement point closest to the operating section is extracted from the group of laser measurement points acquired by the laser sensor of the robot. and, when the distance between the extracted laser measurement point and the operating unit is equal to or less than a preset threshold value, the display viewpoint is changed to the side of the extracted laser measurement point and displayed on the display of the remote control device. there is
一方、本発明の第4の態様は、ロボットを遠隔操縦装置によって遠隔操縦する遠隔操縦システムであって、前記ロボットには、レーザ光を走査して周囲のレーザ計測点群を取得するレーザセンサと、自己位置データを取得する自己位置計測部と、カラーデジタルカメラが搭載され、前記遠隔操縦装置には、遠隔操縦用画像が表示されるディスプレーが搭載され、前記ロボット及び前記遠隔操縦装置のいずれかには、前記ロボットの前記レーザセンサで得た前記レーザ計測点群のデータが入力されると共に前記自己位置計測部で得た自己位置データが入力される制御部が具備され、前記制御部は、前記ロボットの前記レーザセンサにより取得されるレーザ計測点群に対して前記カラーデジタルカメラによる画像に基づく色付け処理を行うと共に、該色付け処理が成された前記レーザ計測点群に対して前記自己位置計測部で得た自己位置情報に基づくセンサ座標系からグローバル座標系への変換を行い、色付け処理後の前記レーザ計測点群に対してセンサ座標系からグローバル座標系への変換を行ったうえで、前記レーザセンサにより取得する前記レーザ計測点群の表示データの範囲及び計測フレームの範囲を前記ロボットの移動速度が遅い場合には広い表示範囲に決定すると共に、ロボットの移動速度が速い場合には狭い表示範囲に決定して、該ロボットの移動に伴って逐次取得するレーザ計測点群を更新する毎に重ねて、前記遠隔操縦装置の前記ディスプレーに表示させる構成としている。 On the other hand, a fourth aspect of the present invention is a remote control system for remotely controlling a robot by a remote control device, wherein the robot includes a laser sensor for scanning a laser beam and acquiring a group of laser measurement points around the robot. , a self-localization unit that acquires self-position data, and a color digital camera are installed, and the remote control device is equipped with a display that displays an image for remote control, and either the robot or the remote control device is provided with a control unit to which the data of the laser measurement point cloud obtained by the laser sensor of the robot is input and the self-position data obtained by the self-position measurement unit is input, and the control unit is The laser measurement point group acquired by the laser sensor of the robot is subjected to coloring processing based on the image by the color digital camera, and the self-position measurement is performed for the laser measurement point group subjected to the coloring processing. After converting from the sensor coordinate system to the global coordinate system based on the self-position information obtained in the section, and converting the laser measurement point group after the coloring process from the sensor coordinate system to the global coordinate system , the display data range and the measurement frame range of the laser measurement point cloud acquired by the laser sensor are determined to be a wide display range when the moving speed of the robot is slow, and when the moving speed of the robot is fast A narrow display range is determined, and the laser measurement point cloud sequentially acquired as the robot moves is superimposed each time it is updated and displayed on the display of the remote control device.
また、本発明の第5の態様において、前記制御部は、前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群のうちの高さが予め設定した前記ロボットにとって移動に支障を来す範囲内のレーザ計測点を抽出し、前記設定した範囲内のレーザ計測点が多く存在する側に表示視点を変更して前記遠隔操縦装置の前記ディスプレーに表示させる構成としている。 Further , in the fifth aspect of the present invention, the control unit determines that the height of the laser measurement point group acquired by the laser sensor of the robot is set in advance to a range that hinders the movement of the robot. Then, the display viewpoint is changed to the side where there are many laser measurement points within the set range and displayed on the display of the remote control device.
さらに、本発明の第6の態様において、前記ロボットは作動部を有し、前記制御部は、前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群のうちの前記作動部にもっとも近いレーザ計測点を抽出し、該抽出したレーザ計測点と前記作動部との距離が予め設定した閾値以下の場合に該抽出したレーザ計測点側に表示視点を変更して前記遠隔操縦装置の前記ディスプレーに表示させる構成としている。 Furthermore, in the sixth aspect of the present invention, the robot has an operating section, and the control section is closest to the operating section in the laser measurement point group acquired by the laser sensor of the robot. A laser measurement point is extracted, and when the distance between the extracted laser measurement point and the operating unit is equal to or less than a preset threshold value, the display viewpoint is changed to the side of the extracted laser measurement point, and the display of the remote control device is displayed. It is configured to be displayed on
本発明に係る画像表示方法及び遠隔操縦システムにおいて、ロボットの周囲のレーザ計測点群(プロファイルデータ)を取得するレーザセンサとしては、例えば、水平ラインスキャンタイプの1軸レーザレンジファインダであれば事足りる。 In the image display method and the remote control system according to the present invention, a horizontal line scan type 1-axis laser range finder, for example, is sufficient as a laser sensor for acquiring the laser measurement point group (profile data) around the robot.
また、自己位置データ(自己位置の他に姿勢角及び方位を含む)を求める自己位置計測部としては、例えば、GPSや、INS(慣性航法装置)やIMU(慣性計測装置)やデッドレコニングを用いることができる。 In addition, as a self-position measurement unit that obtains self-position data (including attitude angle and azimuth in addition to self-position), for example, GPS, INS (inertial navigation system), IMU (inertial measurement unit), and dead reckoning are used. be able to.
本発明の第1の態様に係る画像表示方法及び第4の態様に係る遠隔操縦システムでは、ディスプレーを有する遠隔操縦装置によってロボットを遠隔操縦するに際して、計測対象物を区別できるカメラ画像のような画像、すなわち、遠隔操縦に有用な画像を遠隔操縦装置のディスプレーにリアルタイムで表示することが可能であるという非常に優れた効果がもたらされる。 In the image display method according to the first aspect of the present invention and the remote control system according to the fourth aspect of the present invention, when a remote control device having a display is used to remotely control a robot, an image such as a camera image capable of distinguishing an object to be measured is displayed. That is, it is possible to display an image useful for remote control on the display of the remote control device in real time.
また、本発明の第1の態様に係る画像表示方法及び第4の態様に係る遠隔操縦システムは、ロボットを移動させる場合において、ロボットの移動速度にマッチした画像を遠隔操縦装置のディスプレーにリアルタイムで表示させることができる。 The image display method according to the first aspect of the present invention and the remote control system according to the fourth aspect of the present invention can display an image matching the moving speed of the robot on the display of the remote control device in real time when the robot is moved. can be displayed.
さらに、本発明の第2の態様に係る画像表示方法及び第5の態様に係る遠隔操縦システムでは、密な情報を遠隔操縦装置のディスプレーにリアルタイムで表示させることができる。 Furthermore, in the image display method according to the second aspect and the remote control system according to the fifth aspect of the present invention, detailed information can be displayed on the display of the remote control device in real time.
さらにまた、本発明の第3の態様に係る画像表示方法及び第6の態様に係る遠隔操縦システムは、ロボットの作動部を動作させる場合において、ロボットの作動部の動きにマッチした画像を遠隔操縦装置のディスプレーにリアルタイムで表示させることができる。 Furthermore, in the image display method according to the third aspect and the remote control system according to the sixth aspect of the present invention, in the case of operating the operating part of the robot, an image matching the motion of the operating part of the robot is remotely controlled. It can be displayed in real time on the display of the device.
以下、本発明の実施例を図面に基づいて説明する。
図1~図8は、本発明の一実施例による画像表示方法及び遠隔操縦システムを採用した車両を示している。
Embodiments of the present invention will be described below with reference to the drawings.
1 to 8 show a vehicle employing an image display method and remote control system according to one embodiment of the present invention.
この遠隔操縦システムは、図1に示すように、携帯型の遠隔操縦装置Aによって車両Bの移動をコントロールする際に用いられるシステムであって、図2に示すように、車両制御用コンピュータ10及びこの車両制御用コンピュータ10とLAN11を介して接続されるセンサデータ処理用コンピュータ30が備えられている。なお、遠隔操縦装置Aは携帯型に限定されない。
This remote control system, as shown in FIG. 1, is a system used to control the movement of a vehicle B by means of a portable remote control device A. As shown in FIG. A sensor
車両制御用コンピュータ10の入力側には、アンテナ12が入出力回路15を介して接続されていると共に、位置情報取得用のGPS16と、姿勢制御用のバーチカルジャイロ17と、移動速度測定用の車速パルス(移動速度測定手段)18がシリアル回線を介して接続されている。
An
また、車両制御用コンピュータ10の出力側には、モータドライバ21を介して操舵用アクチュエータ22及びブレーキ/アクセル用アクチュエータ23が接続されており、モータドライバ21とアクチュエータ22,23と車輪24とで駆動ユニット20を構成している。
A
車両制御用コンピュータ10は、GPS16やバーチカルジャイロ17で取得した自己位置や姿勢等の各種情報をセンサデータ処理用コンピュータ30にLAN11を介して送信する機能を有していると共に、遠隔操縦装置Aから送信される操作情報に基づいて、モータドライバ21を介して操舵用アクチュエータ22及びブレーキ/アクセル用アクチュエータ23を作動、停止させる機能を有している。
The
一方、センサデータ処理用コンピュータ30の入力側には、レーザ光を走査して車両Bの周囲のレーザ計測点群を取得するレーザレンジファインダ(レーザセンサ)31と、このレーザレンジファインダ31により取得されるレーザ計測点群に対して色付け処理を行うためのレーザ計測点色付け用カメラ(デジタルカメラ)32が接続されており、このセンサデータ処理用コンピュータ30は、レーザ計測点色付け用カメラ32で色付したレーザ計測点群データを遠隔操縦装置Aに送信する機能を有している。
On the other hand, on the input side of the sensor
遠隔操縦装置Aは、車両Bのレーザ計測点色付け用カメラ32で色付されたレーザ計測点群データを表示するディスプレー40と、車両制御用コンピュータ10及びセンサデータ処理用コンピュータ30に対してデータのやり取りをする制御部60を具備しており、ディスプレー40は、図示しないCPUやキーボード61やアンテナ62とともに制御部60に組み込まれている。
The remote control device A sends data to the
この場合、車両Bに搭載された上記センサデータ処理用コンピュータ30は、レーザレンジファインダ31により取得されるレーザ計測点群に対してレーザ計測点色付け用カメラ32の画像に基づく色付け処理を行う機能を有している。なお、このセンサデータ処理用コンピュータ30は、レーザ計測点色付け用カメラ32の画像に基づく色付け機能に加えて、レーザ計測点群の位置情報に基づく色付け機能も有している。
In this case, the sensor
この色付け処理とは、車両Bの周囲のレーザ計測点群に、RGB(赤緑青の各成分)情報を付与することである。このRGB情報が、レーザ計測点色付け用カメラ32の画像に基づくものであれば、計測対象物を明瞭に区別可能なカメラ画像のような位置情報となり、一方、RGB情報が、レーザ計測点群の位置情報に基づくものであれば、標高によって異なるRGB情報が付与されて、地面と障害物(穴等の凹みを含む)との区別が可能な位置情報となる。
このように、センサデータ処理用コンピュータ30は、レーザ計測点群の位置情報に基づいて画像を作成し、作成された画像は、図3に示すように、遠隔操縦装置Aのディスプレー40にて表示される。図3の画像は、カメラ画像に基づくRGB情報をレーザ計測点群に付与することで作成された画像である。
This coloring process is to give RGB (each component of red, green and blue) information to the laser measurement point group around the vehicle B. FIG. If this RGB information is based on the image of the laser measurement
In this way, the sensor
この色付け処理が成されたレーザ計測点群のデータは、レーザレンジファインダ31とレーザ計測点群との間の相対距離なので、上記センサデータ処理用コンピュータ30において、色付け処理後のレーザ計測点群に対してGPS16で取得した自己位置情報に基づくセンサ座標系からグローバル座標系への変換を行って、遠隔操縦装置Aのディスプレー40に表示させるようにしている。
Since the data of the laser measurement point group that has undergone the coloring process is the relative distance between the
また、上記センサデータ処理用コンピュータ30は、レーザレンジファインダ31により取得するレーザ計測点群の表示データの範囲及び計測フレームの範囲を車両Bの移動速度に応じて決定する。
ここで、レーザレンジファインダ31により取得するレーザ計測点群の表示データの範囲とは、表示するレーザ計測点群の座標の範囲であり、この表示データの範囲を決定すると、例えば、車両Bの前方における所定距離までの範囲内のレーザ計測点群の座標や、車両Bの前方における所定角度内のレーザ計測点群の座標を表示することになる。
一方、計測フレームの範囲とは、表示するレーザ計測点群の計測フレーム(レーザレンジファインダ31による1計測)の数であり、データを表示しようとする場合に、現在の計測フレームにそれ以前の計測フレームを重畳する(同時に表示する)ことになる。
つまり、車両Bの移動速度が遅い場合には、レーザレンジファインダ31による計測対象物の変化が少ないので、広い表示範囲で且つ少ない計測フレームを重ねて遠隔操縦装置Aのディスプレー40に表示させ、車両Bの移動速度が速い場合には、レーザレンジファインダ31による計測対象物の変化が大きいので、無駄に表示するデータの量を減らすべく狭い表示範囲で且つ多くの計測フレームを重ねて遠隔操縦装置Aのディスプレー40に表示させるようにしている。
Further, the sensor
Here, the range of the display data of the laser measurement point group acquired by the
On the other hand, the range of measurement frames is the number of measurement frames (one measurement by the laser range finder 31) of the laser measurement point cloud to be displayed. The frames are superimposed (displayed at the same time).
In other words, when the moving speed of the vehicle B is slow, the change in the object to be measured by the
さらに、上記センサデータ処理用コンピュータ30は、車両Bのレーザレンジファインダ31により取得されるレーザ計測点群のうちの高さが予め設定した範囲内にあるレーザ計測点を抽出し、この抽出したレーザ計測点について車両Bの周辺における分布を算出して、予め設定した閾値以上のレーザ計測点が多く存在する側に表示視点を変更して遠隔操縦装置Aのディスプレー40に表示させる機能を有している。
車両Bの周辺におけるレーザ計測点の分布の算出は、車両Bに最も近いレーザ計測点、及び、予め設定した閾値以上のレーザ計測点全体の統計値(平均値、分散共分散値等の統計値)に基づいて、閾値以上のレーザ計測点の代表値等の値を得る。
Furthermore, the sensor
Calculation of the distribution of laser measurement points in the vicinity of vehicle B is performed by using the laser measurement points closest to vehicle B and statistical values (average, variance covariance, etc.) of all laser measurement points above a preset threshold value. ), a value such as a representative value of laser measurement points above the threshold is obtained.
そこで、上記センサデータ処理用コンピュータ30による画像表示要領を説明する。まず、図4に示すように、ステップS1において、レーザレンジファインダ31によりレーザ光を走査して車両Bの周囲のレーザ計測点群を取得すると共に、GPS16等の自己位置計測部で自己位置情報を取得する。
Therefore, the image display procedure by the sensor
次いで、ステップS2においてレーザ計測点群に対してレーザ計測点色付け用カメラ32の画像に基づく色付け処理を行うと共に、色付け処理が成されたレーザ計測点群に対して座標変換を行う。
Next, in step S2, the laser measurement point group is subjected to coloring processing based on the image of the laser measurement
続いて、ステップS3において車両Bの移動速度に応じたレーザ計測点群の更新処理を行うのに続いて、ステップS4において遠隔操縦装置Aのディスプレー40における表示視点の変更処理を行う。
Subsequently, in step S3, the laser measurement point group is updated according to the moving speed of the vehicle B, and in step S4, the display viewpoint on the
このステップS2~S4における各処理の後、ステップS5において処理後の色付けされたレーザ計測点群が遠隔操縦装置Aのディスプレー40に表示され、ステップS1においてレーザレンジファインダ31により新たなレーザ計測点群の取得が成される都度、ステップS2~5が繰り返し実行される。
After each processing in steps S2 to S4, the colored laser measurement point cloud after processing is displayed on the
具体的には、ステップ2の色付け処理及び座標変換処理は、図5に示すように、ステップS21においてカラーデジタルカメラであるレーザ計測点色付け用カメラ32を用いる選択(Yesを選択)を操縦者Cが行うことで、遠隔操縦装置Aからセンサデータ処理用コンピュータ30に信号が送られ、レーザレンジファインダ31により取得されるレーザ計測点群に対して、ステップS22においてレーザ計測点色付け用カメラ32の画像に基づく色付け処理を行う。
Specifically, as shown in FIG. 5, the coloring process and the coordinate conversion process in step 2 are performed by the operator C when the operator C selects (selects Yes) using the laser measurement
次に、色付け処理が成されたレーザ計測点群に対して、GPS16で取得した自己位置情報に基づいて、ステップS23においてセンサ座標系からグローバル座標系への変換を行う。
Next, in step S23, the sensor coordinate system is converted to the global coordinate system based on the self-location information acquired by the
なお、ステップS24の処理は、レーザ計測点色付け用カメラ32を利用する色付けの代替処理であり、ステップS21においてカラーデジタルカメラであるレーザ計測点色付け用カメラ32を利用しない方を操縦者Cが選択(Noを選択)することで、このステップS24において、レーザ計測点群をGPS16で取得した自己位置情報(地面からの高さや距離)に基づいた色付けが成される、例えば、標高が高い部位は赤く、標高が低い部位は青く色付けされる。
Note that the process of step S24 is an alternative process for coloring using the laser measurement
また、ステップ3の移動速度に応じた更新処理は、図6に示すように、ステップS31において車両Bの移動速度を車速パルス18から取得し、ステップS32において、レーザレンジファインダ31によるレーザ計測点群の表示データの範囲及び計測フレームの範囲を車両Bの移動速度に応じて決定する処理である。例えば、車両Bの移動速度が遅い場合には、レーザ計測点群の表示範囲を広くすると共に計測フレームを少なくし、一方、車両Bの移動速度が速い場合には、レーザ計測点群の表示範囲を絞ると共に計測フレームを多くする。
In addition, as shown in FIG. 6, the update process according to the moving speed in step 3 acquires the moving speed of the vehicle B from the
そして、ステップS33において、車両Bの移動に伴って逐次取得するレーザ計測点群を更新する毎に、最新の計測データである現在の計測フレーム(レーザレンジファインダ31による1計測)に対して、それ以前の計測データである計測フレームを重ねて遠隔操縦装置Aのディスプレー40に表示する。
Then, in step S33, each time the group of laser measurement points that are sequentially acquired as the vehicle B moves is updated, the current measurement frame (one measurement by the laser range finder 31), which is the latest measurement data, is updated. The measurement frame, which is the previous measurement data, is superimposed and displayed on the
さらに、ステップ4の表示視点変更処理は、図7に示すように、ステップS41において、レーザレンジファインダ31により取得するレーザ計測点群のうちの高さが予め設定した車両Bにとって走行に支障を来す範囲(例えば、車両Bの最低地上高さ~車両Bの最高地上高さ+α)内のレーザ計測点を抽出する。例えば、図8(a)に示すように、車両Bの左方に壁Wがある場合には、遠隔操縦装置Aのディスプレー40に表示される多数のレーザ計測点Pは、壁Wにおける反射点であるレーザ計測点P1と、壁W以外の地面や遠方の対象物(障害物)の反射点であるレーザ計測点P2とから成り、多数のレーザ計測点Pのうちの抽出されるレーザ計測点Pは、車両Bの左方の壁Wからのレーザ計測点P1となる。
Further, in the display viewpoint change processing of step 4, as shown in FIG. (for example, the lowest ground height of vehicle B to the highest ground height of vehicle B +α). For example, as shown in FIG. 8A, when there is a wall W on the left side of the vehicle B, many laser measurement points P displayed on the
続いて、多数のレーザ計測点Pのうちの抽出された壁Wにおけるレーザ計測点P1に対して、ステップS42において車両Bの周辺における分布を算出する。この分布の算出においては、車両Bに最も近いレーザ計測点P、及び、壁Wのレーザ計測点P1全体の統計値(平均値、分散共分散値等の統計値)に基づいて、壁Wのレーザ計測点P1の代表値等の値を得る。
そして、最後に、上記のようにして得られた値に基づいて(抽出したレーザ計測点P1がディスプレー40の左側の部分に多く存在することを認識して)、ステップS43において、抽出したレーザ計測点P1が多く存在するディスプレー40の左側に表示視点を変更して遠隔操縦装置Aのディスプレー40に表示させる。具体的には、車両Bの位置及び壁Wと見なしたレーザ計測点P1の位置(座標)がいずれも既知なので、例えば、図8(b)に示すように、ディスプレー40の壁Wと見なした左側の部分と車両Bとの中間線Lが画面の中央に来るように表示させる。
Subsequently, for the laser measurement points P1 on the wall W extracted from among the many laser measurement points P, the distribution around the vehicle B is calculated in step S42. In calculating this distribution, based on the laser measurement point P closest to the vehicle B and the statistical values (statistical values such as the average value and the variance-covariance value) of the entire laser measurement point P1 on the wall W, A value such as a representative value of the laser measurement point P1 is obtained.
Finally, based on the values obtained as described above (recognizing that many of the extracted laser measurement points P1 exist on the left side of the display 40), in step S43, the extracted laser measurement points The display viewpoint is changed to the left side of the
このように、上記した実施例では、センサデータ処理用コンピュータ30によって、レーザレンジファインダ31により取得されるレーザ計測点群に対して、レーザ計測点色付け用カメラ32で得た画像に基づいて色情報を付与する色付け処理を行うと共に、色付け処理後のレーザ計測点群に対してセンサ座標系からグローバル座標系への変換を行うようにしている。
したがって、密度が薄いレーザ計測点群であったとしても、計測対象物である壁Wを明瞭に認識できるカメラ画像のような画像、すなわち、遠隔操縦に有用な画像として遠隔操縦装置Aのディスプレー40にリアルタイムで表示させ得ることとなる。
As described above, in the above-described embodiment, the sensor
Therefore, even if the density of the laser measurement point cloud is low, the
加えて、色付け処理後のレーザ計測点群に対してセンサ座標系からグローバル座標系への変換を行ったうえで、レーザレンジファインダ31により取得するレーザ計測点群の表示データの範囲及び計測フレームの範囲を車両Bの移動速度に応じて決定して、車両Bの移動に伴って逐次取得するレーザ計測点群を更新する毎に重ねて遠隔操縦装置Aのディスプレー40に表示させるようにしている。
つまり、車両Bの移動速度が遅い場合には、広い表示範囲で且つ少ない計測フレームを重ねて遠隔操縦装置Aのディスプレー40に表示させ、車両Bの移動速度が速い場合には、狭い表示範囲で且つ多くの計測フレームを重ねて遠隔操縦装置Aのディスプレー40に表示させるようにしているので、車両Bを移動させる場合において、車両Bの移動速度にマッチした密な情報を遠隔操縦装置Aのディスプレー40にリアルタイムで表示させ得ることとなる。
In addition, after converting the laser measurement point cloud after the coloring process from the sensor coordinate system to the global coordinate system, the range of the display data of the laser measurement point cloud acquired by the
That is, when the moving speed of the vehicle B is slow, a small number of measurement frames are superimposed over a wide display range and displayed on the
さらに、上記した実施例では、センサデータ処理用コンピュータ30によって、車両Bのレーザレンジファインダ31により取得されるレーザ計測点群のうちの高さを予め設定した範囲内(車両Bにとって走行に支障を来す範囲内)にあるレーザ計測点P1を抽出し、この抽出したレーザ計測点P1の車両Bの周辺における分布を算出するようにしているので、車両Bと周囲のレーザ計測点Pとの関係に基づいて、遠隔操縦装置Aのディスプレー40の表示視点を単一視点のカメラ画像と比べて自由且つ簡単に変更し得ることとなり、その結果、車両Bを安全に走行させるための遠隔操縦に適した画像を遠隔操縦装置Aのディスプレー40にリアルタイムで表示させ得ることとなる。
Furthermore, in the above-described embodiment, the sensor
図9~図11は、本発明の他の実施例による画像表示方法及び遠隔操縦システムを示しており、この実施例では、図9に示すように、ロボットが走行可能で且つ作動部としてのバケットBaを有する建機BKである場合を示している。 9 to 11 show an image display method and a remote control system according to another embodiment of the present invention. In this embodiment, as shown in FIG. A case of a construction machine BK having Ba is shown.
この実施例における建機BKは、先の実施例における車両Bと同様にセンサデータ処理用コンピュータ30を有しているほか、アームBcを介してバケットBaを支持するブームBbの角度及び向きを検出するセンサや、ブームBb及びアームBc間の角度を検出するセンサ(いずれも図示省略)を有しており、このセンサデータ処理用コンピュータ30では、図7に示した画像表示方法の動作フローチャートにおける位置の表示視点変更処理(ステップS4)に代えて、図10に示す他の表示視点変更処理(ステップS4A)が行われる。
The construction machine BK in this embodiment has a sensor
すなわち、このステップS4Aの表示視点変更処理は、ステップS41Aにおいて、建機BKのレーザレンジファインダ31により取得される複数のレーザ計測点PのうちのバケットBaにもっとも近いレーザ計測点PMを抽出する。例えば、図11(a)に示すように、遠隔操縦装置Aにおけるディスプレー40にバケットBaが表示されている場合に、このバケットBaにもっとも近いレーザ計測点PMを抽出する。
この際、レーザレンジファインダ31により取得される複数のレーザ計測点Pの各グローバル座標系での位置は既知であり、一方、バケットBaのグローバル座標系での位置もブームBb及びアームBc周りに配置したセンサにより認識し得るので、バケットBaにもっとも近いレーザ計測点PMは、例えば、公知の最近傍探索法を用いて抽出することができる。
That is, in step S41A, the display viewpoint change process of step S4A extracts the laser measurement point PM closest to the bucket Ba among the plurality of laser measurement points P acquired by the
At this time, the positions of the plurality of laser measurement points P acquired by the
次いで、ステップS42Aにおいて、この抽出したレーザ計測点PMとバケットBaとの距離が予め設定した閾値d以下の場合に、この抽出したレーザ計測点PM側に表示視点を変更して遠隔操縦装置Aにおけるディスプレー40に表示する。例えば、図11(b)に示すように、遠隔操縦装置Aにおけるディスプレー40上のバケットBa近傍に視点をずらして表示させる。
Next, in step S42A, if the distance between the extracted laser measurement point PM and the bucket Ba is equal to or less than a preset threshold value d, the display viewpoint is changed to the side of the extracted laser measurement point PM, and the remote control device A displayed on the
このように、上記した実施例では、建機BKのバケットBaを動作させる場合において、センサデータ処理用コンピュータ30によって、レーザレンジファインダ31により取得される多数のレーザ計測点PのうちのバケットBaにもっとも近いレーザ計測点PMを抽出し、この抽出したレーザ計測点PM側に表示視点を変更するようにしているので、建機BKのバケットBaと周囲との関係に基づいて遠隔操縦装置Aのディスプレー40の表示視点を変更し得ることとなり、その結果、建機BKのバケットBaの動きにマッチした画像を遠隔操縦装置Aのディスプレー40にリアルタイムで表示させ得ることとなる。
As described above, in the above-described embodiment, when the bucket Ba of the construction machine BK is operated, the sensor
上記した実施例では、色付け処理や座標変換処理や移動速度に応じた更新処理や表示視点変更処理をセンサデータ処理用コンピュータ30で行う構成としているが、上記した各処理は遠隔操縦装置Aの制御部60で行う構成としてもよい。
In the above-described embodiment, the sensor
また、上記した実施例では、移動速度に応じた更新処理(ステップ3)や表示視点変更処理(ステップ4)を色付け処理及び座標変換処理(ステップ2)に続いて行う構成としているが、色付け処理及び座標変換処理の両処理のみとしたり、色付け処理及び座標変換処理に続いて移動速度に応じた更新処理だけを行ったり、色付け処理及び座標変換処理に続いて表示視点変更処理だけを行ったりしてもよい。 In the above-described embodiment, the updating process (step 3) and the display viewpoint changing process (step 4) according to the moving speed are performed following the coloring process and the coordinate conversion process (step 2). and coordinate conversion processing only, only update processing according to the moving speed is performed following coloring processing and coordinate conversion processing, or only display viewpoint change processing is performed following coloring processing and coordinate conversion processing. may
本発明に係る画像表示方法及び遠隔操縦システムの構成は、上記した実施例に限定されるものではない。 The image display method and the configuration of the remote control system according to the present invention are not limited to the above-described embodiments.
16 GPS(自己位置計測部)
18 車速パルス(移動速度測定手段)
30 センサデータ処理用コンピュータ(制御部)
31 レーザレンジファインダ(レーザセンサ)
32 レーザ計測点色付け用カメラ(カラーデジタルカメラ)
40 ディスプレー
A 遠隔操縦装置
B 車両(ロボット)
BK 建機(ロボット)
Ba バケット(作動部)
d 閾値
P レーザ計測点(レーザ計測点群)
P1 車両(ロボット)にとって移動に支障を来す範囲内のレーザ計測点
PM バケットにもっとも近いレーザ計測点
W 壁(車両(ロボット)にとって移動に支障を来す範囲)
16 GPS (self-positioning unit)
18 vehicle speed pulse (moving speed measuring means)
30 Sensor data processing computer (control unit)
31 laser range finder (laser sensor)
32 Laser measurement point coloring camera (color digital camera)
40 Display A Remote control device B Vehicle (robot)
BK construction machine (robot)
Ba bucket (actuating part)
d threshold P laser measurement point (laser measurement point group)
P1 Laser measurement point PM within a range that hinders movement for the vehicle (robot) Laser measurement point W closest to the bucket Wall (range that hinders movement for the vehicle (robot))
Claims (6)
前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群に対して前記カラーデジタルカメラによる画像に基づく色付け処理を行うと共に、該色付け処理が成された前記レーザ計測点群に対して前記自己位置計測部で得た自己位置データに基づくセンサ座標系からグローバル座標系への変換を行い、
色付け処理後の前記レーザ計測点群に対してセンサ座標系からグローバル座標系への変換を行ったうえで、前記レーザセンサにより取得する前記レーザ計測点群の表示データの範囲及び計測フレームの範囲を前記ロボットの移動速度が遅い場合には広い表示範囲に決定すると共に、ロボットの移動速度が速い場合には狭い表示範囲に決定して、該ロボットの移動に伴って逐次取得するレーザ計測点群を更新する毎に重ねて、前記遠隔操縦装置の前記ディスプレーに表示する画像表示方法。 A robot equipped with a laser sensor that scans a laser beam and acquires the surrounding laser measurement point cloud, a self-position measurement unit that acquires self-position data, and a color digital camera, and a display that displays images for remote control. When remotely controlled by the remote control device possessed,
The laser measurement point group acquired by the laser sensor of the robot is subjected to coloring processing based on the image by the color digital camera, and the laser measurement point group subjected to the coloring processing is subjected to the self-positioning. Transform from the sensor coordinate system to the global coordinate system based on the self-position data obtained by the measurement unit ,
After converting the laser measurement point cloud after the coloring process from the sensor coordinate system to the global coordinate system, the display data range and the measurement frame range of the laser measurement point cloud acquired by the laser sensor are When the moving speed of the robot is slow, the display range is determined to be wide, and when the moving speed of the robot is fast, the display range is determined to be narrow. An image display method for displaying an image on the display of the remote control device by superimposing each time the image is updated .
前記ロボットには、レーザ光を走査して周囲のレーザ計測点群を取得するレーザセンサと、自己位置データを取得する自己位置計測部と、カラーデジタルカメラが搭載され、
前記遠隔操縦装置には、遠隔操縦用画像が表示されるディスプレーが搭載され、
前記ロボット及び前記遠隔操縦装置のいずれかには、前記ロボットの前記レーザセンサで得た前記レーザ計測点群のデータが入力されると共に前記自己位置計測部で得た自己位置データが入力される制御部が具備され、
前記制御部は、前記ロボットの前記レーザセンサにより取得されるレーザ計測点群に対して前記カラーデジタルカメラによる画像に基づく色付け処理を行うと共に、該色付け処理が成された前記レーザ計測点群に対して前記自己位置計測部で得た自己位置情報に基づくセンサ座標系からグローバル座標系への変換を行い、色付け処理後の前記レーザ計測点群に対してセンサ座標系からグローバル座標系への変換を行ったうえで、前記レーザセンサにより取得する前記レーザ計測点群の表示データの範囲及び計測フレームの範囲を前記ロボットの移動速度が遅い場合には広い表示範囲に決定すると共に、ロボットの移動速度が速い場合には狭い表示範囲に決定して、該ロボットの移動に伴って逐次取得するレーザ計測点群を更新する毎に重ねて、前記遠隔操縦装置の前記ディスプレーに表示させる遠隔操縦システム。 A remote control system for remotely controlling a robot by a remote control device,
The robot is equipped with a laser sensor that scans a laser beam to obtain a group of surrounding laser measurement points, a self-position measurement unit that obtains self-position data, and a color digital camera.
The remote control device is equipped with a display on which an image for remote control is displayed,
Control in which the data of the laser measurement point cloud obtained by the laser sensor of the robot and the self-position data obtained by the self-position measurement unit are input to either the robot or the remote control device. is equipped with
The control unit performs coloring processing based on the image by the color digital camera on the laser measurement point group acquired by the laser sensor of the robot, and the laser measurement point group that has been subjected to the coloring processing. converts the sensor coordinate system to the global coordinate system based on the self-position information obtained by the self-position measurement unit, and converts the laser measurement point group after the coloring process from the sensor coordinate system to the global coordinate system. is performed, the display data range and the measurement frame range of the laser measurement point cloud acquired by the laser sensor are determined to be a wide display range when the moving speed of the robot is slow, and the moving speed of the robot A remote control system that determines a narrow display range when the movement of the robot is fast, and superimposes the laser measurement point cloud sequentially acquired with the movement of the robot and displays it on the display of the remote control device each time it is updated.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019070565A JP7303008B2 (en) | 2019-04-02 | 2019-04-02 | Image display method and remote control system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019070565A JP7303008B2 (en) | 2019-04-02 | 2019-04-02 | Image display method and remote control system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020170293A JP2020170293A (en) | 2020-10-15 |
JP7303008B2 true JP7303008B2 (en) | 2023-07-04 |
Family
ID=72745969
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019070565A Active JP7303008B2 (en) | 2019-04-02 | 2019-04-02 | Image display method and remote control system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7303008B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023176617A1 (en) * | 2022-03-14 | 2023-09-21 | パイオニア株式会社 | Position estimation device, position estimation method, and program |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015174155A (en) | 2014-03-13 | 2015-10-05 | 三菱重工業株式会社 | Robot, method of controlling robot, and control program of robot |
WO2017042873A1 (en) | 2015-09-08 | 2017-03-16 | 株式会社日立製作所 | Remote operation system and operation assistance system |
JP2018110352A (en) | 2017-01-05 | 2018-07-12 | Kddi株式会社 | Steering device, information processing method, program, and flight system |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6445808B2 (en) * | 2014-08-26 | 2018-12-26 | 三菱重工業株式会社 | Image display system |
-
2019
- 2019-04-02 JP JP2019070565A patent/JP7303008B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015174155A (en) | 2014-03-13 | 2015-10-05 | 三菱重工業株式会社 | Robot, method of controlling robot, and control program of robot |
WO2017042873A1 (en) | 2015-09-08 | 2017-03-16 | 株式会社日立製作所 | Remote operation system and operation assistance system |
JP2018110352A (en) | 2017-01-05 | 2018-07-12 | Kddi株式会社 | Steering device, information processing method, program, and flight system |
Also Published As
Publication number | Publication date |
---|---|
JP2020170293A (en) | 2020-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102296723B1 (en) | Laser scanning device calibration method, apparatus, device and storage medium | |
US11940789B2 (en) | System and method for autonomous operation of a machine | |
EP3272586B1 (en) | Work vehicle | |
KR101515496B1 (en) | Simulation system for autonomous vehicle for applying obstacle information in virtual reality | |
KR101703177B1 (en) | Apparatus and method for recognizing position of vehicle | |
US20170248948A1 (en) | Flying Vehicle Tracking Method, Flying Vehicle Image Acquiring Method, Flying Vehicle Displaying Method and Flying Vehicle Guiding System | |
US9664784B2 (en) | System and methods for data point detection and spatial modeling | |
US20160223647A1 (en) | System and methods for scanning with integrated radar detection and image capture | |
US11508091B2 (en) | Calibration device for imaging device, monitoring device, work machine and calibration method | |
KR20140144921A (en) | Simulation system for autonomous vehicle using virtual reality | |
KR20170124871A (en) | Lidar sensor device for automatic driving of unmanned vehicles | |
JP2011052960A (en) | Navigation device | |
JP2014182590A (en) | Movable body environment map generation controller, movable body and movable body environment map generation method | |
KR102176729B1 (en) | Position recognition method and position recognition system of vehicles | |
JP7303008B2 (en) | Image display method and remote control system | |
JP2018147158A (en) | Control method of unmanned mobile body | |
JP2013108830A (en) | Weather information processing system, weather information processing server, and information processing device | |
JP6707933B2 (en) | Unmanned flight device control system, unmanned flight device control method, and unmanned flight device | |
JP6947563B2 (en) | Mobile robot control device and control method | |
WO2021153187A1 (en) | Work assisting server and work assisting system | |
WO2020230410A1 (en) | Mobile object | |
CA3227036A1 (en) | Method and a control node for controlling a mining rig | |
JP7461817B2 (en) | Display information creating device, display system, and display information creating method | |
US20210055744A1 (en) | Mobile device, mobile body control system, mobile body control method, and program | |
JP2015162886A (en) | obstacle monitoring system and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220216 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20221108 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20221108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230317 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230614 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230622 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7303008 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |