JP2019049888A - Remote control display apparatus and remote control display method - Google Patents
Remote control display apparatus and remote control display methodInfo
- Publication number
- JP2019049888A JP2019049888A JP2017174101A JP2017174101A JP2019049888A JP 2019049888 A JP2019049888 A JP 2019049888A JP 2017174101 A JP2017174101 A JP 2017174101A JP 2017174101 A JP2017174101 A JP 2017174101A JP 2019049888 A JP2019049888 A JP 2019049888A
- Authority
- JP
- Japan
- Prior art keywords
- time
- remote control
- mobile device
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 14
- 238000004891 communication Methods 0.000 claims abstract description 128
- 238000005259 measurement Methods 0.000 claims description 11
- 230000007613 environmental effect Effects 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000001133 acceleration Effects 0.000 description 14
- 238000001514 detection method Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Selective Calling Equipment (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は、人が遠隔操縦装置を操作して移動装置を遠隔操縦する時に、移動装置から見た環境を表示するための遠隔操縦用表示装置と遠隔操縦用表示方法に関する。 The present invention relates to a remote control display device and a remote control display method for displaying an environment viewed from a moving device when a person operates a remote control device to remotely control the moving device.
無人車両のような移動装置を遠隔操縦するために、例えば、移動装置にカメラが設けられる。このカメラは移動装置から見た領域を撮像して画像を生成する。この画像は、移動装置から遠隔操縦装置の側へ無線通信を利用して送信される。遠隔操縦装置の側では、移動装置から送信された画像を受け、この画像をディスプレイに表示する。人は、表示されたディスプレイを見て遠隔操縦装置を操作する。この操作に応じた動作指令(例えば進行方向についてのステアリング動作指令や、加減速についてのアクセル・ブレーキ動作指令など)が遠隔操縦装置から移動装置へ送信される。移動装置の制御部は、この動作指令を受け、動作指令に従って移動装置の移動を制御する。 In order to remotely steer a mobile device, such as an unmanned vehicle, for example, the mobile device is provided with a camera. The camera captures an area viewed from the mobile device to generate an image. This image is transmitted from the mobile device to the remote control using wireless communication. On the side of the remote control device, the image transmitted from the mobile device is received and displayed on the display. A person views the displayed display and operates the remote control device. An operation command (for example, a steering operation command in the traveling direction, an accelerator / brake operation command for acceleration / deceleration, etc.) corresponding to this operation is transmitted from the remote control device to the moving device. The control unit of the moving device receives the operation command and controls the movement of the moving device in accordance with the operation command.
上述の画像が撮像により生成されてからディスプレイに表示されるまでには、画像の通信時間を含む遅延時間がかかる。また、ディスプレイに表示された画像を見て、人が遠隔操縦装置を操作してから当該操作が示す動作指令に従って移動装置が実際に動作するまでに、動作指令の通信時間を含む遅延時間がかかる。このような遅延時間を考慮した状態の画像をディスプレイに表示する技術が特許文献1、2に記載されている。
It takes a delay time including the communication time of the image until the above image is generated by imaging and displayed on the display. In addition, it takes a delay time including the communication time of the operation command from the time the person operates the remote control device to the actual operation of the mobile device according to the operation command indicated by the operation by looking at the image displayed on the display .
特許文献1では、移動装置(模型自動車)のカメラが画像を生成した時から、この画像が遠隔操縦装置の側で受信されるまでの遅延時間を求め、この遅延時間、移動装置の速度、動作指令などに基づいて、画像をズームしたり上下左右方向にずらして、ディスプレイに表示している。しかし、人は、このようにして表示された画像を見て移動装置から画像内の各位置までの距離感を掴みにくい可能性がある。 In Patent Document 1, a delay time from when a camera of a mobile device (model car) generates an image to when this image is received by the remote control device is obtained, and this delay time, speed of the mobile device, operation The image is displayed on the display by zooming or shifting the image in the vertical and horizontal directions based on a command or the like. However, there is a possibility that it is difficult for a person to see the image displayed in this manner and to grasp the sense of distance from the moving device to each position in the image.
特許文献2では、次のように三次元画像を表示している。移動装置(無人車両)のステレオカメラが三次元画像を生成した時から、この三次元画像が遠隔操縦装置の側で受信されるまでの遅延時間を求める。この遅延時間、車両状態、動作指令などに基づいて、遠隔操縦装置により遠隔操縦される時刻の移動装置の位置を予測する。ディスプレイは、予想した移動装置の位置(車両のボンネットの位置)を三次元画像に重ねて表示する。しかし、表示される三次元画像は、三次元画像を取得した過去の時点の移動装置から見た領域の画像である。すなわち、遠隔操縦装置を操作した場合に、当該操作が示す動作を移動装置が実際に行う時を未来時点として、未来時点における移動装置から見た画像を表示することが望まれる。
In
そこで、本発明の目的は、遠隔操縦装置を操作した場合に、当該操作が示す動作を移動装置が実際に行う時を未来時点として、未来時点における移動装置から各位置までの距離感を人が掴みやすい画像を表示できる新たな技術を提供することにある。 Therefore, an object of the present invention is to set the distance control from the moving device to each position at the future time point as the future time point when the moving device actually performs the operation shown by the operation when the remote control device is operated. It is to provide a new technology capable of displaying an easy-to-grasp image.
本発明の遠隔操縦用表示装置は、移動装置の遠隔操縦時に、移動装置から見た環境を表示するための装置であって、
移動装置の進行方向側の環境を表わす環境データに基づいて三次元のCG画像を生成する画像生成装置と、
生成された前記CG画像を表示するディスプレイと、を備え、
前記画像生成装置は、
移動装置と遠隔操縦装置との通信時間を考慮した遅延時間に基づく未来時点における移動装置の未来位置を予測し、
予測した前記未来位置から見た前記CG画像を生成する。
The display device for remote control according to the present invention is a device for displaying an environment viewed from the mobile device when the mobile device is remotely operated.
An image generation device for generating a three-dimensional CG image based on environment data representing an environment on the traveling direction side of the mobile device;
A display for displaying the generated CG image;
The image generating device is
Predict the future position of the mobile device at a future time based on the delay time considering the communication time between the mobile device and the remote control device,
The CG image viewed from the predicted future position is generated.
本発明の遠隔操縦用表示方法は、移動装置の遠隔操縦時に、移動装置から見た環境を表示するための方法では、
(A)移動装置の進行方向側の環境を表わす環境データに基づいて三次元のCG画像を生成し、
(B)生成された前記CG画像をディスプレイに表示する。
前記(A)では、
移動装置と遠隔操縦装置との通信時間を考慮した遅延時間に基づく未来時点における移動装置の未来位置を予測し、
予測した前記未来位置から見た前記CG画像を生成する。
A display method for remote control according to the present invention is a method for displaying an environment viewed from a mobile device at the time of remote control of the mobile device,
(A) Generate a three-dimensional CG image based on environmental data representing the environment on the traveling direction side of the mobile device,
(B) The generated CG image is displayed on a display.
In the above (A),
Predict the future position of the mobile device at a future time based on the delay time considering the communication time between the mobile device and the remote control device,
The CG image viewed from the predicted future position is generated.
本発明によると、画像生成装置は、通信遅延を考慮した遅延時間に基づく未来時点における移動装置の未来位置を予測し、予測した未来位置から見た三次元のCG画像を生成する。したがって、人は遠隔操縦装置を操作した場合に、当該操作に従って移動装置が実際に動作する時を未来時点として、未来時点の移動装置の未来位置から見た三次元CG画像をディスプレイに表示することができる。よって、遠隔操縦装置を操作する時点と、当該操作により移動装置が実際に動作する未来時点とで、ディスプレイに表示された画像での見え方が異なることを考慮することが不要になるので、人は、表示された画像を見て未来位置の移動装置から各位置までの距離感を掴みやすい。 According to the present invention, the image generation device predicts the future position of the mobile device at a future time based on the delay time considering the communication delay, and generates a three-dimensional CG image seen from the predicted future position. Therefore, when a person operates the remote control device, displaying on the display a three-dimensional CG image seen from the future position of the moving device at a future time, with the time when the moving device actually operates according to the operation. Can. Therefore, it becomes unnecessary to consider that the appearance of the image displayed on the display is different between the time when the remote control device is operated and the time when the mobile device is actually operated by the operation. Is easy to grasp the sense of distance from the movement device of the future position to each position by looking at the displayed image.
また、移動装置の未来位置から見た三次元CG画像は、未来位置から人が実際に見た場合の見え方と同様であるか又は似ている。したがって、人は、このような三次元画像を見て未来位置の移動装置から各位置までの距離感を直感的に掴みやすい。 Also, the three-dimensional CG image viewed from the future position of the mobile device is similar to or similar to the way a person actually sees from the future position. Therefore, a person looks at such a three-dimensional image and easily grasps the sense of distance from the movement device at the future position to each position intuitively.
[実施形態の概要] [Overview of the embodiment]
(1)本発明の実施形態による遠隔操縦用表示装置は、次のように構成されてよい。遠隔操縦用表示装置は、移動装置の遠隔操縦時に、移動装置から見た環境を表示するためのものである。遠隔操縦用表示装置は、移動装置の進行方向側の環境を表わす環境データに基づいて三次元のCG画像を生成する画像生成装置と、生成された前記CG画像を表示するディスプレイと、を備える。前記画像生成装置は、移動装置と遠隔操縦装置との通信時間を考慮した遅延時間に基づく未来時点における移動装置の未来位置を予測し、予測した前記未来位置から見た前記CG画像を生成する。 (1) The display device for remote control according to the embodiment of the present invention may be configured as follows. The remote control display device is for displaying an environment viewed from the moving device when the moving device is remotely controlled. The remote control display device includes an image generation device that generates a three-dimensional CG image based on environment data representing an environment on the traveling direction side of the mobile device, and a display that displays the generated CG image. The image generation device predicts a future position of the mobile device at a future time based on a delay time considering a communication time between the mobile device and the remote control device, and generates the CG image viewed from the predicted future position.
(2)上記(1)の場合に、次の構成を採用してもよい。前記環境データは、移動装置に設けたレーザスキャナにより計測された点群データであり、該点群データは、移動装置から見た計測範囲における物体表面の各計測点の三次元位置を設定座標系で表わしたデータであり、前記移動装置から送信される。遠隔操縦用表示装置は、前記移動装置から送信された前記点群データを受ける通信部を備える。 (2) In the case of the above (1), the following configuration may be adopted. The environment data is point cloud data measured by a laser scanner provided in the moving device, and the point cloud data sets the three-dimensional position of each measurement point on the surface of the object in the measurement range viewed from the moving device. And is transmitted from the mobile device. The remote control display device includes a communication unit that receives the point cloud data transmitted from the mobile device.
このように、移動装置が設けたレーザスキャナが生成した点群データを用いることにより、移動装置の未来位置から見た三次元CG画像を生成できる。また、CG画像の生成には、移動装置が備えているレーザスキャナで取得した点群データを使用するので、特殊な装置は不要である。これに対し、上述の特許文献2では、特殊な装置が必要となる。すなわち、特許文献2では、移動装置の側に、ステレオカメラが必要であり、遠隔操縦装置の側に、ステレオカメラが取得した画像を人に立体的に見せるための3D眼鏡とディスプレイが必要となる。
As described above, by using the point cloud data generated by the laser scanner provided by the moving device, it is possible to generate a three-dimensional CG image viewed from the future position of the moving device. In addition, since the point cloud data acquired by the laser scanner provided in the moving apparatus is used to generate a CG image, a special apparatus is not necessary. On the other hand, in the above-mentioned
(3)上記(1)の場合に、次の構成を採用してもよい。遠隔操縦用表示装置は、地図データ(既知の地図データ、または前記点群データから生成した地図データ)を前記環境データとして記憶する記憶部と、前記移動装置から前記移動装置の現在位置として送信される位置情報を受ける通信部と、を備える。前記画像生成装置は、前記移動装置の前記位置情報と前記遅延時間とに基づいて、前記地図データを表わす設定座標系における、前記未来時点の移動装置の前記未来位置を予測する。前記画像生成装置は、予測した前記未来位置から見た前記CG画像を前記地図データに基づいて生成する。 (3) In the case of the above (1), the following configuration may be adopted. The display device for remote control is transmitted as the current position of the mobile device from the storage unit that stores map data (known map data or map data generated from the point cloud data) as the environmental data, and the mobile device And a communication unit for receiving position information. The image generating device predicts the future position of the moving device at the future time point in a set coordinate system representing the map data based on the position information of the moving device and the delay time. The image generation device generates the CG image viewed from the predicted future position based on the map data.
このように、記憶部に記憶した地図データと、移動装置の現在位置として送信された位置情報を用いることにより、移動装置の未来位置から見た三次元CG画像を生成できる。また、CG画像の生成には、地図データを使用するので、特殊な装置は不要である。これに対し、上述の特許文献2では、上述のように特殊な装置が必要となる。
As described above, by using the map data stored in the storage unit and the position information transmitted as the current position of the mobile device, it is possible to generate a three-dimensional CG image viewed from the future position of the mobile device. Further, since map data is used to generate a CG image, no special device is required. On the other hand, in the above-mentioned
(4)上記(1)〜(3)のいずれかの場合に、次の構成を採用してもよい。環境データが点群データまたは地図データである場合に、前記画像生成装置は、前記未来位置を予測する位置予測部を備えてよい。遠隔操縦装置に行われた操作が示す移動装置の速さ、または、移動装置において計測され前記遠隔操縦用表示装置へ送信された移動装置の速さが、前記位置予測部に入力される。前記位置予測部は、入力された前記速さと、前記遅延時間とに基づいて前記未来位置を予測する。 (4) In the case of any of the above (1) to (3), the following configuration may be adopted. When the environmental data is point cloud data or map data, the image generation device may include a position prediction unit that predicts the future position. The speed of the moving device indicated by the operation performed on the remote control device or the speed of the moving device measured at the moving device and transmitted to the display device for remote control is input to the position prediction unit. The position prediction unit predicts the future position based on the input speed and the delay time.
このように、移動装置の速さと遅延時間とに基づいて、移動装置の未来位置を予測できる。 Thus, the future position of the mobile device can be predicted based on the speed of the mobile device and the delay time.
(5)上記(1)〜(4)のいずれかの場合に、次の構成を採用してもよい。前記移動装置の時計が計測した時刻を示す時刻情報が、当該時刻の計測時に移動装置から送信される。前記遠隔操縦用表示装置は、前記移動装置と通信を行う通信部を備え、前記画像生成装置は、前記遅延時間を求める遅延時間取得部を備える。前記遅延時間取得部は、時刻を計測する時計と、計算部とを備える。計算部は、前記通信部が受けた前記時刻情報が示す時刻と、前記通信部が前記時刻情報を受けた時に前記遅延時間取得部の前記時計が計測した時刻との差を、通信時間として計算し、該通信時間を2倍した時間を含む時間を前記遅延時間として求める計算部とを備える。 (5) In the case of any of the above (1) to (4), the following configuration may be adopted. Time information indicating a time measured by a clock of the moving device is transmitted from the moving device when the time is measured. The display device for remote control comprises a communication unit for communicating with the mobile device, and the image generation device comprises a delay time acquisition unit for obtaining the delay time. The delay time acquisition unit includes a clock that measures time, and a calculation unit. The calculation unit calculates, as the communication time, the difference between the time indicated by the time information received by the communication unit and the time measured by the clock of the delay time acquisition unit when the communication unit receives the time information. And a calculation unit for obtaining a time including a time obtained by doubling the communication time as the delay time.
このように、移動装置から遠隔操縦装置への通信に要する通信時間を計測し、この通信時間を2倍した時間を遅延時間に含ませる。これにより、移動装置と遠隔操縦装置との離間距離または通信状況に応じた遅延時間を取得できる。 Thus, the communication time required for communication from the mobile device to the remote control device is measured, and the time obtained by doubling this communication time is included in the delay time. In this way, it is possible to obtain a delay time according to the separation distance or communication condition between the mobile device and the remote control device.
(6)上記(1)〜(4)のいずれかの場合に、次の構成を採用してもよい。前記移動装置の時計が計測した時刻を示す時刻情報が、当該時刻の計測時に移動装置から送信される。前記遠隔操縦用表示装置は、前記移動装置と通信を行う通信部を備え、前記画像生成装置は、前記遅延時間を求める遅延時間取得部を備える。前記遅延時間取得部は、時刻を計測する時計と、計算部を備える。計算部は、前記通信部が受けた前記時刻情報が示す時刻と、前記通信部が前記時刻情報を受けた時に前記遅延時間取得部の前記時計が計測した時刻との差を、第1の通信時間として計算する。前記遅延時間取得部の前記時計が計測した時刻を示す時刻情報が、当該時刻の計測時に前記通信部から送信される。前記移動装置が当該時刻情報を受けた時刻と、当該時刻情報が示す前記時刻との差を第2の通信時間として前記移動装置において計算され、前記通信部は、前記第2の通信時間を前記移動装置から受ける。前記計算部は、前記第1の通信時間と前記第2の通信時間との合計を含む時間を前記遅延時間として求める。 (6) In the case of any of the above (1) to (4), the following configuration may be adopted. Time information indicating a time measured by a clock of the moving device is transmitted from the moving device when the time is measured. The display device for remote control comprises a communication unit for communicating with the mobile device, and the image generation device comprises a delay time acquisition unit for obtaining the delay time. The delay time acquisition unit includes a clock that measures time, and a calculation unit. The calculation unit is configured to calculate a difference between a time indicated by the time information received by the communication unit and a time measured by the clock of the delay time acquisition unit when the communication unit receives the time information. Calculated as time. Time information indicating a time measured by the clock of the delay time acquisition unit is transmitted from the communication unit when the time is measured. The difference between the time when the mobile device receives the time information and the time indicated by the time information is calculated in the mobile device as a second communication time, and the communication unit is configured to calculate the second communication time Receive from the mobile device. The calculation unit determines a time including the sum of the first communication time and the second communication time as the delay time.
このように、移動装置から遠隔操縦装置への通信に要する第1の通信時間を計測し、遠隔操縦装置から移動装置への通信に要する第2の通信時間を計測し、第1および第2の通信時間の合計を遅延時間に含ませる。これによっても、移動装置と遠隔操縦装置との離間距離または通信状況に応じた遅延時間を取得できる。 In this manner, the first communication time required for communication from the mobile device to the remote control device is measured, and the second communication time required for communication from the remote control device to the mobile device is measured. Include the total communication time in the delay time. Also in this case, it is possible to obtain the delay time according to the distance between the mobile device and the remote control device or the communication status.
[実施形態の具体例]
以下において、本発明の実施形態の具体例を図面に基づいて説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。
[Specific Example of Embodiment]
Hereinafter, specific examples of the embodiment of the present invention will be described based on the drawings. In addition, the same code | symbol is attached | subjected to the part which is common in each figure, and the duplicate description is abbreviate | omitted.
(遠隔操縦システム1の構成)
図1は、本発明の実施形態による遠隔操縦用表示装置20Bを含む遠隔操縦システム1を示すブロック図である。遠隔操縦システム1は、移動装置10と遠隔側装置20を含む。遠隔側装置20は、遠隔操縦装置20Aと遠隔操縦用表示装置20Bとを含む。
(Configuration of remote control system 1)
FIG. 1 is a block diagram illustrating a remote control system 1 including a display 20B for remote control according to an embodiment of the present invention. The remote control system 1 includes a
遠隔操縦装置20Aは、人に操作されることにより、当該操作に応じた動作指令を移動装置10に送信する。この動作指令に従って移動装置10は移動する。移動装置10は、進行方向側の環境を表わす点群データを環境データとして取得して遠隔操縦用表示装置20Bに送信する。遠隔操縦用表示装置20Bは、この点群データに基づく三次元CG(computer graphics)画像を表示する。人は、表示された三次元CG画像を見て、遠隔操縦装置20Aを操作する。遠隔操縦用表示装置20Bと遠隔操縦装置20Aは、互いに一体的に結合されていてもよいし、互いに分離していてもよい。移動装置10と遠隔側装置20との通信は、無線通信により行われてよい。
The
<移動装置10に関する構成>
図2は、移動装置10の一例を示す。移動装置10は、図2のように車輪2を有し、この車輪2が地表面4に接触しながら回転駆動されることにより地表面4を走行する車両であってよい。代わりに、各移動装置10は、クローラにより地上を走行する走行装置であってもよい。
<Configuration of
FIG. 2 shows an example of the
移動装置10は、本実施形態では、遠隔操縦装置20Aにより遠隔操縦されるように構成されている。したがって、移動装置10は、遠隔操縦装置20Aから受けた動作指令に従って移動する。移動装置10は、遠隔操縦装置20Aから動作指令を受けない時は、例えば、後述するように障害物を回避するように次の経由点に向かって自律移動してよい。
In the present embodiment, the
移動装置10は、レーザスキャナ3、通信部5、速度センサ7、向きセンサ8、地図生成部11、および制御部13を備える。
The moving
レーザスキャナ3は、移動装置10から見た計測範囲における物体表面の各計測点の三次元位置(座標)を設定座標系(本実施形態ではスキャナ座標系)で表わした点群データを生成する。すなわち、レーザスキャナ3は、上述の計測範囲に対してレーザ光(例えばパルスレーザ光)を走査して計測範囲へ各射出方向にレーザ光を射出し、各射出方向へのレーザ光が計測点で反射した反射光を受ける。これにより、レーザスキャナ3は、射出方向毎に、当該射出方向とレーザ光の射出時点とレーザ光の反射光の受光時点とに基づいて、計測点の位置を検出する。
The laser scanner 3 generates point cloud data representing the three-dimensional position (coordinates) of each measurement point on the surface of the object in the measurement range viewed from the moving
点群データを表わす上述のスキャナ座標系は、当該点群データを生成した時の移動装置10の位置を原点とする三次元座標系である。なお、レーザスキャナ3は、例えばLiDAR(Light Detection and Ranging)またはLRF(Laser Range Finder)と呼ばれる機器であってよい。レーザスキャナ3は、生成した点群データを通信部5と地図生成部11に入力する。
The above-described scanner coordinate system representing point cloud data is a three-dimensional coordinate system whose origin is the position of the moving
通信部5は、レーザスキャナ3から入力された点群データを、遠隔操縦用表示装置20Bへ送信する。
The
速度センサ7は、移動装置10の速度の大きさ(速さ)を検出する。速度センサ7は、例えば、車両としての移動装置10の車輪2の回転速度を計測し、この回転速度から、地表面4に対する移動装置10の速さを求めるものであってよいが、これに限定されない。例えば、速度センサ7は、衛星航法システムにおける航法衛星からの電波に基づいて移動装置10の速さを推定する構成(例えば後述のGNSS受信装置41を利用する構成)を有していてもよいし、この構成と上記回転速度を計測する構成とを組み合わせたものであってもよい。
The
向きセンサ8は、地表面4に固定された後述の地図座標系に対する移動装置10の向き(すなわち進行方向)を検出する。向きセンサ8は、例えばジャイロセンサを用いて構成されたものであってよいが、これに限定されない。例えば、向きセンサ8は、衛星航法システムにおける航法衛星からの電波に基づいて移動装置10の向きを推定する構成(例えば後述のGNSS受信装置41を2つ利用する構成)を有していてもよいし、この構成とジャイロセンサを組み合わせたものであってもよい。
The
位置検出部9は、後述の地図座標系における移動装置10の現在位置を求める。例えば、位置検出部9は、速度センサ7が計測した速さと、向きセンサ8が検出した向きとに基づいて、移動装置10の現在位置を求める。すなわち、位置検出部9は、速度センサ7が検出した速さで、向きセンサ8が計測した向きへの移動装置10が各時点で移動したとして、各時点の当該速さと向きに基づいて移動装置10の現在位置を求める。なお、この構成の代わり又は追加の構成として、位置検出部9は、衛星航法システムにおける測位衛星からの電波に基づいて移動装置10の現在位置を求める構成を有していてもよい。
The position detection unit 9 obtains the current position of the moving
地図生成部11は、レーザスキャナ3が生成した点群データを地図座標系のデータに変換して、当該変換後の点群データに基づいて、地表面4に固定された地図座標系において、移動可能領域と、障害物の位置を表わした地図データ(例えば局所地図)を生成する。移動可能領域は、凹凸の度合いが閾値以下の地表面4の領域であり、移動装置10の幅よりも大きい広がりを持つ領域であってよい。障害物は、当該地表面4からの高さが上限値を超える物体であってよい。
The map generation unit 11 converts the point cloud data generated by the laser scanner 3 into data of the map coordinate system, and moves in the map coordinate system fixed to the
点群データの上述の変換は、上述のスキャナ座標系からの座標変換であり、例えば、向きセンサ8が検出した移動装置10の向きと、位置検出部9が求めた移動装置10の現在位置とに基づいて行われてよい。レーザスキャナ3は点群データを繰り返し生成し、そのたびに、地図生成部11は、点群データに基づいて地図データを生成する。
The above-mentioned conversion of the point cloud data is coordinate conversion from the above-mentioned scanner coordinate system, and, for example, the direction of the moving
制御部13は、遠隔操縦装置20Aから動作指令を受けない時は、位置検出部9が検出した移動装置10の現在位置と、地図生成部11により生成された最新の地図データとに基づいて、障害物に干渉しないように次の経由点に向かう移動経路を設定周期で生成する。次の経由点は、移動装置10が目標位置へ移動するために通過する複数の経由点のうち、移動装置10が次に通過する経由点である。目標位置と複数の経由点は予め設定されている。
When the control unit 13 does not receive an operation command from the
制御部13は、生成した移動経路に沿って移動装置10が移動するように移動装置10の駆動装置15を制御する。この駆動装置15は、例えば、移動装置10としての車両のアクセル、ブレーキ、ステアリング、変速機などをそれぞれ操作する複数のアクチュエータにより構成されている。
The control unit 13 controls the drive device 15 of the moving
<遠隔操縦装置20Aに関する構成>
遠隔操縦装置20Aは、操作装置17と指令生成部19を備える。操作装置17は、人が操作可能に構成されている。操作装置17に行える操作は、移動装置10の進行方向を指定するためのステアリング操作と、移動装置10の速度に関する加減速操作の一方(例えばステアリング操作、若しくは、加減速操作(アクセルペダル23aとブレーキペダル23bの少なくともいずれかの操作))又は両方を含む。
<Configuration of
The
操作装置17は、ステアリング操作のためのステアリング操作部21(例えばハンドル)を含んでよい。ステアリング操作部21には、移動装置10の進行方向を指定する操作(例えば上述のハンドルを右側または左側に回転させる操作)が可能である。移動装置10の進行方向は、ステアリング操作部21の操作方向(例えば上述のハンドルを基準位置から回転させる方向(右回り又は左回り))と、ステアリング操作部21の操作量(例えば上述のハンドルを基準位置から回転させた量)に従って指定される。移動装置10の進行方向は、移動装置10の正面(例えば移動装置10に固定され移動装置10の正面を向く基準線)に対する方向として指定される。ステアリング操作部21の操作が無い状態では(例えば上述のハンドルの回転位置が基準位置にある状態では)、移動装置10の進行方向は、移動装置10の正面として指定されてよい。
The operating device 17 may include a steering operating unit 21 (e.g., a steering wheel) for steering operation. The steering operation unit 21 can perform an operation (for example, an operation of rotating the above-described steering wheel to the right or left) for specifying the traveling direction of the moving
操作装置17は、加減速操作のための加減速操作部23(例えばアクセルペダル23aとブレーキペダル23b)を含んでよい。加減速操作部23には、加速と減速のいずれを実行させるのかを示す操作(例えば上述のアクセルペダル23aとブレーキペダル23bのいずれかの操作)と、加減速量を示す操作(例えば当該加減速量に対応する量だけ上述のアクセルペダル23aまたはブレーキペダル23bを押し下げる操作)とが可能である。
The operating device 17 may include an acceleration / deceleration operation unit 23 (for example, an
指令生成部19は、操作装置17に行われた操作に応じた動作指令を生成する。例えば、指令生成部19は、ステアリング操作部21の操作により指定された移動装置10の進行方向を示す動作指令を生成する。また、加減速操作部23が操作された場合には、指令生成部19は、加速と減速のいずれを実行させるのかと、加減速量を示す動作指令を生成する。生成された動作指令は、遠隔側装置20の通信部25から移動装置10へ送信され、通信部5を介して制御部13に入力される。これにより、制御部13は、入力された動作指令(例えば動作指令が指定する進行方向、または、動作指令が示す加速もしくは減速と加減速量)に従って駆動装置15を制御する。これにより移動装置10が動作指令に従って移動の動作を行う。
The
<遠隔操縦用表示装置20Bに関する構成>
遠隔操縦用表示装置20Bは、通信部25と画像生成装置27とディスプレイ29を備える。通信部25は、移動装置10の通信部5から送信された点群データを受ける。画像生成装置27は、通信部25が受けた点群データに基づいて三次元のCG画像を生成する。ディスプレイ29は、画像生成装置27が生成した三次元のCG画像を表示する。人がディスプレイ29に表示されたCG画像を見ながら操作装置17を操作できるようにディスプレイ29と操作装置17とが配置されている。
<Configuration of Display Device 20B for Remote Control>
The remote control display device 20B includes a
レーザスキャナ3が繰り返し生成した点群データが、通信部5,25を介して繰り返し画像生成装置27に入力される。画像生成装置27は、点群データが入力される度に、当該点群データに基づいて、三次元CG画像を生成する。ディスプレイ29は、三次元CG画像が生成される度に、当該三次元CG画像を表示する。
Point cloud data repeatedly generated by the laser scanner 3 is repeatedly input to the image generation device 27 via the
画像生成装置27は、移動装置10と遠隔操縦装置20Aとの通信時間を考慮した遅延時間に基づく未来時点における移動装置10の未来位置を予測し、予測した未来位置から見た三次元CG画像を生成する。画像生成装置27は、例えば、遅延時間取得部31と位置予測部33と画像生成部35を備える。
The image generation device 27 predicts the future position of the
遅延時間取得部31は、移動装置10と遠隔操縦装置20Aとの通信時間を計測し、この通信時間に基づく遅延時間を求める。遅延時間取得部31は、時計31aと計算部31bとを有する。これに関して、移動装置10にも時計37aが設けられている。移動装置10の時計37aが計測した時刻を示す時刻情報が、当該時刻の計測時に移動装置10の通信部5から送信される。すなわち、当該時刻が計測された時点と、当該時刻情報を送信した時点とは互いに一致している。計算部31bは、通信部5から送信され通信部25が受けた時刻情報が示す時刻と、通信部25が当該時刻情報を受けた時に遅延時間取得部31の時計31aが計測した時刻との差を、第1の通信時間として計算する。
The delay
・遅延時間の取得の一例
計算部31bは、第1の通信時間を2倍した時間を含む時間を遅延時間として求める。計算部31bは、求めた遅延時間を位置予測部33に入力する。ここで、遅延時間は、第1の通信時間を2倍した時間であってもよいし、第1の通信時間を2倍した時間にデータ処理時間を加えた時間であってもよい。データ処理時間は、レーザスキャナ3が点群データを生成するのに要する時間と、遠隔操縦装置20Aに操作が行われた時点から当該動作指令を遠隔操縦装置20Aが生成するのに要する時間と、制御部13が、動作指令を受けた時点から当該動作指令に従った動作が移動装置10において実際に行われるまでの時間とを含んでよい。データ処理時間は、予め推定したものであってよい。
Example of Acquisition of Delay Time The
・遅延時間の取得の別例
あるいは、計算部31bは、次のように遅延時間を求めてもよい。移動装置10には、時計37aと計算部37bとを有する通信時間取得部37が設けられている。遠隔操縦用表示装置20Bの時計31aが計測した時刻を示す時刻情報が、当該時刻の計測時に遠隔操縦用表示装置20Bの通信部25から送信される。すなわち、当該時刻が計測された時点と、当該時刻情報を送信した時点とは互いに一致している。計算部37bは、通信部25から送信され通信部5が受けた時刻情報が示す時刻と、通信部5が当該時刻情報を受けた時に通信時間取得部37の時計37aが計測した時刻との差を、第2の通信時間として計算する。移動装置10の通信部5は、第2の通信時間を遠隔操縦用表示装置20Bへ送信する。第2の通信時間は、通信部25に受けられて計算部31bへ入力される。計算部31bは、上述のように計算した第1の通信時間と、入力された第2の通信時間とを合計した時間を含む時間を遅延時間として求める。計算部31bは、求めた遅延時間を位置予測部33に入力する。ここで、遅延時間は、第1および第2の通信時間の合計であってもよいし、当該合計に上述のデータ処理時間を加えた時間であってもよい。
Another Example of Acquisition of Delay Time Alternatively, the
・時計31a,37aの同期
遠隔操縦用表示装置20Bの時計31aと移動装置10の時計37aは、次のように同期させられてよい。遠隔操縦用表示装置20Bと移動装置10の各々には、GNSS(Global Navigation Satellite System)受信機39,41が設けられる。各航法衛星(例えばGPS衛星)は、電波を送信する。各航法衛星が送信する電波には、当該送信時における当該航法衛星の位置を示す位置情報と、当該航法衛星に設けた時計(例えば原子時計)が当該送信時に計測した時刻を示す時刻情報とが含まれている。
Synchronization of the
遠隔操縦用表示装置20BのGNSS受信装置39は、複数の航法衛星から電波を受信し、受信した電波に含まれる時刻情報が示す時刻、時計31aが当該受信時に計測した時刻との差に基づいて、各航法衛星と自身との距離を求める。これらの距離に基づいて、GNSS受信装置39は、GNSS受信装置39の位置を求める。求めた位置および航法衛星からの位置情報と時刻情報に基づいて、当該GNSS受信装置39は、時計31aの時刻を航法衛星の時計の時刻に同期(一致)させる。これと同じ方法で、移動装置10のGNSS受信装置41も、時計37aの時刻を航法衛星の時計に同期させる。これにより、時計の時刻は、航法衛星の時計を介して互いに同期させられている。ただし、他の方法で、時計31a,37aの時刻は互いに同期させられてもよい。
The
・移動装置10の未来位置の予測
位置予測部33は、移動装置10の未来位置を予測する。ここで、未来位置とは、未来時点の移動装置10の位置である。この未来位置は、設定座標系(本実施形態では、通信部25が受けた上述の点群データを表わすスキャナ座標系)において表わされる位置である。本実施形態では、この設定座標系における原点は、当該点群データの生成時点における移動装置10の位置である。当該点群データに基づいて画像生成部35がCG画像を生成する時点で操作装置17を人が操作した場合に、当該操作による動作指令が通信部25から送信されて当該動作指令に従った移動動作が移動装置10に実際に行われる時点が未来時点である。本実施形態では、点群データの生成時点から上述の遅延時間が経過した時点が未来時点であるとする。
Prediction of Future Position of
位置予測部33は、遅延時間取得部31が求めた遅延時間と、入力された移動装置10の速さとに基づいて、設定座標系における未来位置を予測する。
The
ここで、位置予測部33に入力された移動装置10の速さは、操作装置17に行われた操作が示す移動装置10の速さであってよい。この場合、操作装置17は、移動装置10の速さを指定できる構成(例えば速度値を入力する入力部)を含み、操作装置17の操作で指定された速さは、動作指令として通信部25から移動装置10へ送信されるとともに、位置予測部33に入力される。指定された速度は、移動装置10の通信部5に受けられて制御部13に入力され、制御部13は、指定された速度に移動装置10の速さが維持されるように駆動装置15を制御する。位置予測部33は、未来位置の予測時に入力された当該速さを、当該未来位置の予測に用いてよい。
Here, the speed of the moving
あるいは、位置予測部33に入力された移動装置10の速さは、移動装置10の速度センサ7が計測した移動装置10の速さであってもよい。この場合、速度センサ7が計測した移動装置10の速さは、通信部5,25を介して位置予測部33に入力される。なお、速度センサ7が繰り返し計測した速さが、通信部5,25を介して繰り返し位置予測部33に入力され、位置予測部33は、入力された最新の速さを未来位置の予測に用いてよい。
Alternatively, the speed of the moving
位置予測部33は、上述の遅延時間と、入力された移動装置10の速さとを乗算した距離を求め、この距離だけスキャナ座標系の原点から前方へ移行させた位置を未来位置として求める。ここで、「前方」とは、スキャナ座標系の原点から延びている基準線の方向であってよい。基準線は、スキャナ座標系(すなわち移動装置10)に固定されおり、移動装置10の正面に一致していてよい。あるいは、「前方」とは、ステアリング操作部21の操作により指定された移動装置10の進行方向であってもよい。すなわち、スキャナ座標系において、「前方」とは、上述の基準線を移動装置10の正面として、ステアリング操作部21の操作により、当該正面に対して指定された進行方向であってよい。この場合、ステアリング操作部21の操作により指定された進行方向は、これを示す動作指令として通信部25から移動装置10へ送信されるとともに、位置予測部33に入力される。指定された進行方向は、移動装置10の制御部13に通信部25,5を介して入力され、制御部13は、指定された進行方向に移動装置10が移動するように駆動装置15を制御する。
The
画像生成部35は、点群データに基づいて、上述のように位置予測部33が求めた未来位置から見た三次元CG画像を生成する。生成された三次元CG画像における最も手前の位置が未来位置となってよい。なお、位置予測部33は、遠近法に従った三次元CG画像を生成してよい。
The
画像生成部35は、生成した三次元CG画像において、上記未来位置の移動装置10の一部(例えば前端)を示すマーク(例えば後述のマークM2)を表示してもよい。
The
図3(A)は、点群データの生成時点の移動装置10の位置(すなわち、点群データを表わすスキャナ座標系の原点)から見た三次元CG画像である。図3(A)において、符号M1は、点群データの生成時点の移動装置10の前端を示すマークである。図3(A)において、符号M2は、未来時点における移動装置10の前端を示すマーク(細線のマーク)である。図3(A)と後述の図3(B)において、破線Xは、車両10のボンネットを示す。図3(A)と後述の図3(B)において太線の枠は、三次元CG画像の外周縁であってよく、この場合、当該枠はディスプレイ29の画面の外周縁であってよい。
FIG. 3A is a three-dimensional CG image viewed from the position of the moving
図3(B)は、未来時点における移動装置10の位置(すなわち上述の未来位置)から見た三次元CG画像である。図3(B)において、符号M2は、未来時点の移動装置10の前端を示すマークである。このように、未来時点の移動装置10の未来位置から見た三次元CG画像が例えば図3(B)のように表示される。したがって、人は、遅延時間を考慮したタイミングで操作装置17を操作することが不要になるので、操作が容易になる。例えば、移動装置10を、図3(A)(B)の交差点P(一点鎖線で囲んだ部分)で左折させたい場合に、遅延時間を考慮した距離だけ交差点よりも手前側に図3(A)のマークM1が到達したタイミングで左折の操作をすることが不要になり、ディスプレイ29に表示された三次元CG画像において、移動装置10に実際に左折を開始させる位置に図3(B)のマークM2が到達した時、左折の操作をステアリング操作部21に行えばよくなる。
FIG. 3B is a three-dimensional CG image viewed from the position of the moving
(遠隔操縦用表示方法)
図4は、本発明の実施形態による遠隔操縦用表示方法を示すフローチャートである。遠隔操縦用表示方法は、上述した遠隔操縦用表示装置20B、遠隔操縦装置20A、および移動装置10を用いて行われる。遠隔操縦用表示方法は、ステップS1〜S13を含む。
(Display method for remote control)
FIG. 4 is a flow chart illustrating a display method for remote control according to an embodiment of the present invention. The display method for remote control is performed using the display device 20B for remote control, the
<画像を生成するための処理>
ステップS1において、レーザスキャナ3は、移動装置10から見た計測範囲に対してレーザ光を走査することにより上述の点群データを生成する。ステップS1は、移動装置10の移動中に繰り返し行われる。ステップS1が行われる度に、このステップS1で生成された点群データに対してステップS2〜S5が行われる。
<Process for generating image>
In step S <b> 1, the laser scanner 3 generates the above-mentioned point cloud data by scanning the laser light in the measurement range viewed from the moving
ステップS2において、通信部5は、ステップS1で生成された点群データを遠隔操縦用表示装置20Bへ送信する。
In step S2, the
ステップS3において、遠隔操縦用表示装置20Bにおいて通信部25が、ステップS2で送信された点群データを受け、受けた点群データが画像生成装置27へ入力される。
In step S3, the
ステップS4において、画像生成装置27は、ステップS3で入力された点群データに基づいて、移動装置10の未来位置から、移動装置10の進行方向側(例えば移動装置10の正面)を見た三次元CG画像を生成する。この未来位置は、当該点群データがステップS1で生成された時点から遅延時間が経過した未来時点の移動装置10の位置である。
In step S4, based on the point cloud data input in step S3, the image generation device 27 sees the third direction seen from the future position of the movement device 10 (for example, in front of the movement device 10). Generate an original CG image. The future position is the position of the
ステップS5において、ディスプレイ29は、ステップS4で生成された三次元CG画像を表示する。
In step S5, the
<遅延時間を求める処理>
上述したステップS1〜S5の繰り返しに並行して、次のステップS6〜S13が繰り返し行われる。
<Process for finding delay time>
The following steps S6 to S13 are repeatedly performed in parallel with the repetition of the steps S1 to S5 described above.
ステップS6では、移動装置10の通信部5は、移動装置10の時計37aが計測した時刻を示す時刻情報を遠隔操縦用表示装置20Bに送信する。
ステップS7では、遠隔操縦用表示装置20Bにおいて、通信部25は、ステップS6で送信された時刻情報を受けるとともに、時計31aは、当該時刻情報を通信部25が受けた時刻を計測する。
ステップS8では、遅延時間取得部31の計算部31bは、ステップS7で時計31aが計測した時刻と、ステップS7で受けた時刻情報が示す時刻との差を第1の通信時間として求める。
In step S6, the
In step S7, in the remote control display device 20B, the
In step S8, the
ステップS9では、遠隔操縦用表示装置20Bの通信部25は、遠隔操縦用表示装置20Bの時計31aが計測した時刻を示す時刻情報を移動装置10に送信する。
ステップS10では、移動装置10において、通信部5は、ステップS9で送信された時刻情報を受けるとともに、時計37aは、当該時刻情報を通信部5が受けた時刻を計測する。
ステップS11では、通信時間取得部37の計算部37bは、ステップS10で時計37aが計測した時刻と、ステップS10で受けた時刻情報が示す時刻との差を第2の通信時間として求める。
ステップS12では、通信部5は、ステップS11で求めた第2の通信時間を遠隔操縦用表示装置20Bへ送信し、通信部25は、この第2の通信時間を受ける。
In step S9, the
In step S10, in the
In step S11, the
In step S12, the
ステップS13では、計算部31bは、ステップS8で求めた第1の通信時間と、ステップS12で通信部25が受けた第2の通信時間に基づいて、第1および第2の通信時間の合計を含む時間を上述の遅延時間として求める。なお、ステップS13において、計算部31bは、第1の通信時間を2倍した時間を含む時間を上述の遅延時間として求めてもよい。この場合、上述のステップS9〜12は省略される。
In step S13, the
ステップS6〜S13の繰り返しにより遅延時間は繰り返し求められてよい。この場合、上述のステップS4は、求められた最新の遅延時間に基づいて三次元CG画像が求められてよい。すなわち、ステップS4では、位置予測部33は、ステップS13で求められた最新の遅延時間と、上述のように入力された移動装置10の速さとに基づいて、設定座標系における未来位置を予測し、予測した未来位置から見た三次元CG画像をステップS3で受けた点群データに基づいて生成する。
The delay time may be repeatedly determined by repeating steps S6 to S13. In this case, in step S4 described above, a three-dimensional CG image may be determined based on the determined latest delay time. That is, in step S4, the
(他の構成例)
上述では、画像生成部35は、点群データに基づいて三次元CG画像を生成したが、環境データとしての地図データに基づいて三次元CG画像を生成してもよい。この場合の構成例を以下で説明するが、以下で説明しない当該構成例の内容は、図面を参照して説明した上述の実施形態の内容と同じであってよい。
(Other configuration example)
In the above description, the
遠隔操縦用表示装置20Bは、地図データを記憶する記憶部43(図1を参照)を備える。
この地図データは、既知の地図データであってもよいし、上述の点群データから地図生成部11により生成された地図データであってもよい。いずれの場合においても、地図データは、設定座標系において、各障害物(建物や道路の縁石)の位置(座標)を表わしたデータであってよい。設定座標系が水平面に沿った二次元座標である場合には、地図データは、設定座標系において各障害物の二次元位置を表わしたデータと、各障害物の高さのデータを含む。地図データは、三次元の設定座標系において各障害物の三次元位置を表わしたデータであってもよい。なお、地図データが点群データから生成された地図データの場合、設定座標系は上述の地図座標系であってよく、当該地図データは、地図生成部11から通信部5,25を介して記憶部43に入力されてよい。また、この場合、当該地図データは、地図生成部11により生成される度に、地図生成部11から通信部5,25を介して記憶部43に入力されてよい。
The remote control display device 20B includes a storage unit 43 (see FIG. 1) that stores map data.
The map data may be known map data, or may be map data generated by the map generation unit 11 from the point cloud data described above. In any case, the map data may be data representing the position (coordinates) of each obstacle (building or curb on a road) in the setting coordinate system. When the setting coordinate system is a two-dimensional coordinate along the horizontal plane, the map data includes data representing the two-dimensional position of each obstacle in the setting coordinate system and data of the height of each obstacle. The map data may be data representing a three-dimensional position of each obstacle in a three-dimensional setting coordinate system. When the map data is map data generated from point cloud data, the set coordinate system may be the above-mentioned map coordinate system, and the map data is stored from the map generation unit 11 through the
通信部25は、移動装置10の通信部5から移動装置10の現在位置として送信される位置情報を受ける。ここで、移動装置10の現在位置は、当該送信時に位置検出部9が求めた移動装置10の位置であってよい。あるいは、移動装置10の当該現在位置は、位置検出部9により繰り返し求められ通信部5,25を介して位置予測部33に繰り返し入力される移動装置10の現在位置のうち、最新の現在位置であってもよい。
The
位置予測部33は、上述の遅延時間と、入力された移動装置10の速さとを乗算した距離を求め、この距離だけ、設定座標系において、通信部25が受けた上記位置情報により示される位置(すなわち、移動装置10の現在位置として通信部5から送信された位置)から前方へ移行させた位置を未来位置として求める。ここで、「前方」とは、ステアリング操作部21の操作により指定された移動装置10の進行方向であってよい。
The
本発明は上述した実施の形態に限定されず、本発明の技術的思想の範囲内で種々変更を加え得ることは勿論である。 The present invention is not limited to the above-described embodiment, and it goes without saying that various modifications can be made within the scope of the technical idea of the present invention.
1 遠隔操縦システム、2 車輪、3 レーザスキャナ、4 地表面、5 通信部、7 速度センサ、8 向きセンサ、9 位置検出部、10 移動装置、11 地図生成部、13 制御部、15 駆動装置、17 操作装置、19 指令生成部、21 ステアリング操作部、23 加減速操作部、23a アクセルペダル、23b ブレーキペダル、
25 通信部、27 画像生成装置、29 ディスプレイ、31 遅延時間取得部、31a 時計、31b 計算部、33 位置予測部、35 画像生成部、37 通信時間取得部、37a 時計、37b 計算部、39 GNSS受信装置、41 GNSS受信装置、43 記憶部、20 遠隔側装置、20A 遠隔操縦装置、20B 遠隔操縦用表示装置
Reference Signs List 1 remote control system, 2 wheels, 3 laser scanners, 4 ground surface, 5 communication units, 7 speed sensors, 8 direction sensors, 9 position detecting units, 10 moving devices, 11 map generating units, 13 control units, 15 driving devices, Reference Signs List 17 operation device, 19 command generation unit, 21 steering operation unit, 23 acceleration / deceleration operation unit, 23a accelerator pedal, 23b brake pedal,
Claims (7)
移動装置の進行方向側の環境を表わす環境データに基づいて三次元のCG画像を生成する画像生成装置と、
生成された前記CG画像を表示するディスプレイと、を備え、
前記画像生成装置は、
移動装置と遠隔操縦装置との通信時間を考慮した遅延時間に基づく未来時点における移動装置の未来位置を予測し、
予測した前記未来位置から見た前記CG画像を生成する、遠隔操縦用表示装置。 A remote control display device for displaying an environment viewed from the mobile device when the mobile device is remotely operated,
An image generation device for generating a three-dimensional CG image based on environment data representing an environment on the traveling direction side of the mobile device;
A display for displaying the generated CG image;
The image generating device is
Predict the future position of the mobile device at a future time based on the delay time considering the communication time between the mobile device and the remote control device,
A display device for remote control, which generates the CG image viewed from the predicted future position.
前記移動装置から送信された前記点群データを受ける通信部を備える、請求項1に記載の遠隔操縦用表示装置。 The environment data is point cloud data measured by a laser scanner provided in the moving device, and the point cloud data sets the three-dimensional position of each measurement point on the surface of the object in the measurement range viewed from the moving device. Data represented by and transmitted from the mobile device,
The display device for remote control according to claim 1, further comprising: a communication unit that receives the point cloud data transmitted from the mobile device.
前記移動装置から前記移動装置の現在位置として送信される位置情報を受ける通信部と、を備え、
前記画像生成装置は、前記移動装置の前記位置情報と前記遅延時間とに基づいて、前記地図データを表わす設定座標系における、前記未来時点の移動装置の前記未来位置を予測し、
予測した前記未来位置から見た前記CG画像を前記地図データに基づいて生成する、請求項1に記載の遠隔操縦用表示装置。 A storage unit that stores map data as the environmental data;
A communication unit that receives position information transmitted from the mobile device as the current position of the mobile device;
The image generation device predicts the future position of the moving device at the future point in a set coordinate system representing the map data, based on the position information of the moving device and the delay time,
The display device for remote control according to claim 1, wherein the CG image viewed from the predicted future position is generated based on the map data.
遠隔操縦装置に行われた操作が示す移動装置の速さ、または、移動装置において計測され前記遠隔操縦用表示装置へ送信された移動装置の速さが、前記位置予測部に入力され、
前記位置予測部は、入力された前記速さと、前記遅延時間とに基づいて前記未来位置を予測する、請求項1〜3のいずれか一項に記載の遠隔操縦用表示装置。 The image generation apparatus includes a position prediction unit that predicts the future position;
The speed of the moving device indicated by the operation performed on the remote control device, or the speed of the moving device measured at the moving device and transmitted to the display device for remote control is input to the position prediction unit,
The display device for remote control according to any one of claims 1 to 3, wherein the position prediction unit predicts the future position based on the input speed and the delay time.
前記遠隔操縦用表示装置は、前記移動装置と通信を行う通信部を備え、前記画像生成装置は、前記遅延時間を求める遅延時間取得部を備え、
前記遅延時間取得部は、
時刻を計測する時計と、
前記通信部が受けた前記時刻情報が示す時刻と、前記通信部が前記時刻情報を受けた時に前記遅延時間取得部の前記時計が計測した時刻との差を、通信時間として計算し、該通信時間を2倍した時間を含む時間を前記遅延時間として求める計算部とを備える、請求項1〜4のいずれか一項に記載の遠隔操縦用表示装置。 Time information indicating a time measured by a clock of the mobile device is transmitted from the mobile device when the time is measured,
The display device for remote control comprises a communication unit for communicating with the mobile device, and the image generation device comprises a delay time acquisition unit for obtaining the delay time,
The delay time acquisition unit
A clock that measures time,
The difference between the time indicated by the time information received by the communication unit and the time measured by the clock of the delay time acquisition unit when the communication unit receives the time information is calculated as the communication time The display unit for remote control according to any one of claims 1 to 4, further comprising: a calculation unit that determines a time including a time obtained by doubling a time as the delay time.
前記遠隔操縦用表示装置は、前記移動装置と通信を行う通信部を備え、 前記画像生成装置は、前記遅延時間を求める遅延時間取得部を備え、
前記遅延時間取得部は、
時刻を計測する時計と、
前記通信部が受けた前記時刻情報が示す時刻と、前記通信部が前記時刻情報を受けた時に前記遅延時間取得部の前記時計が計測した時刻との差を、第1の通信時間として計算する計算部とを備え、
前記遅延時間取得部の前記時計が計測した時刻を示す時刻情報が、当該時刻の計測時に前記通信部から送信され、前記移動装置が当該時刻情報を受けた時刻と、当該時刻情報が示す前記時刻との差を第2の通信時間として前記移動装置において計算され、前記通信部は、前記第2の通信時間を前記移動装置から受け、
前記計算部は、前記第1の通信時間と前記第2の通信時間との合計を含む時間を前記遅延時間として求める、請求項1〜4のいずれか一項に記載の遠隔操縦用表示装置。 Time information indicating a time measured by a clock of the mobile device is transmitted from the mobile device when the time is measured,
The display device for remote control includes a communication unit for communicating with the mobile device, and the image generation device includes a delay time acquisition unit for obtaining the delay time.
The delay time acquisition unit
A clock that measures time,
A difference between a time indicated by the time information received by the communication unit and a time measured by the clock of the delay time acquisition unit when the communication unit receives the time information is calculated as a first communication time. And a calculation unit,
Time information indicating the time measured by the clock of the delay time acquisition unit is transmitted from the communication unit when the time is measured, and the time when the mobile device receives the time information, and the time indicated by the time information The second communication time is calculated in the mobile device as a second communication time, and the communication unit receives the second communication time from the mobile device,
The display device for remote control according to any one of claims 1 to 4, wherein the calculation unit obtains a time including a sum of the first communication time and the second communication time as the delay time.
(A)移動装置の進行方向側の環境を表わす環境データに基づいて三次元のCG画像を生成し、
(B)生成された前記CG画像をディスプレイに表示し、
前記(A)では、
移動装置と遠隔操縦装置との通信時間を考慮した遅延時間に基づく未来時点における移動装置の未来位置を予測し、
予測した前記未来位置から見た前記CG画像を生成する、遠隔操縦用表示方法。
A remote control display method for displaying an environment viewed from a mobile device when the mobile device is remotely operated.
(A) Generate a three-dimensional CG image based on environmental data representing the environment on the traveling direction side of the mobile device,
(B) displaying the generated CG image on a display;
In the above (A),
Predict the future position of the mobile device at a future time based on the delay time considering the communication time between the mobile device and the remote control device,
A display method for remote control, generating the CG image viewed from the predicted future position.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017174101A JP6996820B2 (en) | 2017-09-11 | 2017-09-11 | Display device for remote control and display method for remote control |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017174101A JP6996820B2 (en) | 2017-09-11 | 2017-09-11 | Display device for remote control and display method for remote control |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019049888A true JP2019049888A (en) | 2019-03-28 |
JP6996820B2 JP6996820B2 (en) | 2022-01-17 |
Family
ID=65905603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017174101A Active JP6996820B2 (en) | 2017-09-11 | 2017-09-11 | Display device for remote control and display method for remote control |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6996820B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021136584A (en) * | 2020-02-27 | 2021-09-13 | 株式会社デンソー | Video information output device |
JP2021182177A (en) * | 2020-05-18 | 2021-11-25 | 防衛装備庁長官 | Vehicle steering system and vehicle steering method |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08191487A (en) * | 1995-01-10 | 1996-07-23 | Nissin Electric Co Ltd | Remote control system |
JPH0911983A (en) * | 1995-06-30 | 1997-01-14 | Nec Corp | Operation controller for underwater sailing body |
JPH10275015A (en) * | 1996-11-11 | 1998-10-13 | Komatsu Ltd | Remote operation device for moving body |
JP2009070286A (en) * | 2007-09-14 | 2009-04-02 | Ntt Docomo Inc | Control method of tactile presentation device and control terminal |
JP2013115803A (en) * | 2011-12-01 | 2013-06-10 | Mitsubishi Heavy Ind Ltd | Remote control vehicle system |
WO2014141479A1 (en) * | 2013-03-15 | 2014-09-18 | 株式会社日立製作所 | Remote operation system |
-
2017
- 2017-09-11 JP JP2017174101A patent/JP6996820B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08191487A (en) * | 1995-01-10 | 1996-07-23 | Nissin Electric Co Ltd | Remote control system |
JPH0911983A (en) * | 1995-06-30 | 1997-01-14 | Nec Corp | Operation controller for underwater sailing body |
JPH10275015A (en) * | 1996-11-11 | 1998-10-13 | Komatsu Ltd | Remote operation device for moving body |
JP2009070286A (en) * | 2007-09-14 | 2009-04-02 | Ntt Docomo Inc | Control method of tactile presentation device and control terminal |
JP2013115803A (en) * | 2011-12-01 | 2013-06-10 | Mitsubishi Heavy Ind Ltd | Remote control vehicle system |
WO2014141479A1 (en) * | 2013-03-15 | 2014-09-18 | 株式会社日立製作所 | Remote operation system |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021136584A (en) * | 2020-02-27 | 2021-09-13 | 株式会社デンソー | Video information output device |
JP7314834B2 (en) | 2020-02-27 | 2023-07-26 | 株式会社デンソー | Video information output device |
JP2021182177A (en) * | 2020-05-18 | 2021-11-25 | 防衛装備庁長官 | Vehicle steering system and vehicle steering method |
Also Published As
Publication number | Publication date |
---|---|
JP6996820B2 (en) | 2022-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11487020B2 (en) | Satellite signal calibration system | |
US11181902B2 (en) | Remote operation system, transportation system, and remote operation method | |
JP7162096B2 (en) | Light Detection and Ranging (LIDAR) Device Range Aliasing Elasticity with Multiple Hypotheses | |
KR102323394B1 (en) | Apparatus and method for assisting driving of a vehicle | |
US10685571B2 (en) | Vehicle dispatch system, autonomous driving vehicle, and vehicle dispatch method | |
EP3888276B1 (en) | Verifying timing of sensors used in autonomous driving vehicles | |
JP6982999B2 (en) | Route determination device and route determination method | |
US11183056B2 (en) | Electronic device for generating map data and operating method therefor | |
US11537131B2 (en) | Control device, control method, and mobile body | |
WO1999053335A1 (en) | Method of tracking and sensing position of objects | |
WO2017199333A1 (en) | Information output device, terminal device, control method, program, and storage medium | |
WO2013140557A1 (en) | Navigation system | |
JP2014048859A (en) | Remote control system | |
CN112461249A (en) | Sensor localization from external source data | |
JP6996820B2 (en) | Display device for remote control and display method for remote control | |
KR100901312B1 (en) | Device for creating geomorphic data of autonomous mobile platform, autonomous mobile platform having the same and method for creating geomorphic data of autonomous mobile platform | |
JP6947563B2 (en) | Mobile robot control device and control method | |
JP6855759B2 (en) | Self-driving vehicle control system | |
KR101700764B1 (en) | Method for Autonomous Movement and Apparatus Thereof | |
JP2022012262A (en) | Notification position determination device and computer program for notification position determination | |
US20230136186A1 (en) | Position measurement apparatus, positioning method and program | |
WO2021189350A1 (en) | A point cloud-based low-height obstacle detection system | |
US11887338B2 (en) | Maintaining calibration of an IBIS camera | |
EP4187277A1 (en) | A method to detect radar installation error for pitch angle on autonomous vehicles | |
US20240070915A1 (en) | Maintaining intrinsic calibration of cameras with in-body image stabilization systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200715 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210524 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210611 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210714 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211210 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211214 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6996820 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |