JP2017021517A - Remote control system and method - Google Patents
Remote control system and method Download PDFInfo
- Publication number
- JP2017021517A JP2017021517A JP2015137720A JP2015137720A JP2017021517A JP 2017021517 A JP2017021517 A JP 2017021517A JP 2015137720 A JP2015137720 A JP 2015137720A JP 2015137720 A JP2015137720 A JP 2015137720A JP 2017021517 A JP2017021517 A JP 2017021517A
- Authority
- JP
- Japan
- Prior art keywords
- remote control
- image
- angle
- gaze
- control device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 9
- 239000000284 extract Substances 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 101150064138 MAP1 gene Proteins 0.000 description 4
- 239000012141 concentrate Substances 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Selective Calling Equipment (AREA)
Abstract
Description
本発明は、移動体(例えば移動ロボット)を遠隔操縦する遠隔操縦システムと方法に関する。 The present invention relates to a remote control system and method for remotely controlling a mobile body (for example, a mobile robot).
移動体を遠隔操縦する遠隔操縦システムは、例えば特許文献1〜5に開示されている。 For example, Patent Documents 1 to 5 disclose remote control systems that remotely control a moving object.
特許文献1の「遠隔操縦システム」は、移動領域の画像を取得する撮像部を搭載した移動体と、その撮像部によって取得した画像を表示する表示部と、その表示部に表示された画像に基づいて移動体を遠隔操縦するための操作部と有する遠隔操縦装置を備える。 The “remote control system” of Patent Document 1 includes a moving body equipped with an imaging unit that acquires an image of a moving region, a display unit that displays an image acquired by the imaging unit, and an image displayed on the display unit. And a remote control device having an operation unit for remotely controlling the mobile body.
特許文献2の「移動ロボットのカメラ視線方向制御方法および移動ロボットシステム」は、移動ロボットから端末にカメラ画像を送信し、端末の画面上にカメラ画像を表示させる。また端末の画面上に表示されるポインタの位置がカメラ画像のエッジから外れたとき、外れた方向にカメラの視野方向を所定量移動させ、新たな周囲環境画像を端末に自動送信する。さらに端末は、ロボットに搭載したカメラの方向を変更した直後に、カメラの方向の変更量をキャンセルするポインタ位置を計算して、計算された位置にポインタを表示する。
The “camera line-of-sight direction control method and mobile robot system” of
特許文献3の「経路生成装置と方法および経路生成装置を備える移動装置」は、移動開始位置から目標到達位置までの間に設定され移動経路の生成の指標となる複数の経由位置を記憶した記憶装置と、移動装置の現在位置を検出する位置検出装置とを備える。さらに経路探索装置を備え、移動装置の移動中において、現在位置に基づいて、複数の経由位置のうち移動装置が次に通過する経由位置に向かうための移動経路を探索し生成する。
特許文献4の「作業車両の遠隔操作装置」は、作業車両に設けた複数のビデオカメラで撮像した互いに異なる方向の画像を作業車両から離れた箇所にある1つのモニターで監視しながら、作業車両を遠隔操作して作業する。また、モニターの画面を、その左右方向の中間部を作業車両の複数の種類の運転状態を表示する部分と、その中間部の左右両側を複数のビデオカメラによる互いに異なる方向の画像を表示する部分とで構成し、複数の種類の運転状態を縦に並べて表示する。
特許文献5の「モニタリングシステム」は、遠隔操作可能なロボットが具備する第1のカメラで第1の画像を撮影するステップと、第1の画像の中心である注視点を算出するステップと、注視点の周囲の拡張注視点を算出するステップと、を有する。さらに、このシステムは、拡張注視点を撮影する第2のカメラを選択するステップと、ロボットの操作者用の表示装置に、第1の画像と第2の画像を並べて表示するステップとを有する。拡張注視点は第2の画像の中心であり、第2のカメラはロボットの移動する空間内に設けられている。 The “monitoring system” of Patent Document 5 captures a first image with a first camera included in a remotely operable robot, calculates a gaze point that is the center of the first image, Calculating an extended gaze point around the viewpoint. Further, the system includes a step of selecting a second camera that captures the extended gazing point, and a step of displaying the first image and the second image side by side on a display device for a robot operator. The extended gazing point is the center of the second image, and the second camera is provided in the space in which the robot moves.
上述した従来技術において、移動体(例えば移動ロボット)を遠隔操縦する場合には、移動体に搭載したカメラで撮像した画像を、操縦装置の画面に表示してこの画像に基づいて移動体を遠隔操縦する。このような遠隔操縦においては、操縦装置の画面に自車(移動体)の一部と共に、周囲の状況を広く表示することが重要である。また、移動体の速度が上がるにつれ、遠方の路面状況も確認する必要がある。 In the above-described prior art, when a mobile body (for example, a mobile robot) is remotely controlled, an image captured by a camera mounted on the mobile body is displayed on the screen of the control device, and the mobile body is remotely controlled based on this image. Steer. In such remote control, it is important to display a wide range of surrounding conditions together with a part of the own vehicle (moving body) on the screen of the control device. In addition, as the speed of the moving body increases, it is necessary to check the road surface condition in the distance.
そのため、移動体を遠隔操縦する遠隔操縦システムでは、周囲の状況を広く表示する画角の広い広角カメラと、遠方の路面状況を高い倍率で表示する高倍率カメラとを同時に用いることが好ましい。 For this reason, in a remote control system that remotely controls a moving body, it is preferable to simultaneously use a wide-angle camera with a wide angle of view that widely displays surrounding conditions and a high-power camera that displays distant road surface conditions with a high magnification.
しかし遠方を確認するための高倍率カメラは、高い倍率で表示するため画角が狭い。そのため、遠方の路面状況を確認するには、雲台を制御して確認する位置を正確に撮影するか、或いはデジタルズームによりその位置の画像を拡大する必要がある。
一方、操縦者は、移動体(例えば移動ロボット)の走行中は、その遠隔操縦に集中するため、高倍率カメラの視野方向(すなわち撮像位置)の調整を同時に行うことは困難である。
However, a high-magnification camera for confirming a distant view has a narrow angle of view because it displays at a high magnification. For this reason, in order to confirm the road surface condition in the distance, it is necessary to control the camera platform to accurately photograph the position to be confirmed, or to enlarge the image at that position by digital zoom.
On the other hand, since the driver concentrates on the remote control while the mobile body (for example, a mobile robot) is traveling, it is difficult to simultaneously adjust the viewing direction (that is, the imaging position) of the high-magnification camera.
本発明は上述した問題点を解決するために創案されたものである。すなわち本発明の目的は、走行中の移動体(例えば移動ロボット)の遠隔操縦に集中しながら、同時に遠方の路面状況を適切に確認することができる遠隔操縦システムと方法を提供することにある。 The present invention has been developed to solve the above-described problems. That is, an object of the present invention is to provide a remote control system and method capable of appropriately confirming a remote road surface condition at the same time while concentrating on a remote control of a moving body (for example, a mobile robot) while traveling.
本発明によれば、地上を走行可能な移動体と、前記移動体を遠隔操縦する遠隔操縦装置とを備え、
前記移動体は、その前方を運転用の広画角で撮影する広角カメラと、前記前方の注視地点の注視用画像を抽出する制御装置とを有しており、
前記遠隔操縦装置は、前記広角カメラによる運転用画像と、前記注視用画像を同時に表示する表示部を有し、
前記制御装置は、道なりライン上、又は、地図情報から抽出された地図経路上であって、現在の走行速度で停止可能な地点を前記注視地点として算出する、ことを特徴とする遠隔操縦システムが提供される。
According to the present invention, a mobile body that can travel on the ground, and a remote control device that remotely controls the mobile body,
The moving body includes a wide-angle camera that captures the front of the vehicle with a wide angle of view for driving, and a control device that extracts a gaze image of the front gaze point,
The remote control device has a display unit for simultaneously displaying the driving image by the wide-angle camera and the gaze image,
The control device calculates a point on the road line or on a map route extracted from map information, which can be stopped at the current traveling speed, as the gaze point. Is provided.
前記移動体は、前記前方を注視用の高倍率で撮影する高倍率カメラと、前記注視地点を撮影するように前記高倍率カメラの姿勢を制御する雲台と、を有する。 The moving body includes a high-magnification camera that photographs the front at a high magnification for gaze, and a pan head that controls the attitude of the high-magnification camera so as to photograph the gaze point.
前記制御装置は、道なり認識部を有し、
前記道なり認識部は、走行可能領域内に位置して走行可能領域の境界に接する複数の内接円の中心を通過する前記道なりラインを算出する。
The control device has a road recognition unit,
The road recognition unit calculates the road line passing through the centers of a plurality of inscribed circles located in the travelable area and in contact with the boundaries of the travelable area.
前記表示部は、前記運転用画像の水平線より上部に、前記注視用画像を重畳表示する。 The display unit superimposes and displays the gaze image above the horizontal line of the driving image.
前記広画角は、前記移動体の遠隔操縦に適した水平画角であり、
前記高倍率の画角は、前記注視地点の路面状況の確認に適した水平画角である。
The wide angle of view is a horizontal angle of view suitable for remote control of the mobile body,
The high-power angle of view is a horizontal angle of view suitable for confirming the road surface condition at the gaze point.
前記広角カメラは、前記広画角の広角レンズを有し、
前記高倍率カメラは、前記高倍率のズームレンズを有する。
The wide-angle camera has the wide-angle lens with the wide angle of view,
The high-power camera has the high-power zoom lens.
前記雲台は、パン角とチルト角を制御する。 The pan head controls the pan angle and tilt angle.
また、本発明によれば、地上を走行可能な移動体と、前記移動体を遠隔操縦する遠隔操縦装置とを準備し、
前記移動体に、その前方を運転用の広画角で撮影する広角カメラと、前記前方を注視用の高倍率で撮影する高倍率カメラと、前記前方の注視地点の注視用画像を抽出する制御装置とを設置し、
前記制御装置により、道なりライン上、又は、地図情報から抽出された地図経路上であって、現在の走行速度で停止可能な地点を前記注視地点として算出し、
前記遠隔操縦装置の表示部に、前記広角カメラによる運転用画像と、前記注視用画像を同時に表示する、ことを特徴とする遠隔操縦方法が提供される。
Further, according to the present invention, a mobile body capable of traveling on the ground and a remote control device for remotely controlling the mobile body are prepared,
A control for extracting a gaze image of the front gaze point on the moving body, a wide angle camera that shoots the front with a wide angle of view for driving, a high magnification camera that shoots the front with a high magnification for gaze Set up the equipment and
By the control device, on the road line or on the map route extracted from the map information, a point that can be stopped at the current traveling speed is calculated as the gaze point,
There is provided a remote control method characterized in that an image for driving by the wide-angle camera and the image for gazing are simultaneously displayed on a display unit of the remote control device.
本発明によれば、遠隔操縦装置が、広角カメラによる運転用画像と、注視用画像を同時に表示する表示部を有するので、操縦者は運転用画像による遠隔操縦に集中しながら、同時に注視用画像により遠方の路面状況を適切に確認することができる。 According to the present invention, since the remote control device has the display unit that displays the driving image by the wide-angle camera and the gaze image at the same time, the driver concentrates on the remote control by the driving image and at the same time the gaze image. It is possible to appropriately confirm the road surface condition in the distance.
また制御装置は、道なりライン上、又は、地図情報から抽出された地図経路上であって、現在の走行速度で停止可能な地点を注視地点として算出するので、操縦者は、移動体(例えば移動ロボット)の走行中に、高倍率カメラの視野方向の調整を同時に行う必要がなく、移動体の遠隔操縦に集中することができる。 In addition, since the control device calculates a point on the road line or on the map route extracted from the map information that can be stopped at the current traveling speed as the gaze point, the driver can move the vehicle (for example, During the traveling of the mobile robot), it is not necessary to adjust the viewing direction of the high magnification camera at the same time, and it is possible to concentrate on the remote control of the moving body.
従って、注視用画像により遠方の路面状況を容易に確認できるため、安全性の向上と共に遠隔操縦による走行速度を高めることができる。 Therefore, since the distant road surface condition can be easily confirmed from the gaze image, the safety can be improved and the traveling speed by remote control can be increased.
以下、本発明の好ましい実施形態を添付図面に基づいて詳細に説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In addition, the same code | symbol is attached | subjected to the common part in each figure, and the overlapping description is abbreviate | omitted.
図1は、本発明による遠隔操縦システムの全体構成図であり、図2は図1のブロック図である。
図1において、本発明の遠隔操縦システムは、地上を走行可能な移動体10と、移動体10を遠隔操縦する遠隔操縦装置30とを備える。この例において、移動体10は、例えば移動ロボット、自律走行可能な半自律走行車、遠隔操縦可能な無人作業車、などである。
FIG. 1 is an overall configuration diagram of a remote control system according to the present invention, and FIG. 2 is a block diagram of FIG.
In FIG. 1, the remote control system of the present invention includes a moving
図1、図2において、移動体10は、LRF11(レーザレンジファインダ)、ステレオカメラ12、GPS13、広角カメラ15、高倍率カメラ16、雲台17、車両18、車載通信機19、及び制御装置20を備える。
1 and 2, the moving
LRF11(レーザレンジファインダ)は、レーザ光を用いて進行方向における地形の凹凸を検出し、移動体10の進行方向前方の障害物4の位置を検出する。
ステレオカメラ12は、進行方向における地形の凹凸を2つのカメラで検出し、移動体10の進行方向前方の障害物4の位置を検出する。
なお、LRF11とステレオカメラ12は、移動体10の進行方向前方の障害物4の位置を検出できる限りで、いずれか一方のみでもよい。
The LRF 11 (laser range finder) detects unevenness of the terrain in the traveling direction using laser light, and detects the position of the
The
Note that either one of the LRF 11 and the
GPS13は、静止衛星と通信して移動体10の現在位置を検出する。
The
広角カメラ15は、移動体10の前方を運転用の広画角で撮影し、運転用画像G1を出力する。この広画角は、移動体10の進行方向前方をほとんど死角なく確認できる画角であるのがよい。
この広画角は、例えば移動体10の遠隔操縦に適した例えば120〜46度の水平画角である。すなわち、広角カメラ15は、35mm換算で例えば16mm〜50mmの焦点距離の広角レンズ15aを有するのがよい。
The wide-
This wide angle of view is a horizontal angle of view of, for example, 120 to 46 degrees suitable for remote control of the
高倍率カメラ16は、移動体10の前方を注視用の高倍率で撮影し、注視用画像G2を出力する。この高倍率の画角は、注視地点8の路面状況の確認に適した例えば28〜18度の水平画角であるのがよい。
すなわち、高倍率カメラ16は、35mm換算で例えば80mm〜135mmの焦点距離のズームレンズ16aを有するのがよい。なおズームレンズ16aの焦点距離は、自動又は手動で変化させてもよく、あるいは一定であってもよい。
The high-
That is, the high-
なお、ズームレンズ16aの代わりにデジタルズームを用いてもよい。この場合、高倍率カメラ16の画像の一部を拡大して注視用画像G2を出力する。拡大率は、自動又は手動で変化させてもよく、あるいは一定であってもよい。
また、広角カメラ15の運転用画像G1の一部を拡大して注視用画像G2を出力してもよい。この場合、高倍率カメラ16を省略することができる。
A digital zoom may be used instead of the
Alternatively, a part of the driving image G1 of the wide-
雲台17は、移動体10の前方の注視地点8(図3参照)を撮影するように高倍率カメラ16の姿勢を制御する。雲台17は、電動で、高倍率カメラ16のパン角とチルト角を制御する。
なお、デジタルズームを用いる場合には、雲台17を省略してもよい。
The
Note that when the digital zoom is used, the
車両18は、移動速度測定用の車速パルス18a、操舵用アクチュエータ18b、ブレーキ/アクセル用アクチュエータ18c、車輪18dを含む。
車両18は、遠隔操縦装置30からの指令により走行し、車速パルス18aにより車速を検出し、操舵用アクチュエータ18bにより操舵し、ブレーキ/アクセル用アクチュエータ18cにより車速を減速又は加速できるようになっている。
なお、車両18は、車輪18dの代わりにクローラを備えてもよい。
The
The
The
車載通信機19は、遠隔操縦装置30と通信して、移動体10の情報を発信し、遠隔操縦装置30からの指令データを受信する。
The in-
図2において、制御装置20は、制御用コンピュータ(PC)であり、道なり認識部22、注視地点算出部24、画像処理部26、及び走行制御部28を有する。
制御装置20は、前方の注視地点8の注視用画像G2を抽出する。
In FIG. 2, the
The
道なり認識部22は、図3に示すように、走行可能領域内に位置して走行可能領域2の境界3に接する複数の内接円6の中心を通過する道なりライン5を算出する。道なりライン5は、注視地点算出部24と車載通信機19に出力される。
As shown in FIG. 3, the
注視地点算出部24は、図3に示すように、道なりライン5、又は、地図情報から抽出された地図経路上であって、現在の走行速度で停止可能な地点を注視地点8として算出する。注視地点8は、雲台17に出力される。
As shown in FIG. 3, the gaze
画像処理部26は、図4に示すように、広角カメラ15による運転用画像G1と、高倍率カメラ16による注視用画像G2を同時に重畳表示する重畳画像G3を作成し車載通信機19に出力する。
なお、画像処理部26による重畳画像G3の作成は必須ではない。すなわち、画像処理部26は、重畳画像G3を作成せずに、運転用画像G1と注視用画像G2を車載通信機19に出力してもよい。
As shown in FIG. 4, the
Note that the creation of the superimposed image G3 by the
走行制御部28は、遠隔操縦装置30からの指令データに基づき、車両18の操舵角及び速度を制御する。
The
上述した車載通信機19から発信される移動体10の情報は、移動体10の現在位置、障害物4の位置、運転用画像G1、注視用画像G2、重畳画像G3、高倍率カメラ16のパン角とチルト角、車速などの一部又は全部である。
The information on the moving
図1、図2において、遠隔操縦装置30は、表示部31(ディスプレイ)、ABレバー32、Cレバー33、遠隔制御部34、及び遠隔通信機35を備える。
1 and 2, the
表示部31(ディスプレイ)は、広角カメラ15による運転用画像G1と、高倍率カメラ16による注視用画像G2を同時に重畳表示する。
なお、車載通信機19から発信される移動体10の情報に重畳画像G3が含まれる場合には、重畳画像G3をそのまま表示してもよい。
The display unit 31 (display) simultaneously superimposes and displays the driving image G1 from the wide-
In addition, when the superimposed image G3 is included in the information of the moving
ABレバー32は、アクセル/ブレーキレバーであり、ブレーキ/アクセル用アクチュエータ18cにより移動体10の走行速度を増減するための操作レバーである。例えば、ABレバー32を前方に傾動操作すると走行速度が増加し、後方に傾動操作すると走行速度が減少する。
The
Cレバー33は、操舵用アクチュエータ18bにより移動体10の進行方向を操作するジョイスティックである。例えば、Cレバー33を左方に傾動操作すると移動体10が左方向に旋回し、また、右方に傾動操作すると右方向に旋回する。
The
遠隔制御部34は、制御用コンピュータ(PC)であり、ABレバー32及びCレバー33の操作量を指令データに変換し遠隔通信機35に出力する。また、遠隔制御部34は、重畳画像G3を表示部31(ディスプレイ)に出力する。
なお、車載通信機19から発信される移動体10の情報が重畳画像G3を含まない場合には、遠隔制御部34は、運転用画像G1と注視用画像G2から重畳画像G3を作成する。
The
In addition, when the information of the
遠隔通信機35は、移動体10と通信して、移動体10の情報を受信し、遠隔操縦装置30からの指令データを送信する。
遠隔操縦装置30からの指令データは、例えばABレバー32及びCレバー33の操作量の指令データである。
The
The command data from the
図3は、道なりライン5と注視地点8の説明図である。
この図は、移動体10の現在位置近傍の局所地図1である。局所地図1は、移動体10を下端に含む2次元地図である。
FIG. 3 is an explanatory diagram of the road line 5 and the gaze point 8.
This figure is a local map 1 in the vicinity of the current position of the
図3において、2は移動体10の走行可能領域(例えば車道)、3は走行可能領域2の境界(例えば車道の両端)、4は走行可能領域2に存在する障害物である。
なお、この図では走行可能領域2の外側に位置する障害物4(例えば樹木など)は省略している。
In FIG. 3, 2 is a travelable region (for example, a roadway) of the
In this figure, an obstacle 4 (for example, a tree) located outside the travelable
図3の局所地図1は、移動体10の現在位置と、移動体10に設けたLRF11(レーザレンジファインダ)又はステレオカメラ12により検出した障害物4とに基づいて作成することができる。
また、局所地図1は、カーナビのような地図情報から抽出してもよい。
The local map 1 in FIG. 3 can be created based on the current position of the moving
The local map 1 may be extracted from map information such as car navigation.
図3において、道なりライン5は、走行可能領域2において、走行可能領域2の境界3に接する複数の内接円6の中心を通過するライン(実線の折れ線)である。道なりライン5に沿って移動体10を走行させることで、移動体10と障害物4との衝突を避けることができる。
一方、この図において、7はカーナビの地図情報から抽出された地図経路(破線の曲線)である。地図経路7は、障害物4の存在を考慮せずに、設定されている。そのため、移動体10と障害物4との衝突を避けるように遠隔操縦する必要がある。
In FIG. 3, the road line 5 is a line (solid broken line) that passes through the centers of a plurality of inscribed circles 6 in contact with the
On the other hand, in this figure, 7 is a map route (broken curve) extracted from the map information of the car navigation system. The
注視地点8は、道なりライン5、又は、地図情報から抽出された地図経路7上であって、現在の走行速度Vで停止可能な地点である。
現在の走行速度Vで停止可能な停止距離Lは、式(1)で表される。
停止距離L=V×t+V2/(2×μ×G)・・・(1)
The gaze point 8 is a point on the road line 5 or the
The stop distance L that can be stopped at the current travel speed V is expressed by Expression (1).
Stop distance L = V × t + V 2 / (2 × μ × G) (1)
ここで、tは制動遅れ時間、μは路面の動摩擦係数、Gは重力加速度である。
制動遅れ時間tは、移動体10の制動信号が出力されてから、移動体10の制動装置(ブレーキ)が作動開始するまでの時間である。
制動遅れ時間tは、一定値(例えば0.1〜0.3sec)である。
動摩擦係数μは、例えば0.1〜0.9であり、路面状況により変化する。動摩擦係数μは、自動的に設定しても適宜設定してもよい。また、動摩擦係数μを安全側の一定値に設定してもよい。
また、式(1)において、現在の走行速度Vを移動体10の最高速度に置き換えてもよい。さらに、停止距離Lを任意に設定してもよい。
Here, t is the braking delay time, μ is the dynamic friction coefficient of the road surface, and G is the gravitational acceleration.
The braking delay time t is the time from when the braking signal of the moving
The braking delay time t is a constant value (for example, 0.1 to 0.3 sec).
The dynamic friction coefficient μ is, for example, 0.1 to 0.9 and varies depending on the road surface condition. The dynamic friction coefficient μ may be set automatically or appropriately. Further, the dynamic friction coefficient μ may be set to a constant value on the safe side.
In the formula (1), the current traveling speed V may be replaced with the maximum speed of the moving
図3において、道なりライン上の注視地点8aと、地図経路7上の注視地点8bとは、位置が相違する。これは、道なりライン5は走行可能領域2に存在する障害物4を考慮して設定されるのに対して、地図経路7は障害物4を考慮していないためである。
なお、本発明では、注視地点8a,8bは、高倍率カメラ16で撮影して運転用画像G1と共に注視用画像G2として表示部31に重畳表示されるので、操縦者は障害物4の存在を早期に認識し、障害物4を回避する操作(迂回操作又は停止操作)を確実に行うことができる。
In FIG. 3, the
In the present invention, the gaze points 8a and 8b are captured by the high-
図4は、本発明による表示部31の画像の模式図である。
上述したように、表示部31(ディスプレイ)は、広角カメラ15による運転用画像G1と、高倍率カメラ16による注視用画像G2を同時に重畳表示した重畳画像G3を表示する。
この場合、図に示すように、表示部31は、運転用画像G1の水平線より上部に、注視用画像G2を重畳表示する、ことが好ましい。
なお、本発明において、「重畳表示」とは、運転用画像G1の一部に重ねて、その前面に注視用画像G2を表示することを意味する。その重畳部分は、任意に変更できることが好ましい。また、重畳表示を解除して並列表示してもよい。
FIG. 4 is a schematic diagram of an image of the
As described above, the display unit 31 (display) displays the superimposed image G3 in which the driving image G1 from the wide-
In this case, as shown in the drawing, it is preferable that the
In the present invention, “superimposed display” means that the gaze image G2 is displayed on the front surface of the driving image G1 so as to overlap the part. It is preferable that the overlapping portion can be arbitrarily changed. Alternatively, the superimposed display may be canceled and displayed in parallel.
本発明による遠隔操縦方法は、上述した移動体10と遠隔操縦装置30とを準備し、移動体10に、上述した広角カメラ15と制御装置20を設置する。なお、高倍率カメラ16と雲台17も設置することが好ましい。
次いで、遠隔操縦装置30の表示部31に、広角カメラ15による運転用画像G1と、注視用画像G2とを同時に表示する。注視用画像G2は、高倍率カメラ16による画像であることが好ましいが、広角カメラ15の運転用画像G1の一部を拡大して注視用画像G2を出力してもよい。
また、運転用画像G1と注視用画像G2は、運転用画像G1の水平線より上部に、注視用画像G2を重畳表示することが好ましいが、並列表示してもよい。
In the remote control method according to the present invention, the above-described moving
Next, the driving image G1 and the gaze image G2 from the wide-
Further, the driving image G1 and the gaze image G2 are preferably displayed in a superimposed manner on the upper side of the horizontal line of the driving image G1, but the gaze image G2 may be displayed in parallel.
上述した本発明によれば、遠隔操縦装置30が、広角カメラ15による運転用画像G1と、注視用画像G2を同時に重畳表示する表示部31を有するので、操縦者は運転用画像G1による遠隔操縦に集中しながら、同時に注視用画像G2により遠方の路面状況を適切に確認することができる。
According to the above-described present invention, the
また制御装置20は、道なりライン上、又は、地図情報から抽出された地図経路上であって、現在の走行速度で停止可能な地点を注視地点8,8a,8bとして算出するので、操縦者は、移動体10(例えば移動ロボット)の走行中に、高倍率カメラ16の視野方向の調整を同時に行う必要がなく、移動体10の遠隔操縦に集中することができる。
Further, the
従って、注視用画像G2により遠方の路面状況を容易に確認できるため、安全性の向上と共に遠隔操縦による走行速度を高めることができる。 Therefore, the distant road surface condition can be easily confirmed from the gaze image G2, so that the safety can be improved and the traveling speed by remote control can be increased.
なお本発明は上述した実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更を加え得ることは勿論である。 Note that the present invention is not limited to the above-described embodiment, and it is needless to say that various modifications can be made without departing from the gist of the present invention.
G1 運転用画像、G2 注視用画像、G3 重畳画像、L 停止距離、
1 局所地図、2 走行可能領域、3 境界、4 障害物、5 道なりライン、
6 内接円、7 地図経路、8,8a,8b 注視地点、
10 移動体(移動ロボット)、11 LRF(レーザレンジファインダ)、
12 ステレオカメラ、13 GPS、15 広角カメラ、15a 広角レンズ、
16 高倍率カメラ、16a ズームレンズ、17 雲台、18 車両、
18a 車速パルス、18b 操舵用アクチュエータ、
18c ブレーキ/アクセル用アクチュエータ、18d 車輪、19 車載通信機、
20 制御装置、22 道なり認識部、24 注視地点算出部、26 画像処理部、
28 走行制御部、30 遠隔操縦装置、31 表示部(ディスプレイ)、
32 ABレバー(アクセル/ブレーキレバー)、
33 Cレバー(ジョイスティック)、34 遠隔制御部、35 遠隔通信機
G1 driving image, G2 gaze image, G3 superimposed image, L stop distance,
1 local map, 2 driving area, 3 boundaries, 4 obstacles, 5 road lines,
6 inscribed circle, 7 map route, 8, 8a, 8b gaze point,
10 mobile body (mobile robot), 11 LRF (laser range finder),
12 stereo camera, 13 GPS, 15 wide-angle camera, 15a wide-angle lens,
16 high magnification camera, 16a zoom lens, 17 pan head, 18 vehicle,
18a Vehicle speed pulse, 18b Steering actuator,
18c Brake / accelerator actuator, 18d wheel, 19 vehicle-mounted communication device,
20 control device, 22 road recognition unit, 24 gaze point calculation unit, 26 image processing unit,
28 travel control unit, 30 remote control device, 31 display unit (display),
32 AB lever (accelerator / brake lever),
33 C lever (joystick), 34 Remote control unit, 35 Remote communication device
Claims (8)
前記移動体は、その前方を運転用の広画角で撮影する広角カメラと、前記前方の注視地点の注視用画像を抽出する制御装置とを有しており、
前記遠隔操縦装置は、前記広角カメラによる運転用画像と、前記注視用画像を同時に表示する表示部を有し、
前記制御装置は、道なりライン上、又は、地図情報から抽出された地図経路上であって、現在の走行速度で停止可能な地点を前記注視地点として算出する、ことを特徴とする遠隔操縦システム。 A moving body capable of traveling on the ground, and a remote control device for remotely controlling the moving body,
The moving body includes a wide-angle camera that captures the front of the vehicle with a wide angle of view for driving, and a control device that extracts a gaze image of the front gaze point,
The remote control device has a display unit for simultaneously displaying the driving image by the wide-angle camera and the gaze image,
The control device calculates a point on the road line or on a map route extracted from map information, which can be stopped at the current traveling speed, as the gaze point. .
前記道なり認識部は、走行可能領域内に位置して走行可能領域の境界に接する複数の内接円の中心を通過する前記道なりラインを算出する、ことを特徴とする請求項1に記載の遠隔操縦システム。 The control device has a road recognition unit,
The roadside recognition unit calculates the roadline that passes through the centers of a plurality of inscribed circles that are located in the travelable area and touch the boundary of the travelable area. Remote control system.
前記高倍率の画角は、前記注視地点の路面状況の確認に適した水平画角である、ことを特徴とする請求項2に記載の遠隔操縦システム。 The wide angle of view is a horizontal angle of view suitable for remote control of the mobile body,
The remote control system according to claim 2, wherein the high-power angle of view is a horizontal angle of view suitable for confirming a road surface condition of the gaze point.
前記高倍率カメラは、前記高倍率のズームレンズを有する、ことを特徴とする請求項2に記載の遠隔操縦システム。 The wide-angle camera has the wide-angle lens with the wide angle of view,
The remote control system according to claim 2, wherein the high-magnification camera includes the high-magnification zoom lens.
前記移動体に、その前方を運転用の広画角で撮影する広角カメラと、前記前方を注視用の高倍率で撮影する高倍率カメラと、前記前方の注視地点の注視用画像を抽出する制御装置とを設置し、
前記制御装置により、道なりライン上、又は、地図情報から抽出された地図経路上であって、現在の走行速度で停止可能な地点を前記注視地点として算出し、
前記遠隔操縦装置の表示部に、前記広角カメラによる運転用画像と、前記注視用画像を同時に表示する、ことを特徴とする遠隔操縦方法。 Preparing a moving body capable of traveling on the ground and a remote control device for remotely controlling the moving body;
A control for extracting a gaze image of the front gaze point on the moving body, a wide angle camera that shoots the front with a wide angle of view for driving, a high magnification camera that shoots the front with a high magnification for gaze Set up the equipment and
By the control device, on the road line or on the map route extracted from the map information, a point that can be stopped at the current traveling speed is calculated as the gaze point,
The remote control method characterized by simultaneously displaying the driving image by the wide-angle camera and the gaze image on the display unit of the remote control device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015137720A JP6614607B2 (en) | 2015-07-09 | 2015-07-09 | Remote control system and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015137720A JP6614607B2 (en) | 2015-07-09 | 2015-07-09 | Remote control system and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017021517A true JP2017021517A (en) | 2017-01-26 |
JP6614607B2 JP6614607B2 (en) | 2019-12-04 |
Family
ID=57888144
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015137720A Active JP6614607B2 (en) | 2015-07-09 | 2015-07-09 | Remote control system and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6614607B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018159315A1 (en) * | 2017-02-28 | 2018-09-07 | パナソニックIpマネジメント株式会社 | Remote-operation apparatus, remote-operation method, and remote-operation program |
WO2019225390A1 (en) * | 2018-05-24 | 2019-11-28 | 株式会社豊田自動織機 | Remote operation system for forklift |
WO2022085588A1 (en) * | 2020-10-20 | 2022-04-28 | avatarin株式会社 | System, terminal, and program |
EP4060129A1 (en) | 2021-03-19 | 2022-09-21 | Kobelco Construction Machinery Co., Ltd. | Remote operation support system and remote operation support method |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0629285U (en) * | 1992-09-11 | 1994-04-15 | フオトニクス株式会社 | Composite video camera equipment |
JP2006113858A (en) * | 2004-10-15 | 2006-04-27 | Mitsubishi Heavy Ind Ltd | Method and system for supporting remote operation for mobile object |
JP2007292545A (en) * | 2006-04-24 | 2007-11-08 | Nissan Motor Co Ltd | Apparatus and method for route guidance |
WO2009107199A1 (en) * | 2008-02-26 | 2009-09-03 | 富士通株式会社 | Image processor, image processing method, image processing program and on-vehicle terminal |
JP2010152835A (en) * | 2008-12-26 | 2010-07-08 | Ihi Aerospace Co Ltd | Unmanned mobile body system |
JP2010167893A (en) * | 2009-01-22 | 2010-08-05 | Denso Corp | Vehicle periphery display device |
JP2012145998A (en) * | 2011-01-07 | 2012-08-02 | Ihi Aerospace Co Ltd | Autonomous traveling body |
WO2013161028A1 (en) * | 2012-04-26 | 2013-10-31 | パイオニア株式会社 | Image display device, navigation device, image display method, image display program and recording medium |
JP2014071655A (en) * | 2012-09-28 | 2014-04-21 | Mitsubishi Heavy Ind Ltd | Image processor for remote control, remote control system, and image processing method for remote control |
JP2015001869A (en) * | 2013-06-17 | 2015-01-05 | 株式会社Ihiエアロスペース | Remote control system of unmanned movable body and unmanned movable body |
-
2015
- 2015-07-09 JP JP2015137720A patent/JP6614607B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0629285U (en) * | 1992-09-11 | 1994-04-15 | フオトニクス株式会社 | Composite video camera equipment |
JP2006113858A (en) * | 2004-10-15 | 2006-04-27 | Mitsubishi Heavy Ind Ltd | Method and system for supporting remote operation for mobile object |
JP2007292545A (en) * | 2006-04-24 | 2007-11-08 | Nissan Motor Co Ltd | Apparatus and method for route guidance |
WO2009107199A1 (en) * | 2008-02-26 | 2009-09-03 | 富士通株式会社 | Image processor, image processing method, image processing program and on-vehicle terminal |
JP2010152835A (en) * | 2008-12-26 | 2010-07-08 | Ihi Aerospace Co Ltd | Unmanned mobile body system |
JP2010167893A (en) * | 2009-01-22 | 2010-08-05 | Denso Corp | Vehicle periphery display device |
JP2012145998A (en) * | 2011-01-07 | 2012-08-02 | Ihi Aerospace Co Ltd | Autonomous traveling body |
WO2013161028A1 (en) * | 2012-04-26 | 2013-10-31 | パイオニア株式会社 | Image display device, navigation device, image display method, image display program and recording medium |
JP2014071655A (en) * | 2012-09-28 | 2014-04-21 | Mitsubishi Heavy Ind Ltd | Image processor for remote control, remote control system, and image processing method for remote control |
JP2015001869A (en) * | 2013-06-17 | 2015-01-05 | 株式会社Ihiエアロスペース | Remote control system of unmanned movable body and unmanned movable body |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018159315A1 (en) * | 2017-02-28 | 2018-09-07 | パナソニックIpマネジメント株式会社 | Remote-operation apparatus, remote-operation method, and remote-operation program |
JP2018140755A (en) * | 2017-02-28 | 2018-09-13 | パナソニックIpマネジメント株式会社 | Remote control device, remote control method, and remote control program |
US11054821B2 (en) | 2017-02-28 | 2021-07-06 | Panasonic Intellectual Property Management Co., Ltd. | Remote-operation apparatus and remote-operation method |
WO2019225390A1 (en) * | 2018-05-24 | 2019-11-28 | 株式会社豊田自動織機 | Remote operation system for forklift |
JP2019204353A (en) * | 2018-05-24 | 2019-11-28 | 株式会社豊田自動織機 | Remote operation system for forklift |
WO2022085588A1 (en) * | 2020-10-20 | 2022-04-28 | avatarin株式会社 | System, terminal, and program |
JP2022067459A (en) * | 2020-10-20 | 2022-05-06 | avatarin株式会社 | System, terminal and program |
JP7514161B2 (en) | 2020-10-20 | 2024-07-10 | avatarin株式会社 | System, terminal and program |
EP4060129A1 (en) | 2021-03-19 | 2022-09-21 | Kobelco Construction Machinery Co., Ltd. | Remote operation support system and remote operation support method |
US12043982B2 (en) | 2021-03-19 | 2024-07-23 | Kobelco Construction Machinery Co., Ltd. | Remote operation support system and remote operation support method |
Also Published As
Publication number | Publication date |
---|---|
JP6614607B2 (en) | 2019-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3272586B1 (en) | Work vehicle | |
JP7150274B2 (en) | Autonomous vehicles with improved visual detection capabilities | |
JP5536125B2 (en) | Image processing apparatus and method, and moving object collision prevention apparatus | |
US9518829B2 (en) | Driving assistance system, vehicle and method | |
US9763377B2 (en) | Running system of work vehicle | |
US10471904B2 (en) | Systems and methods for adjusting the position of sensors of an automated vehicle | |
JP4749958B2 (en) | Driving assistance device | |
EP3995782A1 (en) | Systems and methods for estimating future paths | |
JP4665581B2 (en) | Direction change support system | |
JP6614607B2 (en) | Remote control system and method | |
JP5382770B2 (en) | Unmanned mobile system | |
JP2007272350A (en) | Driving support device for vehicle | |
JP2010149723A (en) | Parking assist device | |
JP2011043884A (en) | Remote control system for semi-autonomous unmanned vehicle | |
CN109968977B (en) | Display system | |
JP2017061264A (en) | Steering control device for vehicle | |
JP2016181119A (en) | System for presenting situation surrounding mobile machine | |
US11774981B2 (en) | Driver aid and autonomous tractor-trailer parking and loading dock alignment system | |
JP5429986B2 (en) | Mobile robot remote environment recognition apparatus and method | |
KR20130015739A (en) | Method for autonomous movement based on driver state and apparatus threof | |
JP2020154624A (en) | Traffic control system of automated driving vehicle | |
JP2019101765A (en) | Tracking image presentation system for moving object | |
JP2020175890A (en) | Work vehicle | |
JP2020053950A (en) | Vehicle stereo camera device | |
KR20200010994A (en) | In-vehicle infotainment system communicating with unmanned ariel vehicle and method of operating the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180524 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190717 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191018 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191030 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6614607 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |