JP7128409B2 - 遠隔制御装置、遠隔制御システム、遠隔制御方法及び遠隔制御プログラム - Google Patents
遠隔制御装置、遠隔制御システム、遠隔制御方法及び遠隔制御プログラム Download PDFInfo
- Publication number
- JP7128409B2 JP7128409B2 JP2018122538A JP2018122538A JP7128409B2 JP 7128409 B2 JP7128409 B2 JP 7128409B2 JP 2018122538 A JP2018122538 A JP 2018122538A JP 2018122538 A JP2018122538 A JP 2018122538A JP 7128409 B2 JP7128409 B2 JP 7128409B2
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- area
- controlled
- remote control
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Selective Calling Equipment (AREA)
Description
きる。また、待機領域内において中央から所定距離離間した位置に配置される前進領域に視線を移すことにより、制御対象の移動物体を前進させることができる。このような位置関係で設けられる領域によれば、ユーザは、前進領域から周囲のいずれかの方向に視線を移すだけで制御対象の移動物体を待機させることができ、安全性が高まるとともに、視線による遠隔制御の操作性を向上させることができる。
r=ltanθ
図1は、本実施形態に係る遠隔操作装置を備える遠隔操作システムの一例を示す構成図である。図1に示す遠隔操作システム1は、制御装置2と、表示装置3と、視線検出装置4と、コントローラ5と、マルチコプター6とを含む。遠隔操作システム1は、ユーザの視線に基づいて操作対象の移動物体を遠隔操作するためのシステムである。マルチコプター6は、複数の回転翼を有する回転翼機であり、本実施形態における操作対象の移動物体である。また、マルチコプター6は、デジタルカメラ等の撮像装置を備えており、例えばコントローラ5を介して表示装置3へ撮像した画像を表示させることができる。コントローラ5は、マルチコプター6の動作を無線により遠隔操作するための送信機である。表示装置3は、マルチコプター6が備える撮像装置から、例えば制御装置2を介して撮像データを取得し、表示する。視線検出装置4は、例えば赤外線を撮像するカメラを備え、ユーザの目の動きに基づいて視線を検出する。制御装置2は、表示装置3上においてユーザが注視(又は固視)している部分である注視点を示す情報を視線検出装置4から取得し、注視点の位置に応じて、マルチコプター6を操作するための信号をコントローラ5に出力させる。
図2は、遠隔操作システムの一例を示す機能ブロック図である。図2の遠隔操作システム1は、上述した制御装置2と、表示装置3と、視線検出装置4と、コントローラ5と、マルチコプター6とを含む。
マートフォン、タブレット等である。また、制御装置2は、通信インターフェース(I/F)21と、記憶装置22と、入出力装置23と、プロセッサ24とを備え、これらがバス25を介して接続されている。通信I/F21は、Wi-Fi(登録商標)やBluetooth(登録商標)、その他のRF(Radio Frequency)信号を用いて通信を行うた
めの無線モジュールや、有線のネットワークカード、パラレルポート、シリアルポート等であり、他の装置と所定のプロトコルに基づいて通信を行う。記憶装置22は、RAM(Random Access Memory)やROM(Read Only Memory)等の主記憶装置及びHDD(Hard-disk Drive)やSSD(Solid State Drive)、フラッシュメモリ等の補助記憶装置(二次記憶装置)である。主記憶装置は、プロセッサ24が読み出したプログラムを一時的に記憶したり、プロセッサ24の作業領域を確保したりする。補助記憶装置は、プロセッサ24が実行するプログラム等を記憶する。入出力装置23は、例えばキーボードやマウス、タッチパネル等のユーザインターフェースである。なお、入出力装置23が、表示装置3を兼ねていてもよい。プロセッサ24は、CPU(Central Processing Unit)等の演
算処理装置であり、プログラムを実行することにより本実施の形態で説明する各処理を行う。また、図2の例では、プロセッサ24内に機能ブロックを示している。具体的には、プロセッサ24は、操作検出部241と、信号出力制御部242とを含む。操作検出部241は、通信I/F21を介して視線検出装置4からユーザの視線の動きに関する情報を取得し、注視点の位置に応じてユーザによる操作の指示を検出する。信号出力制御部242は、注視点の位置に応じた操作の指示に基づいて、マルチコプター6を操作するための信号の出力を指示するための情報を、入出力装置23を介してコントローラ5へ送信する。
方向又は右方向に、その場で水平に回転する。本実施形態では、これらの動作の種類が一部に制限されていてもよく、速度は一定としてもよい。また、通信I/F52は、例えばアンテナを含み、マルチコプター6に対し、所定の動作を指示するための無線信号を送信したり、マルチコプター6が撮像する映像を制御装置2へ中継したりする。
援するための情報を取得する。撮像装置64は、例えばデジタルビデオカメラであり、撮像素子によって可視光を画像データに変換し、継続的に出力する。制御部65は、通信I/F61を介してコントローラ5から飛行動作等の指示を示す信号を受け、ロータ62の回転を制御する。このとき、センサ63が出力する情報を用いて飛行を安定させるようにしてもよい。
図3は、遠隔操作システムが行う前処理の一例を示す処理フロー図である。本システムは、起動時に図3に示すような処理を行う。各装置が起動すると、例えば視線検出装置のキャリブレーションが行われる(図3:S1)。本ステップでは、ユーザの視線を適切に検出できるよう較正される。また、マルチコプター6とコントローラ5とは、所定の無線通信方式による接続を確立する(S2)。また、視線検出装置4と制御装置2とは、所定の無線又は有線による通信方式で接続を確立する(S3)。また、コントローラ5と制御装置2との間でも、所定の無線又は有線による通信方式で接続を確立する(S4)。なお、S1~S4の処理を行う順序はいずれであってもよく、並列に実行するようにしてもよい。
部242から、マルチコプター6の操作を指示するためのデータを受信する(S23)。そして、コントローラ5は、通信I/F52を介してマルチコプター6へ操作を指示する信号を送信する(S24)。また、コントローラ5は、動作を継続するか判断する(S26)。本ステップでは、例えばユーザから動作終了の指令を受けた場合等に、動作を終了すると判断する。動作を継続する場合(S25:YES)は、S21に戻って処理を繰り返す。一方、動作を継続しない場合(S25:NO)は、処理を終了する。
機領域321の中央よりも下方に設けられている。また、待機領域321の外側であって、待機領域321の左側に配置された領域323は、マルチコプター6に対して左方向への水平回転を指示するための左回転領域である。図9の例では、正円である待機領域321の左側に接する接線を境界として、当該接線の左側に左回転領域323が設けられている。また、待機領域321の外側であって、待機領域321の右側に配置された領域324は、マルチコプター6に対して右方向への水平回転を指示するための右回転領域である。図9の例では、待機領域321の右側に接する接線を境界として、当該接線の右側に右回転領域324が設けられている。また、待機領域321の外側であって、待機領域321の上方に配置された領域325は、マルチコプター6対して上昇を指示するための上昇領域である。図9の例では、待機領域321と、待機領域321の左側に接する接線と、待機領域321の右側に接する接線と、表示部32の上部の縁とで囲まれるように、上昇領域325が設けられている。また、待機領域321の外側であって、待機領域321の下方に配置された領域326は、マルチコプター6対して下降を指示するための下降領域である。図9の例では、待機領域321と、待機領域321の左側に接する接線と、待機領域321の右側に接する接線と、表示部32の下部の縁とで囲まれるように、下降領域326が設けられている。なお、操作領域の境界は、例えば制御装置2が表示装置3に表示させる映像に重畳して出力するようにしてもよいし、操作領域の境界を透明なシートやパネル等に表示させたものを表示装置3の表示部32に重ねて貼付してもよい。
置2が動作を終了する前に、マルチコプター6を着陸させるものとする。動作を継続する場合(S55:YES)、S51に戻って処理を繰り返す。一方、動作を継続しない場合(S55:NO)は、処理を終了する。
図13及び図14は、表示装置上に設定される操作領域の位置及び大きさを説明するための図である。本実施形態においては、人間の視野及び眼球運動に基づいて操作領域を設定している。図13は、ユーザの視点(眼球)と、表示部32上の注視点との関係を示している。一般的に、物体の形状等を高い解像力で人間が識別するためには、視角が1~2度程度の網膜中心部位に網膜像を映じるような中心視による必要がある。本実施形態では、操作領域(例えば前進領域322)の大きさを、少なくとも中心視によって捉えられる範囲程度の大きさとする。
視微動)という眼球運動が生じる。マイクロサッケードは、視線の振幅が1~2度程度の非随意的に生じる運動である。また、ばらつきはあるが、平均速度は10度/秒程度、頻度は1~3Hz程度である。視線検出装置4が、マイクロサッケードによる視線の変化を検出できるような場合、操作領域の配置又は大きさによっては、マイクロサッケードの影響でユーザは意識せずに誤操作を起こすおそれがある。そこで、本実施形態では、マイクロサッケードによってもユーザが注視している領域を外れないような配置及び大きさで、操作領域を設定する。
r=ltanθ ・・・(1)
例えば、lは550mmとし、θを2度とすると、rは19.2mmである。
ユーザと表示装置3の表示部32との距離lを550mm、前進領域322の半径rを19.2mm、待機領域321の半径5rを96.0mmとして、上述の実施の形態に示す操作領域を設定した。また、被験者は、20歳代の成人12名であり、本システムを初めて使用する者である。本システムを用いて被験者にマルチコプターを遠隔操作させた結果、12名中、1名は、1回目の飛行でマルチコプターを墜落させたが、2回目の飛行では墜落させることなく所定の区間を飛行させることができた。また、他の11名はマルチコプターを墜落させることなく所定の区間を飛行させることができた。
図15は、操作領域の配置の変形例を示す図である。本変形例においては、待機領域321及び前進領域322の形状を楕円とする。この形状は、両眼視における人間の視野に近づけたものであり、表示装置3の表示部32の横方向に長軸をとり、縦方向に短軸をとっている。また、単軸と長軸との比率も例えば視野に合わせる等して適宜決定することができる。
い。例えば、前進領域322の短軸の長さrは、上述した中心視可能な範囲の半径又はマイクロサッケードによる視線の振幅であるθと、眼球から注視点までの距離lを用いて求められる値としてもよい。ただし、このように大きさを定める場合、表示部32の大きさによっては操作領域をバランスよく配置できないこともある。そこで、待機領域321の中心と前進領域322の中心との距離を3rでなく2rとしてもよいし、特に前進領域322の下端から待機領域の下端までの距離をr以下にしてもよい。また、このように定められる待機領域321及び前進領域322全体を縮小するようにしてもよい。
本システムにより遠隔操作される制御対象の移動物体は、マルチコプターには限定されない。例えば、ドローン(無人航空機)、ヘリコプター、飛行船、多脚ロボット、又は車輪若しくはクローラ等で走行するロボット等を制御対象としてもよい。制御対象が地上を移動する装置である場合は、上昇領域及び下降領域を設けなくてもよいし、上昇領域及び下降領域に代えて、他の動作を指示するための領域を割り当てるようにしてもよい。また、制御対象の装置は、無線で制御されるものには限定されず、有線で給電等されるものであってもよい。また、制御対象の装置は、ロボットハンド等のエンドエフェクタや、マイク、スピーカ、その他の装置をさらに備えるようにしてもよい。これらの装置についても視線で操作できるようにしてもよいし、コントローラを用いてユーザが手で操作できるようにしてもよい。また、装置等の物体の移動を制御するだけでなく、遠隔地にあるコンピュータや家電製品、工場の機械、医療機器等の操作に用いるようにしてもよい。なお、上述したシステムによれば遠隔操作を行うことができるため、無線操縦可能な装置の操作に好適であり、特に上昇及び下降が可能な無人飛行物体の操作に適している。
御装置2、表示装置3、視線検出装置4及びコントローラ5の全部又は一部が、一体の装置であってもよい。
る方法、コンピュータに実行させるプログラムとして実現してもよい。プログラムは、コンピュータが読み取り可能な記録媒体に記録して提供するようにしてもよい。コンピュータが読み取り可能な記録媒体とは、情報を電気的、磁気的、光学的、機械的、又は化学的作用によって蓄積し、コンピュータによって読み取ることができる記録媒体をいう。このような記録媒体のうち、コンピュータから取り外し可能なものとしては、例えば光ディスク、光磁気ディスク、フレキシブルディスク、磁気テープ、メモリカード等がある。また、コンピュータに固定された記録媒体としてHDD(Hard Disk Drive)、SSD(Solid
State Drive)、ROM(Read Only Memory)等が挙げられる。
2 :制御装置
21 :通信I/F
22 :記憶装置
23 :入出力装置
24 :プロセッサ
241 :操作検出部
242 :信号出力制御部
25 :バス
3 :表示装置
31 :通信I/F
32 :表示部
321 :待機領域
322 :前進領域
323 :左回転領域
324 :右回転領域
325 :上昇領域
326 :下降領域
4 :視線検出装置
41 :通信I/F
42 :赤外線送受信部
43 :視線検出部
5 :コントローラ
51 :操作入力部
52 :通信I/F
6 :マルチコプター
61 :通信I/F
62 :ロータ
63 :センサ
64 :撮像装置
65 :制御部
Claims (11)
- 制御対象の移動物体が備える撮像装置によって撮像された画像をユーザが見つつ、前記制御対象の移動物体を遠隔制御する制御装置であって、
前記制御対象の移動物体が備える前記撮像装置によって撮像された画像を表示する表示装置に対向する前記ユーザの視線を検出し、前記画像上における前記ユーザの注視点を出力する視線検出装置から、前記注視点の情報を取得すると共に、取得した情報が示す注視点が所定の領域に含まれるか判断する操作検出部と、
前記情報が示す注視点が前記所定の領域に含まれる場合は、当該領域に対応付けられた、前記制御対象の移動物体を制御するための信号を送信させる信号出力制御部と、
を備え、
前記所定の領域は、前記画像のほぼ中央に、前記制御対象の移動物体を待機させるための待機領域を有し、当該待機領域の内部であって、当該待機領域の中央から所定の距離離間した位置に、前記制御対象の移動物体を前進させるための前進領域を含む
移動物体の遠隔制御装置。 - 前記所定の領域の境界が、前記表示装置に画像として表示され、又は前記表示装置に重ねて配置されるシート若しくはパネルに表示される
請求項1に記載の移動物体の遠隔制御装置。 - 前記前進領域は、眼球から前記画像上における前記注視点までの距離をlとし、眼球及び注視点を結ぶ直線と、眼球及び表示装置に表示される画像上における中心視可能な範囲の端を結ぶ直線とのなす角をθとしたときに得られる中心視可能な範囲の半径rを以下の式(1)で求め、
r=ltanθ ・・・(1)
前記待機領域の中心から垂直下方向に3rの位置を中心に上下方向にrの長さの範囲に配置される
請求項1又は2に記載の移動物体の遠隔制御装置。 - 前記前進領域は、前記待機領域の中心から下方向の最下端から、上方向にrの長さの位置に配置される
請求項3に記載の移動物体の遠隔制御装置。 - 前記θは、1~2度である
請求項3又は4に記載の移動物体の遠隔制御装置。 - 前記待機領域の左右に、それぞれ前記制御対象の移動物体を鉛直方向の回転軸を中心として左右に水平回転させるための領域を備える
請求項1から5のいずれか一項に記載の移動物体の遠隔制御装置。 - 前記制御対象の移動物体は無人飛行物体であり、
前記待機領域の上下に、それぞれ前記無人飛行物体を上昇・下降させるための領域を備える
請求項1から6のいずれか一項に記載の移動物体の遠隔制御装置。 - 前記無人飛行物体は、マルチコプター、ドローン、ヘリコプター、飛行船のいずれか1つである
請求項7に記載の移動物体の遠隔制御装置。 - 請求項1から7のいずれか一項に記載の移動物体の遠隔制御装置と、
前記視線検出装置と、
前記制御対象の移動物体と、
前記制御対象の移動物体を制御するための信号を送信するコントローラと、
を備える遠隔制御システム。 - 制御対象の移動物体が備える撮像装置によって撮像された画像をユーザが見つつ、前記制御対象の移動物体を遠隔制御する制御方法であって、
前記制御対象の移動物体が備える前記撮像装置によって撮像された画像を表示する表示装置に対向する前記ユーザの視線を検出し、前記画像上における前記ユーザの注視点を出力する視線検出装置から、前記注視点の情報を取得すると共に、取得した情報が示す注視点が所定の領域に含まれるか判断するステップと、
前記情報が示す注視点が前記所定の領域に含まれる場合は、当該領域に対応付けられた、前記制御対象の移動物体を制御するための信号を送信させるステップと、
を遠隔制御装置が実行し、
前記所定の領域は、前記画像のほぼ中央に、前記制御対象の移動物体を待機させるための待機領域を有し、当該待機領域の内部であって、当該待機領域の中央から所定の距離離間した位置に、前記制御対象の移動物体を前進させるための前進領域を含む
移動物体の遠隔制御方法。 - 制御対象の移動物体が備える撮像装置によって撮像された画像をユーザが見つつ、前記制御対象の移動物体を遠隔制御するための制御プログラムであって、
前記制御対象の移動物体が備える前記撮像装置によって撮像された画像を表示する表示装置に対向する前記ユーザの視線を検出し、前記画像上における前記ユーザの注視点を出力する視線検出装置から、前記注視点の情報を取得すると共に、取得した情報が示す注視点が所定の領域に含まれるか判断するステップと、
前記情報が示す注視点が前記所定の領域に含まれる場合は、当該領域に対応付けられた、前記制御対象の移動物体を制御するための信号を送信させるステップと、
を遠隔制御装置に実行させ、
前記所定の領域は、前記画像のほぼ中央に、前記制御対象の移動物体を待機させるための待機領域を有し、当該待機領域の内部であって、当該待機領域の中央から所定の距離離間した位置に、前記制御対象の移動物体を前進させるための前進領域を含む
移動物体の遠隔制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018122538A JP7128409B2 (ja) | 2018-06-27 | 2018-06-27 | 遠隔制御装置、遠隔制御システム、遠隔制御方法及び遠隔制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018122538A JP7128409B2 (ja) | 2018-06-27 | 2018-06-27 | 遠隔制御装置、遠隔制御システム、遠隔制御方法及び遠隔制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020005114A JP2020005114A (ja) | 2020-01-09 |
JP7128409B2 true JP7128409B2 (ja) | 2022-08-31 |
Family
ID=69100636
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018122538A Active JP7128409B2 (ja) | 2018-06-27 | 2018-06-27 | 遠隔制御装置、遠隔制御システム、遠隔制御方法及び遠隔制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7128409B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104781873A (zh) | 2012-11-13 | 2015-07-15 | 索尼公司 | 图像显示装置、图像显示方法、移动装置、图像显示***、以及计算机程序 |
US20170153701A1 (en) | 2015-12-01 | 2017-06-01 | Thalmic Labs Inc. | Systems, devices, and methods for wearable heads-up displays as wireless controllers |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102449439B1 (ko) * | 2016-01-29 | 2022-09-30 | 한국전자통신연구원 | Hmd를 이용한 무인기 조종 장치 |
-
2018
- 2018-06-27 JP JP2018122538A patent/JP7128409B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104781873A (zh) | 2012-11-13 | 2015-07-15 | 索尼公司 | 图像显示装置、图像显示方法、移动装置、图像显示***、以及计算机程序 |
US20170153701A1 (en) | 2015-12-01 | 2017-06-01 | Thalmic Labs Inc. | Systems, devices, and methods for wearable heads-up displays as wireless controllers |
Non-Patent Citations (1)
Title |
---|
安達佳仁, 甲斐義弘,視線検出デバイスを用いたマルチコプタの操作システムの検討,日本機械学会関東支部総会講演会講演論文集,2017.23,日本,2017年03月16日 |
Also Published As
Publication number | Publication date |
---|---|
JP2020005114A (ja) | 2020-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11422560B2 (en) | Flying camera and a system | |
US11340606B2 (en) | System and method for controller-free user drone interaction | |
US11106201B2 (en) | Systems and methods for target tracking | |
US11669987B2 (en) | Obstacle avoidance during target tracking | |
EP3494443B1 (en) | Systems and methods for controlling an image captured by an imaging device | |
US20180181119A1 (en) | Method and electronic device for controlling unmanned aerial vehicle | |
US11383834B2 (en) | Unmanned flying object and method of controlling unmanned flying object | |
KR102449439B1 (ko) | Hmd를 이용한 무인기 조종 장치 | |
WO2020233607A1 (zh) | 一种无人机控制方法与装置、计算机可读存储介质 | |
US20220317708A1 (en) | Unmanned aerial vehicle protection method and apparatus and unmanned aerial vehicle | |
US20190317528A1 (en) | Drone maneuvering system, maneuvering signal transmitter set, and drone maneuvering method | |
KR20180025416A (ko) | 모션 인식 및 가상 현실을 이용한 드론 비행 제어 시스템 및 방법 | |
JP2019085041A (ja) | ドローンを操作するための端末、方法及びそのためのプログラム | |
JP7128409B2 (ja) | 遠隔制御装置、遠隔制御システム、遠隔制御方法及び遠隔制御プログラム | |
EP3288828B1 (en) | Unmanned aerial vehicle system and method for controlling an unmanned aerial vehicle | |
JP7092981B2 (ja) | 移動体制御プログラム、移動体制御方法および情報処理装置 | |
US12038748B2 (en) | Flying camera and a system | |
US20220234612A1 (en) | Location indicator devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210526 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220624 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220712 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220801 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7128409 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |