JP2018165066A - 頭部装着型表示装置およびその制御方法 - Google Patents
頭部装着型表示装置およびその制御方法 Download PDFInfo
- Publication number
- JP2018165066A JP2018165066A JP2017062099A JP2017062099A JP2018165066A JP 2018165066 A JP2018165066 A JP 2018165066A JP 2017062099 A JP2017062099 A JP 2017062099A JP 2017062099 A JP2017062099 A JP 2017062099A JP 2018165066 A JP2018165066 A JP 2018165066A
- Authority
- JP
- Japan
- Prior art keywords
- head
- unit
- display device
- mounted display
- drone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 31
- 238000004891 communication Methods 0.000 claims abstract description 52
- 238000001514 detection method Methods 0.000 claims description 29
- 238000003384 imaging method Methods 0.000 claims description 18
- 230000033001 locomotion Effects 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 abstract description 11
- 230000006870 function Effects 0.000 description 55
- 238000012545 processing Methods 0.000 description 40
- 238000012986 modification Methods 0.000 description 33
- 230000004048 modification Effects 0.000 description 29
- 230000003287 optical effect Effects 0.000 description 28
- 230000008569 process Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 10
- 210000003128 head Anatomy 0.000 description 10
- 239000000758 substrate Substances 0.000 description 10
- 238000005259 measurement Methods 0.000 description 9
- 230000005236 sound signal Effects 0.000 description 8
- 239000004973 liquid crystal related substance Substances 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 239000012466 permeate Substances 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 230000001012 protector Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】目的地まで精度良く航行させることのできる、無人機の操縦に関する制御を行うことが可能な頭部装着型表示装置を提供する。【解決手段】頭部装着型表示装置100は、GPS情報を取得するGPS情報取得部と、前記無人機との間の無線通信を利用した通信を行い得る通信部500と、制御部10と、を備える。前記制御部は、前記無人機が、前記GPS情報取得部によって取得される前記GPS情報で示される位置に向けて移動する自動航行モードで航行しているときに、表示部20によって視認可能な視界内に前記無人機が侵入したか否かを判定し、前記視界内に前記無人機が侵入したと判定されたときに、前記自動航行モードでの航行を前記無人機に対し中止させ、前記自動航行モードとは異なる特定の航行モードで前記無人機を航行させる。【選択図】図10
Description
本発明は、頭部装着型表示装置と、頭部装着型表示装置の制御方法と、に関する。
近年、ドローン(Drone)と呼ばれる、遠隔操縦または自律飛行が可能な無人航空機の開発が進んでいる。従来の無人航空機は、例えば、特許文献1に記載されているように、GPS電波を受信してGPS情報を取得するGPS受信部を搭載している。無人航空機は、GPS情報によって、機体の姿勢や位置を推定することができる。無人航空機は、専用のリモコン装置以外にも、スマートフォンやタブレット等の他の装置で操縦することができる。
無人航空機では、GPS情報を利用することで、目的地まで自動的に航行させることが考えられる。しかしながら、GPS情報に含まれる位置情報は、数m〜数十mと比較的、誤差が大きいため、従来の無人航空機では、目的地まで精度良く航行させることができないことがあった。例えば、山岳部や山間部、ビルの谷などでは、位置情報は誤差の大きいものとなり、目的地から大きく離れた地点に到達してしまった。そのため、無人航空機を操縦する装置において、目的地まで精度良く航行させることができる技術が望まれていた。なお、このような課題は、無人航空機に限らず、遠隔操作や自動運転される種々の人が搭乗しないヴィークル(すなわち、無人機)に共通する課題であった。
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
(1)本発明の一形態によれば、無人機の操縦に関する制御を行うことが可能な頭部装着型表示装置が提供される。この頭部装着型表示装置は、GPS情報を取得するGPS情報取得部と、前記無人機との間の無線通信を利用した通信を行い得る通信部と、制御部と、を備える。前記制御部は、前記無人機が、前記GPS情報取得部によって取得される前記GPS情報で示される位置に向けて移動する自動航行モードで航行しているときに、前記表示部によって視認可能な視界内に前記無人機が侵入したか否かを判定し、前記視界内に前記無人機が侵入したと判定されたときに、前記自動航行モードでの航行を前記無人機に対し中止させ、前記自動航行モードとは異なる特定の航行モードで前記無人機を航行させる。この形態の頭部装着型表示装置によれば、自動航行モードで航行しているときに、表示部によって視認可能な視界内に無人機が侵入した場合に、自動航行モードでの航行が中止され、自動航行モードとは異なる特定の航行モードで、無人機は航行する。このため、この形態の頭部装着型表示装置によれば、精度の低いGPS情報を利用した自動航行モードでの航行を取りやめることができることから、目的地まで高い精度で航行させることが可能となる。
(2)前記頭部装着型表示装置において、更に、前記視界を撮像するカメラを有し、前記制御部は、前記カメラの撮像画像を取得し、前記無人機を特定するために予め準備された目的画像と前記撮像画像とをパターンマッチングすることによって、前記無人機が前記視界に侵入したか否かの判定を行ってもよい。この形態の頭部装着型表示装置によれば、表示部によって視認可能な視界内に無人機が侵入したか否かを高精度に判定することができる。
(3)前記頭部装着型表示装置において、更に、前記無人機から送られてくる無線電波を受信する無線電波受信部を備え、前記特定の航行モードは、前記無線電波受信部によって受信される無線電波の強度を測定し、測定した前記強度の変化から航行ルートを定めるモードであってもよい。無線電波の強度に基づく航行モードは高い精度での航行を可能とすることから、この形態の表示装置によれば、目的地までの航行をより高い精度で行うことができる。
(4)前記頭部装着型表示装置において、前記無人機が、機体の動きを検出する第1慣性センサーを備え、前記第1慣性センサーの検出値を逐次積算することによって、機体の位置を求め、前記特定の航行モードは、前記頭部装着型表示装置が、前記無人機が求めた前記機体の位置を取得し、取得した前記機体の位置から航行ルートを定めるモードであってもよい。この形態の表示装置によれば、目的地までの航行を高い精度で行うことができる。
(5)前記頭部装着型表示装置において、動きを検出する第2慣性センサーを有し、前記特定の航行モードは、前記頭部装着型表示装置が、前記第2慣性センサーの検出値を逐次積算することによって、前記頭部装着型表示装置の位置を求め、求めた前記頭部装着型表示装置の位置と、取得した前記機体の位置と、から航行ルートを定めるモードであってもよい。この形態の頭部装着型表示装置によれば、頭部装着型表示装置へ帰還させることを、より高い精度で行うことができる。
(6)前記頭部装着型表示装置において、更に、使用者によって操作され、前記無人機の動きを指示する操作部を有し、前記特定の航行モードは、前記頭部装着型表示装置が、前記操作部に対する指示に従って航行ルートを定めるモードであってもよい。この形態の頭部装着型表示装置によれば、頭部装着型表示装置へ帰還させることを、高い精度で行うことができる。
(7)前記頭部装着型表示装置において、前記表示部は、外界を透過視認可能な表示部であり、前記制御部は、前記操作部のための操作画面を前記表示部に表示させ、前記視界内に前記無人機が侵入したと判定されたときに、前記表示部における前記無人機の位置を推定し、推定された前記位置から離れた位置に前記操作画面を移動させてもよい。この形態の頭部装着型表示装置によれば、操作者の視界において、無人機が操作画面によって隠されることがないことから、無人機を帰還させる操作性を向上することができる。
(8)前記頭部装着型表示装置において、前記GPS情報取得部は、前記GPS情報を受信するGPS受信部を備え、前記自動航行モードは、前記頭部装着型表示装置へ帰還させてもよい。この形態の頭部装着型表示装置によれば、頭部装着型表示装置の元へ帰還させることを、高い精度で行うことができる。
(9)前記頭部装着型表示装置において、前記GPS情報取得部は、前記頭部装着型表示装置から離れた位置に備えられたGPS受信部から前記GPS情報を受信してもよい。この形態の頭部装着型表示装置によれば、GPS受信部が備えられた位置に向かって自動航行モードでの航行しているときに、特定の航行モードに航行を切り換えて、目的地まで高い精度で航行を行うことができる。
本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、頭部装着型表示装置の制御方法、頭部装着型表示装置の備える各構成要素の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等で実現できる。
A.第1実施形態:
A−1.全体の構成:
図1は、本発明の第1実施形態における頭部装着型表示装置を備える無人航空機システムの概略構成を示す説明図である。無人航空機システムは、頭部装着型表示装置100と、無人航空機400と、リモコン装置500と、を備えている。
A−1.全体の構成:
図1は、本発明の第1実施形態における頭部装着型表示装置を備える無人航空機システムの概略構成を示す説明図である。無人航空機システムは、頭部装着型表示装置100と、無人航空機400と、リモコン装置500と、を備えている。
無人航空機400は、GPSレシーバーやIMUセンサー等を搭載し、これらにより機体の姿勢や位置を把握しつつ飛行することができる。無人航空機400は、いわゆるドローンである。リモコン装置500は、無人航空機400を遠隔から操縦する装置である。無人航空機400は、リモコン装置500によって遠隔操縦されるが、自律飛行も可能である。リモコン装置500には、USBケーブル350を介して、頭部装着型表示装置100が接続されている。頭部装着型表示装置100は、リモコン装置500を介して、無人航空機400を操縦することができる。まず、頭部装着型表示装置100の構成について、詳述する。
A−2.頭部装着型表示装置の構成:
頭部装着型表示装置100は、使用者の頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。HMD100は、グラスを通過して視認される外界の中に画像が浮かび上がるシースルー型(透過型)の頭部装着型表示装置である。HMD100は、使用者に画像を視認させる画像表示部20と、画像表示部20を制御する制御装置(コントローラー)10とを備えている。
頭部装着型表示装置100は、使用者の頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。HMD100は、グラスを通過して視認される外界の中に画像が浮かび上がるシースルー型(透過型)の頭部装着型表示装置である。HMD100は、使用者に画像を視認させる画像表示部20と、画像表示部20を制御する制御装置(コントローラー)10とを備えている。
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部20が「表示部」に相当する。画像表示部20は、右保持部21と、左保持部23と、前部フレーム27とを有する支持体に、右表示ユニット22と、左表示ユニット24と、右導光板26と、左導光板28とを備える。
右保持部21および左保持部23は、それぞれ、前部フレーム27の両端部から後方に延び、眼鏡のテンプル(つる)のように、使用者の頭部に画像表示部20を保持する。ここで、前部フレーム27の両端部のうち、画像表示部20の装着状態において使用者の右側に位置する端部を端部ERとし、使用者の左側に位置する端部を端部ELとする。右保持部21は、前部フレーム27の端部ERから、画像表示部20の装着状態における使用者の右側頭部に対応する位置まで延伸して設けられている。左保持部23は、前部フレーム27の端部ELから、画像表示部20の装着状態における使用者の左側頭部に対応する位置まで延伸して設けられている。
右導光板26および左導光板28は、前部フレーム27に設けられている。右導光板26は、画像表示部20の装着状態における使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板28は、画像表示部20の装着状態における使用者の左眼の眼前に位置し、左眼に画像を視認させる。
前部フレーム27は、右導光板26の一端と左導光板28の一端とを互いに連結した形状を有する。この連結位置は、画像表示部20の装着状態における使用者の眉間の位置に対応する。前部フレーム27には、右導光板26と左導光板28との連結位置において、画像表示部20の装着状態において使用者の鼻に当接する鼻当て部が設けられていてもよい。この場合、鼻当て部と右保持部21と左保持部23とによって、画像表示部20を使用者の頭部に保持できる。また、右保持部21および左保持部23に対して、画像表示部20の装着状態において使用者の後頭部に接するベルトを連結してもよい。この場合、ベルトによって画像表示部20を使用者の頭部に強固に保持できる。
右表示ユニット22は、右導光板26による画像の表示を行う。右表示ユニット22は、右保持部21に設けられ、画像表示部20の装着状態における使用者の右側頭部の近傍に位置する。左表示ユニット24は、左導光板28による画像の表示を行う。左表示ユニット24は、左保持部23に設けられ、画像表示部20の装着状態における使用者の左側頭部の近傍に位置する。なお、右表示ユニット22および左表示ユニット24を総称して「表示駆動部」とも呼ぶ。
本実施形態の右導光板26および左導光板28は、光透過性の樹脂等によって形成される光学部(例えばプリズム)であり、右表示ユニット22および左表示ユニット24が出力する画像光を使用者の眼に導く。なお、右導光板26および左導光板28の表面には、調光板が設けられてもよい。調光板は、光の波長域により透過率が異なる薄板状の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、前部フレーム27の表面(使用者の眼と対向する面とは反対側の面)を覆うように配置される。調光板の光学特性を適宜選択することにより、可視光、赤外光、および紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板26および左導光板28に入射し、右導光板26および左導光板28を透過する外光の光量を調整できる。
画像表示部20は、右表示ユニット22および左表示ユニット24がそれぞれ生成する画像光を、右導光板26および左導光板28に導き、この画像光によって画像(拡張現実感(AR)画像)を使用者に視認させる(これを「画像を表示する」とも呼ぶ)。使用者の前方から右導光板26および左導光板28を透過して外光が使用者の眼に入射する場合、使用者の眼には、画像を構成する画像光と、外光とが入射する。このため、使用者における画像の視認性は、外光の強さに影響を受ける。
このため、例えば前部フレーム27に調光板を装着し、調光板の光学特性を適宜選択あるいは調整することによって、画像の視認のしやすさを調整することができる。典型的な例では、HMD100を装着した使用者が少なくとも外の景色を視認できる程度の光透過性を有する調光板を選択することができる。調光板を用いると、右導光板26および左導光板28を保護し、右導光板26および左導光板28の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム27、あるいは、右導光板26および左導光板28のそれぞれに対して着脱可能としてもよい。また、複数種類の調光板を交換して着脱可能としてもよく、調光板を省略してもよい。
カメラ61は、画像表示部20の前部フレーム27に配置されている。カメラ61は、前部フレーム27の前面において、右導光板26および左導光板28を透過する外光を遮らない位置に設けられる。図1の例では、カメラ61は、前部フレーム27の端部ER側に配置されている。カメラ61は、前部フレーム27の端部EL側に配置されていてもよく、右導光板26と左導光板28との連結部に配置されていてもよい。
カメラ61は、CCDやCMOS等の撮像素子、および、撮像レンズ等を備えるデジタルカメラである。本実施形態のカメラ61は単眼カメラであるが、ステレオカメラを採用してもよい。カメラ61は、HMD100の表側方向、換言すれば、画像表示部20の装着状態において使用者が視認する視界方向の、少なくとも一部の外界(実空間)を撮像する。換言すれば、カメラ61は、使用者の視界と重なる範囲または方向を撮像し、使用者が視認する方向を撮像する。カメラ61の画角の広さは適宜設定できる。本実施形態では、カメラ61の画角の広さは、使用者が右導光板26および左導光板28を透過して視認可能な使用者の視界の全体と一致するように設定される。カメラ61は、制御機能部150(図6)の制御に従って撮像を実行し、得られた撮像データを制御機能部150へ出力する。
HMD100は、予め設定された測定方向に位置する測定対象物までの距離を検出する測距センサーを備えていてもよい。測距センサーは、例えば、前部フレーム27の右導光板26と左導光板28との連結部分に配置することができる。測距センサーの測定方向は、MD100の表側方向(カメラ61の撮像方向と重複する方向)とすることができる。測距センサーは、例えば、LEDやレーザーダイオード等の発光部と、光源が発する光が測定対象物に反射する反射光を受光する受光部と、により構成できる。この場合、三角測距処理や、時間差に基づく測距処理により距離を求める。測距センサーは、例えば、超音波を発する発信部と、測定対象物で反射する超音波を受信する受信部と、により構成してもよい。この場合、時間差に基づく測距処理により距離を求める。測距センサーはカメラ61と同様に、制御機能部150(図6)により制御され、検出結果を制御機能部150へ出力する。
図2は、画像表示部20が備える光学系の構成を示す要部平面図である。説明の便宜上、図2には使用者の右眼REおよび左眼LEを図示する。図2に示すように、右表示ユニット22と左表示ユニット24とは、左右対称に構成されている。
右眼REに画像(AR画像)を視認させる構成として、右表示ユニット22は、OLED(Organic Light Emitting Diode)ユニット221と、右光学系251とを備える。OLEDユニット221は、画像光を発する。右光学系251は、レンズ群等を備え、OLEDユニット221が発する画像光Lを右導光板26へと導く。
OLEDユニット221は、OLEDパネル223と、OLEDパネル223を駆動するOLED駆動回路225とを有する。OLEDパネル223は、有機エレクトロルミネッセンスにより発光し、R(赤)、G(緑)、B(青)の色光をそれぞれ発する発光素子により構成される自発光型の表示パネルである。OLEDパネル223は、R、G、Bの素子を1個ずつ含む単位を1画素とした複数の画素が、マトリクス状に配置されている。
OLED駆動回路225は、制御機能部150(図6)の制御に従って、OLEDパネル223が備える発光素子の選択および通電を実行し、発光素子を発光させる。OLED駆動回路225は、OLEDパネル223の裏面、すなわち発光面の裏側に、ボンディング等により固定されている。OLED駆動回路225は、例えばOLEDパネル223を駆動する半導体デバイスで構成され、OLEDパネル223の裏面に固定される基板に実装されてもよい。この基板には、後述する温度センサー217(図5)が実装される。なお、OLEDパネル223は、白色に発光する発光素子をマトリクス状に配置し、R、G、Bの各色に対応するカラーフィルターを重ねて配置する構成を採用してもよい。また、R、G、Bの色光をそれぞれ放射する発光素子に加えて、W(白)の光を放射する発光素子を備えるWRGB構成のOLEDパネル223が採用されてもよい。
右光学系251は、OLEDパネル223から射出された画像光Lを平行状態の光束にするコリメートレンズを有する。コリメートレンズにより平行状態の光束にされた画像光Lは、右導光板26に入射する。右導光板26の内部において光を導く光路には、画像光Lを反射する複数の反射面が形成される。画像光Lは、右導光板26の内部で複数回の反射を経て右眼RE側に導かれる。右導光板26には、右眼REの眼前に位置するハーフミラー261(反射面)が形成される。画像光Lは、ハーフミラー261で反射後、右導光板26から右眼REへと射出され、この画像光Lが右眼REの網膜で像を結ぶことで、使用者に画像を視認させる。
左眼LEに画像(AR画像)を視認させる構成として、左表示ユニット24は、OLEDユニット241と、左光学系252とを備える。OLEDユニット241は画像光を発する。左光学系252は、レンズ群等を備え、OLEDユニット241が発する画像光Lを左導光板28へと導く。OLEDユニット241は、OLEDパネル243と、OLEDパネル243を駆動するOLED駆動回路245を有する。各部の詳細は、OLEDユニット221、OLEDパネル223、OLED駆動回路225と同じである。OLEDパネル243の裏面に固定される基板には、温度センサー239(図5)が実装される。また、左光学系252の詳細は右光学系251と同じである。
以上説明した構成によれば、HMD100は、シースルー型の表示装置として機能することができる。すなわち使用者の右眼REには、ハーフミラー261で反射した画像光Lと、右導光板26を透過した外光OLとが入射する。使用者の左眼LEには、ハーフミラー281で反射した画像光Lと、左導光板28を透過した外光OLとが入射する。このように、HMD100は、内部で処理した画像の画像光Lと外光OLとを重ねて使用者の眼に入射させる。この結果、使用者にとっては、右導光板26および左導光板28を透かして外界(実世界)が見えると共に、この外界に重なるようにして画像光Lによる画像(AR画像)が視認される。
ハーフミラー261およびハーフミラー281は、右表示ユニット22および左表示ユニット24がそれぞれ出力する画像光を反射して画像を取り出す「画像取り出し部」として機能する。また、右光学系251および右導光板26を総称して「右導光部」とも呼び、左光学系252および左導光板28を総称して「左導光部」とも呼ぶ。右導光部および左導光部の構成は、上述した例に限定されず、画像光を用いて使用者の眼前に画像を形成する限りにおいて任意の方式を用いることができる。例えば、右導光部および左導光部には、回折格子を用いてもよいし、半透過反射膜を用いてもよい。
図1において、制御装置10と画像表示部20とは、接続ケーブル40によって接続される。接続ケーブル40は、制御装置10の下部に設けられるコネクターに着脱可能に接続され、左保持部23の先端ALから、画像表示部20内部の各種回路に接続する。接続ケーブル40には、デジタルデータを伝送するメタルケーブルまたは光ファイバーケーブルを有する。接続ケーブル40にはさらに、アナログデータを伝送するメタルケーブルを含んでもよい。接続ケーブル40の途中には、コネクター46が設けられている。
コネクター46は、ステレオミニプラグを接続するジャックであり、コネクター46と制御装置10とは、例えばアナログ音声信号を伝送するラインで接続される。図1に示す本実施形態の例では、コネクター46には、ステレオヘッドホンを構成する右イヤホン32および左イヤホン34と、マイク63を有するヘッドセット30とが接続されている。
マイク63は、例えば図1に示すように、マイク63の集音部が使用者の視線方向を向くように配置されている。マイク63は、音声を集音し、音声信号を音声インターフェース182(図5)に出力する。マイク63は、モノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであっても無指向性のマイクであってもよい。
制御装置10は、HMD100(特に画像表示部20)を制御するための装置である。制御装置10は、点灯部12と、タッチパッド14と、方向キー16と、決定キー17と、電源スイッチ18とを含んでいる。点灯部12は、HMD100の動作状態(例えば、電源のON/OFF等)を、その発光態様によって通知する。点灯部12としては、例えば、LED(Light Emitting Diode)を用いることができる。
タッチパッド14は、タッチパッド14の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド14としては、静電式や圧力検出式、光学式といった種々のタッチパッドを採用することができる。方向キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。決定キー17は、押下操作を検出して、制御装置10において操作された内容を決定するための信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、HMD100の電源の状態を切り替える。
図3は、使用者から見た画像表示部20の要部構成を示す図である。図3では、接続ケーブル40、右イヤホン32、左イヤホン34の図示を省略している。図3の状態では、右導光板26および左導光板28の裏側が視認できると共に、右眼REに画像光を照射するためのハーフミラー261、および、左眼LEに画像光を照射するためのハーフミラー281が略四角形の領域として視認できる。使用者は、これらハーフミラー261、281を含む左右の導光板26、28の全体を透過して外界を視認すると共に、ハーフミラー261、281の位置に矩形の表示画像を視認する。
図4は、カメラ61の画角を説明するための図である。図4では、カメラ61と、使用者の右眼REおよび左眼LEとを平面視で模式的に示すと共に、カメラ61の画角(撮像範囲)をλで示す。なお、カメラ61の画角λは図示のように水平方向に拡がっているほか、一般的なデジタルカメラと同様に鉛直方向にも拡がっている。
上述のようにカメラ61は、画像表示部20において右側の端部に配置され、使用者の視線の方向(すなわち使用者の前方)を撮像する。このためカメラ61の光軸は、右眼REおよび左眼LEの視線方向を含む方向とされる。使用者がHMD100を装着した状態で視認できる外界は、無限遠とは限らない。例えば、使用者が両眼で対象物OBを注視すると、使用者の視線は、図中の符号RD、LDに示すように、対象物OBに向けられる。この場合、使用者から対象物OBまでの距離は、30cm〜10m程度であることが多く、1m〜4mであることがより多い。そこで、HMD100について、通常使用時における使用者から対象物OBまでの距離の上限および下限の目安を定めてもよい。この目安は、予め求められHMD100にプリセットされていてもよいし、使用者が設定してもよい。カメラ61の光軸および画角は、このような通常使用時における対象物OBまでの距離が、設定された上限および下限の目安に相当する場合において対象物OBが画角に含まれるように設定されることが好ましい。
なお、一般的に、人間の視野角は水平方向におよそ200度、垂直方向におよそ125度とされる。そのうち情報受容能力に優れる有効視野は水平方向に30度、垂直方向に20度程度である。人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に60〜90度、垂直方向に45〜70度程度とされている。この場合、注視点が対象物OB(図4)であるとき、視線RD、LDを中心として水平方向に30度、垂直方向に20度程度が有効視野である。また、水平方向に60〜90度、垂直方向に45〜70度程度が安定注視野である。使用者が画像表示部20を透過して右導光板26および左導光板28を透過して視認する実際の視野を、実視野(FOV:Field Of View)と呼ぶ。実視野は、視野角および安定注視野より狭いが、有効視野より広い。
本実施形態のカメラ61の画角λは、使用者の視野と一致する範囲を撮像可能に設定される。カメラ61の画角λは、少なくとも使用者の有効視野より広い範囲を撮像可能に設定される構成としてもよい。実視野よりも広い範囲を撮像可能に設定される構成としてもよい。カメラ61の画角λは、使用者の安定注視野より広い範囲を撮像可能に設定される構成としてもよく、使用者の両眼の視野角と一致する範囲を撮像可能に設定される構成としてもよい。このため、カメラ61には、撮像レンズとしていわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよい。また、カメラ61には、単焦点レンズを含んでもよく、ズームレンズを含んでもよく、複数のレンズからなるレンズ群を含んでもよい。
図5は、HMD100の電気的な構成を示すブロック図である。制御装置10は、プログラムを実行してHMD100を制御するメインプロセッサー140と、記憶部と、入出力部と、センサー類と、インターフェースと、電源部130とを備える。メインプロセッサー140には、これらの記憶部、入出力部、センサー類、インターフェース、電源部130がそれぞれ接続されている。メインプロセッサー140は、制御装置10が内蔵しているコントローラー基板120に実装されている。
記憶部には、メモリー118と、不揮発性記憶部121とが含まれている。メモリー118は、メインプロセッサー140によって実行されるコンピュータープログラム、および、処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部121は、フラッシュメモリーやeMMC(embedded Multi Media Card)で構成される。不揮発性記憶部121は、メインプロセッサー140が実行するコンピュータープログラムや、メインプロセッサー140によって処理される各種のデータを記憶する。本実施形態において、これらの記憶部はコントローラー基板120に実装されている。
入出力部には、タッチパッド14と、操作部110とが含まれている。操作部110には、制御装置10に備えられた方向キー16と、決定キー17と、電源スイッチ18とが含まれる。メインプロセッサー140は、これら各入出力部を制御すると共に、各入出力部から出力される信号を取得する。
センサー類には、6軸センサー111と、磁気センサー113と、GPS(Global Positioning System)レシーバー115とが含まれている。6軸センサー111は、3軸加速度センサーと3軸ジャイロ(角速度)センサーとを備えるモーションセンサー(慣性センサー)である。6軸センサー111は、これらセンサーがモジュール化されたIMU(Inertial Measurement Unit)を採用してもよい。磁気センサー113は、例えば、3軸の地磁気センサーである。
GPSレシーバー115は、図示しないGPSアンテナを用いて、GPS衛星から送信される電波を受信し、図示しないGPS回路を用いて、受信された電波を解析することにより、GPS情報を取得する。GPS情報は、緯度、経度、高度を含む位置情報や、撮影時刻および日付の情報を有する。
これらセンサー類(6軸センサー111、磁気センサー113、GPSレシーバー115)は、検出値を予め指定されたサンプリング周波数に従って、メインプロセッサー140へと出力する。各センサーが検出値を出力するタイミングは、メインプロセッサー140からの指示に応じてもよい。
インターフェースには、無線通信部117と、音声コーデック180と、外部コネクター184と、外部メモリーインターフェース186と、USB(Universal Serial Bus)コネクター188と、センサーハブ192と、FPGA194と、インターフェース196とが含まれている。これらは、外部とのインターフェースとして機能する。無線通信部117は、HMD100と外部機器との間における無線通信を実行する。無線通信部117は、図示しないアンテナ、RF回路、ベースバンド回路、通信制御回路等を備えて構成され、あるいはこれらが統合されたデバイスとして構成されている。無線通信部117は、例えば、Bluetooth(登録商標)、Wi−Fi(登録商標)を含む無線LAN等の規格に準拠した無線通信を行う。
音声コーデック180は、音声インターフェース182に接続され、音声インターフェース182を介して入出力される音声信号のエンコード/デコードを行う。音声インターフェース182は、音声信号を入出力するインターフェースである。音声コーデック180は、アナログ音声信号からデジタル音声データへの変換を行うA/Dコンバーター、および、その逆の変換を行うD/Aコンバーターを備えてもよい。本実施形態のHMD100は、音声を右イヤホン32(図1)および左イヤホン34から出力し、マイク63により集音する。音声コーデック180は、メインプロセッサー140が出力するデジタル音声データをアナログ音声信号に変換し、音声インターフェース182を介して出力する。また、音声コーデック180は、音声インターフェース182に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー140に出力する。
外部コネクター184は、メインプロセッサー140に対して、メインプロセッサー140と通信する外部装置(例えば、パーソナルコンピューター、スマートフォン、ゲーム機器等)を接続するためのコネクターである。外部コネクター184に接続された外部装置は、コンテンツの供給元となり得るほか、メインプロセッサー140が実行するコンピュータープログラムのデバッグや、HMD100の動作ログの収集に使用できる。外部コネクター184は種々の態様を採用できる。外部コネクター184としては、例えば、USBインターフェース、マイクロUSBインターフェース、メモリーカード用インターフェース等の有線接続に対応したインターフェースや、無線LANインターフェース、Bluetoothインターフェース等の無線接続に対応したインターフェースを採用できる。
外部メモリーインターフェース186は、可搬型のメモリーデバイスを接続可能なインターフェースである。外部メモリーインターフェース186は、例えば、カード型記録媒体を装着してデータの読み書きを行うメモリーカードスロットと、インターフェース回路とを含む。カード型記録媒体のサイズ、形状、規格等は適宜選択できる。USBコネクター188は、USB規格に準拠したメモリーデバイス、スマートフォン、パーソナルコンピューター等を接続可能なインターフェースである。
USBコネクター188は、例えば、USB規格に準拠したコネクターと、インターフェース回路とを含む。USBコネクター188のサイズ、形状、USB規格のバージョン等は適宜選択できる。
センサーハブ192およびFPGA194は、インターフェース(I/F)196を介して画像表示部20に接続されている。センサーハブ192は、画像表示部20が備える各種センサーの検出値を取得して、メインプロセッサー140に出力する。FPGA194は、メインプロセッサー140と画像表示部20の各部との間で送受信されるデータの処理およびインターフェース196を介した伝送を実行する。インターフェース196は、画像表示部20の右表示ユニット22と、左表示ユニット24とに対してそれぞれ接続されている。本実施形態の例では、左保持部23に接続ケーブル40(図1)が接続され、この接続ケーブル40に繋がる配線が画像表示部20内部に敷設され、右表示ユニット22と左表示ユニット24とのそれぞれが、制御装置10のインターフェース196に接続される。
また、HMD100は、バイブレーター19を備える。バイブレーター19は、図示しないモーターと、偏芯した回転子等を備え、メインプロセッサー140の制御に従って振動を発生する。HMD100は、例えば、操作部110に対する操作を検出した場合や、HMD100の電源がオンオフされた場合等に所定の振動パターンでバイブレーター19により振動を発生させる。
電源部130には、バッテリー132と、電源制御回路134とが含まれている。電源部130は、制御装置10が動作するための電力を供給する。バッテリー132は、充電可能な電池である。電源制御回路134は、バッテリー132の残容量の検出と、OS143への充電の制御を行う。電源制御回路134は、メインプロセッサー140に接続され、バッテリー132の残容量の検出値や、バッテリー132の電圧の検出値をメインプロセッサー140へと出力する。なお、電源部130が供給する電力に基づいて、制御装置10から画像表示部20へと電力を供給してもよい。電源部130から制御装置10の各部および画像表示部20への電力の供給状態を、メインプロセッサー140により制御可能な構成としてもよい。
右表示ユニット22は、表示ユニット基板210と、OLEDユニット221と、カメラ61と、照度センサー65と、LEDインジケーター67と、温度センサー217とを備える。表示ユニット基板210には、インターフェース196に接続されるインターフェース(I/F)211と、受信部(Rx)213と、EEPROM(Electrically Erasable Programmable Read-Only Memory)215とが実装されている。受信部213は、インターフェース211を介して制御装置10から入力されるデータを受信する。受信部213は、OLEDユニット221で表示する画像の画像データを受信した場合に、受信した画像データをOLED駆動回路225(図2)へと出力する。
EEPROM215は、各種のデータをメインプロセッサー140が読み取り可能な態様で記憶する。EEPROM215は、例えば、画像表示部20のOLEDユニット221、241の発光特性や表示特性に関するデータ、右表示ユニット22または左表示ユニット24のセンサー特性に関するデータ等を記憶する。具体的には、例えば、OLEDユニット221、241のガンマ補正に係るパラメーター、後述する温度センサー217、239の検出値を補償するデータ等を記憶する。これらのデータは、HMD100の工場出荷時の検査によって生成され、EEPROM215に書き込まれる。出荷後は、メインプロセッサー140がEEPROM215のデータを読み込んで各種の処理に利用する。
カメラ61は、インターフェース211を介して入力される信号に従って撮像を実行し、撮像画像データあるいは撮像結果を表す信号を制御装置10へと出力する。照度センサー65は、図1に示すように、前部フレーム27の端部ERに設けられ、画像表示部20を装着する使用者の前方からの外光を受光するように配置される。照度センサー65は、受光量(受光強度)に対応した検出値を出力する。LEDインジケーター67は、図1に示すように、前部フレーム27の端部ERにおいてカメラ61の近傍に配置される。LEDインジケーター67は、カメラ61による撮像を実行中に点灯して、撮像中であることを報知する。
温度センサー217は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー217は、OLEDパネル223(図3)の裏面側に実装される。温度センサー217は、例えばOLED駆動回路225と同一の基板に実装されてもよい。この構成により、温度センサー217は主としてOLEDパネル223の温度を検出する。なお、温度センサー217は、OLEDパネル223あるいはOLED駆動回路225に内蔵されてもよい。例えば、OLEDパネル223がSi−OLEDとしてOLED駆動回路225と共に統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー217を実装してもよい。
左表示ユニット24は、表示ユニット基板230と、OLEDユニット241と、温度センサー239とを備える。表示ユニット基板230には、インターフェース196に接続されるインターフェース(I/F)231と、受信部(Rx)233と、6軸センサー235と、磁気センサー237とが実装されている。受信部233は、インターフェース231を介して制御装置10から入力されるデータを受信する。受信部233は、OLEDユニット241で表示する画像の画像データを受信した場合に、受信した画像データをOLED駆動回路245(図2)へと出力する。
6軸センサー235は、3軸加速度センサーおよび3軸ジャイロ(角速度)センサーを備えるモーションセンサー(慣性センサー)である。6軸センサー235は、上記のセンサーがモジュール化されたIMUを採用してもよい。磁気センサー237は、例えば、3軸の地磁気センサーである。6軸センサー235と磁気センサー237は、画像表示部20に設けられているため、画像表示部20が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。検出された頭部の動きから画像表示部20の向き、すなわち、使用者の視界が特定される。
温度センサー239は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー239は、OLEDパネル243(図3)の裏面側に実装される。温度センサー239は、例えばOLED駆動回路245と同一の基板に実装されてもよい。この構成により、温度センサー239は主としてOLEDパネル243の温度を検出する。温度センサー239は、OLEDパネル243あるいはOLED駆動回路245に内蔵されてもよい。詳細は温度センサー217と同様である。
右表示ユニット22のカメラ61、照度センサー65、温度センサー217と、左表示ユニット24の6軸センサー235、磁気センサー237、温度センサー239は、制御装置10のセンサーハブ192に接続される。センサーハブ192は、メインプロセッサー140の制御に従って各センサーのサンプリング周期の設定および初期化を行う。センサーハブ192は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。センサーハブ192は、予め設定されたタイミングで、右表示ユニット22および左表示ユニット24が備える各センサーの検出値をメインプロセッサー140へ出力する。センサーハブ192は、各センサーの検出値を一時的に保持するキャッシュ機能を備えてもよい。センサーハブ192は、各センサーの検出値の信号形式やデータ形式の変換機能(例えば、統一形式への変換機能)を備えてもよい。
FPGA194は、メインプロセッサー140の制御に従ってLEDインジケーター67への通電を開始および停止させることで、LEDインジケーター67を点灯または消灯させる。
図6は、制御装置10の構成を機能的に示すブロック図である。制御装置10は、機能的には、記憶機能部122と、制御機能部150とを備える。記憶機能部122は、不揮発性記憶部121(図5)により構成される論理的な記憶部である。記憶機能部122は、記憶機能部122のみを使用する構成に替えて、不揮発性記憶部121に組み合わせてEEPROM215やメモリー118を使用する構成としてもよい。制御機能部150は、メインプロセッサー140がコンピュータープログラムを実行することにより、すなわち、ハードウェアとソフトウェアとが協働することにより構成される。
記憶機能部122には、制御機能部150における処理に供する種々のデータが記憶されている。具体的には、本実施形態の記憶機能部122には、設定データ123と、コンテンツデータ124と、が記憶されている。設定データ123は、HMD100の動作に係る各種の設定値を含む。例えば、設定データ123には、制御機能部150がHMD100を制御する際のパラメーター、行列式、演算式、LUT(Look Up Table)等が含まれている。
コンテンツデータ124には、制御機能部150の制御によって画像表示部20が表示する画像や映像を含むコンテンツのデータ(画像データ、映像データ、音声データ等)が含まれている。なお、コンテンツデータ124には、双方向型のコンテンツのデータが含まれてもよい。双方向型のコンテンツとは、操作部110によって使用者の操作を取得して、取得した操作内容に応じた処理を制御機能部150が実行し、処理内容に応じたコンテンツを画像表示部20に表示するタイプのコンテンツを意味する。この場合、コンテンツのデータには、使用者の操作を取得するためのメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理を定めるデータ等を含みうる。映像データは、動画を示す動画データである。
制御機能部150は、記憶機能部122が記憶しているデータを利用して各種処理を実行することにより、OS143、画像処理部145、表示制御部147、撮像制御部149、入出力制御部151、通信制御部153、無人航空機制御部155としての機能を実行する。本実施形態では、OS143以外の各機能部は、OS143上で実行されるコンピュータープログラムとして構成されている。
画像処理部145は、画像表示部20により表示する画像/映像の画像データに基づいて、右表示ユニット22および左表示ユニット24に送信する信号を生成する。画像処理部145が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。画像処理部145は、メインプロセッサー140がコンピュータープログラムを実行して実現される構成のほか、メインプロセッサー140とは別のハードウェア(例えば、DSP(Digital Signal Processor))で構成してもよい。
なお、画像処理部145は、必要に応じて、解像度変換処理、画像調整処理、2D/3D変換処理等を実行してもよい。解像度変換処理は、画像データの解像度を右表示ユニット22および左表示ユニット24に適した解像度へと変換する処理である。画像調整処理は、画像データの輝度や彩度を調整する処理や、ガンマ補正等である。2D/3D変換処理は、三次元画像データから二次元画像データを生成し、あるいは、二次元画像データから三次元画像データを生成する処理である。画像処理部145は、これらの処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成し、接続ケーブル40を介して画像表示部20へと送信する。
表示制御部147は、右表示ユニット22および左表示ユニット24を制御する制御信号を生成し、この制御信号により、右表示ユニット22および左表示ユニット24のそれぞれによる画像光の生成と射出とを制御する。具体的には、表示制御部147は、OLED駆動回路225、245を制御して、OLEDパネル223、243による画像の表示を実行させる。表示制御部147は、画像処理部145が出力する信号に基づいて、OLED駆動回路225、245がOLEDパネル223、243に描画するタイミングの制御、OLEDパネル223、243の輝度の制御等を行う。
撮像制御部149は、カメラ61を制御して撮像を実行させ、撮像画像データを生成し、記憶機能部122に一時的に記憶させる。また、カメラ61が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部149は、撮像画像データをカメラ61から取得して、記憶機能部122に一時的に記憶させる。
入出力制御部151は、タッチパッド14(図1)と、方向キー16と、決定キー17とを適宜、制御して、これらから入力指令を取得する。取得した指令は、OS143、またはOS143と共にOS143上で動作するコンピュータープログラムに出力される。OS143、またはOS143上で動作するコンピュータープログラムは、これらの入力指令に基づいて、画像表示部20の画面に表示されるカーソルを移動させる。通信制御部153は、無線通信部117を制御して、外部機器との間で無線通信を行う。
無人航空機制御部155は、無人航空機400との間で直接もしくは間接的に信号を送受信することによって、HMD100側から無人航空機400を操縦することを可能としている。無人航空機制御部155の詳細については、後述する。
図7は、HMD100による拡張現実感表示の一例を示す説明図である。図7では、使用者の視界VTを例示している。上述のようにして、HMD100の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は拡張現実感(AR)としての画像AIを視認する。図7の例では、画像AIは、HMD100のOSのメニュー画面である。メニュー画面には、例えば、「メッセージ」、「電話」、「カメラ」、「ブラウザー」、「無人航空機」の各アプリケーションプログラムを起動するためのアイコンICが含まれる。また、右左の導光板26,28が外界SCからの光を透過することで、使用者は外界SCを視認する。このように、本実施形態のHMDの使用者は、視界VTのうち画像VIが表示された部分については、外界SCに重なるようにして画像AIを見ることができる。また、視界VTのうち画像AIが表示されていない部分については、外界SCだけを見ることができる。
A−3.無人航空機とリモコン装置の構成:
図1に示すように、無人航空機400は、4基のプロペラ410(2基は図示を省略)と、カメラ420と、を有する。無人航空機400は、4基のプロペラ410によって、空中を自在にかつ安定的に飛び回ることができ、カメラ420によって、上空から地上を撮影することができる。
図1に示すように、無人航空機400は、4基のプロペラ410(2基は図示を省略)と、カメラ420と、を有する。無人航空機400は、4基のプロペラ410によって、空中を自在にかつ安定的に飛び回ることができ、カメラ420によって、上空から地上を撮影することができる。
図8は、無人航空機400の電気的な構成とリモコン装置500の電気的な構成とを示すブロック図である。無人航空機400は、4個のモーター430と、4個のESC(Electronic Speed Controller)435と、GPSレシーバー440と、6軸センサー450と、無線通信部460と、Wi−Fi通信部470と、バッテリー480と、制御部490と、を備える。
各モーター430は、各プロペラ410と接続され、各プロペラ410を駆動する。各ESCは、各モーター430と接続され、入力信号に応じて各モーター430の回転数を制御する。
GPSレシーバー440は、図示しないGPSアンテナを用いて、GPS衛星から送信される電波を受信し、図示しないGPS回路を用いて、受信された電波を解析することにより、GPS情報を取得する。GPS情報は、緯度、経度、高度を含む位置情報や、撮影時刻および日付の情報を有する。GPS情報によって、無人航空機400は、機体(=無人航空機400)の現在位置(緯度、経度、高度)を知ることができる。
6軸センサー450は、3軸加速度センサーと3軸ジャイロ(角速度)センサーとを備えるモーションセンサー(慣性センサー)である。6軸センサー450は、これらセンサーがモジュール化されたIMU(Inertial Measurement Unit)を採用してもよい。6軸センサー450によって、無人航空機400は、機体の姿勢・速度などを知ることができる。
無線通信部460は、リモコン装置500の有する無線通信部540との間における無線通信を実行する。Wi−Fi通信部470は、Wi−Fi(登録商標)を含む無線LANの規格に準拠した無線通信を行う。本実施形態では、後述するWi−Fi航行モード時において、Wi−Fi通信部470は、HMD100の制御装置10に備えられる無線通信部117との間でWi−Fiの電波のやり取りを行う。
バッテリー480は、無人航空機400全体の電源であり、本実施形態では、リチウムポリマーバッテリーが採用されている。
制御部490には、カメラ420、各ESC435、GPSレシーバー440、6軸センサー450、無線通信部460、Wi−Fi通信部470、およびバッテリー480がそれぞれ接続されている。制御部490は、メインプロセッサーと記憶部とを備えるマイクロコンピュータによって構成され、記憶部にプログラムを読み込んで実行することにより、種々の機能を実行する。具体的には、制御部490は、無線通信部460を介してリモコン装置500との間で無線通信を行って、リモコン装置500からの制御指令に従って各モーター430の回転数を個別に制御する。この結果、制御部490は、リモコン装置500からの指令に従って、機体を上昇、下降、前進、後進、左移動、右移動、ホバリングさせることができる。また、制御部490は、リモコン装置500からの指令に従って、カメラ420による撮影を行うことができ、撮影画像をディスプレイ510に表示する。
制御部490は、さらに、自動航行モードM1にて、機体を移動することができる。自動航行モードM1は、目的地を示す位置情報を設定することによって、機体を自動的に目的地まで航行させるモードである。無人航空機400は、前述したように、GPSレシーバー440によって機体の現在位置を知ることができることから、制御部490は、自動航行モードM1において、現在位置から目的地の位置までの方向と距離を常に演算し、方向と距離に応じて各モーター430の回転数を制御することによって、機体を目的地に自動的に移動することができる。
自動航行モードM1を利用する機能の一つとして、例えば、無人航空機400とリモコン装置500との間の通信が途絶えた場合に、無人航空機400を離陸地点に戻す機能がある。制御部490は、自動航行モードM1において、予め記憶しておいた離陸地点のGPS情報に含まれる位置情報を目的地に設定することによって、機体を離陸地点に戻すことができる。
図1に示すように、リモコン装置500は、ディスプレイ510と、ジョイスティックタイプの操作部520と、を有する。また、図8に示すように、リモコン装置500は、GPSレシーバー530と、無線通信部540と、USBコネクター550と、制御部590と、を備える。
GPSレシーバー530は、図示しないGPSアンテナを用いて、GPS衛星から送信される電波を受信し、図示しないGPS回路を用いて、受信された電波を解析することにより、GPS情報を取得する。GPS情報は、緯度、経度、高度を含む位置情報や、撮影時刻および日付の情報を有する。GPS情報によって、リモコン装置500は、リモコン装置500の現在位置(緯度、経度、高度)を知ることができる。
無線通信部540は、無人航空機400の有する無線通信部460との間における無線通信を実行する。USBコネクター550は、例えば、USB規格に準拠したコネクターと、インターフェース回路とを含む。USBコネクター550は、USB規格に準拠したメモリーデバイス、スマートフォン、パーソナルコンピューター等を接続可能なインターフェースである。本実施形態では、USBコネクター550は、USBケーブル350を介して、HMD100の制御装置10に備えられたUSBコネクター188と接続されている。制御装置10に備えられたUSBコネクター188が、「無人航空機400との間の無線通信を利用した通信を行い得る通信部」に相当する。なお、リモコン装置500と制御装置10との間の接続は、USB接続に限る必要はなく、その他の有線の接続によるものであってもよい。さらに、有線に替えて、無線によってリモコン装置500と制御装置10との間を接続する構成であってもよい。
制御部590には、ディスプレイ510、操作部520、GPSレシーバー530、無線通信部540、およびUSBコネクター550がそれぞれ接続されている。制御部590は、メインプロセッサーと記憶部とを備えるマイクロコンピュータによって構成され、記憶部にプログラムを読み込んで実行することにより、種々の機能を実行する。具体的には、制御部590は、操作部520からの操作指令を、無人航空機400に対して送信することによって、無人航空機400に、上昇、下降、前進、後進、左移動、右移動、ホバリングといった飛行形態を指令する。また、制御部590は、無人航空機400に対して、カメラ420による撮影を指令する。
A−4.HMDによる帰還処理:
図6を用いて先に説明したように、HMD100に備えられた制御装置10は、制御機能部150の一つとして、無人航空機400を操縦する無人航空機制御部155を備える。無人航空機制御部155は、リモコン装置500の操作部520をソフトウェア的に実現した操作画面(例えば、図14の操作画面CB)を、画像表示部20に表示させ、HMD100の使用者によってこの操作画面に入力された操作指令を、リモコン装置500に送信することによって、リモコン装置500の有する機能を利用して、HMD100側から無人航空機400を操縦する。無人航空機制御部155は、リモコン装置500の全ての機能を有してもよく、リモコン装置500の全ての機能のうちの一部だけでもよい。また、無人航空機制御部155は、上記の操作画面から撮影指令を受けたときに、撮影指令をリモコン装置500に送信することによって、リモコン装置500の有する機能を利用して、HMD100側から無人航空機400に対して、カメラ420による撮影を指令する。
図6を用いて先に説明したように、HMD100に備えられた制御装置10は、制御機能部150の一つとして、無人航空機400を操縦する無人航空機制御部155を備える。無人航空機制御部155は、リモコン装置500の操作部520をソフトウェア的に実現した操作画面(例えば、図14の操作画面CB)を、画像表示部20に表示させ、HMD100の使用者によってこの操作画面に入力された操作指令を、リモコン装置500に送信することによって、リモコン装置500の有する機能を利用して、HMD100側から無人航空機400を操縦する。無人航空機制御部155は、リモコン装置500の全ての機能を有してもよく、リモコン装置500の全ての機能のうちの一部だけでもよい。また、無人航空機制御部155は、上記の操作画面から撮影指令を受けたときに、撮影指令をリモコン装置500に送信することによって、リモコン装置500の有する機能を利用して、HMD100側から無人航空機400に対して、カメラ420による撮影を指令する。
また、操作部520をソフトウェア的に実現した操作画面には、「リターン・トゥ・HMD」と呼ばれるソフトウェアボタンが用意されている。このソフトウェアボタンが方向キー16(図1)と決定キー17(図1)とによって操作されたときに、無人航空機制御部155は、HMD100の元に無人航空機400を帰還させる帰還処理を実行する(帰還処理部155a)。
図9は、帰還処理を示すフローチャートである。この帰還処理は、図6に示した帰還処理部155aによる処理であり、HMD100のメインプロセッサー140によって実行される。図7に例示したメニュー画面の「無人航空機」のアイコンICが方向キー16(図1)と決定キー17(図1)とによって指示され、その後に、起動された「無人航空機」のアプリケーションプログラムにおいて、「リターン・トゥ・HMD」のソフトウェアボタンが操作されたときに、帰還処理は実行開始される。
処理が開始されると、HMD100のメインプロセッサー140は、まず、GPSレシーバー115からGPS情報を取得する(ステップS110)。メインプロセッサー140とステップS110の処理が、「GPS情報取得部」に相当する。
次いで、メインプロセッサー140は、取得したGPS情報に含まれる位置情報(緯度、経度、高度)を目的地に設定した自動航行モードM1(図8)での航行を、無人航空機400に対して指示する(ステップS120)。この指示は、リモコン装置500に行うことで、リモコン装置500を介して無人航空機400に対して行う。すなわち、ステップS120では、HMD100の制御装置10の現在位置に無人航空機400を帰還させる指示を、リモコン装置500を介して無人航空機400に対して行う。
続いて、メインプロセッサー140は、カメラ61を起動して、使用者の視線方向の外界を撮影する(ステップS130)。この撮影される外界は、使用者によって画像表示部20を通して視認可能な視界に相当する。
続いて、メインプロセッサー140は、カメラ61により撮影された画像の中に無人航空機400が含まれるか否かを判定する(ステップS140)。この判定は、無人航空機400の形状的な特徴を示す画像を目的画像として準備し、パターンマッチングによって、撮影された画像の中から目的画像と一致度の高い画像部分が検出されたときに、撮影された画像の中に無人航空機400が含まれていると判定する。
なお、無人航空機400の形状的な特徴を示す画像を目的画像とする構成に替えて、無人航空機400に予めマーカーを貼り付け、マーカーを目的画像としてもよい。マーカーは、二次元マーカーであり、パターンマッチングする目的画像を指定するための標識となる。
図10は、使用者によって画像表示部20を通して視認可能な視界を説明するための図である。図中において、例えば、2点鎖線で示した範囲が、画像表示部20を通して視認可能な視界WAである。ステップS140による判定処理によって、視界WA内に無人航空機400が侵入したか否かが判定されることになる。
図9に戻り、ステップS140で、撮影された画像の中に無人航空機400が含まれていないと判定されたとき、すなわち、視界WA内に無人航空機400が侵入していないと判定されたときには、メインプロセッサー140は、無人航空機400がステップS120で設定した目的地に到着したか否かを判定する(ステップS150)。目的地に到着したか否かは、リモコン装置500が無人航空機400と通信することによって把握しており、リモコン装置500に問い合わせることによって、ステップS150の判定がなされる。
ステップS150で、目的地に到着していないと判定された場合、すなわち、視界WA内に無人航空機400が侵入しておらず、かつ目的地に到着していないと判定された場合には、メインプロセッサー140は、ステップS110に処理を戻して、自動航行モードM1での帰還を継続して実行させる。図10に例示するように、無人航空機400は、視界WAの外側を飛行している場合には、自動航行モードM1で航行する。
メインプロセッサー140は、ステップS110からステップS140までの処理を繰り返し実行し、ステップS140で、撮影された画像の中に無人航空機400が含まれていると判定されたとき、すなわち、視界WA内に無人航空機400が侵入していると判定されたときには、無人航空機400に対して、自動航行モードでの航行を中止し、Wi−Fi航行モードでの航行を指示する(ステップS160)。
図11は、Wi−Fi航行モードを説明するための図である。Wi−Fi航行モードM2(図6参照)では、HMD100の制御装置10と無人航空機400との間でWi−Fiの電波B1,B2のやりとりを行い、Wi−Fiの電波強度の変化から無人航空機400の航行ルートを定める。具体的には、Wi−Fiの電波強度が強くなる方向に航行ルートを定める。メインプロセッサー140は、Wi−Fi航行モードM2において、無人航空機400からのWi−Fiの電波強度を測定し、電波強度の変化から、電波強度が強くなる方向を推定し、この電波強度が強くなる方向を航行ルートとし、この航行ルートを飛行するように、リモコン装置500を介して無人航空機400に対して飛行形態を指示する。飛行形態とは、上昇、下降、前進、後進、左移動、右移動、ホバリング等の機体の動きである。
なお、リモコン装置500を介して無人航空機400に飛行形態を指示する構成に替えて、制御装置10が、無線通信部117から直接、無人航空機400に飛行形態を指示する構成としてもよい。さらに、電波強度が強くなる方向を推定し、この電波強度が強くなる方向を航行ルートと求める処理を、制御装置10の側で行うのではなく、無人航空機400の制御部490で行い、この求めた航行ルートに従って、制御部490が、無人航空機400の飛行形態を制御する構成としてもよい。
図9のステップS160の実行後、メインプロセッサー140は、無人航空機400がHMD100の制御装置10の位置まで到着したか否かを判定し(ステップS170)、到着するまで、Wi−Fi航行モードM2での帰還を継続して実行させる。図10に例示するように、無人航空機400は、視界WA内を飛行している場合には、Wi−Fi航行モードM2で航行する。ただし、到着する直前においては、無人航空機400がHMD100や使用者に衝突しないように、無人航空機400は、カメラ420で障害物(ここでは、HMD100や使用者)を認識し、予め設定した距離を離して自動着陸する。
ステップS170またはステップS150で、到着したと判定されたときには、メインプロセッサー140は、この帰還処理を終了する。
A−5.実施形態の効果について:
以上のように構成された第1実施形態のHMD100によれば、無人航空機400が自動航行モードM1で制御装置10へ向かって航行しているときに、画像表示部20を通して視認可能な視界WA内に無人航空機400が侵入した場合に、自動航行モードM1を中止して、Wi−Fiの電波強度の変化から航行ルートを定めるWi−Fi航行モードM2で、無人航空機400を航行させる。このため、HMD100によれば、精度の低いGPS情報を利用した自動航行モードM1での航行を取りやめることができることから、HMD100まで高い精度で帰還させることが可能となる。特に本実施形態では、自動航行モードM1から切り替えられるWi−Fi航行モードM2は、Wi−Fi電波の強度の変化から航行ルートを定めるもので、高い精度での航行を可能とする。このため、HMD100までの帰還をより高い精度で行うことができる。
以上のように構成された第1実施形態のHMD100によれば、無人航空機400が自動航行モードM1で制御装置10へ向かって航行しているときに、画像表示部20を通して視認可能な視界WA内に無人航空機400が侵入した場合に、自動航行モードM1を中止して、Wi−Fiの電波強度の変化から航行ルートを定めるWi−Fi航行モードM2で、無人航空機400を航行させる。このため、HMD100によれば、精度の低いGPS情報を利用した自動航行モードM1での航行を取りやめることができることから、HMD100まで高い精度で帰還させることが可能となる。特に本実施形態では、自動航行モードM1から切り替えられるWi−Fi航行モードM2は、Wi−Fi電波の強度の変化から航行ルートを定めるもので、高い精度での航行を可能とする。このため、HMD100までの帰還をより高い精度で行うことができる。
第1実施形態の変形例として、Wi−Fi航行モードM2に替えて、Wi−Fi以外の電波、例えば、無線LANや、Bluetooth(登録商標)、iBeacon(登録商標)等の強度によって、航行ルートを定めるモードとしてもよい。
B.第2実施形態:
図12は、第2実施形態のHMDで実行される帰還処理を示すフローチャートである。第2実施形態のHMDで実行される帰還処理は、第1実施形態における帰還処理(図9)と比較して、ステップS160に対応するステップS260の処理が相違し、その他のステップの処理は同一である。第2実施形態のHMDのハードウェア構成は、第1実施形態のHMDのハードウェア構成と同一である。なお、以下の説明において、第1実施形態と同一のパーツについては、第1実施形態と同じ符号を付ける。
図12は、第2実施形態のHMDで実行される帰還処理を示すフローチャートである。第2実施形態のHMDで実行される帰還処理は、第1実施形態における帰還処理(図9)と比較して、ステップS160に対応するステップS260の処理が相違し、その他のステップの処理は同一である。第2実施形態のHMDのハードウェア構成は、第1実施形態のHMDのハードウェア構成と同一である。なお、以下の説明において、第1実施形態と同一のパーツについては、第1実施形態と同じ符号を付ける。
図12の帰還処理におけるステップS260では、メインプロセッサー140は、無人航空機400に対して、自動航行モードでの航行を中止し、デッドレコニング航行モードでの航行を指示する。すなわち、画像表示部20を通して視認可能な視界WA内に無人航空機400が侵入したときに、第1実施形態の帰還処理では、自動航行モードM1からWi−Fi航行モードM2への切り替えを行っていたが、これに替えて、第2実施形態の帰還処理では、自動航行モードM1からデッドレコニング航行モードへの切り替えを行う。
無人航空機400には、6軸センサー450が備えられている。6軸センサー450の検出信号から、無人航空機400の機体の姿勢・速度などを知ることができる。このため、無人航空機400が離陸前の状態にあるときの6軸センサー450の検出信号の値(=検出値)を初期値とし、その初期値に6軸センサー450の検出値を逐次足し合わせる(積算する)ことによって、その初期値に該当する位置を基準とした相対的な位置と姿勢(無人航空機400の位置と姿勢)を求めることができる。この対称の位置と姿勢を求める方法が、「デッドレコニング(Dead-Reckoning)」と呼ばれるものである。
一方、第2実施形態のHMDの制御装置にも、第1実施形態と同様に6軸センサー111(図5)が設けられている。このため、デッドレコニングの手法を採用することによって、初期値に該当する位置と姿勢を基準とした相対的な位置と姿勢(HMDの制御装置の位置と姿勢)を求めることができる。帰還処理を実行する前に、無人航空機400についての前記初期値に該当する位置と姿勢を、HMDの制御装置の前記初期値に該当する位置にキャリブレーションした上で、無人航空機400側、HMDの制御装置側ともにデッドレコニングを行うことによって、HMDの制御装置の現在の位置と姿勢に対する、無人航空機400の現在の位置と姿勢とを求めることができる。
ステップS260で実行されるデッドレコニング航行モードにおいて、制御装置のメインプロセッサーは、上述したようにして、HMDの制御装置の現在の位置と姿勢に対する、無人航空機400の現在の位置と姿勢とを求め、求めた位置と姿勢とから航行ルートを求め、この航行ルートを飛行するように、リモコン装置500を介して無人航空機400に対して飛行形態を指示する。飛行形態とは、上昇、下降、前進、後進、左移動、右移動、ホバリング等の機体の動きである。
なお、リモコン装置500を介して無人航空機400に飛行形態を指示する構成に替えて、制御装置が、無線通信部117(図5)から直接、無人航空機400に飛行形態を指示する構成としてもよい。さらに、HMDの制御装置の現在の位置と姿勢に対する、無人航空機400の現在の位置と姿勢とを求め、求めた位置と姿勢とから航行ルートを求める処理を、制御装置10の側で行うのではなく、無人航空機400の制御部490で行い、この求めた航行ルートに従って、制御部490が、無人航空機400の飛行形態を制御する構成としてもよい。
デッドレコニング航行モードによれば、6軸センサー111,450の検出信号を利用して、HMDの制御装置の現在の位置と姿勢に対する、無人航空機400の現在の位置と姿勢とを、高精度に求めることができる。このため、第2実施形態のHMDによれば、第1実施形態のHMD100と同様に、無人航空機400をHMDまで高い精度で帰還させることができる。
C.第3実施形態:
図13は、第3実施形態のHMDで実行される帰還処理を示すフローチャートである。第3実施形態のHMDで実行される帰還処理は、第1実施形態における帰還処理(図9)と比較して、ステップS160に対応するステップS260の処理が相違し、その他のステップの処理は同一である。第3実施形態のHMDのハードウェア構成は、第1実施形態のHMDのハードウェア構成と同一である。以下の説明において、第1実施形態と同一のパーツについては、第1実施形態と同じ符号を付ける。
図13は、第3実施形態のHMDで実行される帰還処理を示すフローチャートである。第3実施形態のHMDで実行される帰還処理は、第1実施形態における帰還処理(図9)と比較して、ステップS160に対応するステップS260の処理が相違し、その他のステップの処理は同一である。第3実施形態のHMDのハードウェア構成は、第1実施形態のHMDのハードウェア構成と同一である。以下の説明において、第1実施形態と同一のパーツについては、第1実施形態と同じ符号を付ける。
図13の帰還処理におけるステップS160では、メインプロセッサー140は、無人航空機400に対して、自動航行モードでの航行を中止し、手動航行モードでの航行を指示する。すなわち、画像表示部20を通して視認可能な視界WA内に無人航空機400が侵入したときに、第1実施形態の帰還処理では、自動航行モードM1からWi−Fi航行モードM2への切り替えを行っていたが、これに替えて、第3実施形態の帰還処理では、自動航行モードM1から手動航行モードへの切り替えを行う。
図14は、リモコン装置500(図1)の操作部520をソフトウェア的に実現した操作画面CBを示す説明図である。操作画面CBは画像表示部20によって表示される。操作者は、方向キー16(図1)と決定キー17(図1)とを用いて操作画面CBに対して入力操作を行う。手動航行モードでは、メインプロセッサー140は、操作画面CBに入力された操作指令を、リモコン装置500に送信することによって、リモコン装置500の有する機能を利用して、HMD100側から無人航空機400を操縦する。
なお、操作画面に入力された操作指令を、リモコン装置500を介して無人航空機400に送る構成に替えて、制御装置が、無線通信部117(図5)から直接、無人航空機400に送る構成としてもよい。
以上のように構成された第3実施形態のHMDによれば、無人航空機400が自動航行モードM1で制御装置10へ向かって航行しているときに、画像表示部20を通して視認可能な視界WA内に無人航空機400が侵入した場合に、GPS情報を利用した自動航行モードM1を中止して、手動航行モードで無人航空機400を航行させる。このため、第3実施形態のHMDによれば、精度の低いGPS情報を利用した自動航行モードM1での航行を取りやめることができることから、第1および第2実施形態と同様に、HMD100まで高い精度で帰還させることが可能となる。
第3実施形態の変形例として、6軸センサー111、450を、3軸の加速度センサーだけを有する慣性センサーに替えてもよい。
D.第4実施形態:
図15は、第4実施形態のHMDにおいて表示される操作画面CBXを示す説明図である。操作画面CBXは、第3実施形態における操作画面CB(図14)に相当するものである。操作画面CBXは、第3実施形態における操作画面CBと比較して、画像表示部20による表示位置が相違するだけで、形状や機能は同一である。その他のソフトウェア構成やハードウェア構成は、第3実施形態のHMDと同一である。
図15は、第4実施形態のHMDにおいて表示される操作画面CBXを示す説明図である。操作画面CBXは、第3実施形態における操作画面CB(図14)に相当するものである。操作画面CBXは、第3実施形態における操作画面CBと比較して、画像表示部20による表示位置が相違するだけで、形状や機能は同一である。その他のソフトウェア構成やハードウェア構成は、第3実施形態のHMDと同一である。
図15において、破線は、第3実施形態の操作画面CBの表示位置を示している。第3実施形態では、視界VT内に無人航空機400が侵入したときに、視界VT内の無人航空機400の位置と操作画面CBとが重なることがあった。これに対して、第4実施形態のHMDでは、視界VT内の無人航空機400の位置から離れた位置となるように、操作画面CBXの位置が変更される。具体的には、図9のステップS140で、パターンマッチングによって無人航空機400が検出される位置を求め、その位置から視界VT内の無人航空機400の位置を推定し、推定された位置から離れた位置に操作画面CBXを移動する。この結果、視界VT内の無人航空機400の位置およびその周囲は、外界を透過することができ、無人航空機400を使用者は確実に確認することができる。
したがって、第4実施形態のHMDでは、第3実施形態と同様に、HMD100まで高い精度で帰還させることができる。特に第4実施形態のHMDでは、視界VTにおいて、無人航空機400が操作画面CBXによって隠されることがないことから、無人航空機400を手動にて帰還させる操作性を向上することができる。なお、本実施形態における、無人航空機400の位置と操作画面CBとが重ならないように操作画面CBの表示位置を変更する構成は、第1実施形態、および第2実施形態においても採用するようにしてもよい。
E.変形例:
なお、この発明は第1〜第4実施形態およびそれらの変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
なお、この発明は第1〜第4実施形態およびそれらの変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
・変形例1:
各実施形態および変形例では、無人航空機システムは、HMD100と、無人航空機400と、リモコン装置500と、を備えていた。これに対して、変形例として、無人航空機システムは、リモコン装置500を備えずに、HMD100と、無人航空機400と、を備えた構成としてもよい。この場合には、リモコン装置500の機能を全て、HMD100がソフトウェアによって実現する構成とする。
各実施形態および変形例では、無人航空機システムは、HMD100と、無人航空機400と、リモコン装置500と、を備えていた。これに対して、変形例として、無人航空機システムは、リモコン装置500を備えずに、HMD100と、無人航空機400と、を備えた構成としてもよい。この場合には、リモコン装置500の機能を全て、HMD100がソフトウェアによって実現する構成とする。
・変形例2:
各実施形態および変形例では、自動航行モードでの行き先となるGPS情報は、HMD100の制御装置10に備えられたGPSレシーバー115によって取得する構成とした。これに対して、変形例として、HMD100の画像表示部20にGPSレシーバーを設け、そのGPSレシーバーからGPS情報を取得するようにしてもよい。また、リモコン装置500に備えられたGPSレシーバー530によって取得されたGPS情報を、リモコン装置500から取得する構成としてもよい。
各実施形態および変形例では、自動航行モードでの行き先となるGPS情報は、HMD100の制御装置10に備えられたGPSレシーバー115によって取得する構成とした。これに対して、変形例として、HMD100の画像表示部20にGPSレシーバーを設け、そのGPSレシーバーからGPS情報を取得するようにしてもよい。また、リモコン装置500に備えられたGPSレシーバー530によって取得されたGPS情報を、リモコン装置500から取得する構成としてもよい。
・変形例3:
各実施形態および変形例では、HMD100の制御装置10にGPSレシーバー115を設け、自動航行モードは、HMD100の制御装置10の現在位置に無人航空機400を帰還させる構成とした。これに対して、変形例として、GPSレシーバーを頭部装着型表示装置から離れた位置に設けて、そのGPSレシーバーの位置まで無人航空機400を航行させる構成としてもよい。例えば、所定の施設内の予め定められた位置にGPSレシーバーを配置し、その位置を自動航行モードでの行き先としてもよい。この場合には、無人航空機は、自動航行モードで所定の施設内までの航行を行っており、HMDの使用者は、この施設に出向いた上で、自動航行モードとは異なる特定の航行モードで無人航空機を航行させることが可能となる。
各実施形態および変形例では、HMD100の制御装置10にGPSレシーバー115を設け、自動航行モードは、HMD100の制御装置10の現在位置に無人航空機400を帰還させる構成とした。これに対して、変形例として、GPSレシーバーを頭部装着型表示装置から離れた位置に設けて、そのGPSレシーバーの位置まで無人航空機400を航行させる構成としてもよい。例えば、所定の施設内の予め定められた位置にGPSレシーバーを配置し、その位置を自動航行モードでの行き先としてもよい。この場合には、無人航空機は、自動航行モードで所定の施設内までの航行を行っており、HMDの使用者は、この施設に出向いた上で、自動航行モードとは異なる特定の航行モードで無人航空機を航行させることが可能となる。
・変形例4:
各実施形態および変形例では、カメラ61の撮像画像が画像表示部20によって視認可能な視界WAと一致するものとして、カメラ61の撮像画像を用いて、視界WA内に無人航空機400が侵入したか否かを判定していた。これに対して、変形例として、画像表示部20に備えられた6軸センサー235と磁気センサー237から、画像表示部20が向いている方位を求め、この方位が画像表示部20によって視認可能な視界WAを特定しうるとして、この方位と、無人航空機400のGPSレシーバー440によって取得したGPS情報で示される位置とから、視界WA内に無人航空機400が侵入したか否かを判定する構成としてもよい。この構成によっても、各実施形態および変形例と同様の効果を奏することができる。
各実施形態および変形例では、カメラ61の撮像画像が画像表示部20によって視認可能な視界WAと一致するものとして、カメラ61の撮像画像を用いて、視界WA内に無人航空機400が侵入したか否かを判定していた。これに対して、変形例として、画像表示部20に備えられた6軸センサー235と磁気センサー237から、画像表示部20が向いている方位を求め、この方位が画像表示部20によって視認可能な視界WAを特定しうるとして、この方位と、無人航空機400のGPSレシーバー440によって取得したGPS情報で示される位置とから、視界WA内に無人航空機400が侵入したか否かを判定する構成としてもよい。この構成によっても、各実施形態および変形例と同様の効果を奏することができる。
さらに、他の変形例として、先に説明した測距センサーによって無人航空機までの距離を検出し、検出した距離が所定値以下であるときに、視界WA内に無人航空機400が侵入したと判定してもよい。人間は、約10mまでは両眼視差が最も支配的であり、奥行き感度が最も高い。このため、上記所定値を例えば11m〜9mとし、無人航空機までの距離が所定値以下であるときに、視界WA内に無人航空機400が侵入したと判定する。この構成によっても、各実施形態および変形例と同様の効果を奏することができる。上記所定値は、例えば10mとすることもできる。
さらに、他の変形例として、カメラ61の撮像画像に換えて、無人航空機400側のカメラ420の撮像画像を利用して、視界WA内に無人航空機400が侵入したか否かを判定する構成としてもよい。具体的には、無人航空機400側のカメラ420の撮像画像に、HMDを装着した使用者が含まれるか否かから、視界WA内に無人航空機400が侵入したか否かを判定する構成とする。この構成によっても、各実施形態および変形例と同様の効果を奏することができる。また、リモコン装置500(図8参照)のディスプレイ510に表示しているカメラ420の撮像画像をリモコン装置500から取得し、この撮像画像を利用して、視界WA内に無人航空機400が侵入したか否かを判定する構成としてもよい。
・変形例5:
各実施形態および変形例では、自動航行モードでの航行中に、視界WA内に無人航空機400が侵入したときに、自動航行モードからWi−Fi航行モードへの切り替えを行う構成であった。これに対して、変形例として、上記Wi−Fi航行モードへの切り替えの後、無人航空機400が使用者から離れる方向に旋回し、視界WAの外に無人航空機400が移動したときには、Wi−Fi航行モードから自動航行モードへの切り替えを行う構成としてもよい。さらに、使用者の視界から出た後に、視界内に再び侵入した場合等、繰り返し視界を出入りする場合であっても、本発明を適用可能である。
各実施形態および変形例では、自動航行モードでの航行中に、視界WA内に無人航空機400が侵入したときに、自動航行モードからWi−Fi航行モードへの切り替えを行う構成であった。これに対して、変形例として、上記Wi−Fi航行モードへの切り替えの後、無人航空機400が使用者から離れる方向に旋回し、視界WAの外に無人航空機400が移動したときには、Wi−Fi航行モードから自動航行モードへの切り替えを行う構成としてもよい。さらに、使用者の視界から出た後に、視界内に再び侵入した場合等、繰り返し視界を出入りする場合であっても、本発明を適用可能である。
・変形例6:
第2実施形態では、HMDの制御装置の位置と姿勢を6軸センサー111(図5)の検出信号に基づいて求めていた。これに対して、変形例として、6軸センサー111の検出信号に加えて、GPSの検出信号やカメラの撮像画像を利用して、HMDの制御装置の位置と姿勢をより高精度に求める構成としてもよい。また、カメラと通信装置を備えた他のHMDにおいて、使用者のHMD(本発明を適用したHMD)の位置と姿勢を観察可能な構成とし、観察された位置と姿勢を他のHMDから通信によって受信することによって、使用者のHMDの位置と姿勢を求めるようにしてもよい。
第2実施形態では、HMDの制御装置の位置と姿勢を6軸センサー111(図5)の検出信号に基づいて求めていた。これに対して、変形例として、6軸センサー111の検出信号に加えて、GPSの検出信号やカメラの撮像画像を利用して、HMDの制御装置の位置と姿勢をより高精度に求める構成としてもよい。また、カメラと通信装置を備えた他のHMDにおいて、使用者のHMD(本発明を適用したHMD)の位置と姿勢を観察可能な構成とし、観察された位置と姿勢を他のHMDから通信によって受信することによって、使用者のHMDの位置と姿勢を求めるようにしてもよい。
・変形例7:
第2実施形態におけるデッドレコニング航行モードでは、無人航空機400が離陸前の状態にあるときの6軸センサー450の検出信号の値(=検出値)を初期値としていた。これに対して、変形例として、無人航空機400が離陸前の状態にあるときの位置と姿勢を、HMD側のカメラ61の撮像画像から求めて、その求めた位置と姿勢を初期値としてもよい。カメラ61は、ステレオカメラとしてもよい。また、カメラ61は単眼カメラとし、2枚以上の撮像画像から三角測量の原理に基づいて距離を算出することによって、位置と姿勢を求め、それを初期値としてもよい。さらに、無人航空機400が離陸前の状態にあるときに換えて、離陸後の所定の状態のときとすることもできる。具体的には、無人航空機を離陸後、予め定めた所定の高さでホバリングさせ、そのときの位置と姿勢を初期値としてもよい。
第2実施形態におけるデッドレコニング航行モードでは、無人航空機400が離陸前の状態にあるときの6軸センサー450の検出信号の値(=検出値)を初期値としていた。これに対して、変形例として、無人航空機400が離陸前の状態にあるときの位置と姿勢を、HMD側のカメラ61の撮像画像から求めて、その求めた位置と姿勢を初期値としてもよい。カメラ61は、ステレオカメラとしてもよい。また、カメラ61は単眼カメラとし、2枚以上の撮像画像から三角測量の原理に基づいて距離を算出することによって、位置と姿勢を求め、それを初期値としてもよい。さらに、無人航空機400が離陸前の状態にあるときに換えて、離陸後の所定の状態のときとすることもできる。具体的には、無人航空機を離陸後、予め定めた所定の高さでホバリングさせ、そのときの位置と姿勢を初期値としてもよい。
・変形例8:
各実施形態および変形例では、ドローンのような遠隔操縦または自律飛行が可能な無人航空機を例として説明したが、これに限定されるものではなく、無人地上車両、無人水上艦、無人水上艇、無人水上船、無人潜水艦、無人潜水艇、無人宇宙機などの無人機に対しても本発明を適用可能である。
各実施形態および変形例では、ドローンのような遠隔操縦または自律飛行が可能な無人航空機を例として説明したが、これに限定されるものではなく、無人地上車両、無人水上艦、無人水上艇、無人水上船、無人潜水艦、無人潜水艇、無人宇宙機などの無人機に対しても本発明を適用可能である。
・変形例9:
各実施形態および変形例において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。
各実施形態および変形例において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。
・変形例10:
上記実施形態では、HMDの構成について例示した。しかし、HMDの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。
上記実施形態では、HMDの構成について例示した。しかし、HMDの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。
上記実施形態では、右導光板26および左導光板28が外光を透過する、いわゆる透過型のHMD100について説明した。しかし、本発明は、例えば、外界を透過しないで画像を表示する、いわゆる非透過型のHMD100に適用することもできる。また、非透過型のHMD100には、カメラで外界を撮像して、その撮像画像を表示部に表示すれば良い。これらのHMD100では、上記実施形態で説明した実空間に重畳して画像を表示するAR(Augmented Reality)表示のほか、撮像した実空間の画像と仮想画像とを組み合わせて表示するMR(Mixed Reality)表示、あるいは、仮想空間を表示するVR(Virtual Reality)表示を行うこともできる。
上記実施形態では、制御装置10および画像表示部20の機能部について説明したが、これらは任意に変更することができる。例えば、次のような態様を採用してもよい。制御装置10に記憶機能部122および制御機能部150を搭載し、画像表示部20には表示機能のみを搭載する態様。制御装置10と画像表示部20との両方に、記憶機能部122および制御機能部150を搭載する態様。制御装置10と画像表示部20とを一体化した態様。この場合、例えば、画像表示部20に制御装置10の構成要素が全て含まれ、眼鏡型のウェアラブルコンピューターとして構成される。制御装置10の代わりにスマートフォンや携帯型ゲーム機器を使用する態様。制御装置10と画像表示部20とを無線通信により接続し、接続ケーブル40を配した態様。この場合、例えば、制御装置10や画像表示部20に対する給電についても無線で実施してよい。
・変形例11:
上記実施形態では、制御装置の構成について例示した。しかし、制御装置の構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。
上記実施形態では、制御装置の構成について例示した。しかし、制御装置の構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。
上記実施形態では、制御装置10が備える入力手段の一例について説明した。しかし、制御装置10は、例示した一部の入力手段を省略して構成されてもよく、上述しない他の入力手段を備えていてもよい。例えば、制御装置10は、操作スティック、キーボード、マウス等を備えていてもよい。例えば、制御装置10は、使用者の身体の動き等に対応付けられたコマンドを解釈する入力手段を備えていてもよい。使用者の身体の動き等とは、例えば、視線を検出する視線検出、手の動きを検出するジェスチャー検出、足の動きを検出するフットスイッチ等により取得できる。なお、視線検出は、例えば、画像表示部20の内側を撮像するカメラにより実現できる。ジェスチャー検出は、例えば、カメラ61により経時的に撮影された画像を画像解析することにより実現できる。
上記実施形態では、制御機能部150は、メインプロセッサー140が記憶機能部122内のコンピュータープログラムを実行することにより動作するとした。しかし、制御機能部150は種々の構成を採用することができる。例えば、コンピュータープログラムは、記憶機能部122に代えて、または記憶機能部122と共に、不揮発性記憶部121、EEPROM215、メモリー118、他の外部記憶装置(各種インターフェースに挿入されているUSBメモリー等の記憶装置、ネットワークを介して接続されているサーバー等の外部装置を含む)に格納されていてもよい。また、制御機能部150の各機能は、当該機能を実現するために設計されたASIC(Application Specific Integrated Circuit)を用いて実現されてもよい。
・変形例12:
上記実施形態では、画像表示部の構成について例示した。しかし、画像表示部の構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。
上記実施形態では、画像表示部の構成について例示した。しかし、画像表示部の構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。
図16は、変形例の画像表示部が備える光学系の構成を示す要部平面図である。変形例の画像表示部では、使用者の右眼REに対応したOLEDユニット221aと、左眼LEに対応したOLEDユニット241aと、が設けられている。右眼REに対応したOLEDユニット221aは、白色で発色するOLEDパネル223aと、OLEDパネル223aを駆動して発光させるOLED駆動回路225とを備えている。OLEDパネル223aと右光学系251との間には、変調素子227(変調装置)が配置されている。変調素子227は、例えば、透過型液晶パネルで構成され、OLEDパネル223aが発する光を変調して画像光Lを生成する。変調素子227を透過して変調された画像光Lは、右導光板26によって右眼REに導かれる。
左眼LEに対応したOLEDユニット241aは、白色で発光するOLEDパネル243aと、OLEDパネル243aを駆動して発光させるOLED駆動回路245とを備えている。OLEDパネル243aと左光学系252との間には、変調素子247(変調装置)が配置されている。変調素子247は、例えば、透過型液晶パネルで構成され、OLEDパネル243aが発する光を変調して画像光Lを生成する。変調素子247を透過して変調された画像光Lは、左導光板28によって左眼LEに導かれる。変調素子227、247は、図示しない液晶ドライバー回路に接続される。この液晶ドライバー回路(変調装置駆動部)は、例えば変調素子227、247の近傍に配置される基板に実装される。
変形例の画像表示部によれば、右表示ユニット22および左表示ユニット24は、それぞれ、光源部としてのOLEDパネル223a、243aと、光源部が発する光を変調して複数の色光を含む画像光を出力する変調素子227、247と、を備える映像素子として構成される。なお、OLEDパネル223a、243aが発する光を変調する変調装置は、透過型液晶パネルが採用される構成に限定されない。例えば、透過型液晶パネルに代えて反射型液晶パネルを用いてもよいし、デジタル・マイクロミラー・デバイスを用いてもよいし、レーザー網膜投影型のHMD100としてもよい。
上記実施形態では、眼鏡型の画像表示部20について説明したが、画像表示部20の態様は任意に変更することができる。例えば、画像表示部20を帽子のように装着する態様としてもよく、ヘルメット等の身体防護具に内蔵された態様としてもよい。また、画像表示部20を、自動車や飛行機等の車両、またはその他の交通手段に搭載されるHUD(Head Up Display)として構成してもよい。
上記実施形態では、画像光を使用者の眼に導く光学系として、右導光板26および左導光板28の一部に、ハーフミラー261、281により虚像が形成される構成を例示した。しかし、この構成は任意に変更することができる。たとえば、右導光板26および左導光板28の全面(または大部分)を占める領域に虚像が形成されてもよい。この場合、画像の表示位置を変化させる動作によって画像を縮小してもよい。また、本発明の光学素子は、ハーフミラー261、281を有する右導光板26および左導光板28に限定されず、画像光を使用者の眼に入射させる光学部品(例えば、回折格子、プリズム、ホログラフィー等)を用いる限り任意の態様を採用できる。
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
10…制御装置、12…点灯部、14…タッチパッド、16…方向キー、17…決定キー、18…電源スイッチ、19…バイブレーター、20…画像表示部、21…右保持部、22…右表示ユニット、23…左保持部、24…左表示ユニット、26…右導光板、27…前部フレーム、28…左導光板、30…ヘッドセット、32…右イヤホン、34…左イヤホン、40…接続ケーブル、46…コネクター、61…カメラ、63…マイク、65…照度センサー、67…LEDインジケーター、100…頭部装着型表示装置(HMD)、110…操作部、111…6軸センサー、113…磁気センサー、115…GPSレシーバー、117…無線通信部、118…メモリー、120…コントローラー基板、121…不揮発性記憶部、122…記憶機能部、123…設定データ、124…コンテンツデータ、130…電源部、132…バッテリー、134…電源制御回路、140…メインプロセッサー、145…画像処理部、147…表示制御部、149…撮像制御部、150…制御機能部、151…入出力制御部、153…通信制御部、155…無人航空機制御部、155a…帰還処理部、180…音声コーデック、182…音声インターフェース、184…外部コネクター、186…外部メモリーインターフェース、188…USBコネクター、192…センサーハブ、196…インターフェース、210…表示ユニット基板、211…インターフェース、213…受信部、215…EEPROM、217…温度センサー、221、221a…OLEDユニット、223、223a…OLEDパネル、225…OLED駆動回路、227…変調素子、230…表示ユニット基板、231…インターフェース、233…受信部、235…6軸センサー、237…磁気センサー、239…温度センサー、241、241a…OLEDユニット、243、243a…OLEDパネル、245…OLED駆動回路、247…変調素子、251…右光学系、252…左光学系、261…ハーフミラー、281…ハーフミラー、400…無人航空機、410…プロペラ、420…カメラ、430…モーター、440…GPSレシーバー、450…6軸センサー、460…無線通信部、470…Wi−Fi通信部、480…バッテリー、490…制御部、500…リモコン装置、510…ディスプレイ、520…操作部、530…GPSレシーバー、540…無線通信部、550…USBコネクター、590…制御部、WA…外界
Claims (10)
- 無人機の操縦に関する制御を行うことが可能な頭部装着型表示装置であって、
外界を視認可能な表示部と、
GPS情報を取得するGPS情報取得部と、
前記無人機との間の無線通信を利用した通信を行い得る通信部と、
制御部と、
を備え、
前記制御部は、
前記無人機が、前記GPS情報取得部によって取得される前記GPS情報で示される位置に向けて移動する自動航行モードで航行しているときに、前記表示部によって視認可能な視界内に前記無人機が侵入したか否かを判定し、
前記視界内に前記無人機が侵入したと判定されたときに、前記自動航行モードでの航行を前記無人機に対し中止させ、前記自動航行モードとは異なる特定の航行モードで前記無人機を航行させる、頭部装着型表示装置。 - 請求項1に記載の頭部装着型表示装置であって、更に、
前記視界を撮像するカメラを有し、
前記制御部は、
前記カメラの撮像画像を取得し、前記無人機を特定するために予め準備された目的画像と前記撮像画像とをパターンマッチングすることによって、前記無人機が前記視界に侵入したか否かの判定を行う、頭部装着型表示装置。 - 請求項1または請求項2に記載の頭部装着型表示装置であって、更に、
前記無人機から送られてくる無線電波を受信する無線電波受信部を備え、
前記特定の航行モードは、
前記無線電波受信部によって受信される無線電波の強度を測定し、測定した前記強度の変化から航行ルートを定めるモードである、頭部装着型表示装置。 - 請求項1または請求項2に記載の頭部装着型表示装置であって、
前記無人機が、機体の動きを検出する第1慣性センサーを備え、前記第1慣性センサーの検出値を逐次積算することによって、機体の位置を求め、
前記特定の航行モードは、
前記頭部装着型表示装置が、前記無人機が求めた前記機体の位置を取得し、取得した前記機体の位置から航行ルートを定めるモードである、頭部装着型表示装置。 - 請求項4に記載の頭部装着型表示装置であって、更に、
動きを検出する第2慣性センサーを有し、
前記特定の航行モードは、
前記頭部装着型表示装置が、前記第2慣性センサーの検出値を逐次積算することによって、前記頭部装着型表示装置の位置を求め、求めた前記頭部装着型表示装置の位置と、取得した前記機体の位置と、から航行ルートを定めるモードである、頭部装着型表示装置。 - 請求項1または請求項2に記載の頭部装着型表示装置であって、更に、
使用者によって操作され、前記無人機の動きを指示する操作部を有し、
前記特定の航行モードは、
前記頭部装着型表示装置が、前記操作部に対する指示に従って航行ルートを定めるモードである、頭部装着型表示装置。 - 請求項6に記載の頭部装着型表示装置であって、
前記表示部は、外界を透過視認可能な表示部であり、
前記制御部は、
前記操作部のための操作画面を前記表示部に表示させ、
前記視界内に前記無人機が侵入したと判定されたときに、前記表示部における前記無人機の位置を推定し、推定された前記位置から離れた位置に前記操作画面を移動させる、頭部装着型表示装置。 - 請求項1から請求項7までのいずか一項に記載の頭部装着型表示装置であって、
前記GPS情報取得部は、前記GPS情報を受信するGPS受信部を備え、
前記自動航行モードは、前記頭部装着型表示装置へ帰還させるものである、頭部装着型表示装置。 - 請求項1から請求項7までのいずか一項に記載の頭部装着型表示装置であって、
前記GPS情報取得部は、
前記頭部装着型表示装置から離れた位置に備えられたGPS受信部から前記GPS情報を受信する、頭部装着型表示装置。 - 無人機の操縦に関する制御を行うことが可能な頭部装着型表示装置の制御方法であって、
前記無人機が、GPS情報で示される位置に向けて移動する自動航行モードで航行しているときに、前記頭部装着型表示装置によって視認可能な視界内に前記無人機が侵入したか否かを判定し、
前記視界内に前記無人機が侵入したと判定されたときに、前記自動航行モードでの航行を前記無人機に対し中止させ、前記自動航行モードとは異なる特定の航行モードで前記無人機を航行させる、頭部装着型表示装置の制御方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017062099A JP2018165066A (ja) | 2017-03-28 | 2017-03-28 | 頭部装着型表示装置およびその制御方法 |
CN201810171935.4A CN108664037B (zh) | 2017-03-28 | 2018-03-01 | 头部佩戴型显示装置以及无人机的操纵方法 |
US15/925,381 US11046429B2 (en) | 2017-03-28 | 2018-03-19 | Head mounted display and method for maneuvering vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017062099A JP2018165066A (ja) | 2017-03-28 | 2017-03-28 | 頭部装着型表示装置およびその制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018165066A true JP2018165066A (ja) | 2018-10-25 |
Family
ID=63922264
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017062099A Pending JP2018165066A (ja) | 2017-03-28 | 2017-03-28 | 頭部装着型表示装置およびその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018165066A (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6586257B1 (ja) * | 2018-08-16 | 2019-10-02 | 楽天株式会社 | 無人航空機制御システム、無人航空機制御方法、及びプログラム |
WO2020105147A1 (ja) * | 2018-11-21 | 2020-05-28 | 楽天株式会社 | 飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法 |
WO2020110292A1 (ja) * | 2018-11-30 | 2020-06-04 | 楽天株式会社 | 表示制御システム、表示制御装置及び表示制御方法 |
WO2020110293A1 (ja) * | 2018-11-30 | 2020-06-04 | 楽天株式会社 | 表示制御システム、表示制御装置及び表示制御方法 |
JP2020131768A (ja) * | 2019-02-13 | 2020-08-31 | 株式会社リコー | 操縦システム、操縦装置、操縦制御方法、及びプログラム |
WO2020195456A1 (ja) * | 2019-03-27 | 2020-10-01 | 株式会社豊田自動織機 | 無人搬送車の操作システム |
JP2020165727A (ja) * | 2019-03-28 | 2020-10-08 | 東邦瓦斯株式会社 | 検査装置 |
CN113311856A (zh) * | 2021-05-31 | 2021-08-27 | 中煤航测遥感集团有限公司 | 无人机数据管理方法、装置、设备及存储介质 |
JP2022113698A (ja) * | 2018-05-15 | 2022-08-04 | 東邦ガスネットワーク株式会社 | 検査装置 |
JP2023081259A (ja) * | 2021-11-30 | 2023-06-09 | 仁寶電腦工業股▲ふん▼有限公司 | 無人航空機の制御装置およびその制御方法 |
US12019441B2 (en) | 2018-11-30 | 2024-06-25 | Rakuten Group, Inc. | Display control system, display control device and display control method |
-
2017
- 2017-03-28 JP JP2017062099A patent/JP2018165066A/ja active Pending
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7250198B2 (ja) | 2018-05-15 | 2023-03-31 | 東邦ガスネットワーク株式会社 | 検査装置 |
JP2022113698A (ja) * | 2018-05-15 | 2022-08-04 | 東邦ガスネットワーク株式会社 | 検査装置 |
JP6586257B1 (ja) * | 2018-08-16 | 2019-10-02 | 楽天株式会社 | 無人航空機制御システム、無人航空機制御方法、及びプログラム |
WO2020105147A1 (ja) * | 2018-11-21 | 2020-05-28 | 楽天株式会社 | 飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法 |
JPWO2020105147A1 (ja) * | 2018-11-21 | 2021-02-15 | 楽天株式会社 | 飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法 |
JPWO2020110292A1 (ja) * | 2018-11-30 | 2021-02-15 | 楽天株式会社 | 表示制御システム、表示制御装置及び表示制御方法 |
US11492115B2 (en) | 2018-11-30 | 2022-11-08 | Rakuten Group, Inc. | Unmanned aerial vehicle display control system, display control device and display control method |
US12019441B2 (en) | 2018-11-30 | 2024-06-25 | Rakuten Group, Inc. | Display control system, display control device and display control method |
CN112105559A (zh) * | 2018-11-30 | 2020-12-18 | 乐天株式会社 | 显示控制***、显示控制装置及显示控制方法 |
CN112119013A (zh) * | 2018-11-30 | 2020-12-22 | 乐天株式会社 | 显示控制***、显示控制装置及显示控制方法 |
JPWO2020110293A1 (ja) * | 2018-11-30 | 2021-02-15 | 楽天株式会社 | 表示制御システム、表示制御装置及び表示制御方法 |
WO2020110292A1 (ja) * | 2018-11-30 | 2020-06-04 | 楽天株式会社 | 表示制御システム、表示制御装置及び表示制御方法 |
WO2020110293A1 (ja) * | 2018-11-30 | 2020-06-04 | 楽天株式会社 | 表示制御システム、表示制御装置及び表示制御方法 |
JP2020131768A (ja) * | 2019-02-13 | 2020-08-31 | 株式会社リコー | 操縦システム、操縦装置、操縦制御方法、及びプログラム |
WO2020195456A1 (ja) * | 2019-03-27 | 2020-10-01 | 株式会社豊田自動織機 | 無人搬送車の操作システム |
JP2020160911A (ja) * | 2019-03-27 | 2020-10-01 | 株式会社豊田自動織機 | 無人搬送車の操作システム |
JP7051743B2 (ja) | 2019-03-28 | 2022-04-11 | 東邦瓦斯株式会社 | 検査装置 |
JP2020165727A (ja) * | 2019-03-28 | 2020-10-08 | 東邦瓦斯株式会社 | 検査装置 |
CN113311856A (zh) * | 2021-05-31 | 2021-08-27 | 中煤航测遥感集团有限公司 | 无人机数据管理方法、装置、设备及存储介质 |
JP2023081259A (ja) * | 2021-11-30 | 2023-06-09 | 仁寶電腦工業股▲ふん▼有限公司 | 無人航空機の制御装置およびその制御方法 |
US11921523B2 (en) | 2021-11-30 | 2024-03-05 | Compal Electronics, Inc. | Control device for unmanned aerial vehicle and control method therefor |
JP7482923B2 (ja) | 2021-11-30 | 2024-05-14 | 仁寶電腦工業股▲ふん▼有限公司 | 無人航空機の制御装置およびその制御方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108664037B (zh) | 头部佩戴型显示装置以及无人机的操纵方法 | |
US10643390B2 (en) | Head mounted display, method for controlling head mounted display, and computer program | |
JP2018165066A (ja) | 頭部装着型表示装置およびその制御方法 | |
US10972668B2 (en) | Display device and control method for display device | |
JP6919206B2 (ja) | 表示装置、及び、表示装置の制御方法 | |
JP7087481B2 (ja) | 頭部装着型表示装置、表示制御方法、およびコンピュータープログラム | |
US10310502B2 (en) | Head-mounted display device, control method therefor, and computer program | |
US11025826B2 (en) | Display system, display device, and control method for display device | |
US20180259775A1 (en) | Transmission-type display device, display control method, and computer program | |
JP7003633B2 (ja) | 透過型表示装置、表示制御方法、およびコンピュータープログラム | |
JP2019164420A (ja) | 透過型頭部装着型表示装置および透過型頭部装着型表示装置の制御方法、透過型頭部装着型表示装置の制御のためのコンピュータープログラム | |
US11804052B2 (en) | Method for setting target flight path of aircraft, target flight path setting system, and program for setting target flight path | |
JP2019081456A (ja) | 頭部装着型表示装置、無人機の操縦方法 | |
JP2017146726A (ja) | 移動支援装置、及び、移動支援方法 | |
JP2017134630A (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
JP2017182460A (ja) | 頭部装着型表示装置、頭部装着型表示装置の制御方法、コンピュータープログラム | |
US20230062433A1 (en) | Eyewear controlling an uav | |
US20230063386A1 (en) | Eyewear synchronized with uav image capturing system | |
JP2018067160A (ja) | 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム |