JP6540572B2 - 表示装置および表示制御方法 - Google Patents

Description

本発明は、画像を表示可能な例えばヘッドマウントディスプレイ等の表示装置および表示装置を用いた表示制御方法に関する。

近年、ドローン（小型無人飛行機）など無線で遠隔操作される移動体にカメラを搭載し、カメラで撮影した画像をリアルタイムで地上のディスプレイに表示することが行われている。このようなディスプレイを、移動体を操作する操作コントローラに設けた場合、操作者は、飛行する移動体を見ているとディスプレイに表示される画像を確認できず、他方、ディスプレイを見ていると移動体を見ることができない。このように操作者は、移動体と撮影画像とを同時には視認できないため、操作ミスによる事故の危険性や移動体を何処かに見失ってしまう等の恐れがある。

カメラで撮影した画像と外界の実景とを同時に表示できる技術に関しては、従来、透過型（シースルー）の表示装置が知られている。例えば特許文献１の表示操作部メガネは、角度センサと視点センサとを内蔵し、これらのセンサにより検出される観者の視線の向きに合わせて表示するカメラの向きが制御される。また視点センサにより検知される観者の目の焦点距離に応じてカメラの電動ズームレンズの焦点も制御される。

また、例えば特許文献２には、車両の周囲に設けた複数台のカメラからの画像を切り換えて外界の景色に重ねて表示可能なＨＭＤ（ヘッドマウントディスプレイ）が開示されている。ＨＭＤは、それを装着する運転者の頭部の向きを検出する検出部を備え、検出部の検出結果つまり運転者の視線方向に応じて車両の死角を写すカメラが選択される。

特開２０００−３３３１６１号公報 特開２００９−２７８２３４号公報

しかし、ドローンのように位置が常時変化する移動体からの撮影画像は、移動体が操作者の視界から外れたときに操作者に混乱を招く場合がある。また、操作者の誤操作により移動体が事故を引き起こし、または予期しない場所に移動して制御不能に陥る危険性も否定できない。

本発明は、こうした事情に鑑みてなされたものであり、移動体で撮影された画像を表示部に表示する表示装置または表示制御方法において、操作者が撮影画像に混乱することなく移動体を視認できること、または仮に移動体を見失ったとしても容易に発見できる等の利便性を高めた技術を提供することを目的としている。

上述した課題を解決するため、本発明は、遠隔操作される移動体に搭載されたカメラで撮影される画像を表示可能な表示装置であって、使用者の頭部に装着可能であって画像を表示可能な表示部と、前記表示部における画像表示を制御する表示制御手段と、移動体から送信されてくる撮影画像および移動体の位置情報を受信する受信部と、当該表示装置の位置を検出する位置検出部とを備え、前記表示制御手段は、前記位置検出部より検出された当該表示装置の位置に対する、前記受信部より受信した前記移動体の位置情報に基づく相対位置に応じた情報を前記表示部に表示可能な表示装置である。

この構成の表示装置によれば、移動体の相対位置に応じた情報を表示部に表示することにより、操作者は移動体の位置を容易に知ることができる。また表示部が表示する画像に操作者が混乱しないようにすることができる。

上記構成の表示装置において、前記表示部の向きを検出する向き検出部と、前記向き検出部より検出される当該表示部の向き、および前記位置検出部より検出される当該表示部の位置に対する特定の範囲内に前記移動体が存在するか否かを判断する判断部を備え、前記表示制御手段は、前記移動体が前記特定の範囲内に存在するか否かに応じて、前記表示部へ表示する画像を切り換えることが好ましい。

この構成の表示装置によれば、移動体が特定の範囲内に存在するか否かに応じて表示部への表示を切り換えるので、操作者が移動体を操作中に不要な画像が表示されて操作者が混乱しないようにすることができる。

また、上記構成の表示装置において、前記判断部が前記特定の範囲内に移動体が存在しないと判断したとき、前記表示制御手段は前記表示部への前記撮影画像の表示をＯＦＦにすることが好ましい。

この構成の表示装置によれば、移動体が特定の範囲内に存在しない場合に撮像画像を表示しないので、操作者を混乱させないようにし、誤操作を防ぐことができる。また、特定の範囲内に存在しない移動体を探す際に、撮影画像が邪魔になることもない。

また、上記構成の表示装置において、前記判断部が前記特定の範囲内に移動体が存在しないと判断し、かつ、前記表示部の向きが特定向きであるとき、前記表示制御手段は前記表示部への表示を所定の画像に切り換えることが好ましい。

この構成の表示装置によれば、操作者が例えば移動体から目を離して他の画像を見ようとした場合に所定の画像に切り換わるので、操作者の利便性を高めることができる。

また、上記構成の表示装置において、前記判断部が前記特定の範囲内に移動体が存在しないと判断したとき、前記表示制御手段は、前記表示部の向きと前記移動体の相対位置とに基づいて、当該移動体の方向に関する情報を前記表示部に表示することが好ましい。

この構成の表示装置によれば、操作者が仮に移動体を見失ったとしても移動体の方向に関する情報が表示されるので、移動体の発見を容易にし、利便性を高めることができる。

また、上記構成の表示装置において、前記特定の範囲内に移動体が存在しないとき、移動体に対する遠隔操作を行うための操作情報を入力する操作部の操作を制限する操作制限手段を備えることが好ましい。

この構成の表示装置によれば、例えば操作者の視界の外に移動体が存在する場合に、操作者が誤って操作部を操作することにより、移動体が予期せぬ方向や場所に移動してしまうのを防ぐことができる。

また、上記構成の表示装置において、前記受信部より受信した前記移動体の位置情報に基づいて当該移動体の速度を演算する速度演算部を備え、前記速度演算部より演算された移動体の速度が所定の速度以上であるとき、前記表示制御手段は前記表示部への前記撮影画像の表示をＯＦＦにすることが好ましい。

この構成の表示装置によれば、例えば移動体を目的値にまで高速で移動させる際に撮影画像の表示を自動的にＯＦＦにすることにより、移動体を操作中の操作者の視認性を確保し、利便性を高めることができる。

また、上記構成の表示装置において、前記受信部より受信した前記移動体の位置情報に基づいて当該移動体の速度を演算する速度演算部を備え、前記表示制御手段は、前記特定の範囲内に移動体が存在すれば前記撮影画像の表示をＯＮにするとともに、前記速度演算部より演算された移動体の速度が所定の速度よりも遅いと判断したとき、所定範囲よりも広い範囲の撮影画像を表示する広角モードに切り換えることが好ましい。

この構成の表示装置によれば、例えば移動体が目的地に近づいたときには速度を遅くし、広角モードで撮影対象物の大まかな位置をとらえることができるので、利便性を高めることができる。

また、上記構成の表示装置において、前記表示制御手段は、前記速度演算部より演算された移動体の速度が、前記所定の速度よりも遅い停止判断速度以下であるとき、所定範囲よりも狭い範囲の撮影画像を表示するズームモードに切り換えることが好ましい。

この構成の表示装置によれば、例えば移動体が目的地に到着し停止したときにはズームモードで撮影対象物の詳細をとらえることができるので、利便性を高めることができる。

また、本発明は、遠隔操作される移動体に搭載されたカメラで撮影される画像を、使用者の頭部に装着可能な表示部に表示する表示制御方法であって、移動体から送信されてくる撮影画像および当該移動体の位置情報を受信部より受信するステップと、位置検出部より前記表示部の位置を検出するステップと、前記位置検出部より検出された当該表示部の位置に対する、前記受信部より受信した前記移動体の位置情報に基づく相対位置を演算するステップと、演算した相対位置に応じた情報を前記表示部に表示するステップとを含む表示制御方法である。

この表示制御方法によれば、移動体の相対位置に応じた情報を表示部に表示することにより、操作者は移動体の位置を容易に知ることができる。また表示部が表示する画像に操作者が混乱しないようにすることができる。

上記表示制御方法において、向き検出部より前記表示部の向きを検出するステップと、前記向き検出部より検出される当該表示部の向き、および前記位置検出部より検出される当該表示部の位置に対する特定の範囲内に前記移動体が存在するか否かを判断するステップと、前記特定の範囲内に前記移動体が存在するか否かに応じて前記表示部へ表示する画像を切り換えるステップとを含むことが好ましい。

この表示制御方法によれば、移動体が特定の範囲内に存在するか否かに応じて表示部への表示を切り換えるので、操作者が移動体を操作中に不要な画像が表示されて操作者が混乱しないようにすることができる。

また、上記表示制御方法において、前記特定の範囲内に移動体が存在しないと判断したとき、前記表示部への前記撮影画像の表示をＯＦＦにするステップを含むことが好ましい。

この表示制御方法によれば、移動体が特定の範囲内に存在しない場合に撮像画像を表示しないので、操作者を混乱させないようにし、誤操作を防ぐことができる。また、特定の範囲内に存在しない移動体を探す際に、撮影画像が邪魔になることもない。

また、上記表示制御方法において、前記特定の範囲内に移動体が存在しないと判断し、かつ、前記表示部の向きが特定向きであるとき、前記表示部への表示を所定の画像に切り換えるステップを含むことが好ましい。

この表示制御方法によれば、操作者が例えば移動体から目を離して他の画像を見ようとした場合に所定の画像に切り換わるので、操作者の利便性を高めることができる。

また、上記表示制御方法において、前記特定の範囲内に移動体が存在しないと判断したとき、前記表示部の向きと前記移動体の相対位置とに基づいて、当該移動体の方向に関する情報を前記表示部に表示するステップを含むことが好ましい。

この表示制御方法によれば、操作者が仮に移動体を見失ったとしても移動体の方向に関する情報が表示されるので、移動体の発見を容易にし、利便性を高めることができる。

また、上記表示制御方法において、前記特定の範囲内に移動体が存在しないとき、移動体に対する遠隔操作を行うための操作情報を入力する操作部の操作を制限するステップを含むことが好ましい。

この表示制御方法によれば、例えば操作者の視界の外に移動体が存在する場合に、操作者が誤って操作部を操作することにより、移動体が予期せぬ方向や場所に移動してしまうのを防ぐことができる。

また、上記表示制御方法において、前記受信部より受信した前記移動体の位置情報に基づいて当該移動体の速度を演算するステップと、演算された移動体の速度が所定の速度以上であるとき、前記表示部への前記撮影画像の表示をＯＦＦにするステップを含むことが好ましい。

この表示制御方法によれば、例えば移動体を目的値にまで高速で移動させる際に撮影画像の表示を自動的にＯＦＦにすることにより、移動体を操作中の操作者の視認性を確保し、利便性を高めることができる。

また、上記表示制御方法において、前記受信部より受信した前記移動体の位置情報に基づいて当該移動体の速度を演算するステップと、前記特定の範囲内に移動体が存在すると判断したとき前記表示部への前記撮影画像の表示をＯＮにするステップと、演算された移動体の速度が所定の速度よりも遅いと判断したとき、所定範囲よりも広い範囲の撮影画像を表示する広角モードに切り換えるステップとを含むことが好ましい。

この表示制御方法によれば、例えば移動体が目的地に近づいたときには速度を遅くし、広角モードで撮影対象物の大まかな位置をとらえることができるので、利便性を高めることができる。

また、上記表示制御方法において、演算された移動体の速度が、前記所定の速度よりも遅い停止判断速度以下であるとき、所定範囲よりも狭い範囲の撮影画像を表示するズームモードに切り換えるステップを含むことが好ましい。

この表示制御方法によれば、例えば移動体が目的地に到着し停止したときにはズームモードで撮影対象物の詳細をとらえることができるので、利便性を高めることができる。

本発明によれば、移動体の操作者が撮影画像に混乱することなく移動体の位置を確実に視認することができる。また、仮に移動体を見失ったとしても容易に移動体を発見することができる。これらにより、利便性の高い表示装置および表示制御方法を提供することができる。

本発明の一実施形態を示す図である。 図１の実施形態による画像表示システム全体を含む回路ブロック図である。 本発明の他の実施形態を示す図である。 本発明の一実施形態による表示制御方法を説明するためのフローチャートである。

図１に本発明の一実施態様を示す。本実施形態の表示装置は、例えば透過型の表示部１１を備えるＨＭＤ（ヘッドマウントディスプレイ）１０であって、遠隔操作される移動体であるドローン（小型無人機）９０に搭載されたカメラ８０の撮影画像が表示部１１に表示される。ただし、本発明に係る表示装置は、必ずしも図１に示すＨＭＤに限定されるものではない。また、表示部は、画像が表示可能であれば透過型でなくてもよい。また、ここでは、移動体の例として空中を飛行するドローンを挙げて説明するが、移動体は、例えば小型ヘリコプターまたは飛行船などの遠隔操作される任意の無人機であってもよい。また、移動体は、必ずしも飛行体でなくても、例えば人が近づけない危険な環境で走行可能な無人車両や、瓦礫などの複雑な地形でも移動できる特殊な足回りを備えた作業ロボットなどでもよい。つまり、表示装置を装着する観者が目で追跡可能な範囲で移動することが想定される移動体であれば、特定の機種に限定されない。

図１に示す実施形態において、ドローン９０は、操作コントローラ３０により、その飛行が無線で遠隔操作される。ここで、ＨＭＤ１０の「使用者」とは、ＨＭＤ１０（または表示部１１）を頭部に装着する者（以下、「ＨＭＤ装着者」という。）をいうが、本実施形態ではその使用者自身が、操作コントローラ３０を操作してドローン９０の飛行をコントロールする操作者でもある。

図２は、本実施形態による画像表示システムの全体を含む回路ブロック図である。
先ず、ドローン９０の構成について説明する。ドローン９０には、ＣＰＵ９１、ＲＯＭ９２およびＲＡＭ９３が内部バス９９に接続されたマイクロコンピュータシステムが内部に構成されている。操作コントローラ３０から無線で送信される制御指令信号は、無線接続ＩＦ９６により受信される。受信した制御指令信号をＣＰＵ９１が解析し、その制御指令信号に従って機体制御部９４によりドローン９０の飛行が制御される。

ドローン９０は、位置情報取得部９５としてＧＰＳを搭載している。位置情報取得部９５は、ＧＰＳに加えて、高度計やドローン９０またはカメラ８０の向きを検出する方位センサ（電子コンパス）を含むものでもよい。位置情報取得部９５により取得される位置情報は、ドローン９０の三次元位置およびドローン９０（またはカメラ８０）の向きの情報を含むことができる。位置情報取得部９５により取得されたドローン９０の位置情報は、無線接続ＩＦ９６を介して操作コントローラ３０に送信される。

ドローン９０に搭載されるカメラ８０は、カメラ制御部８１により制御される。カメラ８０で撮影された画像の画像データ信号は、一旦、カメラ制御部８１の画像ＲＡＭに格納され、無線接続ＩＦ９６を介して操作コントローラ３０に随時送信される。

また、カメラ制御部８１は、ＣＰＵ９１の制御下で、または操作コントローラ３０から送信されるズーム指令信号に応じて、カメラ８０の光学系等を制御してもよい。ここで、カメラ８０の光学モードは、標準モード、広角モードおよびズームモードに分けられる。標準モードが所定範囲を撮影する焦点位置にレンズが制御されたモードであるとした場合、広角モードは、標準モードよりも広い範囲を撮影するようにレンズの焦点位置が制御されたモードである。また、ズームモードは、標準モードよりも狭い範囲を撮影するようにレンズの焦点位置が制御されたモードである。
また、カメラ制御部８１は、カメラ８０が撮影した画像をデジタルズーム処理することもできる。この場合、デジタルズーム処理における広角モードとは、カメラ８０が撮影した画像をそのまま出力するモードであり、ズームモードとは、カメラ８０が撮影した広角モードの画像の一部を切り出し、拡大して出力するモードを意味する。

これらの他、ドローン９０は、飛行に必要な電源容量のバッテリ９７およびバッテリ９７からの電力を飛行駆動部、カメラ８０および各種制御部に配電する電源回路９８を搭載している。

次に、操作コントローラ３０の構成を説明する。操作コントローラ３０は、ドローン９０の遠隔操作を行うための操作情報を入力する操作部３２を備えている。操作部３２は、具体的には操作コントローラ３０の筐体に設けたジョイスティック、押しボタン等の各種操作スイッチ類により構成される。また、操作コントローラ３０には、操作部３２に入力された操作情報に応じた制御指令信号等をドローン９０に対して送信し、ドローン９０からの位置情報や撮影画像データ等を受信する送受信部である無線接続ＩＦ３１が備えられている。

操作コントローラ３０の内部バス４９には、ＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３の他に、位置検出部４５、画像生成部４４、およびＨＭＤ１０とのデータ通信を行う通信ＩＦ４６などが接続されている。

ＣＰＵ４１は、ドローン９０の操作制限手段である他に、本発明に係るＨＭＤ１０の表示部１１にカメラ８０からの撮影画像を表示する制御を行う表示制御手段としても機能する。なお、ＣＰＵ４１がＲＯＭ４２に記憶されるプログラムを実行することで、後述する相対位置演算部、視界内有無判断部、速度演算部等の処理が実現される。

位置検出部４５は、例えばＧＰＳであり、操作コントローラ３０の現在位置を検出する。本実施形態では、ＨＭＤ装着者が操作コントローラ３０を操作してドローン９０をコントロールすることから、ＨＭＤ１０と操作コントローラ３０との距離は非常に近い。そのため、位置検出部４５により検出した操作コントローラ３０の位置を、ＨＭＤ１０および表示部１１の位置とみなすことができる。

画像生成部４４は、ＣＰＵ４１の制御下で、表示部１１に表示させる画像の生成、加工、表示モードの切り換え等の処理を行う。具体的には、後述するように、ドローン９０の相対位置や方向を表示部１１に表示させる画像や、操作者が例えば他の画像を見ようと下を向いた時に表示部１１に表示させる所定の画像を生成することができる。また、画像生成部４４は、画像を拡大または縮小して再構成するデジタルズーム処理を行うこともできる。画像生成部４４は、生成した画像データをアナログまたはデジタルのビデオ信号として表示部１１に出力するものでもよい。なお、画像生成部はＨＭＤ１０内に設けられていてもよく、この場合はＣＰＵ１２の制御下で、表示部１１に表示させる画像の生成、加工、表示モードの切り換え（広角モード／ズームモードに切り換えるデジタルズーム処理を含む）等の処理を行ってもよい。

通信ＩＦ４６は、有線または無線により接続されるＨＭＤ１０との間の相互の情報通信を行うインタフェースである。操作コントローラ３０からＨＭＤ１０へは、カメラ８０で撮影された撮影データが送信される。また、ドローン９０から送信された移動***置情報に基づいて、画像生成部４４により画像化されたデータ（数値、文字、方位・速度・距離マーカ等を含む）などが、通信ＩＦ４６を介してＨＭＤ１０に送信される。
他方、ＨＭＤ１０からは、後述する向き検出部１２で検出される向きの情報が出力され、通信ＩＦ４６を介して操作コントローラ３０に受信される。

これらの他に、操作コントローラ３０の動作に必要な電力を回路に供給するバッテリ４７および電源回路４８が設けられている。

次に、ＨＭＤ１０の構成を説明する。ＨＭＤ１０には、ＣＰＵ１２、ＲＯＭ１３、ＲＡＭ１４および通信ＩＦ１６が内部バス１９に接続されたマイクロコンピュータシステムが搭載されている。内部バス１９にはまた、透過型の表示部１１が接続されている。ＣＰＵ１２、操作コントローラ３０から送信され、通信ＩＦ１６により受信した画像データ信号（ビデオ信号を含む）を表示部１１に表示させる。

ＨＭＤ１０には、向き検出部１５が備えられている。向き検出部１５は、ＨＭＤ装着者（ドローン９０の操作者）の頭の向きを的確に検出するため、例えば装着具１０ａ（図１参照）に内蔵されることが好ましい。向き検出部１５は、例えば方位センサ（電子コンパス）と３軸加速度センサを組み合わせたセンサユニットであることが好ましい。つまり、方位センサによりＨＭＤ１０が向いている方角を検出し、３軸加速度センサにより検出される重力加速度をそれに加味することで、三次元の向きを正確に検出することができる。

ＨＭＤ１０にはまた、画像の表示動作に必要な電力を回路や表示部１１に供給するバッテリ１７および電源回路１８が設けられている。

なお、ここでは、ＨＭＤ１０への画像表示を制御する表示制御手段が、ドローン９０の操作コントローラ３０に組み込まれた実施形態を説明した。その他の態様として、図２の破線１０’で囲む表示装置のシステム要素の全部または一部を、操作コントローラ３０から分離して構成してもよい。例えば、ＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３、画像生成部４４、位置検出部４５などの表示制御手段を構成する主要な要素を、例えば図３に示す専用のＣＢ（コントロールボックス）２０に搭載してもよい。更には、表示制御手段をＡＳＩＣ等によりワンチップ化できれば、ＨＭＤ１０の表示部１１にそれを組み込んでもよい。

次に、図４のフローチャートを参照して、表示制御手段による表示制御方法を説明する。なお、以下説明する表示制御方法は、ＣＰＵ４１がＲＯＭ４２に予め記憶された制御プログラムに従って演算処理により行われる。

ＣＰＵ４１は、位置検出部４５である例えばＧＰＳにより、操作コントローラ３０の現在の位置を検出する（ステップＳ１０）。

続いてＣＰＵ４１は、無線接続ＩＦ３１より受信したドローン９０の位置情報を取得する（ステップＳ１１）。

ＣＰＵ４１の相対位置演算部は、位置検出部４５より検出された操作コントローラ３０の位置に対するドローン９０の相対位置を演算する（ステップＳ１２）。

ＨＭＤ１０の向き検出部１５は、ＨＭＤ１０の向きを検出する。ＨＭＤ１０の向き検出部１５の検出値は、操作コントローラ３０に随時出力されている。これにより、操作コントローラ３０のＣＰＵ４１は、向き検出部１５からの検出値に基づいて、当該ＨＭＤ１０の向き情報を取得する（ステップＳ１３）。

ＣＰＵ４１は、向き検出部１５の検出値に基づいて取得したＨＭＤ１０の向きと、相対位置演算部が演算したドローン９０の相対位置との関係から、ＨＭＤ１０を基準にした特定の範囲内にドローン９０が存在するか否か判断する。ここで、「特定の範囲」とは、例えばＨＭＤ１０を装着する操作者の視界とすることができる。この場合の操作者（ＨＭＤ装着者）の視界の範囲は、ＨＭＤ１０の位置を基点に、標準的な人の視野角（例えば上下１２０度、左右２００度）を当てはめて設定される立体角の範囲とすることができる。

本実施形態では、ＣＰＵ４１の視界内有無判断部が、ＨＭＤ装着者、つまり操作者の視界内にドローン９０が存在するか判断する（ステップＳ１４）。視界内有無判断部が、操作者の視界内にドローン９０が存在しないと判断すると（ステップＳ１４：Ｎｏ）、ＣＰＵ４１は、ドローン９０からの撮影画像の表示部１１への表示をＯＦＦにする（ステップＳ１５）。

このように、ドローン９０が視界から外れたときに撮影画像をＯＦＦにすることで、操作者に混乱を生じさせないようにすることができ、またドローン９０への操作ミスを防ぐことができる。また、ドローン９０を探す際に、撮影画像が邪魔になることもない。

なお、フローチャートには示していないが、操作者の視界内にドローン９０が戻った時点で、ＣＰＵ４１は、撮影画像の表示部１１への表示をＯＮにする。また、ドローン９０が操作者の視界から外れた期間であっても、操作者が操作コントローラ３０またはＣＢ２０に画像表示ＯＮの操作入力を行った場合には、表示部１１に撮影画像を表示してもよい。

視界内有無判断部が操作者の視界内にドローン９０が存在しないと判断し、かつ、向き検出部１５より検出されたＨＭＤ１０の向きが特定向きであるとき（ステップＳ１６：Ｙｅｓ）、ＣＰＵ４１は、表示部１１への表示を所定の画像に切り換える（ステップＳ１７）。
ここで、「特定向き」であるときとは、例えば、操作者が手元の操作コントローラ３０に視線を向けるなど、ドローン９０以外の他の画像を見ようとする場合などが相当する。そのような場合には、例えばヘルプメニュー、設定メニュー、マニュアルガイドなどの所定の画像を表示部１１に表示することで、操作者の利便性を高めることができる。

また、視界内有無判断部が操作者の視界内にドローン９０が存在しないと判断したとき、ＣＰＵ４１は、ＨＭＤ１０の向きとドローン９０の相対位置とに基づいて、ドローン９０の方向に関する情報を表示部１１にガイド表示する（ステップＳ１８）。ドローン９０の方向に関する情報を表示する態様としては、ＨＭＤ１０の現在位置を基準としてドローン９０が存在する方向を矢印で示すこと、模擬レーダー画面にドローン９０の位置をプロットすること、ドローンの相対位置を数値、文字、マーカ等で表示することなどがある。また、ドローン９０までの距離や速度など、ドローン９０を探すために補助となる情報も、方向に関する情報に併せて表示してもよい。

このように、ドローン９０の方向に関する情報を表示することで、ドローン９０から目を離した場合でも迅速かつ容易にドローン９０を発見することができ、目視による追跡を再開させることができる。

更に、ＣＰＵ４１は、操作者の視界内にドローン９０が存在しない期間、ドローン９０の遠隔操作を行う操作コントローラ３０の操作部３２の操作を制限してもよい（ステップＳ１９）。また、このときＣＰＵ４１は、ドローン９０をその場で停止させホバリングさせる制御指令信号をドローン９０に対して出力してもよい。

このような操作制限処理を設けることにより、操作者の視界からドローン９０が外れた場合に、操作者の誤操作によりドローン９０が事故を起こしたり、予期しない場所へ移動して制御不能となるような事態を防ぐことができる。

一方、視界内有無判断部が操作者の視界内にドローン９０が存在すると判断したとき（ステップＳ１４：Ｙｅｓ）、ＣＰＵ４１の速度演算部は、無線接続ＩＦ３１より受信したドローン９０の位置情報に基づいて、ドローン９０の速度Ｖを演算する（ステップＳ２０）。そして、演算されたドローン９０の速度Ｖが所定の速度Ｖ１以上（Ｖ≧Ｖ１）であるとき（ステップＳ２２：Ｙｅｓ）、ＣＰＵ４１は、表示部１１への撮影画像の表示をＯＦＦにする（ステップＳ１５）。

例えば、ドローン９０を目的の場所まで高速で移動させる場合には、操作者はドローン９０を注視しながら遠隔操作する。そのため、表示部１１には撮像画像を表示する必要がなく、むしろこれらの画像が操作の邪魔になる場合もある。本実施形態では、ドローン９０の速度Ｖが所定の速度Ｖ１以上に速いときに撮影画像の表示をＯＦＦにすることにより、操作者がドローン９０を目で追跡する際の視認性を確保し、利便性を高めている。なお、ドローン９０の速度Ｖは水平方向成分における速度でもよく、高さ方向成分における速度を用いてもよい。また、ドローン９０の速度Ｖは水平方向成分と高さ方向成分を合成した速度を用いてもよい。

次に、ＣＰＵ４１は、ドローン９０の速度Ｖが所定の速度Ｖ１よりも遅いとき（ステップＳ２２：Ｎｏ）、ＣＰＵ４１は、表示部１１への撮影画像を広角モードに切り換える（ステップＳ２３）。広角モードでは、カメラ８０が撮影したサイズの画像データが表示部１１にそのまま出力され、所定範囲よりも広い範囲の撮影画像が表示される。なお、ＣＰＵ４１は、ドローン９０に指令信号を送信して、カメラ８０の光学系を広角モードに制御してもよい。

例えば、ドローン９０がある速度未満のスピードで移動しているときには、撮影すべき目的地周辺にドローン９０が位置している場合が多い。そのため、自動的に広角モードに切り換えることにより、撮影対象物の大まかな位置をとらえることができ、操作者の利便性が向上する。

更に、ＣＰＵ４１は、ドローン９０の速度Ｖがほぼ停止と判断される停止判断速度Ｖ２（Ｖ２＜＜Ｖ１）以下であるとき（ステップＳ２４：Ｙｅｓ）、ＣＰＵ４１は、表示部１１の表示モードをズームモードに切り換える（ステップＳ２５）。ズームモードでは、ＣＰＵ４１は、カメラ８０が撮影した画像の一部を切り出し、所定範囲よりも狭い範囲の拡大した画像を表示部１１に表示させる。なお、ＣＰＵ４１は、ドローン９０に指令信号を送信し、カメラ８０の光学系をズームモードに制御してもよい。

例えば、ドローン９０が停止判断速度Ｖ２以下、つまりほぼ停止しているときは、撮影すべき目的地にドローン９０が到達している場合が多い。そのため、自動的にズームモードに切り換えることにより、撮影対象物の詳細をとらえることができ、操作者の利便性が向上する。

１０、１０’ ＨＭＤ（ヘッドマウントディスプレイ）
１０ａ 装着具
１１ 表示部
１２ 向き検出部
１６ 通信ＩＦ
２０ ＣＢ（コントロールボックス）
３０ 操作ボックス
３１ 無線接続ＩＦ
３２ 操作部
４１ ＣＰＵ
４４ 画像生成部
４５ 位置検出部
４６ 通信ＩＦ
８０ カメラ
９０ ドローン（移動体）
９６ 無線接続ＩＦ

Claims (16)

1. 遠隔操作される移動体に搭載されたカメラで撮影される画像を表示可能な表示装置であって、
   使用者の頭部に装着可能であって画像を表示可能な表示部と、
   前記表示部における画像表示を制御する表示制御手段と、
   移動体から送信されてくる撮影画像および移動体の位置情報を受信する受信部と、
   当該表示装置の位置を検出する位置検出部と、
   前記表示部の向きを検出する向き検出部と、
   前記向き検出部より検出される当該表示部の向き、および前記位置検出部より検出される当該表示部の位置に対する特定の範囲内に前記移動体が存在するか否かを判断する判断部と
   を備え、
   前記表示制御手段は、前記位置検出部より検出された当該表示装置の位置に対する、前記受信部より受信した前記移動体の位置情報に基づく相対位置に応じた情報を前記表示部に表示可能であり、前記移動体が前記特定の範囲内に存在するか否かに応じて、前記表示部へ表示する画像を切り換える、表示装置。
2. 前記判断部が前記特定の範囲内に移動体が存在しないと判断したとき、前記表示制御手段は前記表示部への前記撮影画像の表示をＯＦＦにする、請求項１に記載の表示装置。
3. 前記判断部が前記特定の範囲内に移動体が存在しないと判断し、かつ、前記表示部の向きが特定向きであるとき、前記表示制御手段は前記表示部への表示を所定の画像に切り換える、請求項１に記載の表示装置。
4. 前記判断部が前記特定の範囲内に移動体が存在しないと判断したとき、前記表示制御手段は、前記表示部の向きと前記移動体の相対位置とに基づいて、当該移動体の方向に関する情報を前記表示部に表示する、請求項１に記載の表示装置。
5. 前記特定の範囲内に移動体が存在しないとき、移動体に対する遠隔操作を行うための操作情報を入力する操作部の操作を制限する操作制限手段を備える、請求項１〜４の何れか１項に記載の表示装置。
6. 前記受信部より受信した前記移動体の位置情報に基づいて当該移動体の速度を演算する速度演算部を備え、
   前記速度演算部より演算された移動体の速度が所定の速度以上であるとき、前記表示制御手段は前記表示部への前記撮影画像の表示をＯＦＦにする、請求項１〜５の何れか１項に記載の表示装置。
7. 前記受信部より受信した前記移動体の位置情報に基づいて当該移動体の速度を演算する速度演算部を備え、
   前記表示制御手段は、前記特定の範囲内に移動体が存在すれば前記撮影画像の表示をＯＮにするとともに、前記速度演算部より演算された移動体の速度が所定の速度よりも遅いと判断したとき、所定範囲よりも広い範囲の撮影画像を表示する広角モードに切り換える、請求項１〜５の何れか１項に記載の表示装置。
8. 前記表示制御手段は、前記速度演算部より演算された移動体の速度が、前記所定の速度よりも遅い停止判断速度以下であるとき、所定範囲よりも狭い範囲の撮影画像を表示するズームモードに切り換える、請求項７に記載の表示装置。
9. 遠隔操作される移動体に搭載されたカメラで撮影される画像を、使用者の頭部に装着可能な表示部に表示する表示制御方法であって、
   移動体から送信されてくる撮影画像および当該移動体の位置情報を受信部より受信するステップと、
   位置検出部より前記表示部の位置を検出するステップと、
   前記位置検出部より検出された当該表示部の位置に対する、前記受信部より受信した前記移動体の位置情報に基づく相対位置を演算するステップと、
   演算した相対位置に応じた情報を前記表示部に表示するステップと、
   向き検出部より前記表示部の向きを検出するステップと、
   前記向き検出部より検出される当該表示部の向き、および前記位置検出部より検出される当該表示部の位置に対する特定の範囲内に前記移動体が存在するか否かを判断するステップと、
   前記特定の範囲内に前記移動体が存在するか否かに応じて前記表示部へ表示する画像を切り換えるステップと
   を含む、表示制御方法。
10. 前記特定の範囲内に移動体が存在しないと判断したとき、前記表示部への前記撮影画像の表示をＯＦＦにするステップを含む、請求項９に記載の表示制御方法。
11. 前記特定の範囲内に移動体が存在しないと判断し、かつ、前記表示部の向きが特定向きであるとき、前記表示部への表示を所定の画像に切り換えるステップを含む、請求項９に記載の表示制御方法。
12. 前記特定の範囲内に移動体が存在しないと判断したとき、前記表示部の向きと前記移動体の相対位置とに基づいて、当該移動体の方向に関する情報を前記表示部に表示するステップを含む、請求項９に記載の表示制御方法。
13. 前記特定の範囲内に移動体が存在しないとき、移動体に対する遠隔操作を行うための操作情報を入力する操作部の操作を制限するステップを含む、請求項９〜１２の何れか１項に記載の表示制御方法。
14. 前記受信部より受信した前記移動体の位置情報に基づいて当該移動体の速度を演算するステップと、
    演算された移動体の速度が所定の速度以上であるとき、前記表示部への前記撮影画像の表示をＯＦＦにするステップを含む、請求項９〜１３の何れか１項に記載の表示制御方法。
15. 前記受信部より受信した前記移動体の位置情報に基づいて当該移動体の速度を演算するステップと、
    前記特定の範囲内に移動体が存在すると判断したとき前記表示部への前記撮影画像の表示をＯＮにするステップと、
    演算された移動体の速度が所定の速度よりも遅いと判断したとき、所定範囲よりも広い範囲の撮影画像を表示する広角モードに切り換えるステップとを含む、請求項９〜１３の何れか１項に記載の表示制御方法。
16. 演算された移動体の速度が、前記所定の速度よりも遅い停止判断速度以下であるとき、所定範囲よりも狭い範囲の撮影画像を表示するズームモードに切り換えるステップを含む、請求項１５に記載の表示制御方法。

Images