JP2018074420A - 表示装置、表示システム及び表示装置の制御方法 - Google Patents

Abstract

【課題】外部機器による撮像範囲を視認できる表示装置を提供する。【解決手段】表示装置１００は、撮像して第１の画像を取得する画像入力部１３１と、画像入力部１３１の第１の撮像範囲に係る情報を含む第１の撮像範囲情報として取得する情報取得部１３０と、撮像して第２の画像を取得する外部機器から前記外部機器の第２の撮像範囲に係る情報を含む第２の撮像範囲情報を取得する通信を行う通信部１４０と、前記第１の撮像範囲及び前記第２の撮像範囲に含まれる領域を対応範囲として取得する制御部１１０と、前記対応範囲を示す表示情報を生成する表示制御部１１１と、前記表示情報を表示する表示部１２０とを備える。【選択図】図１

Description

本発明は、表示装置、表示システム及び表示装置の制御方法に関する。

近年のＩＣＴ（Information and Communications Technology：情報通信技術）活用において、例えばウェアラブル端末を含むＩｏＴ（Internet of Things）機器への注目が高まっている。ここで、「ＩＣＴ活用」は、例えばこれまで以上に情報通信の自由度が上がった環境や機器を活用することを意味している。また、「ＩｏＴ」は、あらゆる「モノ」がインターネットにつながること又はインターネットの一部を構成することを示し、「ＩｏＴ機器」は、通信機能を有してインターネットに限らずネットワークへ接続するものを指すことが多い。ウェアラブル端末には、例えば眼鏡型、腕時計型のウェアラブル端末が含まれる。また、近年はこのようなＩｏＴ機器がカメラを搭載することも多い。

例えば特許文献１には、携帯端末装置に付随するカメラで撮像している映像にエアタグと呼ばれる仮想的画像を付加して表示する拡張現実（ＡＲ）技術によって、当該エアタグが示す事物・事象の地理上の位置と現在位置との位置関係を容易に把握することができる経路案内装置に係る技術が開示されている。

特開２０１５−２２４９８２号公報

本発明は、外部機器による撮像範囲を視認できる表示装置、表示システム及び表示装置の制御方法を提供することを目的とする。

本発明の一態様によれば、表示装置は、撮像して第１の画像を取得する画像入力部と、前記画像入力部の第１の撮像範囲に係る情報を含む第１の撮像範囲情報として取得する情報取得部と、撮像して第２の画像を取得する外部機器から前記外部機器の第２の撮像範囲に係る情報を含む第２の撮像範囲情報を取得する通信を行う通信部と、前記第１の撮像範囲及び前記第２の撮像範囲に含まれる領域を対応範囲として取得する制御部と、前記対応範囲を示す表示情報を生成する表示制御部と、前記表示情報を表示する表示部とを備える。

本発明の一態様によれば、表示システムは、前記表示装置と、撮像して第２の画像を取得する外部機器とを含む。

本発明の一態様によれば、表示装置の制御方法は、撮像して第１の画像を取得することと、前記画像入力部の第１の撮像範囲に係る情報を含む第１の撮像範囲情報として取得することと、撮像して第２の画像を取得する外部機器から前記外部機器の第２の撮像範囲に係る情報を含む第２の撮像範囲情報を取得する通信を行うことと、前記第１の撮像範囲及び前記第２の撮像範囲に含まれる領域を対応範囲として取得することと、前記対応範囲を示す表示情報を生成することと、前記表示情報を表示することとを含む。

本発明によれば、外部機器による撮像範囲を視認できる表示装置、表示システム及び表示装置の制御方法を提供できる。

図１は、第１の実施形態に係る表示システムの構成例の概略を示すブロック図である。 図２は、第１の実施形態に係る表示装置の備える画像入力部及び表示部とユーザの視界との位置関係の一例を示す模式図である。 図３は、第１の実施形態に係るユーザの視界と表示部との位置関係の一例を示す模式図である。 図４は、第１の実施形態に係る表示装置制御処理の一例を示すフローチャートである。 図５は、第１の実施形態に係る表示システムの構成の一例を示す模式図である。 図６Ａは、第１の実施形態に係る対応範囲を取得する方法の一例を示す模式図である。 図６Ｂは、第１の実施形態に係る対応範囲を取得する方法の一例を示す模式図である。 図７は、第１の実施形態に係る対応範囲が重畳表示された表示部における表示の一例を示す模式図である。 図８は、第１の実施形態に係る監視カメラ制御処理の一例を示すフローチャートである。 図９は、第２の実施形態に係る表示システムの構成例の概略を示すブロック図である。 図１０は、第２の実施形態に係る表示装置の構成例の概略を示す模式図である。 図１１は、第２の実施形態に係る表示装置の備える画像入力部及び表示部とユーザの視界との位置関係の一例を示す模式図である。 図１２は、第２の実施形態に係るユーザの視界と表示部との位置関係の一例を示す模式図である。 図１３は、第２の実施形態に係る表示システムの構成の一例を示す模式図である。 図１４は、第２の実施形態に係る対応範囲が重畳表示された表示部における表示の一例を示す模式図である。 図１５は、第２の実施形態に係るドローンの取得画像が重畳表示された表示部における表示の一例を示す模式図である。 図１６は、第２の実施形態に係る操縦部制御処理の一例を示すフローチャートである。 図１７は、第２の実施形態に係る表示装置制御処理の一例を示すフローチャートである。 図１８は、第２の実施形態に係るドローン制御処理の一例を示すフローチャートである。

［第１の実施形態］
近年のＩＣＴ（Information and Communications Technology：情報通信技術）活用において、例えばウェアラブル端末を含むＩｏＴ（Internet of Things）機器への注目が高まっている。ここで、「ＩＣＴ活用」は、例えばこれまで以上に情報通信の自由度が上がった環境や機器を活用することを意味している。また、「ＩｏＴ」は、あらゆる「モノ」がインターネットにつながること又はインターネットの一部を構成することを示し、「ＩｏＴ機器」は、通信機能を有してインターネットに限らずネットワークへ接続するものを指すことが多い。ウェアラブル端末には、例えば眼鏡型、腕時計型のウェアラブル端末が含まれる。また、近年はこのようなＩｏＴ機器がカメラを搭載することも多い。

＜表示システムの構成＞
本実施形態に係る表示システム１の構成例の概略を図１にブロック図として示し、これを参照して表示装置１００と外部機器に含まれる監視カメラ２００とを含む表示システム１の構成について説明する。なお、上述したような観点から、表示装置１００、監視カメラ２００等の本実施形態に係る表示システム１に含まれる各々の機器はＩｏＴ機器であると表現できる。

表示装置１００は、制御部１１０と、表示部１２０と、情報取得部１３０と、通信部１４０と、操作部１５０とを備える。制御部１１０は、表示装置１００の各部の動作を制御する。制御部１１０は、表示制御部１１１を備える。表示制御部１１１は、例えば通信部１４０を介して監視カメラ２００から取得する情報を表示するための表示情報を生成する。表示部１２０は、表示制御部１１１の生成する表示情報に基づいて表示を行う。表示部１２０は、例えば液晶ディスプレイ、有機ＥＬディスプレイ、ハーフミラーを含む。ディスプレイは、リアルな画像に基づいた画像を表示すると共に、取得された情報を可視化して表示するために、これら画像と情報との合成画像をユーザから見えるように表示する。なお、この合成は電気的（電子的）に行われても、光学的に行われてもよい。情報取得部１３０は、表示装置１００に係る情報を取得する。

情報取得部１３０は、画像入力部１３１と、位置入力部１３２と、方位入力部１３３と、距離入力部１３４とを備える。画像入力部１３１は、例えば撮像光学系と撮像素子とを備える第１の撮像部を含み、撮像光学系を介して撮像素子の撮像面に結像した被写体像に基づいて画像を第１の画像として取得する。なお、以下の説明では、第１の撮像部による撮像を第１の撮像と記載することとする。位置入力部１３２は、例えばＧＰＳセンサ、気圧センサ等を含み、表示装置１００の位置や高度に係る情報を取得する。方位入力部１３３は、例えば電子コンパス等のセンサを含み、第１の撮像の方向を取得する。距離入力部１３４は、表示装置１００と監視カメラ２００との間の距離に係る情報を取得する。なお、当該距離は、例えば画像入力部１３１の備える撮像素子による像面位相差方式の測距の検出結果に基づいて測距されて取得されてもよい。また、当該距離は、制御部１１０が位置入力部１３２の出力と監視カメラ２００の出力する位置情報とに基づいて算出して取得されてもよい。距離の測定は光投射式のレーダー利用のもの、三角測距方式、レンズの合焦によるコントラスト方式等がある。表示装置１００と特定のものとの間の距離を測定する場合は、予め、特定の指標の大きさを決めておいて、それがどのような大きさで検出できるかによって距離測定が行われてもよい。また、対象物と表示装置１００とのそれぞれでＧＰＳ等の信号や情報を取得して得られた対象物と表示装置１００との間の位置情報の差異等に基づいても距離の測定は可能である。さらに、目視で距離を入力する応用例もあり得る。以下、情報取得部１３０又は情報取得部１３０の備える各部の取得する第１の撮像の撮像範囲に係る情報を第１の撮像範囲情報と称することとする。

通信部１４０は、監視カメラ２００との間で通信を行う。なお、当該通信は、例えばBluetooth（登録商標） Low Energy（ＢＬＥ）、Wi-Fi（登録商標）等の無線通信でもよいし、有線の通信でもよい。また、これら通信はインターネット等の電気通信回線を介して行われてもよい。操作部１５０は、例えばボタン、スライダ、つまみ、ダイヤル等を含み、ユーザの操作結果を取得する。なお、操作部１５０はタッチパネルであってもよいし、ユーザの動作、目線を検知するセンサを備えて操作結果を取得するものであってもよい。

監視カメラ２００は、制御部２１０と、情報取得部２３０と、通信部２４０とを備える。制御部２１０は、監視カメラ２００の各部の動作を制御する。情報取得部２３０は、監視カメラ２００に係る情報を取得する。情報取得部２３０は、画像入力部２３１と、撮像範囲入力部２３２とを備える。画像入力部２３１は、例えば撮像光学系と撮像素子とを備える第２の撮像部を含み、撮像光学系を介して撮像素子の撮像面に結像した被写体像に基づいて画像を第２の画像として取得する。なお、以下の説明では、第２の撮像部による撮像を第２の撮像と記載することとする。また、監視カメラ２００のような表示システム１の含む外部機器のうち撮像機能を有する外部機器を撮像機器と記載することとする。撮像範囲入力部２３２は、例えばＧＰＳセンサ等を含み、監視カメラ２００の撮像範囲に係る情報を第２の撮像範囲情報として取得する。なお、第２の撮像範囲情報は、その撮像機器（ここでは監視カメラ２００）の位置や撮像時の向き（ここでは単純化して下向き）、又は撮像素子のサイズ及び撮像光学系の焦点距離等から決まる画角に相当する範囲等を含んだり、総合したりしたものである。当該第２の撮像範囲情報の一部又は全部は、予め監視カメラ２００の内部に記録されていてもよいし、画像入力部２３１がそのときの状況に応じて、画角等をどのように設定しているか、どこを向いているか等を判定して取得されてもよいし、例えば画角等が設定された時の情報に基づいて取得されてもよい。通信部２４０は、表示装置１００の備える通信部１４０との間で通信を行う。

本実施形態に係る表示装置１００の備える画像入力部１３１及び表示部１２０とユーザＵ１の視界との位置関係の一例を模式図として図２に示す。また、本実施形態に係るユーザＵ１の視界と表示部１２０との位置関係の一例を模式図として図３に示す。

本実施形態では、表示装置１００は、例えば図２に示すような眼鏡型のウェアラブル端末である場合を例として説明をするが、これに限定されない。表示装置１００は、例えば時計型のウェアラブル端末であってもよい。また、表示装置１００は、ウェアラブル端末ではなくても表示、通信及び撮像機能を有する端末であればよい。なぜなら、ウェアラブルであるかどうかは、その機器（端末）がユーザの体にハンズフリー状態で装着されているか否かで決まるものであり、ここでは、装着した時と同様の状態とすることを、ユーザが手持ちで行ってもよいからである。ウェアラブルであれば、手持ちでなくてもよいので、両手が他の用途に使えるという利点がある。また、眼鏡型のウェアラブル機器であれば、一般的な大人の目の高さ等を仮定して、歩行時に表示を確認するシーン等を想定した設計にしたりできる。さらに、眼鏡型のウェアラブル機器は、目で見える表示の位置の制御を行いやすいというメリットがある。これも、目の位置と表示の位置（目で見て見える表示位置）の制御、設計等が単純化できる。もちろん、ウェアラブルタイプでなくとも、表示位置を制御して目で見た時に見える位置を制御することは、様々な方法で実現可能である。目の位置と表示の位置を光学的に一致させる場合には、表示部と目の位置の関係を表示部から目を撮像したりして検出して、この結果から表示位置が制御されてもよい。また電子的に画像合成する場合、当該制御は、撮像した画像の位置に対し、仮想的な情報の位置を調整して表示すれば実現可能である。

なお、図３に示すように、本実施形態に係る表示装置１００の備える表示部１２０は、ユーザＵ１の左視界ＶＬ及び右視界ＶＲと、それぞれ概ね重なるように配置されている。また、表示装置１００の備える画像入力部１３１は、例えば図２に示すようにユーザＵ１の目線方向と第１の撮像の方向とが同じ方向となるように配置されている。なお、表示装置１００は虚像投影型のものであっても、網膜投影型のものであってもよい。

＜表示システムの動作＞
本実施形態に係る表示装置制御処理の一例をフローチャートとして図４に示し、これを参照して表示装置１００の動作について説明をする。また、本実施形態に係る表示システム１の構成の一例を模式図として図５に示す。ここでは、例えば図５に示すように、ユーザＵ１が警備員として表示装置１００を装着している状態で見回りをしている場合を例として表示システム１の動作について説明をする。なお、以下に記載されている水平、垂直、平行等の表現は、厳密に水平、垂直、平行等を要求するものではなく、概ね水平、垂直、平行等とみなせるものであればよい。また、以下の説明は、説明を単純化するために、概ね水平、垂直、平行等とみなせるものを水平、垂直、平行であると仮定して行う場合を含む。

ステップＳ１０１において、制御部１１０は、画像入力部１３１に第１の撮像をさせて第１の画像を取得する。また、制御部１１０は、当該第１の画像を表示部１２０に表示させる。したがってユーザＵ１は、自身の視界と同様の第１の画像に基づいたライブビュー表示を見ながら見回りをすることができる。

ステップＳ１０２において、制御部１１０は、監視カメラ２００の出力する信号を取得するか否かを、例えばユーザＵ１の操作に応じた操作部１５０の出力に基づいて判定する。例えばユーザＵ１は、図５に示すように、建物Ｏ１の近くにある監視カメラ２００が何を写しているのか確認したいと思ったとき、監視カメラ２００がどこを写しているのか確認したいと思ったとき等に信号を取得すると操作することになる。表示装置制御処理は、取得すると判定された場合はステップＳ１０３へ進み、取得しないと判定された場合はステップＳ１０１へ戻り、ライブビュー表示を続ける。

このような情報取得は、例えば特定の規則を標準化によって定めて行われてもよい。例えば、情報が送受信される際の信号の形式、通信規格等が標準化によって定められていれば、表示装置１００を含むウェアラブル端末と監視カメラ２００を含む外部機器との組み合わせに関係なく本技術が利用できるようになる。

一方で、上述のような情報取得は、ウェアラブル端末による外部機器信号の解釈によって判定されて行われてもよい。ここで解釈とは、例えばウェアラブル端末と外部機器との間の通信規格等が標準化されていなくても、ウェアラブル端末が当該信号を解析して外部機器の仕様を判定することを示している。ウェアラブル端末は、組み合わせ可能な全ての外部機器の仕様を記憶している必要はなく、適宜、インターネット、サーバ等に構築されているデータベース等、クラウド上に記録されている情報に基づいて判定すればよい。このようなネットワーク上のデータベースからの情報の読み出しに際して、ウェアラブル端末は、自機器の位置情報に基づいて情報を検索してもよいし、外部機器の発信する信号に基づいて検索してもよい。外部機器の発信する信号は、例えば外部機器の個体識別番号、製品種別、位置情報等を含む。

また、上述のような情報取得は、ウェアラブル端末から独自の情報発信が為されて行われてもよい。すなわち、上述のような外部機器からの情報、外部機器の仕様を取得する際には、ウェアラブル端末から各種情報を要求する形態であってもよい。ウェアラブル端末が情報を要求するタイミングは、ユーザによる端末の操作があったときでもよいし、当該ウェアラブル端末が所定の位置又は範囲に位置したときでもよい。また、外部機器が定期的に又は常に情報を発信していてもよく、ウェアラブル端末が当該信号を受信したときに情報の送受信が開始されてもよい。

ステップＳ１０３において、制御部１１０は、例えばユーザの操作に応じた操作部１５０の出力に基づいて、監視カメラ２００の取得する第２の画像を取得して表示部１２０に表示させるか否かを判定する。例えばユーザＵ１は、監視カメラ２００が何を写しているのかを確認したいと思うとき等に第２の画像を表示させるべく上述の情報取得や表示を行うための操作ボタン等を操作（何も操作せずとも近づくだけで常に表示してもよい）し、一方で、監視カメラ２００の撮像範囲を知りたいと思うとき等に第２の画像を表示させる操作とは異なる操作をすることになる。表示装置制御処理は、第２の画像を表示させる状態になった又は操作があったと判定された場合はステップＳ１０８へ進み、表示させないと判定された場合はステップＳ１０４へ進む。

ステップＳ１０４において、制御部１１０は、位置入力部１３２から表示装置１００の位置情報を取得する。ステップＳ１０５において、制御部１１０は、通信部１４０を介して監視カメラ２００の出力する監視カメラ２００の位置情報を取得する。したがって、ステップＳ１０４及びステップＳ１０５において制御部１１０は、図５に示すように表示装置１００を装着したユーザＵ１の位置を示す点Ｐ０の座標（Ｉ０、Ｋ０）と監視カメラ２００の位置を示す点Ｐ１の座標（Ｉ１、Ｋ１）とを取得することになる。ここで制御部１１０は、例えば点Ｐ０の座標と点Ｐ１の座標とに基づいて、これら２点間の距離Ｄ１を算出する。

ステップＳ１０６において、制御部１１０は、通信部１４０を介して監視カメラ２００の出力する監視カメラ２００の撮像範囲を示す信号を第２の撮像範囲情報として取得する。第２の撮像範囲情報は、例えば監視カメラ２００の撮像する画角、監視カメラ２００の取得する撮像範囲に係るＧＰＳ測位値（又は設置時に入力された緯度、経度情報）等を含む。ここでは向き（傾き）は単純化して鉛直方向（地面に対して略垂直）向きとした。こうした情報は、どこからどこまでの範囲かを示すものなので、いちいち換算する必要がないように、緯度経度情報群であってもよい。したがって、制御部１１０は、ここで例えば図５に示すように監視カメラ２００の撮像範囲が矩形である場合、第２の撮像範囲Ａ２の頂点を示す４つの座標（Ｉ１±ΔＩ１、Ｋ１±ΔＫ１）を取得することになる。以下、例えば経緯度で表されるΔＩ１とΔＫ１とに相当する長さがともにΔＤ１である場合を例として説明を続ける。

ステップＳ１０７において、制御部１１０は、第１の画像のうち第２の撮像範囲に対応する部位に対して画像処理を行う。当該画像処理に先立って、制御部１１０は、表示装置１００の備える第１の撮像部の画角を含む第１の撮像範囲情報を取得する。第１の撮像範囲情報は、例えば第１の撮像部の位置、高度、方位、傾き等を含む。これら第１の撮像範囲情報に含まれる情報の値は、眼鏡型端末のようなウェアラブル機器の場合、立った人間の目の高さ、まっすぐ前を見るという状態であること等を仮定して、予め決めた値で代用されてもよい。ユーザＵ１が特定の位置まで来たら補助表示が見えるような仕様でもよく、その場合も、位置情報を単純化したりできる。もちろん、ユーザＵ１が、その位置から監視位置（監視カメラ２００の撮像範囲）を確認する場合は、方位や傾きが特定の値になる状況を想定してもよい。この場合も情報の種類、量の削減が可能となる。なお、第１の撮像範囲情報は、ステップＳ１０１における撮像時の状況に応じた値としてもよく、ステップＳ１０４における表示装置１００の位置情報取得時等に取得されていてもよい。また、制御部１１０は、当該画像処理後の画像を表示部１２０へ表示させる。

ここで、第１の画像のうち当該画像処理を施す領域が取得される方法について説明をする。以下、当該領域を対応範囲と称する。本実施形態に係る制御部１１０が当該対応範囲を取得する方法の一例について、図６Ａ及び図６Ｂに示す模式図を参照して説明する。なお、このとき既に、点Ｐ０と点Ｐ１との間の距離Ｄ１と、第１の撮像範囲情報に含まれる水平方向と平行な方向の画角Θ０及び垂直画角Ψ０と、第２の撮像範囲情報に含まれる長さΔＤ１とがそれぞれ取得されている状態である。

また、ここでは図６Ａに示すように、ユーザＵ１は表示装置１００を頭部に装着して監視カメラ２００に向かって正対しており、かつ、表示装置１００の備える第１の撮像部の撮像方向は地面と平行であるとした場合を例として説明をする。また、表示装置１００と第１の撮像部との高さ及び位置の差異は既知である。以下、第１の撮像部の位置する地上の点の位置がＰ０であり、点Ｐ０から点Ｐ１へ向かう方向をＸ＋方向と、Ｘ方向と直行する地面と平行な方向をＹ方向と、点Ｐ０をＸ方向の原点（Ｘ＝０）として説明を続ける。

制御部１１０は、位置入力部１３２から第１の撮像部の高さＨ０を取得する。制御部１１０は、取得した高さＨ０と距離Ｄ１とに基づいて、第１の撮像部と点Ｐ１との距離Ｄ１１を算出する。また、制御部１１０は、第１の撮像の方向と、第１の撮像部と点Ｐ１とを結ぶ直線との成す角である画角Ψ１を算出する。

したがって、算出された画角Ψ１と垂直画角Ψ０とに基づいて、第１の画像に含まれる点のうち何れの点が点Ｐ１に対応するかが明らかとなる。以下、点Ｐ１に対応する第１の画像に含まれる点を点Ｐ１´と記載する。

図６Ｂに示す点Ｐ１１と点Ｐ１２とは、点Ｐ１とＸ方向に同じ位置であり、それぞれ点Ｐ１との間の距離がΔＤ１となる点である。以下、点Ｐ１１と点Ｐ１２とを結ぶ線分を線分Ｌ１と称する。すなわち、線分Ｌ１は、点Ｐ１を含むＹ方向の直線のうち対応範囲に含まれる範囲であると表現できる。また、図６Ｂに示す模式図は、距離Ｄ１１を示す直線と線分Ｌ１とによって張られる平面を示している。

図６Ｂに示すように、制御部１１０は、距離Ｄ１１と長さΔＤ１とに基づいて、第２の撮像範囲に対応するＹ方向の画角Θ１を算出する。

したがって、算出された画角Θ１と画角Θ０とに基づいて、第１の画像に含まれる点Ｐ１´を含むＹ方向の直線のうち、線分Ｌ１に対応する範囲が明らかとなる。以下、線分Ｌ１に対応する第１の画像に含まれる線分を線分Ｌ１´と記載する。

このようにして、対応範囲のうち、Ｘ＝Ｄ１の位置でのＹ方向の範囲に係る情報が取得されることになる。制御部１１０は、上述した場合と同様にして、Ｄ１−ΔＤ１≦Ｘ≦Ｄ１＋ΔＤ１の範囲で、それぞれのＸ方向の位置に対応する画角Ψ１及び画角Θ１を取得し、第１の画像に含まれる領域のうち、何れの領域が対応範囲に相当するかを判定する。

なお、監視カメラ２００の第２の撮像範囲が矩形である場合には、Ｄ１−ΔＤ１＜Ｘ＜Ｄ１＋ΔＤ１の位置に係る対応範囲を算出せずに、第２の撮像範囲の４つの頂点又はＸ＝Ｄ１±ΔＤ１の位置に係る対応範囲を算出するだけで同様の対応範囲が算出できることは明らかである。

なお、このようにして取得され得る対応範囲は、第１の撮像範囲及び第２の撮像範囲に含まれる領域であるとも表現できる。また、第１の撮像部の撮像する方向とユーザの視界の方向ＶＤとが同一の方向若しくは同一の方向であるとみなせる場合又は補正若しくは換算によって同一の方向として取り扱える場合等には、対応範囲は、視認可能な画像処理対応範囲と表現されてもよい。

本実施形態に係る表示部１２０における画像処理後の画像表示の一例を模式図として図７に示す。本実施形態に係る表示制御部１１１は、当該対応範囲を示す表示情報を第１の画像に重畳させた重畳表示画像を表示するための表示情報を出力して表示部１２０に表示させる。図７に示すように、第２の撮像範囲Ａ２を示す対応範囲が画像処理によって塗りつぶされた画像が第１の画像に重畳表示されており、ユーザＵ１は建物Ｏ１の付近にある監視カメラ２００がどこを写しているのかを視認して、容易に把握することができる。

ここで、図４を再び参照して表示システム１の動作について説明を続ける。

ステップＳ１０８において、制御部１１０は、通信部１４０を介して監視カメラ２００から第２の画像を取得する。ステップＳ１０９において、制御部１１０は、ステップＳ１０８で取得した第２の画像を表示部１２０に表示させる。その後、表示装置制御処理はステップＳ１０２へ戻る。

なお、本実施形態に係る表示装置１００の備える表示部１２０はユーザＵ１の左視界ＶＬ及び右視界ＶＲの各々に概ね重なっており、ユーザＵ１は画像入力部１３１の撮像する第１の画像を見て見回りをしている場合がある。このような場合において、急に第２の画像を表示部１２０へ表示させた場合、ユーザＵ１の視界が急に奪われることとなる。そのため、制御部１１０は、表示部１２０に表示させる画像を切り替える際には、例えば第１の画像に、第２の画像を徐々に透明度を低くしながら重畳表示させるようにしてもよい。また、制御部１１０は、表示部１２０の一部に第２の画像を表示させるようにしてもよい。

本実施形態に係る監視カメラ制御処理の一例をフローチャートとして図８に示し、これを参照して監視カメラ２００の動作について説明をする。

ステップＳ２０１において、制御部２１０は、監視カメラ２００の備える画像入力部２３１に撮像させて、第２の画像を取得する。制御部２１０は、通信部２４０に当該第２の画像を表示装置１００へ送信させる。なお、本ステップは例えばステップＳ１０８において送信された制御信号を受信したときに実行される。

ステップＳ２０２において、制御部２１０は、通信部２４０に監視カメラ２００の位置を示す位置信号を表示装置１００へ送信させる。なお、監視カメラ２００の位置は、予め監視カメラの内部に記録されていてもよいし、制御部２１０が取得してもよい。なお、本ステップは例えばステップＳ１０５に対応する。

ステップＳ２０３において、制御部２１０は、監視カメラ２００の撮像範囲に係る情報を第２の撮像範囲情報として、通信部２４０に送信させる。なお、第２の撮像範囲情報は、例えば、監視カメラ２００の画像入力部２３１の備える撮像部の画角、ＧＰＳ測位値等を含む。本ステップは例えばステップＳ１０６に対応する。その後、監視カメラ制御処理はステップＳ２０１へ戻り、ステップＳ２０１乃至ステップＳ２０３の処理を繰り返す。

＜表示システムに係る変形例＞
なお、本実施形態では、表示装置１００の備える撮像部が監視カメラ２００に正対しており、かつ、地面と平行な方向で第１の撮像が行われる場合を例として説明したが、これに限定されない。例えば情報取得部１３０が撮像方向の上下左右の傾きを検出し、これに基づいて方位、距離等を補正して上述の重畳表示が行われ得る。また、表示装置１００の備える撮像部は、第１の撮像における撮像の方向が、例えば図２に示すようにユーザＵ１の目線の方向と一致するように配置されているがこれに限定されない。各々の位置と方向との差異が既知又は取得可能であれば、画像処理等によって補正されて重畳表示が実現し得る。

なお、例えば撮像素子が位相差を検出できる場合等には、距離Ｄ１は当該位相差に基づいて算出されてもよい。また、監視カメラ２００の位置を示す点Ｐ１は、予め監視カメラ２００の内部に記憶されていてもよいし、監視カメラ２００が都度取得していてもよい。

また、表示装置１００の高さＨ０は、手入力されて取得されてもよいし、気圧センサ、高度センサ、ＧＰＳ等によって測定されて取得されてもよいし、例えば大人の平均的な身長等に基づいて１５０ｃｍ、１６０ｃｍ等と値が予め設定されていてもよい。

長さΔＤ１の値は、例えば監視カメラ２００の画角Φと高さＨ１とに基づいて算出されてもよいし、予め監視カメラの内部に記録されていてもよい。また、一度接続した監視カメラ２００の情報は、表示装置１００に記録され得る。また、本実施形態に係る技術は、撮像範囲が矩形でない場合にも適用可能である。

また、本実施形態では距離Ｄ１１を算出して、これを用いて重畳表示に要求される各々の値を算出したが、例えば点Ｐ０と点Ｐ１とが十分に離れているとき等、画角Ψ１が十分に小さいとき等には、簡単のためにＤ１≒Ｄ１１として算出してもよい。また、本実施形態で説明した場合のように、第１の撮像部が水平方向を撮像しているときであって、第１の撮像部の高さＨ０が既知である場合には、垂直画角Ψ０は使わなくてもよい。

なお、本実施形態では監視カメラ２００のように据え置きの外部機器が、情報を発信し続けている場合を例として説明したが、監視カメラ２００は、信号や第２の撮像範囲情報等を常時発信している必要はなく、定期的に発信してもよいし、表示装置１００から要求があったときだけ発信してもよい。さらに監視カメラ２００は、第２の画像を解析して、変化を検出した場合に発信するものであってもよい。

本実施形態に係る表示システム１において、監視カメラ２００はその撮像方向、焦点距離が可変であってもよく、本実施形態に係る技術は、ユーザが表示装置１００を操作して監視カメラ２００の動作を制御できるものであってもよい。

＜表示システムの利点＞
本実施形態に係る表示システム１は、監視カメラ２００の第２の撮像範囲情報を表示装置１００の取得する第１の画像に重畳表示する。したがって、本実施形態に係る表示システム１を使用すれば、ユーザＵ１は表示装置１００の備える表示部１２０を見ながら、簡易に監視カメラ２００の撮像範囲又は取得画像を視認して把握することができる。

また、本技術を適用すれば、表示装置１００は、通信規格等の標準化、ネットワークに構築されたデータベースの利用等によって、どのような監視カメラ２００からでも情報を取得することができる。同様にして、ユーザがどのような表示装置１００を使用していても、監視カメラ２００は情報を提供できる。

また、本実施形態に係る表示システム１を利用すれば、ユーザは、例えば監視員として見回りをしているとき等に監視できていない範囲があるか否かを簡単に視認して把握できる。さらに、本技術を利用すれば、例えば監視カメラ２００の管理者は、プライバシーの観点等から監視カメラ２００が撮影している画像を公開したくないときでも、例えば監視員等の特定の手続きを経たアクセス権のあるユーザ等に撮影範囲のみを確認させることもできる。

［第２の実施形態］
本発明における第２の実施形態について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については同一の符号を付してその説明を省略する。

＜第２の実施形態に係る表示システムの構成＞
本実施形態に係る表示システム１の構成例の概略をブロック図として図９に示し、これを参照して表示システム１の構成について説明をする。

第１の実施形態では、表示装置１００と据え置きの監視カメラ２００とを含む表示システム１について説明したが、本実施形態では、表示装置１００と飛行移動して撮像可能なドローン３００とドローン３００を操縦する操縦部４１０とを含む表示システム１について説明を行う。なお、ドローン３００は、例えば小型無人機、特定航空用機器、模型航空機、無人航空機を含む。

本実施形態に係る表示装置１００は、第１の実施形態に係る表示装置１００の備える距離入力部１３４がないことを除き、同様の構成を有する。なお、例えばドローン３００との距離を像面位相差方式によって取得でき得る場合等には、本実施形態に係る表示装置１００が距離入力部１３４を備えていてもよい。

ドローン３００は、制御部３１０と、移動制御部３２０と、情報取得部３３０と、通信部３４０と、操縦通信部３５０とを備える。

制御部３１０は、ドローン３００の各部の動作を制御する。情報取得部２３０は、ドローン３００に係る情報を取得する。移動制御部３２０は、ドローン３００の移動に係る制御を行う。移動制御部３２０は、例えば移動機構を含む。

情報取得部３３０は、画像入力部３３１と、位置入力部３３２と、音声入力部３３３と、画角入力部３３４とを備える。画像入力部３３１は、例えば撮像光学系と撮像素子とを備える第３の撮像部を含み、撮像光学系を介して撮像素子の撮像面に結像した被写体像に基づいて画像を第３の画像として取得する。なお、以下の説明では、第３の撮像部による撮像を第３の撮像と記載することとする。位置入力部３３２は、例えばＧＰＳセンサ等を含み、ドローン３００の位置情報を取得する。位置入力部３３２は、例えば高度センサ、方位センサ等を含み、ドローン３００の高度、移動方向等を取得するようにしてもよい。音声入力部３３３は、例えばマイクロフォンを含む収音部を備え、ドローン３００の周囲の音声データを取得する。画角入力部３３４は、画像入力部３３１の備える撮像部の撮像する画角に係る情報を取得する。以下、例えば情報取得部３３０の取得するドローン３００の撮像範囲を第３の撮像範囲と、当該第３の撮像範囲に係る位置、高度、方位、画角等の情報を第３の撮像範囲情報とそれぞれ称することとする。

通信部３４０は、表示装置１００の備える通信部１４０との間で通信を行う。操縦通信部３５０は、操縦部４１０との間で通信を行い、操縦部４１０の出力する制御信号を取得し、制御部３１０へ出力する。

操縦部４１０は、例えばユーザの操作結果を取得する操作部を備え、ユーザＵ１の操作に応じて、ドローン３００を操作するための制御信号を生成して出力する。なお、操縦部４１０は、表示装置１００に含まれていてもよい。

本実施形態に係る表示システム１は、表示制御部４００を含み得る。表示制御部４００は、例えば表示装置１００の備える制御部１１０と、通信部１４０と、操作部１５０と、ドローン３００の備える制御部３１０と、通信部３４０と、操縦通信部３５０と、操縦部４１０とを含む。表示制御部４００は、表示システム１における表示装置１００の備える表示部１２０へ表示される表示情報を生成するものである。

本実施形態に係る表示装置１００の構成例の概略を図１０に模式図として示す。本実施形態では、表示装置１００が図１０に示すような眼鏡装着型のウェアラブル端末である場合を例として説明をする。図１０に示すように、本実施形態に係る表示装置１００は、表示パネル１２１と、回路収納部１２２と、導光部１２３とをさらに備える。表示パネル１２１は、表示制御部１１１の出力した表示情報に基づいて表示を行う。回路収納部１２２は、表示装置１００の動作に係る例えば電気回路を格納する。導光部１２３は、表示パネル１２１からの光をユーザＵ１の瞳まで導く。したがって、ユーザＵ１は、導光部１２３を介して表示パネル１２１からの光を表示１２１ａとして視認できることになる。

本実施形態に係る表示装置１００の備える画像入力部１３１及び表示部１２０とユーザＵ１の視界との位置関係の一例を模式図として図１１に示す。また、本実施形態に係るユーザＵ１の視界と表示部１２０との位置関係の一例を模式図として図１２に示す。図１１に示すように、表示装置１００の備える画像入力部１３１は、例えば図２に示す第１の実施形態に係る表示装置１００と同様に、ユーザＵ１の目線方向と第１の撮像の方向とが同じ方向となるように配置されている。一方で、その表示部１２０の大きさ、形状等は、第１の実施形態に係る表示部１２０とは異なる。第２の実施形態に係る表示部１２０は、図１２に示すように、ユーザＵ１の視界の一部にのみ重なっている。

このように、本実施形態に係る表示装置１００は、例えば瞳孔径の半分程度の幅の棒状光学系で映像を表示するため、ユーザＵ１は、外界視界を十分に確保しながら、表示部１２０の表示を見ることができ得る。さらに、表示パネル１２１の出力する光が無駄なく利用されるため、低消費電力で明るい画面表示が実現し得る。

＜表示システムの概要＞
本実施形態に係る表示システム１の構成の一例を模式図として図１３に示す。ここでは、例えば図１３に示すように、ユーザＵ１が表示装置１００を装着し、操縦部４１０を手にしている状態でドローン３００を操縦して、例えば山Ｏ２の手前にある畑において、木Ｏ３の近傍にある農作物の生育状況等を確認している場合を例として本実施形態に係る表示システム１の概要について説明をする。

また、以下の説明においては、図１３に示すように、ユーザＵ１の位置を位置Ｐ２と、ドローン３００の位置を位置Ｐ３と、ドローン３００の撮像範囲を第３の撮像範囲Ａ３とし、ドローン３００の地面側に地面方向を撮像し得るように画像入力部３３１が配置されているものとする。なお、画像入力部３３１の配置、撮像方向は地面側に限らず、水平方向であっても、上空側であってもよい。撮像方向は、可変であってもよい。

例えば、本実施形態に係る表示システム１がこのような構成である場合における、表示装置１００の備える表示部１２０の表示例について説明をする。第２の実施形態に係る対応範囲が重畳表示された表示部における表示の一例を模式図として図１４に示す。本実施形態に係る表示システム１は、表示装置１００の取得する位置、方位等に基づいてユーザＵ１の視界を取得する。表示システム１は、当該視界に係る情報と、ドローン３００の位置、高度、画角等を含む第３の撮像範囲情報とに基づいて、例えば図５乃至図７を参照して上述した場合と同様にして、ユーザＵ１の視界内に設けられた表示パネル１２１に重畳表示するための表示情報を生成する。この表示情報は、図１４に示すように、例えば画像入力部１３１によって取得される、表示部１２０によって遮られている部分のライブビュー画像に第３の撮像範囲情報を表す表示を重畳した情報である。当該ライブビュー表示は、例えば図１４に示すようにユーザＵ１の視界と連続するように行われてもよい。したがって、ユーザＵ１は、図１４に示すように、視界にドローン３００を捉えて操縦しながら、ドローン３００の撮像範囲を視認して容易に確認することができる。

なお、図１４では、ユーザＵ１の視界と、当該視界に重畳表示された表示部１２０の表示との境界が一致する場合が示されているが、これに限定されない。本実施形態に係る表示システム１が実現するものは、ユーザＵ１の視界にドローン３００の撮像範囲が分かる表示情報が重畳表示されるものであればよい。

第２の実施形態に係るドローン３００の取得画像が重畳表示された表示部における表示の一例を模式図として図１５に示す。図１５に示すように、ユーザＵ１の視界に重畳表示されるものはドローン３００の取得する第３の画像であってもよく、この場合、ユーザＵ１は、視界にドローン３００を捉えて操縦しながらドローン３００の撮像画像を容易に確認することができる。図１４の表示と図１５の表示とを適宜に切り替えることで、ユーザＵ１は、例えば農作物の育成具合等を確認できると共に、当該画像が何れの領域を撮像したものであるかを容易に把握でき得る。

＜表示システムの動作＞
本実施形態に係る操縦部制御処理の一例をフローチャートとして図１６に示し、これを参照して表示システム１の動作について説明をする。

ステップＳ３０１において、操縦部４１０は、例えばユーザの操作結果を取得するまで待機状態を維持する。操縦部制御処理は、ユーザによる操作を検知した場合はステップＳ３０２へ進む。

ステップＳ３０２において、操縦部４１０は、ステップＳ３０１において取得したユーザ操作が、ドローン３００を移動させる操作であるか否かを判定する。操縦部制御処理は、操縦部４１０が取得した操作結果がドローン３００に係る移動操作であると判定された場合はステップＳ３０３へ進み、その他の操作であると判定された場合はステップＳ３０４へ進む。ステップＳ３０３において、操縦部４１０は、取得した移動操作に係るユーザの操作結果に応じた移動制御信号を生成し、これをドローン３００の備える操縦通信部３５０へ出力する。その後、操縦部制御処理はステップＳ３０１へ戻る。

ステップＳ３０４において、操縦部４１０は、ステップＳ３０１において取得したユーザ操作が、ライブビュー表示を要求する操作であるか否かを判定する。操縦部制御処理は、操縦部４１０が取得した操作結果がライブビュー表示の要求であると判定された場合はステップＳ３０５へ進み、その他の操作であると判定された場合はステップＳ３０６へ進む。ステップＳ３０５において、操縦部４１０は、ドローン３００に第３の画像を取得させて当該画像を表示装置１００へ送信させるための制御信号を生成し、当該制御信号をドローン３００の備える操縦通信部３５０へ出力する。その後、操縦部制御処理はステップＳ３０１へ戻る。

ステップＳ３０６において、操縦部４１０は、ステップＳ３０１において取得したユーザ操作が、ドローン３００の位置情報を要求する操作であるか否かを判定する。例えばユーザは、ドローン３００の現在のどこを撮像しているのか知りたいと思ったとき等に位置情報を要求する操作を行う。操縦部制御処理は、操縦部４１０が取得した操作結果がドローン３００の位置情報を示す位置信号の要求であると判定された場合はステップＳ３０７へ進み、位置信号の要求ではないと判定された場合はステップＳ３０１へ戻り、ユーザの操作があるまで待機する。ステップＳ３０７において、操縦部４１０は、ドローン３００に現在位置を取得させて当該位置を示す位置信号を表示装置１００へ送信させるための制御信号を生成し、当該制御信号をドローン３００の備える操縦通信部３５０へ出力する。なお、位置信号に限らず、第３の撮像範囲情報に含まれる情報が要求され得る。その後、操縦部制御処理はステップＳ３０１へ戻る。

本実施形態に係る表示装置制御処理の一例をフローチャートとして図１７に示し、これを参照して表示システム１の動作について説明をする。

ステップＳ４０１において、制御部１１０は、操縦部４１０によってドローン３００との通信が行われたか否かを判定する。表示装置制御処理は、行われたと判定された場合はステップＳ４０２へ進み、行われていないと判定された場合はステップＳ４０１へ戻る。本ステップは操縦部制御処理のステップＳ３０１に対応する。

ステップＳ４０２において、制御部１１０は、操縦部４１０によってドローン３００へライブビュー要求がされたか否かを判定する。表示装置制御処理は、要求されたと判定された場合はステップＳ４０３へ進み、要求されていないと判定された場合はステップＳ４０２へ進む。本ステップは操縦部制御処理のステップＳ３０４に対応する。

ステップＳ４０３において、制御部１１０は、操縦部４１０によってドローン３００へ位置信号要求がされたか否かを判定する。表示装置制御処理は、要求されたと判定された場合はステップＳ４０４へ進み、要求されていないと判定された場合はステップＳ４１１へ進む。本ステップは操縦部制御処理のステップＳ３０６に対応する。

ステップＳ４０４において、制御部１１０は、画像入力部１３１に撮像させ、第１の画像を取得する。また、制御部１１０は、第１の画像を表示部１２０に表示させる。ステップＳ４０５において、制御部１１０は、表示装置１００の位置情報を取得する。ステップＳ４０６において、制御部１１０は、通信部１４０を介してドローン３００の位置情報を取得する。本ステップは操縦部制御処理のステップＳ３０７に対応する。

ステップＳ４０７において、制御部１１０は、通信部１４０を介してドローン３００の第３の撮像範囲情報を取得する。上述したように、第３の撮像範囲情報は例えばドローン３００の高度、画角等の情報を含む。本ステップは操縦部制御処理のステップＳ３０７に対応する。

ステップＳ４０８において、制御部１１０は、画像入力部１３１の備える撮像部の撮像範囲に係る情報を第１の撮像範囲情報として取得する。また、図５乃至図７を参照して上述した場合と同様にして、制御部１１０は、第１の撮像範囲及び第３の撮像範囲に含まれる領域を、対応範囲として取得して、第１の画像に含まれる領域のうち何れの領域が第３の撮像範囲に対応するかを判定する。制御部１１０は、対応する対応範囲があれば、当該領域に対して画像処理を施し、第１の画像に第３の撮像範囲又は第３の画像を重畳表示するための表示情報を生成する。制御部１１０は、当該表示情報を表示部１２０へ出力し、表示させる。その後、表示装置制御処理はステップＳ４０１へ戻る。

ステップＳ４０９において、制御部１１０は、ユーザによってライブビュー要求がされたとステップＳ４０２で判定されたため、通信部１４０を介してドローン３００の撮像した第３の画像を取得する。本ステップは操縦部制御処理のステップＳ３０５に対応する。ステップＳ４１０において、制御部１１０は、ステップＳ４０９で取得した第３の画像を表示部１２０に表示させる。その後、表示装置制御処理はステップＳ４０１へ戻る。

ステップＳ４１１において、制御部１１０は、ユーザによってライブビュー表示も位置信号要求もされなかったとステップＳ４０２及びステップＳ４０３で判定されたため、表示部１２０によるライブビュー表示等、表示部１２０の表示を終了させる。本実施形態に係る表示装置１００等のウェアラブルデバイスは、その軽量化の要求、ハンズフリーであること等の理由からバッテリ消費を極力抑えることが望まれるため、本ステップのような処理は効果がある。その後、表示装置制御処理はステップＳ４０１へ戻る。

本実施形態に係るドローン制御処理の一例をフローチャートとして図１８に示し、これを参照して表示システム１の動作について説明をする。

ステップＳ５０１において、制御部３１０は、操縦部４１０からの信号を受信するまで待機する。ドローン制御処理は、信号を受信した場合はステップＳ５０２へ進む。

ステップＳ５０２において、制御部３１０は、操縦部４１０から受信した制御信号がドローン３００の移動操作に係る制御信号であるか否かを判定する。ドローン制御処理は、移動操作通信が行われ、移動操作信号を受信した場合はステップＳ５０３へ進み、その他の信号であると判定された場合はステップＳ５０４へ進む。本ステップは操縦部制御処理のステップＳ３０２に対応する。ステップ５０３において、制御部３１０は、操縦通信部３５０を介して操縦部４１０から受信した移動制御信号に基づいて、移動制御部３２０に制御信号を出力し、ドローン３００をユーザの操作結果に応じて移動させる。その後、ドローン制御処理はステップＳ５０１に戻る。

ステップＳ５０４において、制御部３１０は、操縦部４１０から受信した制御信号がライブビュー要求に係る制御信号であるか否かを判定する。ドローン制御処理は、ライブビュー要求を受信した場合はステップＳ５０５へ進み、その他の信号であると判定された場合はステップＳ５０６へ進む。本ステップは操縦部制御処理のステップＳ３０４に対応する。ステップＳ５０５において、制御部３１０は、画像入力部３３１の備える撮像部が取得した第３の画像を表示装置１００へ送信する。なお、例えばドローン３００又は表示装置１００の消費電力を低減させる観点から、本ステップのようにライブビュー要求を受けてライブビュー表示を行う場合の他に、制御部３１０が定期的に第３の画像を取得して解析し、変化等を検出した場合に表示装置１００へプッシュ通知してライブビュー表示の開始を促すといった形態も考えられる。その後、ドローン制御処理はステップＳ５０１へ戻る。

ステップＳ５０６において、制御部３１０は、操縦部４１０から受信した制御信号が位置信号要求に係る制御信号であるか否かを判定する。ドローン制御処理は、位置信号要求を受信した場合はステップＳ５０７へ進み、その他の信号であると判定された場合はステップＳ５０１へ戻り、通信があるまで待機する。本ステップは操縦部制御処理のステップＳ３０６に対応する。ステップＳ５０７において、制御部３１０は、情報取得部３３０の取得したドローン３００の位置情報を表示装置１００へ送信する。ステップＳ５０８において、制御部３１０は、情報取得部３３０の取得したドローン３００の高度情報を表示装置１００へ送信する。ステップＳ５０９において、制御部３１０は、情報取得部３３０の取得したドローン３００の画角情報を表示装置１００へ送信する。なお、ステップＳ５０７乃至ステップＳ５０９で表示装置１００へ送信される情報はこれらに限らず、第３の撮像範囲情報に含まれる情報が送信され得る。その後、ドローン制御処理はステップＳ５０１へ戻る。

なお、本実施形態では、ユーザＵ１がドローン３００を操縦する場合を例として説明をしたが、ドローン３００は自律飛行型のものであってもよい。この場合、例えばドローン３００は、第３の画像を解析して変化を検出した場合に表示装置１００へプッシュ通知を行うものであってもよいし、定期的に第３の撮像範囲情報、第３の画像等を発信するものであってもよい。

また、本実施形態に係る表示システム１は、例えば取得された第３の画像及び第３の撮像範囲情報がドローン３００内に記録され、ユーザが任意のタイミングで任意の画像及びその取得された位置を把握できるようなものであってもよい。さらに、これらの既記録の第３の画像は、ユーザＵ１が当該画像の取得された位置に近づいたとき等に重畳表示されてもよい。

＜第２の実施形態に係る利点＞
本実施形態に係る表示システム１は、第１の実施形態で得られる利点に加えて、以下のような利点を有する。本実施形態に係る表示システム１は、ドローン３００の第３の撮像範囲情報又は第３の画像を第１の画像に重畳表示する。また、本実施形態に係る表示装置１００は、例えば瞳孔径の半分程度の幅の棒状光学系で映像を表示するため、ユーザは、外界視界を十分に確保しながらドローン３００を目視で操縦でき、またドローン３００の第３の撮像範囲情報又は第３の画像を同時に視認して確認できる。

さらに、本実施形態に係る表示装置１００は、表示パネル１２１の出力する光が無駄なく利用されるため、低消費電力で明るい画面表示が実現し得る。また、本実施形態に係る表示装置１００は、ユーザの視界を妨げないため、ライブビュー表示として第１の画像を常時表示させる必要がなくウェアラブルデバイス等に要求される低消費電力、軽量化の観点からも有用である。

また、本実施形態に係る表示装置１００は、第１の実施形態に係る監視カメラ２００と組み合わせて使用することも可能である。

［変形例］
なお、重畳表示に係る画像処理において、例えば第１の画像内に第２の撮像範囲又は第３の撮像範囲等の外部機器の撮像範囲が含まれていない場合、すなわち、対応範囲が存在しない場合には、当該処理が行われなくてもよいし、第１の画像内に第２の撮像範囲又は第３の撮像範囲が第１の画像の示す第１の撮像範囲に対して何れの方向にあるか等の補助表示を重畳表示させる画像処理が行われてもよい。

第１の実施形態及び第２の実施形態において、例えばＧＰＳセンサによる測位値に基づいて位置情報が取得される例を示したが、これに限定されない。位置情報は、例えば携帯電話等の基地局、Wi-Fi等の無線ＬＡＮのアクセスポイント等から取得されてもよい。また、例えば一度撮像された領域において画像内の特徴物が位置情報と共に記録されて、当該特徴物に基づいた画像処理によって位置情報が取得されてもよい。

図７及び図１４に示すように、第２の撮像範囲Ａ２又は第３の撮像範囲Ａ３を塗りつぶすようにして重畳表示が行われる場合が例として示されているが、これに限定されない。重畳表示は、第１の画像に含まれる領域のうち何れの領域が第２の撮像範囲Ａ２又は第３の撮像範囲Ａ３であるか分かるものであれば何でもよく、例えば枠線、線分、図形、文字列等によって示されるものであってもよい。さらに、当該部位には第２の画像又は第３の画像が重畳表示されてもよい。また、第１の画像に対して重畳表示されるとして説明したが、第１の画像は必ずしも画像入力部１３１で取得される画像でなくてもよく、例えば画像入力部１３１以外から取得した地図を第１の画像としてもよい。

また、第１の実施形態及び第２の実施形態において、表示装置１００の備える画像入力部１３１が取得する第１の画像に対して、監視カメラ２００の第２の撮像範囲情報又はドローン３００の取得する第３の撮像範囲情報を重畳表示する場合を例として説明したが、これに限定されない。例えば、監視カメラ２００の取得する第２の画像又はドローン３００の取得する第３の画像に対して、表示装置１００の取得する第１の撮像範囲情報が重畳されてもよい。例えば、ユーザＵ１が第２の画像又は第３の画像を確認した結果、当該画像が取得された場所を訪れる場合もあり得る。このようなとき、ユーザＵ１は、現在視認できる範囲のうち、何れの領域が先ほど確認した領域であるかを視認して簡易に把握し得る。

第１の実施形態及び第２の実施形態において、表示システム１が含む外部カメラとして監視カメラ２００とドローン３００とを例として説明したが、これに限定されない。表示システム１は、撮像機能を備える自走式ロボットを含み得る。また、表示装置１００がウェアラブルデバイスである場合を例として説明したが、これに限定されない。例えば、表示装置１００としてスマートフォン、タブレットＰＣ等が用いられても同様の効果が得られ得る。

第１の実施形態及び第２の実施形態に係る技術は、例えば内視鏡、内視鏡カプセルの撮像位置等の撮像範囲情報を表示装置１００に表示させることも可能である。このようなとき、例えば第１の画像はレントゲン画像、ＣＴ画像等であったりすることが考えられ得る。

また、表示システム１は、表示装置１００と複数の外部機器とを含むものであってもよい。さらに、複数のユーザがそれぞれ表示装置１００を使用する状況も考えられ得る。

なお、フローチャートで示した各々の処理及び各々の処理内の各ステップは、その順序を変更可能であり、また、追加及び削除も可能である。これら各々の処理は、表示装置１００、監視カメラ２００、ドローン３００又は操縦部４１０の内部に記録された各々のプログラムによって実行される。各々のプログラムは、予め表示装置１００、監視カメラ２００、ドローン３００又は操縦部４１０の内部に記録されていても、別の記録媒体に記録されていてもよい。これら記録の方法は様々であり、製品出荷時に記録されるものでもよく、配布された記録媒体が利用されて記録されるものでもよく、インターネット等通信回線が利用されて記録されるものでもよい。

１…表示システム、１００…表示装置、１１０…制御部、１１１…表示制御部、１２０…表示部、１２１…表示パネル、１２２…回路収納部、１２３…導光部、１３０…情報取得部、１３１…画像入力部、１３２…位置入力部、１３３…方位入力部、１３４…距離入力部、１４０…通信部、１５０…操作部、２００…監視カメラ、２１０…制御部、２３０…情報取得部、２３１…画像入力部、２３２…撮像範囲入力部、２４０…通信部、３００…ドローン、３１０…制御部、３２０…移動制御部、３３０…情報取得部、３３１…画像入力部、３３２…位置入力部、３３３…音声入力部、３３４…画角入力部、３４０…通信部、３５０…操縦通信部、４００…表示制御部、４１０…操縦部。

Claims (10)

1. 撮像して第１の画像を取得する画像入力部と、
   前記画像入力部の第１の撮像範囲に係る情報を含む第１の撮像範囲情報として取得する情報取得部と、
   撮像して第２の画像を取得する外部機器から前記外部機器の第２の撮像範囲に係る情報を含む第２の撮像範囲情報を取得する通信を行う通信部と、
   前記第１の撮像範囲及び前記第２の撮像範囲に含まれる領域を対応範囲として取得する制御部と、
   前記対応範囲を示す表示情報を生成する表示制御部と、
   前記表示情報を表示する表示部と
   を備える、表示装置。
2. 前記表示制御部は、前記第１の画像に前記表示情報を重畳した重畳表示画像をさらに生成する、請求項１に記載の表示装置。
3. 前記表示制御部は、前記第１の画像に含まれる領域のうち前記対応範囲に相当する領域を塗りつぶす画像処理が施された画像を前記重畳表示画像として生成する、請求項２に記載の表示装置。
4. 前記通信部は、前記外部機器から前記第２の画像を取得する通信をさらに行い、
   前記表示制御部は、前記第１の画像に含まれる前記対応範囲に前記第２の画像に含まれる前記対応範囲を重畳して前記重畳表示画像を生成する、請求項２に記載の表示装置。
5. 前記表示制御部は、前記対応範囲が存在しない場合に、前記第１の撮像範囲情報と前記第２の撮像範囲情報とに基づいて、前記第１の画像に前記第２の撮像範囲を示す補助表示を重畳して前記重畳表示画像を生成する、請求項２に記載の表示装置。
6. 前記通信部は、前記外部機器から前記第２の画像を取得する通信をさらに行い、
   前記表示制御部は、前記第２の画像に前記表示情報を重畳した重畳表示画像をさらに生成する、請求項１に記載の表示装置。
7. 前記第１の撮像範囲情報は、少なくとも前記第１の画像が取得された時の前記表示装置の位置、画角、撮像方向及び撮像高さを含み、
   前記第２の撮像範囲情報は、少なくとも前記第２の画像が取得された時の前記外部機器の位置、画角、撮像方向及び撮像高さを含む、
   請求項１に記載の表示装置。
8. 前記画像入力部の撮像する方向とユーザの視界の方向とは同一である、請求項１乃至７のうち何れか１項に記載の表示装置。
9. 請求項１に記載の表示装置と、
   撮像して第２の画像を取得する外部機器と
   を含む、表示システム。
10. 撮像して第１の画像を取得することと、
    前記撮像の第１の撮像範囲に係る情報を含む第１の撮像範囲情報として取得することと、
    撮像して第２の画像を取得する外部機器から前記外部機器の第２の撮像範囲に係る情報を含む第２の撮像範囲情報を取得する通信を行うことと、
    前記第１の撮像範囲及び前記第２の撮像範囲に含まれる領域を対応範囲として取得することと、
    前記対応範囲を示す表示情報を生成することと、
    前記表示情報を表示することと
    を含む、表示装置の制御方法。