JP2023043575A - 移動体システム - Google Patents

Abstract

【課題】ＦＰＶ映像を見ながら移動体を操縦する際に、操縦者が移動体を操縦しやすくするための技術を提供する。【解決手段】移動体システムは、移動体２と、移動体と通信可能な表示装置４と、を備える。移動体２において、機体姿勢推定部２７ｂは、移動体２の姿勢を推定する。ＦＰＶ用カメラ２４は、ＦＰＶ映像を撮影する。送信部２８は、ＦＰＶ映像を表示装置４に送信する。表示装置４において、受信部４２は、移動体２からＦＰＶ映像を受信する。映像加工部４４は、ＦＰＶ映像に映る景色と関連する情報を示す画像である情報画像を、ＦＰＶ映像の画像対応位置に重畳する。画像対応位置は、ＦＰＶ映像における情報画像に対応する位置であって、移動体２の姿勢を用いて特定される位置である。表示部４１は、情報画像が重畳されたＦＰＶ映像を表示する。【選択図】図３

Description

本開示は、移動体システムに関する。

特許文献１には、操縦者により遠隔で操縦される無人飛行体が記載されている。

特開２００６－２８１８３０号公報

特許文献１に記載の無人飛行体に例示される移動体には、移動体の一人称視点の映像であるＦＰＶ映像を撮影するＦＰＶ用カメラが搭載される場合がある。この場合、操縦者は、例えば表示装置に表示されるＦＰＶ映像を見ながら、移動体を操縦することが考えられる。しかしながら、発明者の詳細な検討の結果、ＦＰＶ映像に映る景色だけでは操縦者が移動体を操縦しにくい場合があるという課題が見出された。

本開示の一局面は、ＦＰＶ映像を見ながら移動体を操縦する際に、操縦者が移動体を操縦しやすくするための技術を提供する。

本開示の一態様は、移動体システム（１）である。移動体システムは、移動体（２）と、移動体と通信可能な表示装置（４）と、を備える。移動体は、機体姿勢推定部（２７ｂ）と、ＦＰＶ用カメラ（２４）と、送信部（２８）と、を備える。機体姿勢推定部は、移動体の姿勢を推定する。ＦＰＶ用カメラは、移動体の一人称視点の映像であるＦＰＶ映像を撮影する。送信部は、ＦＰＶ映像を表示装置に送信する。表示装置は、受信部（４２）と、表示部（４１）と、を備える。受信部は、移動体からＦＰＶ映像を受信する。表示部は、受信されたＦＰＶ映像を表示する。移動体及び表示装置の少なくとも一方は、映像加工部（４４）を更に備える。映像加工部は、ＦＰＶ映像に映る景色と関連する情報を示す画像である情報画像を、ＦＰＶ映像における情報画像に対応する位置であって、移動体の姿勢を用いて特定される位置である画像対応位置に重畳する。表示部は、情報画像が重畳されたＦＰＶ映像を表示する。

このような構成によれば、ＦＰＶ映像を見ながら移動体を操縦する際に、操縦者が移動体を操縦しやすくすることができる。

移動体システムの構成を示す概略図である。 移動体の外観を模式的に示す側面図である。 移動体及び表示装置の機能的な構成を示すブロック図である。 飛行体の姿勢の基準を示す画像が重畳されたＦＰＶ映像を示す模式図である。 撮影用カメラに関する各範囲と移動体との位置関係を移動体の上方から見て示す模式図である。 撮影用カメラに関する各範囲を示す画像が重畳されたＦＰＶ映像を示す模式図である。 変形例に係る移動体及び表示装置の機能的な構成を示すブロック図である。 変形例に係る表示部の表示を示す模式図である。 変形例に係る、撮影用カメラに関する各範囲と移動体との位置関係を移動体の上方から見て示す模式図である。 変形例に係る、撮影用カメラに関する各範囲を示す画像が重畳されたＦＰＶ映像を示す模式図である。

以下、本開示の例示的な実施形態について図面を参照しながら説明する。
［１．移動体システムの全体構成］
図１に示す移動体システム１は、移動体２、操作装置３、及び表示装置４を備える。本実施形態の移動体２は、操縦者５０により遠隔で操縦される無人飛行体である。このような無人飛行体は、ＵＡＶとも称される。ＵＡＶは、Unmanned Aerial Vehicleの略である。操縦者５０は、移動体２と通信可能な操作装置３に移動体２の飛行指示等を入力することにより、移動体２を遠隔で操縦する。このとき、後述するように移動体２の一人称視点の映像であるＦＰＶ映像が表示装置４に表示されるため、操縦者５０は、ＦＰＶ映像を見ながら移動体２を操縦することができる。ＦＰＶは、First Person Viewの略である。

本実施形態の移動体システム１は、例えば、橋梁１００の点検用の写真を撮影するために用いられる。橋梁１００は、橋梁本体１０１、及び橋脚１０２を備える。橋梁本体１０１は、橋梁１００の上部において水平方向に延びる部分である。橋脚１０２は、橋梁本体１０１を下方から支える部分である。操縦者５０は、例えば、橋梁本体１０１の下面に沿って移動体２を飛行させ、移動体２における後述する撮影用カメラ２５を用いて橋梁本体１０１の下面の写真を撮影する。

移動体２は、操作装置３及び表示装置４のそれぞれと無線通信可能に構成されている。図２に示すように、移動体２は、本体部２１、複数の腕部２２、腕部２２と同数のスラスタ２３、ＦＰＶ用カメラ２４、撮影用カメラ２５、及び各種センサ２６を備える。

本体部２１は、移動体２の中心部分に位置し、複数の腕部２２を支持する部分である。複数の腕部２２は、本体部２１から放射線状に延びる部分である。各腕部２２の先端部分には、スラスタ２３が１つずつ設けられている。すなわち、スラスタ２３は、腕部２２における本体部２１側と反対側の端部に位置している。

スラスタ２３は、プロペラ２３１を備える。プロペラ２３１は、図示省略のモータにより、その回転及びピッチ角が制御される。プロペラ２３１が回転駆動され、且つプロペラ２３１のピッチ角が変更されることにより、スラスタ２３は推進力を発生する。移動体２は、この推進力により飛行する。また、移動体２は、あらかじめ定められた基準姿勢を取ることができる。本実施形態でいう移動体２の姿勢とは、移動体２のヨー軸、ロール軸及びピッチ軸の各軸周りの回転姿勢を指す。本実施形態では、各プロペラ２３１が水平に保たれているときの移動体２の姿勢、すなわち図２に示す移動体２の姿勢が、移動体２の基準姿勢として定められている。移動体２のロール角及びピッチ角は、移動体２の姿勢が基準姿勢であるときにそれぞれ０度となるように設計されている。

ＦＰＶ用カメラ２４は、ＦＰＶ映像を撮影する。本実施形態のＦＰＶ用カメラ２４は、画角θが９０度以上の広角レンズを有する。より詳細には、本実施形態のＦＰＶ用カメラ２４は、画角θが１２０度の広角レンズを有する。

また、本実施形態のＦＰＶ用カメラ２４は、移動体２の姿勢が基準姿勢である場合に、鉛直方向に沿った移動体２の上方と、水平方向に沿った移動体２の前方と、を併せてＦＰＶ映像に映すことが可能となるように、移動体２に配置されている。より詳細には、本実施形態のＦＰＶ用カメラ２４は、移動体２の姿勢が基準姿勢である状態において、レンズの光軸方向が水平方向に対して４５度上方を向くように、移動体２に配置されている。前述したとおり、本実施形態のＦＰＶ用カメラ２４は、画角θが９０度以上の広角レンズを有する。このため、上記のように移動体２に配置されることにより、ＦＰＶ用カメラ２４は、移動体２の姿勢が基準姿勢である場合に、鉛直方向に沿った移動体２の上方と、水平方向に沿った移動体２の前方と、を併せてＦＰＶ映像に映すことが可能となる。後に詳述するように、ＦＰＶ用カメラ２４により撮影されたＦＰＶ映像は、表示装置４に送信され、表示装置４において表示される。

撮影用カメラ２５は、所定の対象物を撮影する。以下では、撮影用カメラ２５による撮影の対象物を、撮影対象物という。例えば、前述したように移動体システム１が図１に示す橋梁１００の点検用の写真を撮影するために用いられる場合には、橋梁１００が撮影対象物に該当する。図２に示すように、本実施形態の撮影用カメラ２５は、移動体２の姿勢が基準姿勢である状態において、レンズの光軸方向が鉛直方向に沿った移動体２の上方を向くように、移動体２に配置されている。

ＦＰＶ用カメラ２４及び撮影用カメラ２５は、撮影可能領域同士が重複するように、移動体２に配置されている。撮影可能領域とは、画角に収まる領域である。撮影可能領域同士が重複することとは、一方の撮影可能領域の少なくとも一部が他方の撮影可能領域と重なっていることを意味する。

ＦＰＶ用カメラ２４及び撮影用カメラ２５は、単一のカメラとして、言い換えればＦＰＶ用及び撮影用双方の機能を兼ね備えるカメラとして構成されてもよいが、本実施形態では、別個のカメラとして構成されている。このようにＦＰＶ用カメラ２４及び撮影用カメラ２５が別個のカメラとして構成される場合、各カメラに対して、それぞれの用途に合わせたレンズや撮像素子等を適用することが可能となる。例えば、撮影用カメラ２５には、撮影対象物をより高い精度で撮影するために、高い解像度を実現可能なレンズや撮像素子等が適用される。これに対して、ＦＰＶ用カメラ２４には、表示装置４にＦＰＶ映像をリアルタイムで表示可能にするためにＦＰＶ映像の処理速度の速さが要求されることから、ＦＰＶ映像の処理速度と視認性との兼ね合いを見て、レンズや撮像素子等が選択される。また例えば、画角の広さや重量の観点から、各カメラのレンズや撮像素子等が選択される場合もある。

各種センサ２６には、図２に示す２つのライダ２６１ａ，２６１ｂと、図示省略の加速度センサ、角速度センサ、地磁気センサ、高度センサ、及びＧＰＳセンサと、が含まれる。

２つのライダ２６１ａ，２６１ｂは、移動体２の周囲に存在する物体を検出可能である。２つのライダ２６１ａ，２６１ｂは、物体検出センサに相当する。２つのライダ２６１ａ，２６１ｂは、移動体２の周囲にレーザ光を送信し、その反射光を受信することにより、移動体２の周囲に存在する物体までの距離を測定する。本実施形態では、２つのライダ２６１ａ，２６１ｂは、レーザ光の走査は行わず、一定の方向のみにレーザ光を送信する、いわゆる非走査型である。本実施形態では、一方のライダ２６１ａは、移動体２の姿勢が基準姿勢である状態において、鉛直方向に沿った移動体２の上方にレーザ光を送信するように、移動体２に配置されている。他方のライダ２６１ｂは、移動体２の姿勢が基準姿勢である状態において、水平方向に沿った移動体２の前方にレーザ光を送信するように、移動体２に配置されている。なお、ライダはＬｉＤＡＲとも表記され、Light Detection and Rangingの略である。

加速度センサは、Ｘ軸、Ｙ軸及びＺ軸の三次元の各軸方向における加速度を検出する。角速度センサは、三次元の各軸回りの角速度を検出する。地磁気センサは、三次元の各軸方向における地磁気を検出する。高度センサは、例えば大気圧に基づいて高度を検出する。ＧＰＳセンサは、ＧＰＳ衛星からＧＰＳ信号を受信する。ＧＰＳは、Global Positioning Systemの略である。

図３に示すように、移動体２は、前述したＦＰＶ用カメラ２４及び撮影用カメラ２５に加え、機能的な構成として、機***置推定部２７ａ、機体姿勢推定部２７ｂ、距離測定部２７ｃ、撮影用カメラ姿勢推定部２７ｄ、撮影済み範囲記憶部２７ｅ、撮影予定範囲記憶部２７ｆ、情報処理部２７ｇ、移動体時計部２７ｈ、及び送信部２８を備える。送信部２８には、情報送信部２８ａ、及び映像送信部２８ｂが含まれる。これら構成については後に詳述するが、これら構成の機能を実現する手段は特に限定されず、少なくとも一部の機能は、ソフトウェアを用いて実現されてもよいし、ハードウェアを用いて実現されてもよい。ソフトウェアを用いて実現される方法として、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する周知のマイクロコンピュータにおいて、ＣＰＵが非遷移的実体的記録媒体であるＲＯＭに格納されたプログラムを実行することにより当該プログラムに対応する方法が実行されて、各機能が実現されてもよい。あるいは、ハードウェアを用いて実現される方法として、デジタル回路、アナログ回路、又はこれらの組み合わせ等の電子回路により、各機能が実現されてもよい。

図１に戻り、操作装置３は、操縦者５０による入力操作を受け付けるデバイス、いわゆるプロポである。操作装置３は、移動体２と無線通信可能に構成されている。操縦者５０による入力操作には、移動体２の飛行に関する、上昇及び下降、前進及び後退、左右方向への移動、旋回といった指示や、撮影用カメラ２５による撮影の指示が含まれる。操作装置３は、操縦者５０による入力操作を受け付けると、当該入力操作に応じた情報を移動体２に送信する。

表示装置４も、移動体２と無線通信可能に構成されている。表示装置４は、移動体２から受信されたＦＰＶ映像を表示する表示部４１を備える。本実施形態の表示装置４は、操縦者５０の頭部に装着可能なヘッドマウントディスプレイである。図３に示すように、表示装置４は、機能的な構成として、表示部４１に加えて、受信部４２、地上時計部４３、及び映像加工部４４を備える。受信部４２には、情報受信部４２ａ、及び映像受信部４２ｂが含まれる。これら構成については後に詳述するが、前述した移動体２の機能的な構成と同様に、これら構成の機能を実現する手段は特に限定されない。少なくとも一部の機能は、ソフトウェアを用いて実現されてもよいし、ハードウェアを用いて実現されてもよい。

［２．移動体及び表示装置における機能的な構成及び処理］
図３に示す移動体２及び表示装置４における機能的な構成、及び各構成にて実行される処理について、詳細を説明する。

移動体２において、ＦＰＶ用カメラ２４は、前述したようにＦＰＶ映像を撮影する。そして、ＦＰＶ用カメラ２４は、撮影しているＦＰＶ映像を、送信部２８における映像送信部２８ｂに順次出力する。移動体時計部２７ｈは、現在時刻を計時し、その時刻を映像送信部２８ｂに出力する。

送信部２８は、表示装置４における受信部４２と無線通信可能に構成されている。送信部２８における映像送信部２８ｂは、ＦＰＶ用カメラ２４から入力されたＦＰＶ映像を、表示装置４に順次送信する。また、映像送信部２８ｂは、移動体時計部２７ｈから入力された時刻のうち、ＦＰＶ用カメラ２４からＦＰＶ映像が入力された時点における時刻を、当該ＦＰＶ映像が撮影された時刻として、表示装置４に送信する。以下では、ＦＰＶ映像が撮影された時刻を、ＦＰＶ映像の撮影時刻という。映像送信部２８ｂから送信されたＦＰＶ映像及びその撮影時刻は、表示装置４の受信部４２における映像受信部４２ｂにより受信される。

機体姿勢推定部２７ｂは、所定の周期毎に、加速度センサにより検出された加速度、及び角速度センサにより検出された角速度に基づいて、移動体２の姿勢を推定する。ここでいう加速度センサ及び角速度センサは、前述した各種センサ２６に含まれる構成を指す。機体姿勢推定部２７ｂは、推定した移動体２の姿勢を、情報処理部２７ｇを介して情報送信部２８ａに出力する。

距離測定部２７ｃは、所定の周期毎に、前述した２つのライダ２６１ａ，２６１ｂを用いて、移動体２の周囲に存在する物体までの距離を測定する。本実施形態では、一方のライダ２６１ａが移動体２の上方にレーザ光を送信するため、例えば図１に示すように、撮影対象物に該当する橋梁本体１０１の下面側に移動体２が位置する状態においては、橋梁本体１０１に向けてレーザ光が送信される。つまり、距離測定部２７ｃにより測定される距離には、撮影対象物までの距離が含まれる。図３に示すように、距離測定部２７ｃは、測定した距離を、情報処理部２７ｇを介して情報送信部２８ａに出力する。

情報送信部２８ａは、機体姿勢推定部２７ｂから入力された移動体２の姿勢、及び距離測定部２７ｃから入力された距離を、表示装置４に送信する。情報送信部２８ａから送信されたこれら情報は、表示装置４の受信部４２における情報受信部４２ａにより受信される。また、これら情報は、後に詳述するように、表示装置４における映像加工部４４にて、図５に示す現カメラ範囲Ａを推定するために用いられる。現カメラ範囲Ａとは、撮影用カメラ２５の画角に入っている撮影対象物における範囲である。より詳細には、現カメラ範囲Ａとは、現時点において撮影用カメラ２５の画角に入っている、撮影対象物の表面における範囲である。

図３に戻り、撮影用カメラ２５、機***置推定部２７ａ及び撮影用カメラ姿勢推定部２７ｄは、前述した操作装置３からトリガー情報を受信する。トリガー情報は、前述したように操作装置３が操縦者５０による入力操作として撮影用カメラ２５による撮影の指示を受け付けた場合に、操作装置３から送信される情報である。

撮影用カメラ２５は、トリガー情報を受信すると、撮影を行う。例えば図１に示すように、撮影対象物に該当する橋梁本体１０１の下面側に移動体２が位置する状態において撮影用カメラ２５がトリガー情報を受信した場合、本実施形態では、撮影用カメラ２５のレンズの光軸方向が移動体２の上方に向けられているため、橋梁本体１０１が撮影される。図３にて図示は省略しているが、撮影用カメラ２５は、撮影した画像である撮影画像を、移動体２あるいは表示装置４に設けられた画像記憶部に記憶させる。画像記憶部が表示装置４に設けられた場合、撮影用カメラ２５は、送信部２８を介して表示装置４に撮影画像を送信することにより、撮影画像を画像記憶部に記憶させる。

機***置推定部２７ａは、トリガー情報を受信すると、高度センサにより検出された高度、及びＧＰＳセンサにより受信されたＧＰＳ信号に基づいて、移動体２の位置を推定する。ここでいう高度センサ及びＧＰＳセンサは、前述した各種センサ２６に含まれる構成を指す。また、ここでいう移動体２の位置は、より詳細には、移動体２と撮影対象物とを含む三次元空間における移動体２の位置である。移動体２と撮影対象物とを含む三次元空間における移動体２の位置は、当該三次元空間に設定された三次元座標により特定される。この三次元座標を、以下ではローカル座標という。本実施形態では、撮影対象物に該当する橋梁１００について、その位置及び外形を特定するローカル座標があらかじめ設定されている。橋梁１００の外形は、実際の外形と比べて簡略化して設定されている。例えば、橋梁１００における橋梁本体１０１の下面の形状は、水平方向に拡がる平面状に簡略化して設定されている。なお、ローカル座標は、絶対的な座標であってもよいし、例えば撮影対象物を基準とした相対的な座標であってもよい。

機***置推定部２７ａは、トリガー情報を受信すると、移動体２の位置を特定するローカル座標を推定する。前述したように撮影用カメラ２５はトリガー情報を受信すると撮影を行うため、当該ローカル座標により特定される移動体２の位置、言い換えれば機***置推定部２７ａにより推定される移動体２の位置は、撮影用カメラ２５による撮影が行われたときの移動体２の位置に該当する。機***置推定部２７ａは、推定した移動体２の位置、具体的には当該位置を特定するローカル座標を、撮影済み範囲記憶部２７ｅに出力する。

撮影用カメラ姿勢推定部２７ｄは、トリガー情報を受信すると、加速度センサにより検出された加速度及び角速度センサにより検出された角速度により推定される移動体２の姿勢と、移動体２に対する撮影用カメラ２５の向きと、に基づいて、撮影用カメラ２５の姿勢を推定する。ここでいう加速度センサ及び角速度センサは、前述した各種センサ２６に含まれる構成を指す。本実施形態では、撮影用カメラ２５が移動体２に固定されているため、移動体２に対する撮影用カメラ２５の向きは一定である。前述したように、撮影用カメラ２５はトリガー情報を受信すると撮影を行うため、撮影用カメラ姿勢推定部２７ｄにより推定される撮影用カメラ２５の姿勢は、撮影用カメラ２５による撮影が行われたときの撮影用カメラ２５の姿勢に該当する。撮影用カメラ姿勢推定部２７ｄは、推定した撮影用カメラ２５の姿勢を、撮影済み範囲記憶部２７ｅに出力する。

撮影用カメラ２５による撮影が行われたときの移動体２の位置が機***置推定部２７ａから入力され、撮影用カメラ２５による撮影が行われたときの撮影用カメラ２５の姿勢が撮影用カメラ姿勢推定部２７ｄから入力されると、撮影済み範囲記憶部２７ｅは、これら情報に基づいて、図５に示す撮影済み範囲Ｂを推定する。撮影済み範囲Ｂとは、撮影用カメラ２５により既に撮影された撮影対象物における範囲である。なお、以下の説明において、今回のトリガー情報の受信を契機に推定された撮影済み範囲Ｂと、前回以前のトリガー情報の受信を契機に推定された撮影済み範囲Ｂと、を区別する必要がある場合には、前者を撮影済み範囲Ｂ１、後者を撮影済み範囲Ｂ２と表記する。

本実施形態では、前述したように、撮影対象物に該当する橋梁１００の位置及び外形を特定するローカル座標があらかじめ設定されている。このため、撮影済み範囲記憶部２７ｅは、撮影用カメラ２５による撮影が行われたときの移動体２の位置及び撮影用カメラ２５の姿勢と、撮影用カメラ２５の画角と、に基づいて、撮影対象物の表面における撮影用カメラ２５の画角に入っている範囲を撮影済み範囲Ｂ１として推定する。より詳細には、撮影済み範囲記憶部２７ｅは、撮影済み範囲Ｂ１を特定するローカル座標を推定する。例えば、撮影対象物の表面の形状が本実施形態の橋梁本体１０１の下面のように平面状であって、撮影済み範囲Ｂ１が四角形状である場合、撮影済み範囲Ｂ１は、四角形状の四隅に対応する４点のローカル座標により特定される。図３に示すように、撮影済み範囲記憶部２７ｅは、推定した撮影済み範囲Ｂ１を記憶すると共に、情報処理部２７ｇを介して撮影済み範囲Ｂ１を情報送信部２８ａに出力する。具体的には、撮影済み範囲記憶部２７ｅは、撮影済み範囲Ｂ１を特定するローカル座標を記憶すると共に、情報処理部２７ｇを介して当該ローカル座標を情報送信部２８ａに出力する。その際、前回以前のトリガー情報の受信を契機に推定された撮影済み範囲Ｂ２が既に記憶されている場合には、撮影済み範囲記憶部２７ｅは、その撮影済み範囲Ｂ２、具体的にはその撮影済み範囲Ｂ２を特定するローカル座標も、情報処理部２７ｇを介して情報送信部２８ａに併せて出力する。

撮影予定範囲記憶部２７ｆには、図５に示す撮影予定範囲Ｃがあらかじめ記憶されている。撮影予定範囲Ｃとは、撮影用カメラ２５による撮影が予定されている撮影対象物における全範囲である。言い換えれば、撮影予定範囲Ｃとは、撮影対象物の表面における、撮影用カメラ２５による撮影が予定されている範囲の全域である。撮影予定範囲記憶部２７ｆには、具体的には、撮影予定範囲Ｃの少なくとも外縁を特定するローカル座標があらかじめ記憶されている。図３に示すように、撮影予定範囲記憶部２７ｆは、撮影予定範囲Ｃを特定するローカル座標を、情報処理部２７ｇを介して情報送信部２８ａに出力する。

情報送信部２８ａは、撮影済み範囲記憶部２７ｅから入力された撮影済み範囲Ｂ、及び撮影予定範囲記憶部２７ｆから入力された撮影予定範囲Ｃを、表示装置４に送信する。具体的には、情報送信部２８ａは、各範囲を特定するローカル座標を、表示装置４に送信する。情報送信部２８ａから送信されたこれら情報は、表示装置４の受信部４２における情報受信部４２ａにより受信される。

なお、撮影済み範囲Ｂ及び撮影予定範囲Ｃについては、表示装置４に図示しない範囲記憶部を設け、情報受信部４２ａにより受信された各範囲を範囲記憶部に記憶させてもよい。この場合、表示装置４に送信済みの撮影済み範囲Ｂ及び撮影予定範囲Ｃについては、情報送信部２８ａから再度送信しなくてもよい。

表示装置４において、映像受信部４２ｂは、映像送信部２８ｂから受信したＦＰＶ映像及びその撮影時刻を、映像加工部４４に出力する。情報受信部４２ａは、情報送信部２８ａから受信した、移動体２の姿勢、移動体２の周囲に存在する物体までの距離、撮影済み範囲Ｂを特定するローカル座標、及び撮影予定範囲Ｃを特定するローカル座標を、映像加工部４４に出力する。地上時計部４３は、現在時刻を計時し、その時刻を映像加工部４４に出力する。

映像加工部４４は、映像受信部４２ｂから入力されたＦＰＶ映像に、情報画像を重畳する。情報画像とは、ＦＰＶ映像に映る景色と関連する情報を示す映像である。映像加工部４４は、具体的にはＦＰＶ映像の画像対応位置に、情報画像を重畳する。画像対応位置とは、ＦＰＶ映像における情報画像に対応する位置であって、移動体２の姿勢を用いて特定される位置である。本実施形態では、映像加工部４４は、情報画像として以下の６種の画像を重畳する。

１種目の画像は、鉛直方向に沿った移動体２の上方を示す画像である。具体的には、映像加工部４４は、当該１種目の画像として、図４に示す上方基準線Ｆの画像を、ＦＰＶ映像の画像対応位置に重畳する。上方基準線Ｆとは、移動体２の真上を通り、移動体２の左右方向に延びる線である。移動体２の真上とは、移動体２の中心から見て、鉛直方向に沿った移動体２の上方の位置である。また、移動体２の左右方向とは、ＦＰＶ用カメラ２４の画角の中心線と垂直な方向であって、水平方向に沿った方向である。本実施形態では、ＦＰＶ用カメラ２４の画角の中心線は、ＦＰＶ用カメラ２４が備える広角レンズの光軸方向と一致する。上方基準線Ｆの画像についての画像対応位置は、ＦＰＶ映像における、移動体２の真上に対応する位置を通り、移動体２の左右方向に対応する方向に延びる部分である。映像加工部４４は、移動体２の姿勢を用いて当該画像対応位置を特定し、当該画像対応位置に上方基準線Ｆの画像を重畳する。

２種目の画像は、水平方向に沿った移動体２の前方を示す画像である。具体的には、映像加工部４４は、当該２種目の画像として、第１前方基準線Ｇ１の画像及び第２前方基準線Ｇ２の画像を、ＦＰＶ映像の各画像対応位置に重畳する。第１前方基準線Ｇ１とは、移動体２の真正面を通り、移動体２の左右方向に延びる線である。移動体２の真正面とは、移動体２の中心から見て、投影中心線に沿った移動体２の前方である。投影中心線とは、ＦＰＶ用カメラ２４の画角の中心線を水平面に平行投影した線を指す。第１前方基準線Ｇ１の画像についての画像対応位置は、ＦＰＶ映像における、移動体２の真正面に対応する位置を通り、移動体２の左右方向に対応する方向に延びる部分である。

第２前方基準線Ｇ２とは、移動体２の真正面から移動体２の真上に向けて、移動体２の左右方向と垂直に延びる線である。第２前方基準線Ｇ２の画像についての画像対応位置は、ＦＰＶ映像における、移動体２の真正面に対応する位置から移動体２の真上に対応する位置に向けて、移動体２の左右方向と垂直な方向に対応する方向に延びる部分である。映像加工部４４は、移動体２の姿勢を用いて各画像対応位置を特定し、第１前方基準線Ｇ１の画像及び第２前方基準線Ｇ２の画像を各画像対応位置に重畳する。

３種目の画像は、前述した現カメラ範囲Ａを示す画像である。映像加工部４４は、移動体２の姿勢、移動体２に対する撮影用カメラ２５の向き、撮影用カメラ２５の画角、及び撮影対象物までの距離に基づいて、現カメラ範囲Ａを推定する。この処理は、現カメラ範囲推定部としての処理に相当する。本実施形態では、移動体２に対する撮影用カメラ２５の向き、及び撮影用カメラ２５の画角は、一定である。また、撮影対象物が橋梁本体１０１の下面である前提において、移動体２の周囲の存在する物体までの距離のうち、移動体２の上方に向けてレーザ光を送信するライダ２６１ａにより測定された距離を、撮影対象物までの距離として取り扱う。

本実施形態では、ＦＰＶ用カメラ２４も、撮影用カメラ２５と同様に移動体２に対する向きが一定であるため、ＦＰＶ用カメラ２４と撮影用カメラ２５との撮影可能領域同士の重複度合いは一定である。したがって、前述したように橋梁本体１０１の下面の形状が水平方向に拡がる平面状であると設定すると、ＦＰＶ映像における現カメラ範囲Ａに対応する部分は、移動体２の姿勢及び撮影対象物までの距離に基づいて特定可能である。そこで、本実施形態の映像加工部４４には、移動体２の姿勢及び撮影対象物までの距離から、ＦＰＶ映像における現カメラ範囲Ａに対応する部分を算出するための数式あるいはテーブルが、あらかじめ用意されている。映像加工部４４は、この数式あるいはテーブルを用いて算出したＦＰＶ映像における部分に、現カメラ範囲Ａを示す画像を重畳する。

４種目の画像は、図６に示すように、前述した撮影済み範囲Ｂを示す画像である。映像加工部４４は、撮影済み範囲Ｂを特定するローカル座標に対応するＦＰＶ映像上の位置を、撮影済み範囲Ｂを示す画像についての画像対応位置として特定する。具体的には、ＦＰＶ用カメラ２４の撮影可能領域には、ＦＰＶ用カメラ２４の位置を基準とした三次元座標が設定されている。当該三次元座標を、以下ではカメラ座標という。映像加工部４４は、撮影済み範囲Ｂを特定するローカル座標をカメラ座標に変換し、ＦＰＶ映像における当該カメラ座標に対応する位置を、撮影済み範囲Ｂを示す画像についての画像対応位置として特定する。そして、映像加工部４４は、撮影済み範囲Ｂの少なくとも外縁を示す画像を、当該画像対応位置に重畳する。

５種目の画像は、前述した撮影予定範囲Ｃを示す画像である。映像加工部４４は、撮影済み範囲Ｂを示す画像を重畳するときと同様にして、撮影予定範囲Ｃを示す画像についての画像対応位置を特定し、当該画像対応位置に撮影予定範囲Ｃを示す画像を重畳する。

６種目の画像は、図５及び図６に示す次回撮影範囲Ｄを示す画像である。次回撮影範囲Ｄとは、撮影用カメラ２５が次に撮影すべき撮影対象物における範囲である。映像加工部４４は、撮影予定範囲Ｃと撮影済み範囲Ｂとに基づいて、次回撮影範囲Ｄを算出する。この処理は、次回撮影範囲算出部としての処理に相当する。具体的には、映像加工部４４は、撮影予定範囲Ｃにおける撮影済み範囲Ｂと重複しない範囲である未撮影範囲Ｅを算出する。未撮影範囲Ｅは、撮影用カメラ２５による撮影が未だ行われていない範囲とも言い換えられる。未撮影範囲Ｅは、撮影予定範囲Ｃ及び撮影済み範囲Ｂと同様に、ローカル座標により特定される。映像加工部４４は、例えば未撮影範囲Ｅに対する移動体２の位置に基づいて、次回撮影範囲Ｄを算出する。次回撮影範囲Ｄも、ローカル座標により特定される。そして、映像加工部４４は、撮影済み範囲Ｂを示す画像を重畳するときと同様にして、次回撮影範囲Ｄを示す画像についての画像対応位置を特定し、当該画像対応位置に次回撮影範囲Ｄを示す画像を重畳する。

なお、図４及び図６は、情報画像の理解を容易にするために便宜上２つの図に分けて示したものであって、実際には、全ての情報画像がＦＰＶ映像に併せて重畳されている。図４では、現カメラ範囲Ａの画像として、現カメラ範囲Ａの外縁を示す四角形状の枠の画像を例示している。図６における撮影済み範囲Ｂ２及び撮影予定範囲Ｃを示す各画像についても、同様である。図６における現カメラ範囲Ａ及び次回撮影範囲Ｄを示す各画像も基本的には同様であるが、他の範囲を示す画像と区別しやすくするためにハッチングを付している。

図３に示すように、映像加工部４４は、情報画像が重畳されたＦＰＶ映像を、表示部４１に出力する。その際、映像加工部４４は、ＦＰＶ映像の撮影時刻と現在時刻との差分である遅延時間も、表示部４１に併せて出力する。また、映像加工部４４は、移動体２の周囲に存在する物体までの距離も、表示部４１に併せて出力する。

図４及び図６に示すように、表示部４１は、情報画像が重畳されたＦＰＶ映像を表示する。また、表示部４１は、図４に示すように、２つのライダ２６１ａ，２６１ｂによる物体の検出結果Ｈ１，Ｈ２を、情報画像が重畳されたＦＰＶ映像と共に表示する。具体的には、表示部４１は、当該検出結果Ｈ１，Ｈ２として、移動体２の周囲に存在する物体までの距離を示す文字画像を表示する。また、表示部４１は、２つのライダ２６１ａ，２６１ｂによるレーザ光の送信方向を示す画像Ｉ１，Ｉ２も、これら文字画像と共に表示する。さらに、表示部４１は、図８に示すように、遅延時間Ｊについても、情報画像が重畳されたＦＰＶ映像と共に表示する。

［３．効果］
以上詳述した実施形態によれば、以下の効果が得られる。
（３ａ）移動体２と表示装置４とを備える移動体システム１では、移動体２は、機体姿勢推定部２７ｂと、ＦＰＶ用カメラ２４と、送信部２８と、を備える。表示装置４は、受信部４２と、表示部４１と、を備える。表示装置４は、映像加工部４４を更に備える。映像加工部４４は、情報画像をＦＰＶ映像の画像対応位置に重畳する。表示部４１は、情報画像が重畳されたＦＰＶ映像を表示する。

このような構成によれば、操縦者５０は、表示部４１に表示されたＦＰＶ映像から、当該ＦＰＶ映像に映る景色に加えて、重畳された情報画像が示す当該景色に関連する情報を得ることができる。したがって、ＦＰＶ映像を見ながら移動体２を操縦する際に、操縦者５０が移動体２を操縦しやすくすることができる。

（３ｂ）ＦＰＶ用カメラ２４は、移動体２の姿勢が基準姿勢である場合に、鉛直方向に沿った移動体２の上方と、水平方向に沿った移動体２の前方と、を併せてＦＰＶ映像に映すことが可能となるように、移動体２に配置される。映像加工部４４は、情報画像として、鉛直方向に沿った移動体２の上方と、水平方向に沿った移動体２の前方と、のそれぞれを示す画像を、ＦＰＶ映像の画像対応位置に重畳する。

このような構成によれば、ＦＰＶ映像に映る景色に対する、鉛直方向に沿った移動体２の上方を示す画像及び水平方向に沿った移動体２の前方を示す画像それぞれの位置から、操縦者５０が移動体２の位置を把握しやすくすることができる。したがって、ＦＰＶ映像を見ながら移動体２を操縦する際に、操縦者５０が移動体２を一層操縦しやすくすることができる。

（３ｃ）ＦＰＶ用カメラ２４は、上記（３ｂ）の構成を達成するために、例えば、画角が９０度未満の複数の非広角レンズを有してもよいが、本実施形態のＦＰＶ用カメラ２４は、画角が９０度以上の広角レンズを有する。
このような構成によれば、広角レンズを有さない場合と比較してＦＰＶ用カメラ２４の軽量化を図りつつ、上記（３ｂ）の構成を達成することが可能になる。

（３ｄ）移動体２は、撮影用カメラ２５を更に備える。ＦＰＶ用カメラ２４は、撮影可能領域同士が撮影用カメラ２５と重複するように、移動体２に配置される。映像加工部４４は、移動体２の姿勢と、移動体２に対する撮影用カメラ２５の向きと、に基づいて、現カメラ範囲Ａを推定する。また、映像加工部４４は、情報画像として、現カメラ範囲Ａを示す画像を、ＦＰＶ映像の画像対応位置に重畳する。

例えば、本実施形態のように撮影用カメラ２５による撮影を目的として移動体２を操縦する場合、操縦者５０は、撮影対象物における撮影したい部分が現カメラ範囲Ａに含まれるように、移動体２の位置及び姿勢を制御する必要がある。上記のような構成によれば、操縦者５０は、表示装置４に表示されたＦＰＶ映像から現カメラ範囲Ａを把握しながら、移動体２を操縦することが可能となる。このため、撮影用カメラ２５による撮影を目的とする場合においても、操縦者５０が移動体２を操縦しやすくすることができる。

（３ｅ）移動体２は、撮影済み範囲記憶部２７ｅを更に備える。撮影済み範囲記憶部２７ｅは、撮影済み範囲Ｂを記憶する。撮影済み範囲Ｂは、撮影用カメラ２５による撮影が行われたときの、移動体２の位置及び姿勢と、移動体２に対する撮影用カメラ２５の向きと、に基づいて推定される。映像加工部４４は、情報画像として、撮影済み範囲Ｂを示す画像を、ＦＰＶ映像の画像対応位置に重畳する。

このような構成によれば、操縦者５０は、表示装置４に表示されたＦＰＶ映像から撮影済み範囲Ｂを把握しながら、移動体２を操縦することが可能となる。このため、例えば、本実施形態のように撮影対象物を複数回に分けて撮影する場合に、撮影対象物の撮影漏れを抑制することができる。

また、上記のような構成を上記（３ｄ）の構成と共に備えることにより、操縦者５０は、撮影用カメラ２５による撮影を行う際に、現カメラ範囲Ａと撮影済み範囲Ｂとが適当な重複度合いになるように、あるいはこれら範囲同士が重複しないように、移動体２の位置を調整することが可能になる。これにより、より効率よく撮影対象物を撮影することも可能になる。

（３ｆ）映像加工部４４は、情報画像として、撮影予定範囲Ｃを示す画像を、ＦＰＶ映像の画像対応位置に重畳する。
このような構成によれば、操縦者５０は、表示装置４に表示されたＦＰＶ映像から撮影予定範囲Ｃを把握しながら、移動体２を操縦することが可能となる。このため、上記（３ｅ）と同様に、撮影対象物の撮影漏れを抑制することができる。また、例えば、撮影予定範囲Ｃを把握できない場合には、操縦者５０が撮影予定範囲Ｃよりも過度に広い範囲まで撮影用カメラ２５による撮影を行ってしまうことも考えられるが、上記のような構成によれば、このような事態を回避することも可能になる。このため、より効率よく撮影用カメラ２５による撮影を行うことが可能になる。

（３ｇ）映像加工部４４は、情報画像として、次回撮影範囲Ｄを示す画像を、ＦＰＶ映像の画像対応位置に重畳する。このような構成によれば、操縦者５０は、ＦＰＶ映像を見ながら、次回撮影範囲Ｄを撮影可能な位置まで移動体２を操縦することが可能になる。

（３ｈ）特に本実施形態では、映像加工部４４は、撮影予定範囲Ｃと、撮影済み範囲Ｂと、に基づいて、次回撮影範囲Ｄを算出する。このような構成によれば、映像加工部４４が例えば移動体２の総移動距離が短くなるように次回撮影範囲Ｄを算出することで、より効率よく撮影用カメラ２５による撮影を行うことが可能になる。

（３ｉ）移動体２及び表示装置４のそれぞれは、現在時刻を計時する時計部を更に備える。本実施形態では、移動体時計部２７ｈ及び地上時計部４３が、時計部に相当する。送信部２８は、ＦＰＶ映像の撮影時刻をＦＰＶ映像と共に表示装置４に送信する。表示部４１は、受信された撮影時刻と、現在時刻と、の差分である遅延時間を、情報画像が重畳されたＦＰＶ映像と共に表示する。

このような構成によれば、操縦者５０は、遅延時間を把握しながら移動体２を操縦することができるため、遅延時間を把握していないことに起因する移動体２の操縦誤りを低減することができる。

特に移動体システム１では、上記（３ａ）のとおり、情報画像を重畳してからＦＰＶ映像を表示部４１に表示する。したがって、情報画像を重畳せずにＦＰＶ映像を表示する場合と比較して、情報画像を重畳する処理の分だけＦＰＶ映像の撮影から表示までの時間、つまり上記の遅延時間が長くなる可能性が考えられる。遅延時間が比較的長くなってしまう場合、操縦者５０が遅延時間を把握しながら移動体２を操縦できることは、一層有用になる。

［４．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。

（４ａ）上記実施形態では、表示装置４に映像加工部４４が設けられ、この映像加工部４４にてＦＰＶ映像に情報画像が重畳される。しかし、ＦＰＶ映像に情報画像が重畳される処理は、必ずしも表示装置４にて行われなくてもよい。例えば、図７に示すように、移動体２に映像加工部２７ｉが設けられ、この映像加工部２７ｉにてＦＰＶ映像に情報画像が重畳されてもよい。また例えば、上記実施形態のように複数の情報画像がＦＰＶ映像に重畳される場合、移動体２にて一部の情報画像がＦＰＶ映像に重畳され、表示装置４にて他の一部の情報画像がＦＰＶ映像に重畳されてもよい。

ただし、上記実施形態のように、表示装置４にて全ての情報画像がＦＰＶ映像に重畳される場合、言い換えればＦＰＶ映像と情報画像に関する情報とが移動体２から表示装置４に独立して送信される場合、次の効果が得られる点で有益である。すなわち、表示装置４は、仮にＦＰＶ映像を受信できず、表示部４１におけるＦＰＶ映像の表示が途切れてしまったとしても、情報画像に関する情報についてはＦＰＶ映像と独立して受信するため、情報画像の表示は継続可能である。したがって、仮に表示部４１におけるＦＰＶ映像の表示が途切れてしまっても、情報画像により示される情報を頼りに操縦者５０が移動体２の操縦を継続しやすくすることができる。

（４ｂ）上記実施形態では、図３に示すように、表示装置４における映像加工部４４にて現カメラ範囲Ａ及び次回撮影範囲Ｄが推定されるが、現カメラ範囲Ａ及び次回撮影範囲Ｄを推定する処理は、必ずしも表示装置４にて行われなくてもよい。例えば、移動体２における情報処理部２７ｇにて現カメラ範囲Ａ及び次回撮影範囲Ｄが推定され、推定された各範囲が情報送信部２８ａから表示装置４に送信されてもよい。

（４ｃ）上記実施形態では、撮影済み範囲記憶部２７ｅは、移動体２に設けられているが、例えば表示装置４に設けられてもよい。言い換えれば、上記実施形態では、撮影済み範囲Ｂは、移動体２にて推定されるが、例えば表示装置４にて推定されてもよい。

また、上記実施形態では、撮影予定範囲記憶部２７ｆは、移動体２に設けられているが、例えば表示装置４に設けられてもよい。言い換えれば、上記実施形態では、撮影予定範囲Ｃは、移動体２に記憶されているが、例えば表示装置４に記憶されていてもよい。

（４ｄ）上記実施形態では、次回撮影範囲Ｄは撮影予定範囲Ｃと撮影済み範囲Ｂとに基づいて算出されるが、次回撮影範囲Ｄの算出方法は特に限定されない。例えば、撮影予定範囲Ｃ内における撮影用カメラ２５による撮影順序があらかじめ定められていてもよい。

（４ｅ）上記実施形態では、ＦＰＶ用カメラ２４は、移動体２の姿勢が基準姿勢である場合に、鉛直方向に沿った移動体２の上方と、水平方向に沿った移動体２の前方と、を併せてＦＰＶ映像に映すことが可能となるように、移動体２に配置されている。しかし、移動体２に対するＦＰＶ用カメラ２４の向きは、特に限定されない。例えば、ＦＰＶ用カメラ２４は、移動体２の姿勢が基準姿勢である場合に、鉛直方向に沿った移動体２の上方に加えて又は代えて、鉛直方向に沿った移動体２の下方についても、水平方向に沿った移動体２の前方と併せてＦＰＶ映像に映すことが可能となるように、移動体２に配置されてもよい。

また、上記実施形態では、ＦＰＶ用カメラ２４は、移動体２に対する向きが一定であるが、ＦＰＶ用カメラ２４は、移動体２に対する向きを変更可能に構成されてもよい。例えば、ＦＰＶ用カメラ２４は、移動体２の姿勢が基準姿勢である場合に、鉛直方向に沿った移動体２の上方及び下方の少なくとも一方と、水平方向に沿った移動体２の前方と、をＦＰＶ映像に映すように、移動体２に対する向きを変更可能に構成されてもよい。

移動体２の姿勢が基準姿勢である場合に、鉛直方向に沿った移動体２の下方についてもＦＰＶ映像に映すことが可能となるように、ＦＰＶ用カメラ２４が移動体２に配置される場合、映像加工部４４は、例えば鉛直方向に沿った移動体２の下方を示す画像についても、情報画像としてＦＰＶ映像の画像対応位置に重畳してもよい。

（４ｆ）また、上記（４ｅ）のＦＰＶ用カメラ２４と同様に、撮影用カメラ２５も、移動体２に対する向きを変更可能に構成されてもよい。ＦＰＶ用カメラ２４あるいは撮影用カメラ２５が、移動体２に対する向きを変更可能に構成された場合、移動体２に対する各カメラの向きは、例えば、各カメラの向きを制御するためのジンバルにおけるモータの制御量に基づいて推定可能である。

（４ｇ）上記実施形態では、映像加工部４４は、１種目の情報画像として、鉛直方向に沿った移動体２の上方を示す画像を、ＦＰＶ映像に重畳する。鉛直方向に沿った移動体２の上方を示す画像の具体例として、上記実施形態では上方基準線Ｆの画像を挙げているが、鉛直方向に沿った移動体２の上方を示す画像は、上方基準線Ｆのような線を示す画像に限定されない。例えば、鉛直方向に沿った移動体２の上方を示す画像は、移動体２の真上の点を示す画像等であってもよい。

上記実施形態にて２種目の情報画像として挙げている、水平方向に沿った移動体２の前方を示す画像についても、同様である。すなわち、水平方向に沿った移動体２の前方を示す画像は、第１前方基準線Ｇ１及び第２前方基準線Ｇ２のような線を示す画像に限定されず、例えば、移動体２の真正面の点を示す画像等であってもよい。

（４ｈ）上記実施形態では、映像加工部４４は、計６種の情報画像をＦＰＶ映像に重畳する。しかし、映像加工部４４は、必ずしも上記実施形態で例示した６種の情報画像の全てをＦＰＶ映像に重畳しなくてもよい。

（４ｉ）図６に示すように、上記実施形態では、現カメラ範囲Ａ、撮影済み範囲Ｂ、撮影予定範囲Ｃ、及び次回撮影範囲Ｄの画像として、各範囲の外縁を示す四角形状の枠の画像がＦＰＶ映像に重畳される。しかし、これら範囲の画像は、四角形状の枠の画像に限定されず、例えば塗りつぶしにより各範囲を示す画像等であってもよい。その際、各範囲を示す塗りつぶしは、例えば半透明であってもよい。また例えば、撮影用カメラ２５による撮影画像が、撮影済み範囲Ｂを示す画像として用いられてもよい。また例えば、図９及び図１０に示すように、撮影済み範囲Ｂではなく未撮影範囲Ｅが、塗りつぶし等により示されてもよい。

（４ｊ）上記実施形態では、移動体２は、２つのライダ２６１ａ，２６１ｂを備える。２つのライダ２６１ａ，２６１ｂは、いわゆる非走査型であり、移動体２の姿勢が基準姿勢である状態において、鉛直方向に沿った移動体２の上方及び水平方向に沿った移動体２の前方にそれぞれレーザ光を送信することで、これらレーザ光の送信方向に存在する物体までの距離を測定可能である。しかし、移動体２は、例えば、２つのライダ２６１ａ，２６１ｂに加えて、他の非走査型のライダを備えたり、２つのライダ２６１ａ，２６１ｂに加えて又は代えて、走査型のライダを備えたりすることで、その他の方向に存在する物体までの距離についても測定可能に構成されてもよい。なお、走査型のライダとは、レーザ光を所定の領域に走査可能なライダを指す。

例えば、移動体２が、移動体２の全周囲に存在する物体を検出可能に構成される場合、表示部４１は、図８に示すようにして、物体の検出結果Ｋ１，Ｋ２をＦＰＶ映像と共に表示してもよい。検出結果Ｋ１は、移動体２から物体までの鉛直面に沿った距離を示す。検出結果Ｋ２は、移動体２から物体までの水平面に沿った距離を示す。なお、図８に示す例では、検出結果Ｋ１，Ｋ２における数値は、物体までの距離をメートル単位で示している。

（４ｋ）また例えば、表示部４１は、移動体２の飛行モードＬ、移動体２のピッチ角Ｍ、移動体２の上方から見て撮影予定範囲Ｃと撮影済み範囲Ｂとの位置関係を示す図Ｎ、風向きや風力といった風状況等を、ＦＰＶ映像と共に表示してもよい。なお、風状況は、移動体２のプロペラ２３１を制御するモータの制御量に基づいて算出可能である。

（４ｌ）表示部４１は、上記実施形態及び上記（４ｊ）で例示した物体の検出結果Ｈ１，Ｈ２，Ｋ１，Ｋ２や、上記（４ｋ）で例示した移動体２の飛行モードＬ等を、情報画像が重畳されたＦＰＶ映像と共に表示可能である。しかし、表示部４１は、これら情報を必ずしもＦＰＶ映像上に重ねて表示しなくてもよく、例えばＦＰＶ映像と横並びで表示してもよい。

（４ｍ）上記実施形態では、移動体システム１は、操縦者５０への報知を行う構成として表示部４１を備える。しかし、移動体システム１は、表示部４１に加えて、振動や音声等により操縦者５０への報知を行う表示部４１以外の報知部を備えてもよい。そして、移動体システム１は、例えば障害物の接近を検出した場合や、移動体２のプロペラ２３１を制御するモータの制御量が異常値となった場合等に、当該報知部により操縦者５０へ報知を行ってもよい。

（４ｎ）上記実施形態では、表示装置４は、操縦者５０の頭部に装着可能なヘッドマウントディスプレイである。しかし、表示装置４は、このようなヘッドマウントディスプレイに限定されず、例えば操作装置３に取り付けられたディスプレイであってもよい。

（４ｏ）上記実施形態では、移動体２は無人飛行体、いわゆるＵＡＶであるが、移動体２はＵＡＶに限定されない。例えば、移動体２は、無人潜水機や無人地上車両等であってもよい。なお、無人潜水機は、ＵＵＶとも称され、Unmanned Underwater Vehicleの略である。無人地上車両は、ＵＧＶとも称され、Unmanned Ground Vehicleの略である。

（４ｐ）上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。

（４ｑ）本開示は、前述した移動体システム１の他、当該移動体システム１としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、ＦＰＶ映像表示方法など、種々の形態で実現することができる。

１…移動体システム、２…移動体、３…操作装置、４…表示装置、２４…ＦＰＶ用カメラ、２５…撮影用カメラ、２７ｂ…機体姿勢推定部、２８…送信部、４１…表示部、４２…受信部、４４…映像加工部、５０…操縦者、１００…橋梁。

Claims (11)

1. 移動体（２）と、前記移動体と通信可能な表示装置（４）と、を備える移動体システム（１）であって、
   前記移動体は、
   前記移動体の姿勢を推定する機体姿勢推定部（２７ｂ）と、
   前記移動体の一人称視点の映像であるＦＰＶ映像を撮影するＦＰＶ用カメラ（２４）と、
   前記ＦＰＶ映像を前記表示装置に送信する送信部（２８）と、
   を備え、
   前記表示装置は、
   前記移動体から前記ＦＰＶ映像を受信する受信部（４２）と、
   受信された前記ＦＰＶ映像を表示する表示部（４１）と、
   を備え、
   前記移動体及び前記表示装置の少なくとも一方は、前記ＦＰＶ映像に映る景色と関連する情報を示す画像である情報画像を、前記ＦＰＶ映像における前記情報画像に対応する位置であって、前記移動体の姿勢を用いて特定される位置である画像対応位置に重畳する映像加工部（４４）を更に備え、
   前記表示部は、前記情報画像が重畳された前記ＦＰＶ映像を表示する、移動体システム。
2. 請求項１に記載の移動体システムであって、
   前記ＦＰＶ用カメラは、前記移動体の姿勢があらかじめ定められた基準姿勢である場合に、鉛直方向に沿った前記移動体の上方及び下方の少なくとも一方と、水平方向に沿った前記移動体の前方と、を併せて前記ＦＰＶ映像に映すことが可能となるように、前記移動体に配置され、
   前記映像加工部は、前記情報画像として、鉛直方向に沿った前記移動体の上方及び下方の少なくとも一方と、水平方向に沿った前記移動体の前方と、のそれぞれを示す画像を、前記ＦＰＶ映像の前記画像対応位置に重畳する、移動体システム。
3. 請求項２に記載の移動体システムであって、
   前記ＦＰＶ用カメラは、画角が９０度以上の広角レンズを有する、移動体システム。
4. 請求項１に記載の移動体システムであって、
   前記ＦＰＶ用カメラは、前記移動体の姿勢があらかじめ定められた基準姿勢である場合に、鉛直方向に沿った前記移動体の上方及び下方の少なくとも一方と、水平方向に沿った前記移動体の前方と、を前記ＦＰＶ映像に映すように、前記移動体に対する向きを変更可能に構成され、
   前記映像加工部は、前記情報画像として、鉛直方向に沿った前記移動体の上方及び下方の少なくとも一方と、水平方向に沿った前記移動体の前方と、のそれぞれを示す画像を、前記ＦＰＶ映像の前記画像対応位置に重畳する、移動体システム。
5. 請求項１から請求項４までのいずれか１項に記載の移動体システムであって、
   前記移動体は、対象物を撮影する撮影用カメラ（２５）を更に備え、
   前記移動体及び前記表示装置の少なくとも一方は、前記移動体の姿勢と、前記移動体に対する前記撮影用カメラの向きと、に基づいて、前記撮影用カメラの画角に入っている前記対象物における範囲である現カメラ範囲を推定する現カメラ範囲推定部（４４）を更に備え、
   前記ＦＰＶ用カメラは、画角に収まる領域である撮影可能領域同士が前記撮影用カメラと重複するように、前記移動体に配置され、
   前記映像加工部は、前記情報画像として、前記現カメラ範囲を示す画像を、前記ＦＰＶ映像の前記画像対応位置に重畳する、移動体システム。
6. 請求項５に記載の移動体システムであって、
   前記移動体及び前記表示装置の少なくとも一方は、前記撮影用カメラによる撮影が行われたときの、前記移動体の位置及び姿勢と、前記移動体に対する前記撮影用カメラの向きと、に基づいて推定される、前記撮影用カメラにより既に撮影された前記対象物における範囲である撮影済み範囲を記憶する撮影済み範囲記憶部（２７ｅ）を更に備え、
   前記映像加工部は、前記情報画像として、前記撮影済み範囲を示す画像を、前記ＦＰＶ映像の前記画像対応位置に重畳する、移動体システム。
7. 請求項５又は請求項６に記載の移動体システムであって、
   前記映像加工部は、前記情報画像として、前記撮影用カメラによる撮影が予定されている前記対象物における全範囲を示す画像を、前記ＦＰＶ映像の前記画像対応位置に重畳する、移動体システム。
8. 請求項５から請求項７までのいずれか１項に記載の移動体システムであって、
   前記映像加工部は、前記情報画像として、前記撮影用カメラが次に撮影すべき前記対象物における範囲である次回撮影範囲を示す画像を、前記ＦＰＶ映像の前記画像対応位置に重畳する、移動体システム。
9. 請求項８に記載の移動体システムであって、
   前記移動体及び前記表示装置の少なくとも一方は、
   前記撮影用カメラによる撮影が行われたときの、前記移動体の位置及び姿勢と、前記移動体に対する前記撮影用カメラの向きと、に基づいて推定される、前記撮影用カメラにより既に撮影された前記対象物における範囲である撮影済み範囲を記憶する撮影済み範囲記憶部（２７ｅ）と、
   前記撮影用カメラによる撮影が予定されている前記対象物における全範囲と、前記撮影済み範囲と、に基づいて、前記次回撮影範囲を算出する次回撮影範囲算出部（２７ｆ）と、
   を更に備える、移動体システム。
10. 請求項１から請求項９までのいずれか１項に記載の移動体システムであって、
    前記移動体及び前記表示装置のそれぞれは、現在時刻を計時する時計部（２７ｈ，４３）を更に備え、
    前記送信部は、前記ＦＰＶ映像が撮影された時刻である撮影時刻を前記ＦＰＶ映像と共に前記表示装置に送信し、
    前記表示部は、受信された前記撮影時刻と、現在時刻と、の差分である遅延時間を、前記情報画像が重畳された前記ＦＰＶ映像と共に表示する、移動体システム。
11. 請求項１から請求項１０までのいずれか１項に記載の移動体システムであって、
    前記移動体は、前記移動体の周囲に存在する物体を検出可能な物体検出センサ（２６１ａ，２６１ｂ）を更に備え、
    前記送信部は、前記物体検出センサによる検出結果を前記表示装置に送信し、
    前記表示部は、受信された前記物体検出センサによる検出結果を表示する、移動体システム。

Images