JP7191595B2 - 映像生成装置及び映像生成方法 - Google Patents

Description

本発明は、物標を含む映像を生成する映像生成装置に関する。

一般に、カメラからの画像ストリームについてジオリファレンシングを行う映像生成装置が開示されている。例えば、船舶のカメラが撮影したストリーム画像データを受信し、当該船舶の周囲の物標（他船等）の位置を取得して、ディスプレイに映し出す映像を生成する映像生成装置がある（特許文献１参照）。

米国特許出願公開第２０１５／０３５０５５２号明細書

しかしながら、船舶が航行するには、船舶の周囲にある物標（例えば、水上移動体）について、様々な情報を取得する必要がある。このため、船舶のカメラが撮影した映像に、航行に必要な全ての情報を単純に重ね合わせてディスプレイに表示すると、表示された情報が分かり難くなる。したがって、このような映像では、利便性が低下する。

本発明の目的は、船舶から撮影した映像に情報を表示させ、利便性を向上させた映像生成装置を提供することにある。

本発明の観点に従った映像生成装置は、水上移動体に設けられる撮影手段と、物標に関する物標情報を取得する物標情報取得手段と、前記撮影手段により撮影される撮影映像に、前記物標情報取得手段により取得される前記物標情報が表示された拡張映像を生成する拡張映像生成手段と、前記物標をユーザが選択するためのマーカーを、前記拡張映像における前記物標の表示箇所に対応して移動するように表示するマーカー表示手段と、前記マーカーのそれぞれが選択されたことを判定する判定領域が重ならないように、前記マーカーのうち少なくとも１つの表示箇所を移動するマーカー移動手段とを備える。

本発明によれば、船舶から撮影した映像に情報を表示させ、利便性を向上させた映像生成装置を提供することができる。

本発明の実施形態に係る映像生成装置の構成を示すブロック図。 実施形態に係る船舶の側面を示す側面図。 実施形態に係る船舶の周囲の状況の例を示す概念図。 実施形態に係る３次元仮想空間を示す概念図。 実施形態に係るカメラによる撮影映像の例を示すイメージ図。 実施形態に係るデータ合成部から出力されるＡＲ映像を示すイメージ図。 図４の状態から船舶がピッチ方向及びロール方向に揺動した場合を示す概念図。 図７の状態のＡＲ映像を示すイメージ図。 本実施形態に係るＡＲ映像に方位を示す目盛情報が表示されたイメージ図。 本実施形態に係るＡＲ映像に方位を示す目盛情報が船体の傾きに応じて表示されたイメージ図。 本実施形態に係るＡＲ映像に詳細情報が表示されたイメージ図。 本実施形態に係るＡＲ映像に詳細情報を表示する手順の概要を示すフロー図。 本実施形態に係るＡＲ映像におけるマーカーの基本的な表示方法を示す概念図。 本実施形態に係る第１水上移動体のマーカーと接続された対応線の長さの変化の一例を示すグラフ図。 本実施形態に係るＡＲ映像にメイン情報を表示する手順を示すフロー図。 本実施形態に係るＡＲ映像にメイン情報を表示する４つの表示欄が配置されたイメージ図。 図１１に示す状態から所定時間経過後のＡＲ映像を示すイメージ図。

（実施形態）
図１は、本発明の実施形態に係る映像生成装置１の構成を示すブロック図である。図２は、本実施形態に係る船舶４の側面を示す側面図である。なお、図面における同一部分には同一符号を付し、重複する説明を適宜省略する。
映像生成装置１は、水上を移動する水上移動体である船舶４に搭載される。船舶４は、海、湖、又は河川等の水上を航行可能であれば、どのような水上移動体でもよい。映像生成装置１は、カメラ（撮影機器）３で撮影した映像に、詳細情報を表示することにより、船舶４の周囲の状況を拡張して表現する拡張現実（ＡＲ, augmented reality）映像を生成する。以降では、ＡＲ映像として説明するが、撮影された映像に情報が付加された映像であればどのような映像でもよい。

ディスプレイ２は、映像生成装置１が生成したＡＲ映像を表示する。例えば、ディスプレイ２は、船舶４を操船するオペレータが参照する操船支援装置として設けられる。なお、ディスプレイ２は、船舶４から周囲の状況を監視する操船補助者が携帯する携帯型コンピュータのディスプレイ、船舶４の客室で乗客が鑑賞するためのディスプレイ、又は、乗船者が装着するウェアラブル端末のディスプレイなどでもよい。

次に、映像生成装置１に接続される各種機器について説明する。図２は、本実施形態に係る船舶４の各種機器が設けられた側面を示す側面図である。
カメラ３は、船舶４の周囲を撮影する広角型のビデオカメラである。カメラ３は、ライブ出力機能を有しており、撮影結果としての動画データ（映像データ又はストリームデータなど）をリアルタイムで生成して映像生成装置１に出力する。カメラ３は、撮影方向が船体に対して水平前方となるように船舶４に設置される。カメラ３は、パン又はチルトなどの回転動作をする回転機構を備える。カメラ３は、映像生成装置１から入力される回転動作を指示する信号に基づいて、船舶４の船体を基準として撮影方向を所定の角度範囲内で変更する。船舶４の高さ及び姿勢は波等の自然環境により様々に変化する。これに伴い、カメラ３の高さ及び姿勢（撮影方向）も３次元的に変化する。

映像生成装置１は、カメラ３の他に、船舶機器として、ＧＮＳＳ（global navigation satellite system）コンパス５、角速度センサ６、ＧＮＳＳ受信機７、加速度センサ８、ＡＩＳ（automatic identification system）受信機９、ＥＣＤＩＳ（electronic chart display and information system）１０、プロッタ１１、レーダ１２、及び、ソナー１３と接続される。船舶機器は、詳細情報の情報源となる。ＧＮＳＳコンパス５は、角速度センサ６、ＧＮＳＳ受信機７及び加速度センサ８を内蔵している。なお、角速度センサ６、ＧＮＳＳ受信機７及び加速度センサ８のうち全部又は一部は、ＧＮＳＳコンパス５とは独立して設けられてもよい。また、船舶機器は、ここで説明するものに限らず、どのような機器でもよい。

ＧＮＳＳコンパス５は、方位センサ及び姿勢センサの機能を有する。ＧＮＳＳコンパス５は、船舶４に固定された複数のＧＮＳＳアンテナ（測位用アンテナ）を備える。ＧＮＳＳコンパス５は、それぞれのＧＮＳＳアンテナの位置関係を、測位衛星から受信した電波に基づいて算出する。特に、ＧＮＳＳコンパス５は、各ＧＮＳＳアンテナが受信した電波の搬送波位相の位相差に基づいて、ＧＮＳＳアンテナの位置関係を求める。ＧＮＳＳアンテナの位置関係の求め方については、既知の処理方法を適用することができる。これにより、ＧＮＳＳコンパス５は、船舶４の船首方位を取得する。

ＧＮＳＳコンパス５は、船舶４の姿勢を３次元的に取得する。具体的には、ＧＮＳＳコンパス５は、船首方位（即ち、船舶４のヨー角）だけでなく、船舶４のロール角及びピッチ角を検出する。ＧＮＳＳコンパス５で取得された船舶４の姿勢情報は、姿勢取得部２５及び他の船舶機器に出力される。

角速度センサ６は、例えば、振動ジャイロセンサで構成される。角速度センサ６は、ＧＮＳＳコンパス５が姿勢情報を検出する検出間隔（例えば、１秒）より短い周期で、船舶４のヨー角速度、ロール角速度及びピッチ角速度を検出する。ＧＮＳＳコンパス５が検出した角度と、角速度センサ６が検出した角速度の積分値と、を併用することにより、ＧＮＳＳコンパス５だけを用いる場合よりも短い時間間隔で船舶４の姿勢を取得することができる。また、ＧＮＳＳの測位衛星からの電波が例えば橋等の障害物により遮られて、ＧＮＳＳコンパス５による姿勢の検出が不能となっている場合、角速度センサ６は、姿勢情報を取得するための代替的な手段として機能する。

ＧＮＳＳ受信機７は、ＧＮＳＳアンテナが測位衛星から受信した電波に基づいて、船舶４の位置を求める。例えば、船舶４の位置は、ＧＮＳＳアンテナの緯度、経度及び高さである。ＧＮＳＳ受信機７は、得られた位置情報を、位置取得部２４及び他の船舶機器に出力する。

加速度センサ８は、例えば、静電容量検出型のセンサである。ＧＮＳＳ受信機７が位置情報を検出する検出間隔（例えば、１秒）より短い周期で、船舶４のヨー軸、ロール軸及びピッチ軸における加速度を検出する。ＧＮＳＳ受信機７が検出した位置情報と、加速度センサ８が検出した加速度の二重積分値とを併用することにより、ＧＮＳＳ受信機７だけを用いる場合よりも短い時間間隔で船舶４の位置を取得することができる。また、ＧＮＳＳの測位衛星からの電波が遮られてＧＮＳＳ受信機７による位置の検出が不能となっている場合に、加速度センサ８は、位置情報を取得するための代替的な手段として機能する。

ＡＩＳ受信機９は、他船や陸上局等から送信されるＡＩＳ情報を受信するための機器である。ＡＩＳ情報には、船舶４の周囲を航行している他の船舶（他船）の情報、ランドマークの位置及び識別情報などの様々な情報が含まれる。他船の情報は、例えば、位置（緯度・経度）、船体の長さ、船体の幅、船舶の種類、識別情報、船速、針路、及び、目的地などである。

ＥＣＤＩＳ１０は、ＧＮＳＳ受信機７から船舶４の位置情報を取得するとともに、予め記憶されている電子海図情報に基づいて、船舶４の周囲の情報を映像生成装置１に出力する。
プロッタ１１は、ＧＮＳＳ受信機７から船舶４の位置を継続して取得することにより、船舶４の航行軌跡の情報を生成する。また、プロッタ１１は、ユーザに複数のウェイポイント（船舶４が通過する予定の地点）を設定させることにより、これらのウェイポイントを順次に繋ぐようにして予定航路を生成する。

レーダ１２は、船舶４の周囲に存在する他船等の物標を探知する。また、レーダ１２は、物標を捕捉及び追尾することが可能な目標追尾機能（ＴＴ）を有する。レーダ１２は、このＴＴにより、物標の位置及び速度ベクトル（ＴＴ情報）を求める。レーダ１２は、取得したＴＴ情報を映像生成装置１に出力する。

ソナー１３は、超音波を水中に送信して、その超音波が魚群等の物標で反射した反射波を受信することにより、物標を探知する。ソナー１３は、探知した探知情報を映像生成装置１に出力する。
映像生成装置１には、ユーザが情報を入力するための入力機器１４が接続されている。入力機器１４は、キーボード又はマウス等である。なお、入力機器１４は、ディスプレイ２に触れて情報を入力するタッチパネル、又は、ジョイスティックでもよいし、その他に、情報を入力可能な機器であれば、どのような機器でもよい。

ユーザは、入力機器１４により、ＡＲ映像に関する各種指示を行う。例えば、ユーザは、カメラ３の姿勢を変える操作、各種情報の表示の有無の設定、又は、ＡＲ映像の視点の設定などについて指示を行う。
次に、映像生成装置１の構成について説明する。

映像生成装置１は、ＡＲ映像生成部２０、撮影映像入力部２１、撮影位置設定部２２、アンテナ位置設定部２３、位置取得部２４、姿勢取得部２５、詳細情報取得部２６、記憶部２７、視点設定部２８、及び、表示設定部２９を備える。
映像生成装置１は、主にコンピュータで構成される。例えば、コンピュータは、演算処理部及び記憶部を備える。演算処理部は、ＣＰＵ（central processing unit）又は３次元画像処理を高速で行うためのＧＰＵ（graphics processing unit）などである。記憶部は、各種メモリ又はＨＤＤ（hard disk drive）などである。なお、コンピュータはどのように構成されてもよい。映像生成装置１は、各種機能を実現するためのソフトウェア（プログラム等）を実行することにより動作する。

撮影映像入力部２１には、例えば３０フレーム毎秒で、カメラ３から出力される映像データが入力される。撮影映像入力部２１は、入力された映像データをＡＲ映像生成部２０に出力する。
撮影位置設定部２２は、船舶４におけるカメラ３の位置（撮影位置）を設定する。例えば、撮影位置とは、船体の長さ方向の位置、船体の幅方向の位置、及び、上下方向の位置（高さ）である。カメラ３の高さは、例えば、船舶４において通常想定される喫水線からの高さであるが、船底からの高さとしてもよいし、その他を基準にしてもよい。また、カメラ３の位置をユーザが実際に計測した計測値を入力機器１４により入力することにより、撮影位置設定部２２に撮影位置が設定されてもよい。撮影位置設定部２２は、設定された撮影位置をＡＲ映像生成部２０に出力する。

アンテナ位置設定部２３は、船舶４におけるＧＮＳＳアンテナの位置（アンテナ位置）を設定する。アンテナ位置は、例えば、図２に示す船舶４の基準点４ａを基準として、船体の長さ方向、幅方向及び上下方向で位置を表す。基準点４ａは、制御の基準となる箇所である。本実施形態では、基準点４ａは、船体の中央で、かつ、通常想定される喫水線と同じ高さとなる位置としているが、どのように決定してもよい。例えば、アンテナ位置の設定は、上述の撮影位置と同様に、実際の計測値をユーザが入力することで行われてもよい。アンテナ位置設定部２３は、設定されたアンテナ位置をＡＲ映像生成部２０に出力する。

位置取得部２４は、ＧＮＳＳ受信機７及び加速度センサ８の検出結果に基づいて、船舶４の現在の位置をリアルタイムで取得する。位置取得部２４は、取得した船舶４の現在の位置情報をＡＲ映像生成部２０に出力する。
姿勢取得部２５は、ＧＮＳＳコンパス５及び角速度センサ６の検出結果に基づいて、船舶４の現在の姿勢をリアルタイムで取得する。姿勢取得部２５は、取得した船舶４の現在の姿勢情報をＡＲ映像生成部２０に出力する。

詳細情報取得部２６は、ＡＩＳ受信機９、ＥＣＤＩＳ１０、プロッタ１１、レーダ１２、及び、ソナー１３などから取得された情報に基づいて、カメラ３で撮影した映像に付加する詳細情報を取得する。詳細情報は、これらの船舶機器から映像生成装置１にリアルタイムで入力される。詳細情報取得部２６は、取得した詳細情報をＡＲ映像生成部２０に出力する。詳細情報取得部２６は、一意に特定して管理するための識別情報（例えば、識別番号）を各詳細情報に付与してもよい。

記憶部２７は、各種情報を記憶するメモリとして構成される。記憶部２７は、例えば、各種の詳細情報を表現する仮想現実オブジェクトの３次元形状を、テンプレートとして記憶してもよい。記憶部２７に記憶される３次元形状のテンプレートは、例えば、小型の船、大型の船、ブイ、又は、灯台等であるが、これに限定されない。記憶部２７は、記憶した情報をＡＲ映像生成部２０に出力する。

視点設定部２８は、ユーザが入力機器１４を用いて、ＡＲ映像生成部２０により生成されるＡＲ映像の視点に関する設定をする。視点設定部２８は、ＡＲ映像の視点に関する設定情報をＡＲ映像生成部２０に出力する。
表示設定部２９は、ユーザが入力機器１４を用いて、ＡＲ映像生成部２０により生成されるＡＲ映像における詳細情報の表示に関する設定をする。表示設定部２９は、詳細情報の表示に関する設定情報をＡＲ映像生成部２０に出力する。

ＡＲ映像生成部２０は、撮影映像入力部２１に入力されたカメラ３の撮影映像に３次元コンピュータグラフィックスを合成することにより、拡張現実を表現するＡＲ映像を生成する。
ＡＲ映像生成部２０は、詳細情報生成部３１、３次元シーン生成部３２、画面情報生成部３３、及び、データ合成部３４を備える。

詳細情報生成部３１は、詳細情報取得部２６から入力された詳細情報に基づいて、ＡＲ映像に表示するための詳細情報を生成する。詳細情報は、情報が文字で表される文字情報と情報が図形で表される図形情報などがある。詳細情報生成部３１は、生成した詳細情報を３次元シーン生成部３２又は画面情報生成部３３に出力する。詳細情報は、ユーザが必要とする情報であれば、どのような情報でもよい。例えば、詳細情報は、映像生成装置１の目的又は機能に基づいて決定されてもよいし、船舶４の航行に必要な情報としてもよい。

例えば、水上移動体等の物標についての詳細情報は、名称（船名）、位置（船位）、方位（船首方位）、針路、距離、速度、回頭角速度、目的地、国籍（船籍）、種類（船種）、サイズ（長さ、幅及び高さなど）、状態（航行状態）、識別符号、ＤＣＰＡ（最接近距離、distance of closest point of approach）、ＴＣＰＡ（最接近時間、time of closest point of approach）、ＢＣＴ（bow crossing time）、又は、ＢＣＲ（bow crossing range）などである。ここで、ＤＣＰＡは、他船との距離が最小となるときのその距離である。ＴＣＰＡは、他船との距離が最小となるまでの時間である。ＢＣＴは、他船が自船の船首を横切るまでの時間である。ＢＣＲは、他船が自船の船首を横切るときの距離である。

この他に、ＡＩＳ情報に基づいて、ブイ又は仮想ブイの位置等の情報を詳細情報としてもよい。仮想ブイは、設置が困難である等の事情により実際に海上に設けられていない仮想の（実体を持たない）ブイであるが、ナビゲーション装置の画面には標識として表示される。ＥＣＤＩＳ１０による電子海図に含まれる情報としては、危険海域、航海禁止領域、灯台又はブイなどを詳細情報としてもよい。プロッタ１１に基づく情報としては、記録される船舶４の軌跡、予定航路、ウェイポイント、到着エリア又は立寄エリアなどを詳細情報としてもよい。レーダ１２に基づく情報としては、探知された物標の位置又は速度などを詳細情報としてもよい。ソナー１３に基づく情報としては、探知された魚群の位置などを詳細情報としてもよい。

図３は、本実施形態に係る船舶４の周囲の状況の例を示す概念図である。
海面上（水面上）には、複数のウェイポイント４１、及び、目的地までの予定航路を示す折れ線状のルート線４２が示されている。ルート線４２の近傍には、多角形状（矩形状）の立寄エリア４３が示されている。ウェイポイント４１、ルート線４２、及び、立寄エリア４３は、ユーザがプロッタ１１を操作することにより、設定される。

船舶４の前方のやや離れた地点で他船４４が船舶４の右方へ向けて航行中である。船舶４の左斜め前の近くには仮想ブイ４５がある。これらの情報は、ＡＩＳ情報により検出される。
詳細情報には、その詳細情報の対象物が配置される海面（水面）における位置（緯度及び経度）を示す情報が含まる。例えば、ルート線４２の詳細情報には、２つの変針点（折れ線の屈折点）の地点の位置情報が含まれる。ここでは、２つの変針点の位置は、２つのウェイポイント４１の位置と一致する。立寄エリア４３の詳細情報には、多角形の頂点となるそれぞれの地点の位置の情報が含まれる。

図４は、本実施形態に係る３次元仮想空間４０を示す概念図である。図４は、図３に示す船舶４の周囲の状況に対応する３次元仮想空間４０を示している。また、図３に示すウェイポイント４１、ルート線４２、立寄エリア４３、他船４４、及び、仮想ブイ４５は、それぞれ図４に示す仮想現実オブジェクト４１ｖ，４２ｖ，４３ｖ，４４ｖ，４５ｖに対応する。

３次元シーン生成部３２は、図４に示すように、３次元仮想空間４０に仮想現実の３次元シーンデータ（３次元表示用データ）４８を生成する。３次元シーン生成部３２は、表示設定部２９に設定された設定情報に基づいて、生成した３次元シーンに詳細情報生成部３１により生成された詳細情報を表示するように、３次元シーンデータ４８を更新する。詳細情報が図形情報である場合、３次元シーン生成部３２は、詳細情報に対応する仮想現実オブジェクトを生成して、３次元シーンデータ４８に加える。このとき、記憶部２７に記憶された仮想現実オブジェクトのテンプレートを用いてもよい。

仮想現実オブジェクトを生成する図形情報は、例えば、仮想ブイ、危険海域、航海禁止領域、船舶４の軌跡、予定航路、ウェイポイント、到着エリア、又は、立寄エリアなどのカメラ３の撮影映像には映らない物標である。また、３次元シーン生成部３２は、他船等の視認可能な物標を図形情報として仮想現実オブジェクトを生成してもよい。この場合、生成した仮想現実オブジェクトは、カメラ３の撮影映像に映された実際のこの物標に重ねて表示してもよい。

画面情報生成部３３は、カメラ３の撮影映像及び３次元シーンデータ４８の他に必要な画面情報を生成する。例えば、画面情報とは、ディスプレイ２に表示されるＡＲ映像の画面において、映像生成装置１の各種設定若しくは操作に必要な情報、操作性若しくは視認性を向上させるための情報、又は、距離若しくは方位を示す表示をするための情報などである。また、画面情報生成部３３は、他船等の状況をユーザが把握するために、船舶４を中心として周辺の状況を表すトップビューの画面（例えば、レーダ映像）を画面情報として生成してもよい。これにより、ユーザは、船舶４の周囲の状況をＡＲ映像の範囲外（船舶４の横又は後方など）でも把握することができる。

データ合成部３４は、撮影映像入力部２１から入力されたカメラ３の撮影映像に、３次元シーン生成部３２が生成した３次元シーンデータ４８を描画し、画面情報生成部３３により生成された画面情報を付加して、ＡＲ映像を生成する。データ合成部３４は、生成したＡＲ映像をディスプレイ２に出力する。これにより、ディスプレイ２は、ＡＲ映像を表示する。

次に、３次元仮想空間４０の構築方法について説明する。
仮想現実オブジェクト４１ｖ～４５ｖが配置される３次元仮想空間４０は、図４に示すように、船舶４の基準位置（例えば、上述の基準点４ａ）を原点とする直交座標系で構成され、水平な面であるｘｚ平面が海面（水面）を模擬するように設定される。図４の例では、座標軸は、＋ｚ方向が常に船首方位と一致し、＋ｘ方向が右方向、＋ｙ方向が上方向となるように定められる。３次元仮想空間４０内の各地点（座標）は、船舶４の周囲の現実の位置に対応するように設定される。

仮想現実オブジェクト４１ｖ～４５ｖは、船首方位を基準として、船舶４との相対位置を反映させるように、ｘｚ平面に接するように配置される。仮想現実オブジェクト４１ｖ～４５ｖの配置位置を決定するには、アンテナ位置設定部２３で設定されたＧＮＳＳアンテナの位置を用いた計算が行われる。

例えば、仮想現実オブジェクト４１ｖ～４５ｖは、次のように生成される。
他船４４を示す仮想現実オブジェクト４４ｖは、大型の船をモデルとした船舶の形状のテンプレートを利用して表現される。仮想現実オブジェクト４４ｖの向きは、ＡＩＳ情報で取得した他船４４の向きを示すように配置される。仮想ブイ４５を示す仮想現実オブジェクト４５ｖは、ブイをモデルとした形状のテンプレートを利用して表現される。

ウェイポイント４１の仮想現実オブジェクト４１ｖは、薄い円板状の３次元形状で表現される。ルート線４２の仮想現実オブジェクト４２ｖは、一定の厚み及び幅を有する細長い板を折れ線状に屈曲させた３次元形状で表現される。立寄エリア４３の仮想現実オブジェクト４３ｖは、立寄エリア４３の輪郭を有する一定の厚みの板のような３次元形状で表現される。これらの仮想現実オブジェクト４１ｖ～４５ｖは、テンプレートを使用せずに、その都度作成してもよい。

図４では、仮想現実オブジェクト４１ｖ～４５ｖが船舶４の位置を原点とした方位基準で配置される。このため、船舶４の位置が図３の状態から東西方向又は南北方向に変化したり、船舶４の船首方位が回頭等により変化したりすると、３次元シーンデータ４８は、仮想現実オブジェクト４１ｖ～４５ｖが再配置された新しい３次元シーンになるように更新される。また、図３の状態から他船４４の移動などの詳細情報の内容が変更されると、最新の詳細情報を反映するように３次元シーンデータ４８が更新される。

データ合成部３４は、カメラ３の撮影映像が映写される位置及び範囲を定める映写スクリーン５１を３次元仮想空間４０に配置する。映写スクリーン５１と仮想現実オブジェクト４１ｖ～４５ｖの両方が視野に含まれるように、視点カメラ５５の位置及び向きが設定される。

データ合成部３４は、船舶４に搭載されるカメラ３の位置及び向きを３次元仮想空間４０においてシミュレートし、映写スクリーン５１をカメラ３に正対するように配置する。カメラ３の位置のシミュレートにおいて、船体を基準とするカメラ３の位置は、撮影位置設定部２２に設定された撮影位置に基づいて決定される。

カメラ３の位置及び向きのシミュレートでは、カメラ３のパン又はチルトなどの動作による向きの変化が考慮される。また、このシミュレートは、位置取得部２４により取得された位置情報及び姿勢取得部２５により取得された姿勢情報に基づいて、船舶４の姿勢及び高さの変化によるカメラ３の位置及び向きの変化が反映されるように行われる。データ合成部３４は、カメラ３の位置及び向きの変化に対応するように、３次元仮想空間４０に配置される映写スクリーン５１の位置及び向きを変化させる。

データ合成部３４は、３次元シーンデータ４８及び映写スクリーン５１に対してレンダリング処理をすることにより、２次元の画像を生成する。具体的には、データ合成部３４は、３次元仮想空間４０に仮想カメラとしての視点カメラ５５を配置し、レンダリング処理の対象となる範囲を定める視錐台５６を設定する。視錐台５６は、視点カメラ５５を頂点として、視点カメラ５５からの視線方向が中心軸となるように設定される。

次に、データ合成部３４は、仮想現実オブジェクト４１ｖ～４５ｖ及び映写スクリーン５１を構成するポリゴンのうち、視錐台５６の内部に位置するポリゴンの頂点座標を、透視投影により、２次元の仮想スクリーンの座標に変換する。この仮想スクリーンは、ディスプレイ２でのＡＲ映像が表示される表示領域に相当する。データ合成部３４は、仮想スクリーンに配置された頂点座標に基づいて、所定の解像度でピクセルの生成及び加工などの処理を行うことにより、２次元の画像を生成する。

生成された２次元の画像には、３次元シーンデータ４８の描画が行われることにより得られた図形（即ち、仮想現実オブジェクト４１ｖ～４５ｖのレンダリング結果としての図形）が含まれる。この２次元の画像の生成過程において、映写スクリーン５１に相当する位置には、カメラ３の撮影映像が貼り付けられるように配置される。これにより、データ合成部３４による映像の合成が実現される。映写スクリーン５１は、カメラ３を中心とする球殻に沿うように湾曲した形状とすることで、透視投影による撮影映像の歪みを防止する。

視点カメラ５５は、ＡＲ映像の視点を定める。通常時は、視点カメラ５５の位置及び向きは、視点設定部２８の設定により決定される。視点設定部２８に特別な設定をすることで、データ合成部３４は、ＡＲ映像を生成するときのモードとして、視点カメラ５５の位置及び向きが、カメラ３の位置及び向きと常に一致するように自動的に変化するモードになる（視点追従モード）。この視点追従モードでは、視点カメラ５５の視野全体が常に映写スクリーン５１（即ち、カメラ３の撮影映像）で覆われることになるので、臨場感のあるＡＲ映像が実現する。

データ合成部３４は、視点カメラ５５の位置及び向きが、カメラ３の位置及び向きと無関係に、入力機器１４の操作により視点設定部２８に設定された視点に従うモードを設けてもよい（独立視点モード）。この独立視点モードでは、ユーザは、視点を自由に動かして、カメラ３の撮影視野から外れた位置にある詳細情報を確認することができる。

図５及び図６を参照して、カメラ３で撮影した映像とＡＲ映像との関係を説明する。図５は、カメラ３による撮影映像の例を示すイメージ図である。図６は、データ合成部３４から出力されるＡＲ映像を示すイメージ図である。
図５には、図３に示す状況において、船舶４のカメラ３が撮影した映像が示されている。この撮影映像には、海面に浮かぶ他船４４ｒが写っている。また、撮影映像の下部中央には、船舶４の船首部分が写っている。

仮想ブイ４５は、仮想的なものであるので、撮影映像には写らない。ウェイポイント４１、ルート線４２及び立寄エリア４３も、プロッタ１１で作成されるものであるので、撮影映像には写らない。
図６に示すＡＲ映像は、図５に示す撮影映像に対して、図４の３次元シーンデータ４８のレンダリングによる２次元の画像を合成したものである。図６のＡＲ映像では、詳細情報を表現する図形４１ｆ，４２ｆ，４３ｆ，４４ｆ，４５ｆが、図５に示す撮影映像に重なるように配置されている。ここで、図６では、カメラ３による撮影映像の部分は、それ以外の部分と区別するために破線で示されている（図８～図１０も同様である）。図形４１ｆ～４５ｆは、それぞれ仮想現実オブジェクト４１ｖ～４５ｖに対応する。他船を表す図形４４ｆは、撮影映像における他船４４ｒの位置にほぼ重なるように配置される。

図形４１ｆ～４５ｆは、図４に示す３次元シーンデータ４８を構成する仮想現実オブジェクト４１ｖ～４５ｖの３次元形状を、カメラ３と同じ位置及び向きの視点で描画した結果として生成される。従って、カメラ３による写実的な映像に、図形４１ｆ～４５ｆを重ねた場合でも、見た目の違和感が殆ど生じない。

図６に示すように、詳細情報を仮想現実的に表現する図形４１ｆ～４５ｆは、撮影映像の水面に置かれるように、ＡＲ映像上に配置される。換言すれば、詳細情報を仮想現実的に表現する図形４１ｆ～４５ｆは、撮影映像の水面に沿って配置される。
この配置は、次のように行われる。図４に示す仮想現実オブジェクト４１ｖ～４５ｖを、撮影位置設定部２２で設定された高さに基づいて計算された距離だけカメラ３に対して下方に位置するｘｚ平面に接するように配置する。さらに、映写スクリーン５１の位置を、カメラ３の位置及び向きを考慮して正しく配置する。これにより、図形４１ｆ～４５ｆの水面への配置が実現される。

船舶４の航海に関する情報（自船航海情報）である物標については、その物標から上方に出る線の先にその物標の情報（名称又は位置など）を表示し、その他の物標については、その物標から下方に出る線の先にその物標の情報を表示してもよい。このように、表示することで、自船航海情報とその他の情報を区別し易くなる。例えば、自船航海情報は、ウェイポイント、ルート線及び立寄エリアなどである。

次に、船舶４の揺れに伴うＡＲ映像の変化について説明する。図７は、図４の状態から船舶４がピッチ方向及びロール方向に揺動した場合を示す概念図である。図８は、図７の状態のＡＲ映像を示すイメージ図である。
カメラ３は、船舶４に取り付けられているので、その位置及び向きは、船舶４の姿勢が波等により傾いたり、船舶４が波に乗り上げたりすることに伴い変化する。データ合成部３４は、船舶４に揺れ（ピッチング、ローリング及びヒービング）が生じた場合、姿勢取得部２５が取得した船舶４の姿勢の変化、及び、位置取得部２４が取得した船舶４の位置の上下方向の変化をシミュレートするように、３次元仮想空間４０におけるカメラ３の位置及び向きを変更する。この変更に伴い、映写スクリーン５１の位置を変更する。

図７の例では、船舶４は前下がりかつ左下がりとなるように傾いており、この傾きを反映するように、カメラ３の位置及び向きが変化する。これに連動して、映写スクリーン５１は、位置及び向きが変化したカメラ３に正対するように移動する。
この例では、視点追従モードにより、視点カメラ５５の位置及び向きも、位置及び向きが変化したカメラ３に追従するように変化する。船舶４の揺れに伴ってカメラ３の位置及び向きが変化しても、それに連動して映写スクリーン５１の位置及び向きが変化して、３次元シーンをレンダリングする視点カメラ５５の位置及び向きが変化する。これにより、ＡＲ映像生成部２０は、図８に示すように、違和感のないＡＲ映像を継続的に生成する。

視点追従モードでは、船舶４の揺れによってピッチ角又はロール角が所定値以上変化する毎に、データ合成部３４での３次元シーンデータ４８の描画が更新され、最新の視点に基づく図形４１ｆ～４５ｆが生成される。この描画の更新により、海面の傾きが船舶４の揺れにより変化するカメラ３の撮影映像に対し、図形４１ｆ～４５ｆの表示は、海面に置かれた状態を維持するように変化する。

これにより、仮想現実的に表現された図形が海面に浮かんでいるように見えるため、ＡＲ映像は、自然で現実感の高い映像になる。また、ユーザは、ディスプレイ２に映し出されたＡＲ映像の海面を眺めることで、仮想現実オブジェクト４１ｖ～４５ｖを表す図形４１ｆ～４５ｆが網羅的に視界に入るので、取りこぼしなく必要な情報を得られる。

図９及び図１０を参照して、ＡＲ映像生成部２０により生成されるＡＲ映像に方位を示す目盛情報９１を表示する構成について説明する。なお、目盛情報９１は、表示するか否かを選択できるようにしてもよいし、表示しなくてもよい。
詳細情報生成部３１は、目盛情報９１を表示するために、必要な情報を船舶機器等から収集する。詳細情報生成部３１は、収集した情報を画面情報生成部３３に出力する。

画面情報生成部３３は、詳細情報生成部３１から受信した情報に基づいて、目盛情報９１としてＡＲ映像に表示するための画像等を生成する。画面情報生成部３３は、生成した目盛情報９１をデータ合成部３４に出力する。
データ合成部３４は、カメラ３の撮影映像に、３次元シーン生成部３２により生成された３次元シーンデータ４８を合成する際に、画面情報生成部３３により生成された目盛情報９１となる画像も合成する。

目盛情報９１は、例えば、図９に示すように、ＡＲ映像の上部又は下部などの所定の位置に表示する。目盛情報９１の位置は、図１０に示すように、図形４１ｆ～４５ｆ等の詳細情報と重ならないように、自動的に移動又は変更するようにしてもよい。また、目盛情報９１は、図１０に示すように、船舶４の船体の傾きに応じて、水平線と常に平行を保つように、詳細情報９１を傾けて表示してもよい。このように表示することで、目盛情報９１は、常に正確な方位を示すことができる。

図１１及び図１２を参照して、ＡＲ映像内にある物標の詳細情報の表示方法について説明する。図１１は、詳細情報Ｄ１，Ｄ２，Ｄ２０が表示されたＡＲ映像を示すイメージ図である。図１２は、ＡＲ映像に詳細情報Ｄ１，Ｄ２，Ｄ２０を表示する手順の概要を示すフロー図である。

ここでは、ＡＲ映像内の船舶４の前方に、３つの水上移動体Ｓ１，Ｓ２，Ｓ３がいるものとして説明する。また、物標として水上移動体Ｓ１～Ｓ３を用いて、主に説明するが、水上移動体Ｓ１～Ｓ３以外のどのような物標（無体物を含む。）についても、同様に、詳細情報を表示してもよい。

映像生成装置１が保有する詳細情報は、メイン情報（第１詳細情報に相当する。）、サブ情報（第２詳細情報に相当する。）、及び非表示情報の３種類に分けられる。メイン情報は、第１スペースＳＰ１に表示される。サブ情報は、第２スペースＳＰ２に表示される。非表示情報は、ＡＲ映像に表示されない。メイン情報、サブ情報及び非表示情報のそれぞれに該当する詳細情報（項目）は、ユーザが入力機器１４により、任意に設定される。例えば、ＡＲ映像内に項目のリストを表示させ、メイン情報、サブ情報及び非表示情報のそれぞれに該当する項目をドロップダウン形式に選択する。

ＡＩＳ受信機９又はレーダ１２などの船舶機器により、物標である水上移動体Ｓ１～Ｓ３を検出すると（ステップＳＴ１０１）、ＡＲ映像内の各水上移動体Ｓ１～Ｓ３に対応した選択するためのマーカーＭ１，Ｍ２，Ｍ３が表示される（ステップＳＴ１０２）。マーカーＭ１～Ｍ３は、それぞれ対応する水上移動体Ｓ１～Ｓ３から下方に延びる対応関係を示す対応線Ｌ１，Ｌ２，Ｌ３で接続される。

マーカーＭ１～Ｍ３の形状は、検出した船舶機器の種類に応じて、異なるようにしてもよい。例えば、ＡＩＳ受信機９で検出された物標については、マーカーの形状を菱形とし、レーダ１２で検出された物標については、マーカーの形状を円形とする。また、物標は、ＥＣＤＩＳ１０又はソナー１３などの船舶機器で検出されたものでもよい。さらに、１つの物標に対し、複数の船舶機器で検出された場合、１つの物標から検出した複数の船舶機器にそれぞれ対応するマーカーＭ１～Ｍ３が表示されてもよいし、選択された任意のマーカーのみが表示されるようにしてもよいし、１つにまとめられたマーカーが表示されてもよい。

ユーザは、水上移動体Ｓ１～Ｓ３のより詳しい詳細情報を表示させる場合、表示させる詳細情報の水上移動体Ｓ１～Ｓ３に接続されたマーカーＭ１～Ｍ３を選択（例えば、クリック）する（ステップＳＴ１０３）。マーカーＭ１～Ｍ３は、選択されると、色が反転するなどの表示を変えてもよい。

マーカーＭ１～Ｍ３が選択されると、選択されたマーカーＭ１～Ｍ３に対応する物標のメイン情報がＡＲ映像の所定の箇所に表示される（ステップＳＴ１０４）。図１１では、２つの水上移動体Ｓ１，Ｓ２の各マーカーＭ１が選択され、所定の箇所としてＡＲ映像の下部の第１スペースＳＰ１に、各水上移動体Ｓ１，Ｓ２のメイン情報Ｄ１，Ｄ２が表示された状態を示している。例えば、メイン情報Ｄ１，Ｄ２は、自船（船舶４）との距離、速度、ＤＣＰＡ、及び、ＴＣＰＡである。水上移動体Ｓ１，Ｓ２とメイン情報Ｄ１，Ｄ２との対応関係を分かり易く表示するために、対応線Ｌ１，Ｌ２を延長するような対応線Ｌ１１，Ｌ１２で、マーカーＭ１，Ｍ２とメイン情報Ｄ１，Ｄ２がそれぞれ接続される。

水上移動体Ｓ１について、メイン情報Ｄ１の他に、さらにサブ情報を表示する場合、ユーザは、メイン情報Ｄ１が表示されている表示欄を選択する（ステップＳＴ１０５）。メイン情報Ｄ１の表示欄が選択されると、図１１に示すように、第１スペースＳＰ１の下にある第２スペースＳＰ２に、選択されたメイン情報Ｄ１に対応するサブ情報Ｄ２０が表示される（ステップＳＴ１０６）。サブ情報Ｄ２０は、第１スペースＳＰ１にあるメイン情報Ｄ１と対応をしていることを示す対応線Ｌ２０で接続される。

ユーザは、サブ情報Ｄ２０を表示させておくか、非表示にするか選択できる。サブ情報を非表示にすると、第２スペースＳＰ２が無くなり、メイン情報Ｄ１，Ｄ２を表示する第１スペースＳＰ１がＡＲ映像の下側に移動する。サブ情報Ｄ２０が必要ない場合、第２スペースＳＰ２を無くすことで、ＡＲ映像におけるカメラ３の撮影映像部分を広げる。なお、第２スペースＳＰ２は、常に確保されていてもよいし、メイン情報Ｄ１，Ｄ２の表示欄のいずれかが選択されたら、出現するようにしてもよい。

なお、ここでは、１つのサブ情報Ｄ２０を表示した場合について説明したが、２つ以上のサブ情報を表示してもよいし、サブ情報は無くてもよい。
図１３を参照して、ＡＲ映像におけるマーカーＭ１，Ｍ２の基本的な表示方法について説明する。
ここでは、船舶４の前方で、横向きにほぼ停止状態の第１水上移動体Ｓ１の横を別の第２水上移動体Ｓ２が画面の右から左に通り過ぎる場合について説明する。

各マーカーＭ１，Ｍ２の外側を囲む破線で示した一回り大きい四角形は、タッチ判定領域Ｒ１，Ｒ２を表す。タッチ判定領域Ｒ１，Ｒ２は、マーカーＭ１，Ｍ２がタッチされたか否かを判定するための領域である。
例えば、入力機器１４がタッチパネルの場合、タッチ判定領域Ｒ１，Ｒ２内で指等が触れれば、マーカーＭ１，Ｍ２がタッチされた（即ち、選択された）と判定される。入力機器１４がマウスの場合、タッチ判定領域Ｒ１，Ｒ２内にカーソルがある状態でクリック等の所定の操作がされれば、マーカーＭ１，Ｍ２がタッチされたと判定される。タッチ判定領域Ｒ１，Ｒ２は、マーカーＭ１，Ｍ２よりも一回り大きい形状とすることで、マーカーＭ１，Ｍ２から多少外れてタッチしても、マーカーＭ１，Ｍ２がタッチされたと判定される。これにより、ユーザの操作性が向上する。

最初の位置にある第２水上移動体Ｓ２は、第１水上移動体Ｓ１から充分に離れている。このときの２つの水上移動体Ｓ１，Ｓ２に接続された対応線Ｌ１，Ｌ２ａは、初期設定された最短の長さである。第１水上移動体Ｓ１の対応線Ｌ１の長さは、以降もこのまま変わらないものとする。なお、初期設定の長さは最短でなくてもよい。

最初の位置からｔ秒後の第２水上移動体Ｓ２は、第１水上移動体Ｓ１と近接している。この状態の場合、２つの水上移動体Ｓ１，Ｓ２の対応線Ｌ１，Ｌ２ｂがともに初期設定の長さのままであれば、２つの水上移動体Ｓ１，Ｓ２のそれぞれのタッチ判定領域Ｒ１，Ｒ２の一部が重なる。そこで、第２水上移動体Ｓ２の対応線Ｌ２ｂは、タッチ判定領域Ｒ２が第１水上移動体Ｓ１のタッチ判定領域Ｒ１と重ならない位置になるまで、下方向に徐々に伸びるように表示する。このように、対応線Ｌ２ｂの長さを徐々に変化させることで、マーカーＭ２を視覚的に連続するように移動する。これにより、移動しているマーカーＭ２をユーザが視覚的に追い易くなる。第２水上移動体Ｓ２の対応線Ｌ２ｂの長さが変化している過程では、一時的に２つのタッチ判定領域Ｒ１，Ｒ２が重なってもよい。

第１水上移動体Ｓ１と近接した状態からさらにｔ秒後の第２水上移動体Ｓ２は、再び第１水上移動体Ｓ１から充分に離れるため、対応線Ｌ２ｃの長さに関係なく、２つのタッチ判定領域Ｒ１，Ｒ２が重なることはない。そこで、第２水上移動体Ｓ２の対応線Ｌ２ｃは、最短の長さである初期設定の状態になるまで縮む。

このようにして、２つのタッチ判定領域Ｒ１，Ｒ２が重ならないように、各水上移動体Ｓ１，Ｓ２のそれぞれの対応線Ｌ１，Ｌ２ａ～Ｌ２ｃの長さは、伸縮するように変化する。
ここでは、移動している第２水上移動体Ｓ２の対応線Ｌ２ａ～Ｌ２ｃの長さが変化する場合について説明したが、停止している第１水上移動体Ｓ１の対応線Ｌ１の長さが変化してもよい。

図１４を参照して、第１水上移動体Ｓ１とマーカーＭ１を接続する対応線Ｌ１の長さの変化の一例を説明する。図１４において、横軸は、経過時間を表し、縦軸は、ＡＲ映像における上下方向に変化する対応線Ｌ１の長さを表す。
時刻ｔ０では、第１水上移動体Ｓ１の対応線Ｌ１の長さａ１は、初期設定の最短の長さである。

時刻ｔ１において、第１水上移動体Ｓ１のタッチ判定領域Ｒ１が別の水上移動体（第２水上移動体）のタッチ判定領域に接触すると、画面情報生成部３３は、２つのタッチ判定領域が重ならなくなる対応線Ｌ１の長さａ２を演算する。２つのタッチ判定領域の間は、どの程度空けてもよい。

なお、画面情報生成部３３は、２つのタッチ判定領域が接触した後に限らず、接触する前に演算を開始してもよい。また、２つのタッチ判定領域が接触するか否かは、２つのタッチ判定領域のそれぞれの位置を直接検出する場合に限らず、水上移動体、マーカー又は対応線などの位置に基づいて、判定してもよい。

画面情報生成部３３は、対応線Ｌ１の長さａ１が演算した長さａ２に徐々になるように、対応線Ｌ１を変化させる（描画する）。これにより、第１水上移動体Ｓ１の対応線Ｌ１は、目標の長さａ２になる。
例えば、画面情報生成部３３は、図１４に示す曲線Ｃｒのように、対応線Ｌ１の長さを変化させる。曲線Ｃｒは、対応線Ｌ１の長さが目標の長さａ２に近づくにつれて、徐々に変化の速度が遅くなることを示している。これにより、ユーザは、マーカーＭ１を視覚的に追い易くなる。なお、対応線Ｌ１の長さａ１を徐々に変化させるように描画する方法については、グラフィックス又はアニメーションなどで用いられる既存の方法を適用してもよい。

時刻ｔ２において、第１水上移動体Ｓ１の対応線Ｌ１が伸びた長さａ２のまま、第１水上移動体Ｓ１のタッチ判定領域Ｒ１は、さらに別の水上移動体（第３水上移動体）のタッチ判定領域と接触する。画面情報生成部３３は、第１水上移動体Ｓ１のタッチ判定領域Ｒ１が新たに接触した第３水上移動体のタッチ判定領域と重ならなくなる長さａ３を演算する。時刻ｔ１のときと同様に、画面情報生成部３３は、対応線Ｌ１を現在の長さａ２から演算した長さａ３に徐々に伸びるように変化させる。これにより、第１水上移動体Ｓ１の対応線Ｌ１は、目標の長さａ３になる。

時刻ｔ３において、第１水上移動体Ｓ１の近傍に、第２水上移動体及び第３水上移動体がいなくなると、画面情報生成部３３は、対応線Ｌ１の長さａ３が初期設定の長さａ４に徐々に縮む（戻る）ように、対応線Ｌ１の長さを変化させる。対応線Ｌ１の長さが縮むときも、伸びるときと同様に、曲線Ｃｒを描くように変化させることで、対応線Ｌ１の長さが徐々に変化する。これにより、第１水上移動体Ｓ１の対応線Ｌ１は、初期設定の長さａ４に戻る。

時刻ｔ４において、第１水上移動体Ｓ１のタッチ判定領域Ｒ１が別の水上移動体（第４水上移動体）のタッチ判定領域に接触すると、時刻ｔ１，ｔ２のときと同様に、画面情報生成部３３は、目標とする対応線Ｌ１の長さａ５を演算する。これにより、第１水上移動体Ｓ１の対応線Ｌ１は、目標の長さａ５になる。

時刻ｔ５において、第１水上移動体Ｓ１の近傍に、第４水上移動体がいなくなると、画面情報生成部３３は、時刻ｔ３のときと同様に、対応線Ｌ１を初期設定の長さに戻し始める。
時刻ｔ６において、対応線Ｌ１が初期設定の長さになる前に、第１水上移動体Ｓ１のタッチ判定領域Ｒ１が別の水上移動体（第５水上移動体）のタッチ判定領域に接触する。画面情報生成部３３は、目標とする対応線Ｌ１の長さａ６を演算し、対応線Ｌ１が初期設定の長さに縮む途中の状態から、目標の長さａ６に徐々に伸びるように変化させる。これにより、第１水上移動体Ｓ１の対応線Ｌ１は、目標の長さａ６になる。

時刻ｔ７において、第１水上移動体Ｓ１の近傍に、第５水上移動体がいなくなると、画面情報生成部３３は、時刻ｔ３，ｔ５のときと同様に、対応線Ｌ１を初期設定の長さに戻し始める。これにより、第１水上移動体Ｓ１の対応線Ｌ１は、初期設定の長さａ７になる。

このように、第１水上移動体Ｓ１のタッチ判定領域Ｒ１が他の水上移動体のタッチ判定領域と重ならないように、対応線Ｌ１の長さを変化させることで、ユーザが各水上移動体のマーカーを選択し易くなる。
ここでは、説明の便宜上、第１水上移動体Ｓ１に着目して、対応線Ｌ１を変化させたが、実際には、各水上移動体のそれぞれにおいて、第１水上移動体Ｓ１と同様に、各タッチ判定領域が重ならないように、マーカーに接続される対応線の長さを変化させる。

複数の水上移動体のタッチ判定領域が重なる場合、各水上移動体又は各マーカーなどで決定される優先順位に従って、どの対応線の長さを変化させるかを決定する。優先順位は、各水上移動体又は各マーカーに予め付けられてもよい。優先順位は、マーカーの表示順（新しい順又は古い順）でもよいし、各水上移動体又は各マーカーの位置（画面の上下又は左右）で決定されてもよい。例えば、マーカーの位置が画面の下にある程、優先的に対応線の長さを変化させてもよい。位置が下にあるマーカーの対応線を伸ばす方が、位置が上にあるマーカーの対応線を伸ばすよりも、伸ばす長さは短くなる。その他に、各対応線の現在の長さ等に基づいて、変化させる対応線を決定してもよい。

図１１及び図１５を参照して、メイン情報Ｄ１，Ｄ２の表示方法について説明する。図１５は、ＡＲ映像にメイン情報Ｄ１，Ｄ２を表示する手順を示すフロー図である。
図１１の第１スペースＳＰ１には、メイン情報Ｄ１，Ｄ２が表示されている部分以外に、実際には何も表示されていない破線で示したメイン情報を表示するための表示欄Ｄｈが確保される。表示欄Ｄｈは、次のように決定される。

ユーザは、入力機器１４により、メイン情報Ｄ１，Ｄ２として表示する項目を選択する（ステップＳＴ２０１）。図１１では、自船との距離、速度、ＤＣＰＡ、及び、ＴＣＰＡの項目がメイン情報Ｄ１，Ｄ２として表示されたＡＲ映像の一例が示されている。

画面情報生成部３３は、メイン情報Ｄ１，Ｄ２として選択された項目に基づいて、表示欄Ｄｈのサイズを決定する（ステップＳＴ２０２）。表示欄の高さは選択された項目の数に基づいて決定される。表示欄の幅は、選択された項目のそれぞれで確保されている文字数のうち最も多い文字数に基づいて、決定される。位置、距離、速さ、又は、時間などの数字と単位のみで表す項目は、確保されている文字数が基本的に少ない。固有名詞（船名又は地名など）、又は、文章を表示することがある項目は、確保されている文字数が基本的に多い。

画面情報生成部３３は、決定された表示欄Ｄｈのサイズに基づいて、表示欄Ｄｈの数を決定する（ステップＳＴ２０３）。例えば、第１スペースＳＰ１の幅を表示欄Ｄｈの幅で割れば、横に並べられる表示欄Ｄｈの数が分かる。表示欄Ｄｈのサイズと数との対応関係は、テーブルデータのように予め記憶されていてもよい。図１１では、表示欄Ｄｈを、横一列に１段で表示した例を示しているが、横一列を１段として、上下に２段以上積み重ねて表示してもよい。この場合、第１スペースＳＰ１の高さと表示欄Ｄｈの高さに基づいて、横に並べられる表示欄Ｄｈの数と同様に、表示欄Ｄｈを上下に積み重ねる段数を決定してもよい。

画面情報生成部３３は、決定された表示欄Ｄｈの数に基づいて、第１スペースＳＰ１における各表示欄Ｄｈの配置を決定する（ステップＳＴ２０４）。図１１では、表示欄Ｄｈの数が６つの場合のＡＲ映像を示している。表示欄Ｄｈの数が４つの場合は、図１６に示すＡＲ映像のようになる。図１６に示すＡＲ映像では、メイン情報Ｄ１，Ｄ２の項目として船名が選択されているため、１つの表示欄Ｄｈの幅が広い。このため、横に並べられる表示欄Ｄｈの数が４つに減少する。

ステップＳＴ２０２～ＳＴ２０４は、ステップＳＴ２０１において、メイン情報Ｄ１，Ｄ２の項目が変更される度に繰り返し実行される。
ユーザが水上移動体Ｓ１，Ｓ２のマーカーＭ１，Ｍ２を選択すると、画面情報生成部３３は、水上移動体Ｓ１，Ｓ２のメイン情報Ｄ１，Ｄ２を表示させる表示欄Ｄｈを決定する（ステップＳＴ２０５）。

具体的には、水上移動体Ｓ１，Ｓ２の幅方向の真ん中から垂直方向に真下に下ろした線と第１スペースＳＰ１が接触した箇所から最も近い表示欄Ｄｈを、その水上移動体Ｓ１，Ｓ２のメイン情報Ｄ１，Ｄ２を表示する表示欄Ｄｈとする。即ち、ＡＲ映像の画面において、横方向をｘ軸とすると、水上移動体Ｓ１，Ｓ２のｘ座標に最も近いｘ座標の表示欄Ｄｈを、その水上移動体Ｓ１，Ｓ２の表示欄Ｄｈとする。また、上述のように選択された表示欄Ｄｈに、既に、別の水上移動体のメイン情報が表示されている場合、次に適切な表示欄Ｄｈ（例えば、次にｘ座標が近い表示欄Ｄｈ）が選択される。

また、全ての表示欄Ｄｈにメイン情報が表示されている場合、既に表示されているメイン情報の１つを非表示にして、新しいメイン情報を表示できる表示欄Ｄｈを作る。例えば、非表示にするメイン情報は、最も早く（即ち、最も古く）表示されたメイン情報でもよいし、最も危険度の低い物標のメイン情報でもよいし、その他の方法で決定されたものでもよい。また、特定のメイン情報について、自動的に非表示にならないように、ユーザが表示を固定するピン止めのような操作ができるようにしてもよい。

例えば、危険度は、ＤＣＰＡ、ＴＣＰＡ、ＢＣＴ、又は、ＢＣＲの任意の組合せに基づいて決定する。これらの要素の中から予め決められた組合せの要素について、それぞれが共に予め設定された閾値よりも高ければ、危険度が高いと判断する。要素の組合せは、ＤＣＰＡとＴＣＰＡ、又は、ＢＣＴとＢＣＲなどである。

画面情報生成部３３は、水上移動体Ｓ１，Ｓ２のメイン情報Ｄ１，Ｄ２を決定された表示欄Ｄｈに表示する（ステップＳＴ２０６）。
危険度の高い水上移動体Ｓ１，Ｓ２がある場合、水上移動体Ｓ１，Ｓ２、マーカーＭ１，Ｍ２、又は、メイン情報Ｄ１，Ｄ２の表示欄Ｄｈなどを、目立つような色にしたり、点滅などの表示形態を変えたりして、視覚的に目立たせるようにすることで、ユーザが危険度の高い物標を発見し易いようにしてもよい。

図１５に示すステップＳＴ２０５，ＳＴ２０６は、所定の時間間隔で、繰り返し実行（更新）される。
図１７は、図１１に示すＡＲ映像の状態から所定時間経過後のＡＲ映像を示している。
図１７に示す第１水上移動体Ｓ１は、図１１に示す第１水上移動体Ｓ１の位置からＡＲ映像の画面左下方向に移動している。図１７に示す第２水上移動体Ｓ２は、図１１に示す第２水上移動体Ｓ２の位置からＡＲ映像の画面右方向に移動している。

第１水上移動体Ｓ１のメイン情報Ｄ１は、第１水上移動体Ｓ１が画面左下に移動したことより、画面左から２番目から１番左の表示欄Ｄｈに移動している。第２水上移動体Ｓ２のメイン情報Ｄ２は、第２水上移動体Ｓ２が画面右に移動したことより、画面左から４番目から５番目の表示欄Ｄｈに移動している途中である。

メイン情報Ｄ１，Ｄ２の表示欄Ｄｈが切り替わる場合、メイン情報Ｄ１，Ｄ２の表示が２つの表示欄Ｄｈの間を徐々に移動する。この場合、図１７のメイン情報Ｄ２のように、表示欄Ｄｈが切り替わる途中では、予め配置された表示欄Ｄｈの位置に限らず、２つの表示欄Ｄｈの間でも、メイン情報Ｄ２は表示される。

このように、メイン情報Ｄ１，Ｄ２の表示を徐々に移動させることで、メイン情報Ｄ１，Ｄ２を視覚的に連続するように移動する。これにより、ユーザは、メイン情報Ｄ１，Ｄ２を目で追いながら、移動後の表示欄Ｄｈの位置を確認することができる。したがって、表示欄Ｄｈが切り替わることにより、ユーザが、メイン情報Ｄ１，Ｄ２の表示箇所を見失ったり、他の水上移動体Ｓ１，Ｓ２のメイン情報Ｄ１，Ｄ２と誤認したりすることを防止することができる。メイン情報Ｄ１，Ｄ２の表示が徐々に移動するように描画する方法については、対応線Ｌ１の長さを徐々に変化させるように描画する方法と同様にしてもよい。

なお、本実施形態は、以下のように変形してもよい。
データ合成部３４は、３次元シーンデータ４８及び映写スクリーン５１を同時にレンダリングしなくてもよい。即ち、データ合成部３４は、３次元シーンデータ４８のレンダリング結果である２次元の映像（図形４１ｆ～４５ｆなどの映像）と、映写スクリーン５１のレンダリング結果である２次元の映像（映写スクリーン５１に貼り付けられたカメラ３の撮影映像）と、を別々に作成してもよい。その後に、別々に作成したこれらの２次元の映像を合成することで、ＡＲ映像が生成される。この場合、３次元シーンデータ４８のレンダリング処理は、船舶４の移動等に応じて随時行い、映写スクリーン５１のレンダリング処理は、カメラ３による映像のフレームレートに応じた短い時間間隔で行うようにしてもよい。

カメラ３は、パン又はチルトなどの回転動作する機能を備えずに、撮影方向が固定されてもよい。この場合、撮影方向は、前方、後方又はその他の方向のいずれに固定されてもよい。また、カメラ３を、船舶４の周囲を３６０度の全方位にわたって同時撮影が可能な構成としてもよい。また、ユーザが視点カメラ５５の向きを変更する操作をした場合、それに追従するように、カメラ３の回転動作が自動的に行われるようにしてもよい。

３次元シーン生成部３２による３次元シーンデータ４８の生成は、図４に示すように、仮想現実オブジェクト４１ｖ～４５ｖが船舶４の位置を原点とした船首基準で配置される構成で説明したが、これに限らない。仮想現実オブジェクト４１ｖ～４５ｖは、船首基準ではなく、＋ｚ方向が真北となる真北基準で配置されてもよい。この場合、船舶４の回頭等により船首方位が変化したときは、仮想現実オブジェクト４１ｖ～４５ｖを再配置する代わりに、３次元仮想空間４０での船舶４の向きをヨー方向に変化させる。このときのカメラ３の位置及び向きの変化を３次元仮想空間４０においてシミュレートし、これに連動して視点カメラ５５の位置及び向きを変更してレンダリングを行う。このようにして、船首基準の場合と同様に、レンダリング結果が得られる。

３次元仮想空間４０の座標系は、船舶４の位置を原点とする代わりに、任意に選択された地球上の固定点を原点にし、＋ｚ方向が真北、＋ｘ方向が真東のように、座標軸と方位の関係を固定してもよい。この場合、３次元仮想空間４０の座標系は、地球上に固定され、船舶４が配置される位置及び向きは、位置情報及び姿勢情報に基づいて変化する。この変化に伴い、カメラ３の位置及び向きの変化は、３次元仮想空間４０でシミュレートされる。

映像生成装置１は、船舶４の揺れに伴うＡＲ映像の揺れを軽減する処理を行ってもよい。このような処理として、例えば、３次元シーン生成部３２は、船舶４が揺れても視点カメラ５５の位置及び向きの変動を抑制するようにしてもよい。
本実施形態によれば、以下の作用効果を得ることができる。

２つ以上のマーカーのタッチ判定領域が重ならないように、物標とマーカーを接続する対応線の長さを変化させることで、ユーザがマーカーを選択する操作性を向上することができる。
詳細情報を表示するためのマーカーを、水上移動体（物標）の垂直方向（上方向又は下方向）に表示することで、ＡＲ映像におけるマーカーを見易くすることができる。例えば、マーカーを水上移動体の水平方向（右方向又は左方向）に表示した場合、ＡＲ映像では、水平方向に水上移動体が密集し易いため、マーカー同士が重なったり、マーカーと別の水上移動体の表示が重なったりして、マーカーが見え難くなり易い。

物標を認識した船舶機器（ＡＩＳ受信機９又はレーダ１２など）に応じて、マーカーの表示形態（例えば、形状）を異ならせることで、ユーザは、マーカーを見るだけで、メイン情報の情報源を知ることができる。
マーカーがタッチされたか否かを判定するためのタッチ判定領域を、マーカーを包含するマーカーよりも大きい面積にすることで、マーカーを選択するときのユーザの操作性を向上することができる。

各物標のメイン情報を表示する箇所をＡＲ映像の所定の箇所（例えば、画面下）に予め確保しておくことで、ＡＲ映像において、メイン情報を見易く配置することができる。また、ＡＲ映像における物標の位置の移動に応じて、対応するメイン情報の表示箇所を移動させることで、物標とメイン情報との対応関係を分かり易くすることができる。

ある物標について危険度が高いと判断された場合は、その物標のメイン情報の表示を目立たせるようにすることで、ユーザに危険度の高い物標又はそのメイン情報を視覚的に知らせることができる。
マーカーの表示方法とメイン情報等の表示方法は、それぞれ別々に独立して実施することができ、いずれか一方を実施した場合でも、実施したその表示方法による作用効果を受けることができる。また、両方を実施した場合には、その組合せによる更なる作用効果を得ることができる。

なお、本発明は上述した実施形態に限定されず、構成要素を削除、付加又は変更等をしてもよい。また、複数の実施形態について構成要素を組合せ又は交換等をすることで、新たな実施形態としてもよい。このような実施形態が上述した実施形態と直接的に異なるものであっても、本発明と同様の趣旨のものは、本発明の実施形態として説明したものとして、その説明を省略している。

１…映像生成装置、２…ディスプレイ、３…カメラ、４…船舶、５…ＧＮＳＳコンパス、６…角速度センサ、７…ＧＮＳＳ受信機、８…加速度センサ、９…ＡＩＳ受信機、１０…ＥＣＤＩＳ、１１…プロッタ、１２…レーダ、１３…ソナー、１４…入力機器、２０…ＡＲ映像生成部、２１…撮影映像入力部、２２…撮影位置設定部、２３…アンテナ位置設定部、２４…位置取得部、２５…姿勢取得部、２６…詳細情報取得部、２７…記憶部、２８…視点設定部、２９…表示設定部、３１…詳細情報生成部、３２…３次元シーン生成部、３３…画面情報生成部、３４…データ合成部。

Claims (18)

1. 水上移動体に設けられる撮影手段と、
   物標に関する物標情報を取得する物標情報取得手段と、
   前記撮影手段により撮影される撮影映像に、前記物標情報取得手段により取得される前記物標情報が表示された拡張映像を生成する拡張映像生成手段と、
   前記物標をユーザが選択するためのマーカーを、前記拡張映像における前記物標の表示箇所に対応して移動するように表示するマーカー表示手段と、
   前記マーカーのそれぞれが選択されたことを判定する判定領域が重ならないように、前記マーカーのうち少なくとも１つの表示箇所を移動するマーカー移動手段と
   を備えることを特徴とする映像生成装置。
2. 前記物標と前記マーカーとの対応関係を示す第１対応線を表示する第１対応線表示手段
   を備えることを特徴とする請求項１に記載の映像生成装置。
3. 前記第１対応線は、前記物標の表示箇所から垂直方向に出ること
   を特徴とする請求項２に記載の映像生成装置。
4. 前記マーカー移動手段は、前記第１対応線の長さを変えるように、前記マーカーの表示箇所を移動すること
   を特徴とする請求項２に記載の映像生成装置。
5. 前記マーカー移動手段は、前記マーカーを視覚的に連続するように移動すること
   を特徴とする請求項１に記載の映像生成装置。
6. 前記マーカー移動手段は、前記マーカーの前記第１対応線の長さを他の前記マーカーの前記判定領域と重ならない長さにし、他の前記マーカーの前記判定領域と重ならない場合、前記第１対応線の長さを予め設定された長さにすること
   を特徴とする請求項２に記載の映像生成装置。
7. 前記物標情報取得手段により取得された前記物標情報に基づいて、前記ユーザにより選択された前記マーカーに対応する前記物標の第１詳細情報を表示する第１詳細情報表示手段を備え、
   前記マーカー表示手段は、前記第１詳細情報表示手段により表示される前記第１詳細情報を取得した前記物標情報取得手段の種類毎に、前記マーカーの表示形態が異なること
   を特徴とする請求項１に記載の映像生成装置。
8. 前記判定領域は、前記マーカーよりも大きい面積であること
   を特徴とする請求項１に記載の映像生成装置。
9. 危険な物標を検出する危険物標検出手段と、
   前記危険物標検出手段により検出された前記危険な物標又は前記危険な物標に対応する前記物標情報を目立つように表示する危険物標表示手段と
   を備えることを特徴とする請求項１に記載の映像生成装置。
10. 前記物標情報取得手段により取得された前記物標情報に基づいて、前記ユーザにより選択された前記マーカーに対応する前記物標の第１詳細情報を、前記拡張映像が表示される画面の予め決められた第１スペースに表示する第１詳細情報表示手段
    を備えることを特徴とする請求項１に記載の映像生成装置。
11. 前記マーカーと前記第１詳細情報との対応関係を示す第２対応線を表示する第２対応線表示手段
    を備えることを特徴とする請求項１０に記載の映像生成装置。
12. 前記物標情報取得手段により取得された前記物標情報のうち前記第１詳細情報とする項目を前記ユーザが選択するための第１詳細情報項目選択手段
    を備えることを特徴とする請求項１０に記載の映像生成装置。
13. 前記第１詳細情報項目選択手段により選択された前記項目に基づいて、前記第１詳細情報を表示する第１表示欄の数を決定する第１表示欄数決定手段
    を備えることを特徴とする請求項１２に記載の映像生成装置。
14. 前記第１詳細情報を表示する複数の第１表示欄の前記第１スペースにおける配置を決定する第１表示欄配置決定手段
    を備えることを特徴とする請求項１０に記載の映像生成装置。
15. 前記第１詳細情報表示手段は、前記拡張映像における前記物標の表示箇所の移動に対応して、前記第１詳細情報の表示を異なる配置の前記第１表示欄に移動すること
    を特徴とする請求項１４に記載の映像生成装置。
16. 前記第１詳細情報表示手段は、前記第１詳細情報の表示を視覚的に連続するように移動すること
    を特徴とする請求項１５に記載の映像生成装置。
17. 複数の前記第１詳細情報のうち少なくとも１つを前記ユーザが選択するための第１詳細情報選択手段と、
    前記物標情報取得手段により取得された前記物標情報に基づいて、前記第１詳細情報選択手段により選択された前記第１詳細情報と同一の前記物標の異なる情報である第２詳細情報を、前記第１スペースと異なる第２スペースに表示する第２詳細情報表示手段と
    を備えることを特徴とする請求項１０に記載の映像生成装置。
18. 水上移動体に設けられる撮影手段により撮影し、
    物標に関する物標情報を取得し、
    前記撮影手段により撮影した撮影映像に、取得した前記物標情報が表示された拡張映像を生成し、
    前記物標をユーザが選択するためのマーカーを、前記拡張映像における前記物標の表示箇所に対応して移動するように表示し、
    前記マーカーのそれぞれが選択されたことを判定する判定領域が重ならないように、前記マーカーのうち少なくとも１つの表示箇所を移動すること
    を含むことを特徴とする映像生成方法。

Images