JP7212788B2

JP7212788B2 - ガイド表示方法

Info

Publication number: JP7212788B2
Application number: JP2021539747A
Authority: JP
Inventors: 大祐山岡; 一彦田中; 祐瀧口; 瞳 ▲濱▼村
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2019-08-13
Filing date: 2019-08-13
Publication date: 2023-01-25
Anticipated expiration: 2039-08-13
Also published as: WO2021029016A1; JPWO2021029016A1

Description

本発明は、ガイド表示に関する。

近年、ＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）として知られる表示技術が様々な分野で利用されている。特許文献１には、自走式のブームスプレーヤーである農作業機１が記載されている。特許文献１では、車両１０（農作業機１）に取り付けられたカメラ３２によって撮影された撮影映像Ａ２が、計算機３５の演算装置３５ｂによってガイド画像Ａ１に重ね合わせて、ＡＲとして表示機３６に表示されると記載されている。さらには、ガイド画像Ａ１と実際の圃場の撮影映像Ａ２とが重ね合わされてガイド映像Ａ３が表示されるため、ガイド画像Ａ１に示される情報（例えば、ガイド線Ｌ、走行軌跡Ｘ、作業領域Ｓ等）と作物Ｃの位置や構造物等との関係が作業者によって把握可能になると記載されている。

特開２０１５－１６４００１号公報

特許文献１では、車両１０の移動領域である圃場の地面に描かれた格子状の模様の撮影映像Ａ２に基づいてガイド画像Ａ１が補正され、補正されたガイド画像Ａ１が撮影映像Ａ２に重畳される。

しかしながら、車両が雪面上を走行する場合、地面は積雪で覆われており、例えば用水路や縁石といった走行の障害になるような物体が雪面下に存在することがある。従って、積雪後の状態におけるガイド表示には、より改善が求められる。

本発明は、積雪後の状態で走行するためのガイドを適切に表示する仕組みを提供することを目的とする。

本発明に係るガイド表示方法は、所定位置における積雪後の状態を表す撮影データを取得する第１取得工程と、前記第１取得工程において取得された前記撮影データに基づいて、前記所定位置における積雪前の状態を表す画像データを記憶する第１記憶手段から前記撮影データの表す前記積雪後の状態に対応する画像データを取得する第２取得工程と、前記第１取得工程において取得された前記撮影データと、前記第２取得工程において取得された前記画像データとに基づいて、前記撮影データの表す前記積雪後の状態で走行するためのガイドを表示するための表示データを生成する生成工程と、を有することを特徴とする。

本発明に係るガイド表示方法は、サーバと、前記サーバと通信可能な車両と、を含むガイド表示システムにおいて実行されるガイド表示方法であって、前記サーバが、所定位置における積雪後の状態を表す撮影データを前記車両から受信する第１受信工程と、前記第１受信工程において受信された前記撮影データに基づいて、前記所定位置における積雪前の状態を表す画像データを記憶する記憶手段から前記撮影データの表す前記積雪後の状態に対応する画像データを取得する取得工程と、前記第１受信工程において受信された前記撮影データと、前記取得工程において取得された前記画像データとに基づいて、前記撮影データの表す前記積雪後の状態で走行するためのガイドを表示するための表示データを生成する生成工程と、前記生成工程において生成された前記表示データを前記車両に送信する第１送信工程と、前記車両が、撮影手段により撮影された前記撮影データを前記サーバへ送信する第２送信工程と、前記表示データを前記サーバから受信する第２受信工程と、前記第２受信工程において受信された前記表示データに基づいて、前記積雪後の状態に前記ガイドが重畳された画面を表示する表示工程と、を有することを特徴とする。

積雪後の状態で走行するためのガイドを適切に表示することができる。

本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。

添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
ガイド表示システムの構成を示す図である。除雪機の構成を示す図である。除雪機の構成を示すブロック図である。四輪車両の構成を示すブロック図である。サーバの構成を示すブロック図である。ＡＲ表示データの生成を説明するための図である。車両側の処理を示すフローチャートである。サーバ側の処理を示すフローチャートである。サーバ側の処理を示すフローチャートである。サーバ側の処理を示すフローチャートである。方向性のずれを説明するための図である。サーバ側の処理を示すフローチャートである。サーバ側の処理を示すフローチャートである。サーバ側の処理を示すフローチャートである。サーバ側の処理を示すフローチャートである。撮影データの画像を示す図である。積雪前画像データの画像を示す図である。ＡＲオブジェクトを示す図である。ＡＲオブジェクトが撮影データに重畳された画像を示す図である。作業ラインオブジェクトを示す図である。積雪情報オブジェクトを示す図である。警告オブジェクトを示す図である。警告オブジェクトを示す図である。

図１は、本実施形態におけるガイド表示システム１００の構成を示す図である。ガイド表示システム１００は、雪面を走行する車両が撮影している撮影画像に対して走行路を示すガイド情報をＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）表示して車両の搭乗者に提供するシステムである。図１に示すように、ガイド表示システム１００は、サーバ１０１、車両１０４、１０５、１０６、携帯型端末１０７を含む。サーバ１０１は、上記のガイド表示サービスを提供するためのサーバである。なお、図１では、サーバ１０１は１つの装置として示されているが、複数の装置で構成されても良い。即ち、本実施形態におけるサーバ１０１は、１つの装置でサーバ機能を提供する構成、複数の装置で連携してサーバ機能を提供する構成、を含む。本実施形態で「車両」は、その形態について限定されるものではなく、図１の車両１０４、１０５、１０６で示されるような、四輪車両、鞍乗り型の二輪車両、作業用車両、を含む。作業用車両は、特殊用途のための車両であり、例えば除雪機である。ガイド表示システム１００において、車両１０４、１０５、１０６の搭乗者は、ガイド表示サービスを享受することができる。また、スマートフォンのような携帯型端末１０７もガイド表示システム１００に接続可能であり、携帯型端末１０７を保持して雪面上を移動する移動者は、ガイド表示システム１００のガイド表示サービスを享受することができる。なお、本実施形態において、車両の搭乗者とは、車両の運転者や他の乗員を含むものとする。

無線基地局１０３は、例えばサーバ１０１がガイド表示サービスを提供可能な領域内に設けられた無線基地局であり、車両１０４、１０５、１０６、携帯型端末１０７と相互に通信可能である。また、サーバ１０１は、ネットワーク１０２を介して無線基地局１０３と相互に通信可能に構成されている。そのような構成により、例えば、車両１０４、１０５、１０６、携帯型端末１０７は、位置情報等の車両情報もしくは端末情報をサーバ１０１に送信可能であり、サーバ１０１は、車両１０４、１０５、１０６、携帯型端末１０７に対して表示データを送信可能である。図１では、ネットワーク１０２は、単体のネットワークとして示されているが、ルータ等により複数のネットワークが構成されても良い。また、サーバ１０１及び車両１０４、１０５、１０６、携帯型端末１０７は、図１に示すネットワーク１０２以外のネットワークにも接続可能であり、例えば、インターネットに接続可能である。

通信機１０８は、例えば道路沿いに設けられた路側機であり、例えばＤＳＲＣ（ＤｅｄｉｃａｔｅｄＳｈｏｒｔＲａｎｇｅＣｏｍｍｕｎｉｃａｔｉｏｎ）により、車両１０４、１０５、１０６、携帯型端末１０７の少なくともいずれかとの通信（路車間通信など）が可能である。例えば、通信機１０８は、車両１０４の車両情報をサーバ１０１に送信するためや、路面の状態情報（積雪状態や凍結状態など）をサーバ１０１に送信するために用いられる。

図１の構成に限られず、ガイド表示システム１００は、他の装置を適宜含んでも良い。例えば、地図情報、交通情報、または気象情報に関するデータベースサーバを含み、サーバ１０１は、それらのデータベースサーバにアクセス可能なように構成されても良い。

図２は、除雪機である車両１０６の構成を示す図である。本実施形態では、車両１０６は、オーガにより雪をかき集め、シュータから雪を投射するクローラ式除雪車両である。車両１０６の除雪機構の部分を説明する。車両１０６は、除雪部２０１を有し、除雪部２０１は、エンジン２２１を駆動源とするオーガ２０３、ブロア２０４、そり２１０、及びシュータ２０５を含む。エンジン２２１の動力は、小径プーリ２０７、ベルト２０８、大径プーリ２０９、駆動軸２０６、オーガ軸２０２の順で伝わり、オーガ２０３を回転させる。オーガ２０３は、回転することにより、路上の雪を図面表裏方向にかき集めてブロア２０４に送り込み、ブロア２０４の遠心力でシュータ２０５を介して雪を外部へ投射する。車両１０６は、また、エンジンカバー２２０、エンジン空冷用ファン２２２、空冷用ファン軸２２３、駆動輪２１７に接続される出力プーリを有する。

車両１０６の走行機構の部分を説明する。車両１０６は、前部に遊動輪２１１、下部に３個の下部転輪２１３、２１４、２１５を各々回転自在に備えたクローラフレーム２１２の後部に車体フレーム２１９を連結し、車体フレーム２１９の前部に除雪部２０１が構成されている。ピボット軸２１８は、クローラフレーム２１２に車体フレーム２１９を連結する。車体フレーム２１９の後部に駆動輪２１７が構成され、駆動輪２１７と遊動輪２１１との間にクローラベルト２１６が巻き掛けられることで、車両１０６はクローラ式除雪車両として構成される。また、車両１０６は、前方を照射可能なヘッドランプ２２５及びサブヘッドランプ２２６が取り付けられている。また、操作部２２４は、車両１０６の走行機構や除雪機構等に係る各部を制御するための指示を受付可能なヒューマンマシンインタフェースである。

本実施形態においては、車両１０６はさらに、制御部２２９を備える。制御部２２９は、車両１０６に取り付けられた外部環境を認識するための検知部２２７、２２８からの検知信号を取得する。検知部２２７、２２８は、例えば、カメラやセンサである。

本実施形態では、車両１０６は、操縦者が搭乗するタイプであっても良いし、操縦者による手押しタイプであっても良い。また、車両１０６は、操縦者が不在の全自動運転が可能な車両であっても良い。操縦者が搭乗するタイプであれば、シート、ハンドルやペダル等の操縦部、操作部２２４、を含む搭乗部（不図示）がエンジンカバー２２０の後部に設けられる。

図３は、除雪機である車両１０６の構成を示すブロック図である。制御部３００は、メインとなるプロセッサ３０１、メモリ３０２を含む。例えば、プロセッサ３０１が記憶部３１５に記憶されたプログラムをメモリ３０２に読み出して実行することにより、制御部３００は、車両１０６を統括的に制御する。制御部３００は、図２の制御部２２９に対応する。図３の外界認識用カメラ３０５及び外界認識用センサ３０６は、図２の検知部２２７、２２８に対応する。図３の操作部３１４は、図２の操作部２２４に対応する。図３の駆動制御部３０３は、図２のエンジン２２１や、車両１０６の各部の機構を制御する機構制御部（不図示）、電気系統制御部（不図示）に対応する。走行機構３１０、除雪機構３１１は、図２で上述した走行機構、除雪機構の各部に対応する。点灯部３１２は、ヘッドランプ２２５及びサブヘッドランプ２２６や、方向指示器（不図示）などの報知機構を含む。表示制御部３０４は、表示データに基づいて、表示部３１３への表示を制御する。

記憶部３１５は、上記のプログラムの他、各種パラメータやデータ等を記憶する。操作部３１４は、搭乗者からの操縦操作を受け付けるためのハンドルやペダル、計器パネルの他、各種ユーザインタフェース画面等を表示するパネル（表示部３１３）や設定操作を受け付けるための入力部を含む。通信インタフェース（Ｉ／Ｆ）３０９は、無線基地局１０３と通信するためのアンテナ、信号フォーマットの変換部を含む。ＧＰＳセンサ３０７は、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）センサであり、車両１０６の現在位置を検知する。ジャイロセンサ３０８は、車両１０６の姿勢を検知する。車両１０６の姿勢とは、例えば、ロール角、ピッチ角、ヨー角である。

外界認識用カメラ３０５は、外部環境を撮像するカメラであり、車両１０６の前方、側方、後方を撮像可能なように取り付けられている。外界認識用センサ３０６は、例えば、超音波センサであり、車両１０６の前方に照射した超音波の反射波を検知することにより、積雪面の状態、例えば、積雪面が丘状であることを検知可能である。また、外界認識用センサ３０６は、例えば、シュータ２０５の上方、例えば図２の検知部２２７の位置に設けられた赤外線センサであり、積雪面に赤外線を投射することにより、前方の積雪深を検知可能である。また、例えば、雪質状態、例えば、密度が高く積雪面が固い状態であるか、若しくは、密度が低く積雪面が柔らかい状態であるかを、反射波の強度に基づいて検知可能である。外界認識用カメラ３０５及び外界認識用センサ３０６は、図２の検知部２２７、２２８の位置に限られない。例えば、車両１０６の側面でも良いし、ヘッドランプ２２５の近傍でも良いし、シュータ２０５の先端に近い部分でも良い。例えば、シュータ２０５の先端に近い部分に取り付けられることにより、積雪深が２ｍほどになった場合であっても、車両１０６の搭乗者から死角となるような前遠方をカメラにより撮像可能となる。

図２及び図３では、除雪機である車両１０６の構成について説明した。しかしながら、外界を認識するための構成（カメラ等）、位置情報や姿勢情報を認識するための構成（ＧＰＳセンサやジャイロセンサ等）、表示部、通信Ｉ／Ｆを備えるのであれば、車両１０６の構成に限られず、車両１０４のような四輪車両、車両１０５のような二輪車両、携帯型端末１０７であっても良い。また、図２及び図３では、車両１０６が、外界を認識するための構成を備えている例を説明したが、車両１０６に対して外界を認識するための構成が脱着可能であっても良い。例えば、カメラやＧＰＳを備えるスマートフォンを車両１０６にアタッチメント等で取り付けるようにしても良い。また、車両１０６は、特殊用途の車両であれば、除雪機に限られず、例えば、農作業機であっても良い。以下、車両１０６以外の車両として、四輪車両の構成例を説明する。

図４は、四輪車両である車両１０４の構成の一例を示すブロック図である。制御部４００は、メインとなるプロセッサ４０１、メモリ４０２を含む。例えば、プロセッサ４０１が記憶部に記憶されたプログラムをメモリ４０２に読み出して実行することにより、制御部４００は、車両１０４を統括的に制御する。また、制御部４００は、外界認識部４０３、行動計画部４０４、駆動制御部４０５、デバイス制御部４０６を含む。各ブロックは、１つのＥＣＵ、若しくは、複数のＥＣＵにより実現される。

外界認識部４０３は、外界認識用カメラ４０７及び外界認識用センサ４０８からの信号に基づいて、車両１０４の外界情報を認識する。ここで、外界認識用カメラ４０７は、例えば車両１０４の前方を撮影するカメラであり、ルーフ前部でフロントウィンドウの車室内側に取り付けられたカメラである。また、外界認識用センサ４０８は、例えば、車両１０４の周囲の物標を検知したり、物標との距離を測距するLIDAR(Light Detection and Ranging)やミリ波レーダーである。外界認識部４０３は、外界認識用カメラ４０７及び外界認識用センサ４０８からの信号に基づいて、例えば、交差点や踏切、トンネル、路肩等のフリースペース、他車両の挙動（速度や進行方向）を認識する。ＧＰＳセンサ４０９は、車両１０４の現在位置を検知し、ジャイロセンサ４１０は、車両１０４の姿勢を検知する。車両１０４の姿勢とは、例えば、ロール角、ピッチ角、ヨー角である。

行動計画部４０４は、外界認識部４０３、ＧＰＳセンサ４０９で検知した位置情報に基づいて、最適経路、リスク回避経路など、車両１０４の行動を計画する。行動計画部４０４は、例えば、交差点や踏切等の開始点や終点に基づく進入判定、他車両の挙動予測に基づく行動計画を行う。駆動制御部４０５は、行動計画部４０４による行動計画に基づいて、駆動力出力機構４１２、ステアリング機構４１３、ブレーキ機構４１４を制御する。ここで、駆動力出力機構４１２は、例えばパワープラントであり、ステアリング機構４１３は、例えば電動パワーステアリング装置であり、ブレーキ機構４１４は、例えばディスクブレーキ装置である。

デバイス制御部４０６は、制御部４００に接続されるデバイスを制御する。例えば、デバイス制御部４０６は、スピーカ４１５を制御し、警告やナビゲーションのためのメッセージ等、所定の音声メッセージを出力させる。また、例えば、デバイス制御部４０６は、表示装置４１６を制御し、各種のインタフェース画面を表示させる。また、例えば、デバイス制御部４０６は、ナビゲーション装置４１７を制御し、ナビゲーション装置４１７での設定情報を取得する。通信インタフェース（Ｉ／Ｆ）４１１は、無線基地局１０３と通信するためのアンテナ、信号フォーマットの変換部を含む。

制御部４００は、図４に示す以外の機能ブロックを適宜含んでも良く、例えば、地図情報に基づいて目的地までの最適経路を算出する最適経路算出部を含んでも良い。また、制御部４００が、外界認識用カメラ４０７や外界認識用センサ４０８以外から外界情報を取得しても良く、例えば、他の車両を経由して外界情報を取得するようにしても良い。また、制御部４００は、ＧＰＳセンサ４０９やジャイロセンサ４１０だけでなく、車両１０４に設けられた各種センサからの検知信号を受信する。例えば、制御部４００は、車両１０４のドア部に設けられたドアの開閉センサやドアロックの機構センサの検知信号を、ドア部に構成されたＥＣＵを介して受信する。それにより、制御部４００は、ドアのロック解除や、ドアの開閉動作を検知することができる。

図５は、サーバ１０１の構成を示すブロック図である。制御部５００は、ＣＰＵやＧＰＵであるメインのプロセッサ５０５、ＲＯＭやＲＡＭであるメモリ５０６を含み、サーバ１０１を統括的に制御する。例えば、プロセッサ５０５が記憶部５０１に記憶されたプログラムをメモリ５０６に読み出して実行することにより、本実施形態の動作が実現される。サーバ１０１は、記憶媒体に記憶されたプログラムに係る本発明を実施するコンピュータとなり得る。

積雪前状態取得部５０７は、所定位置における積雪前の状態を表す積雪前画像データを取得する。積雪前状態取得部５０７は、例えば、ユーザが積雪のない所定位置の状態を撮影することにより取得する。または、積雪前状態取得部５０７は、ドローンなどにより、積雪前に撮影したストリートビューのデータを積雪前画像データとして取得する。積雪前状態取得部５０７は、取得した積雪前画像データを記憶部５０１に積雪前画像データ５１４として格納する。積雪前状態取得部５０７は、定期的に積雪前画像データを取得し、積雪前画像データ５１４を更新する。

撮影データ取得部５０８は、車両１０４、１０５、１０６、携帯型端末１０７で撮影された撮影データを取得する。本実施形態では、撮影データ取得部５０８により取得される撮影データは、車両１０４、１０５、１０６の走行方向、携帯型端末１０７の保持者の移動方向の前方における積雪状態を撮影した撮影データである。撮影データ取得部５０８は、取得した撮影データを記憶部５０１に撮影データ５１７として格納する。

車両情報取得部５０９は、車両１０４、１０５、１０６から車両情報を取得する。ここで、車両情報とは、例えば、車両の位置情報、車両の挙動に関する情報、車両の姿勢に関する情報、車両の属性情報である。車両の位置情報は、例えば緯度及び経度情報であり、車両の挙動に関する情報は、例えば速度や加速度情報、車両の各部の駆動情報や、カメラやセンサなどの検知情報である。車両の姿勢に関する情報は、例えばロール角、ピッチ角、ヨー角の車両の傾き情報である。車両の属性情報とは、例えば、除雪機の車両１０６のサイズ（小型、中型、若しくは大型）に関する情報である。また、車両情報取得部５０９は、携帯型端末１０７から端末情報を取得する。ここで、端末情報とは、例えば、携帯型端末の位置情報、携帯型端末の挙動に関する情報を含む。携帯型端末の位置情報は、例えば緯度及び経度情報であり、携帯型端末の挙動に関する情報は、例えば速度や加速度情報、カメラやセンサなどの検知情報である。本実施形態では、車両１０６を、車両１０４、１０５、１０６、携帯型端末１０７の代表例として説明する。従って、説明中の車両情報は、端末情報として置換可能である。車両情報取得部５０９は、取得した車両情報を記憶部５０１に車両情報５１８（若しくは、端末情報）として格納する。

画像認識部５１０は、撮影データ取得部５０８により取得された撮影データを解析し、画像認識を行う。画像認識部５１０は、例えば、撮影データの表す画像からオブジェクトを抽出する。画像認識部５１０によるオブジェクトの抽出については後述する。

ＡＲオブジェクト生成部５１１は、積雪前状態取得部５０７により取得された積雪前画像データに基づいて、ＡＲオブジェクトを生成する。ＡＲオブジェクト生成部５１１によるＡＲオブジェクトの生成については後述する。表示データ生成部５１２は、撮影データ取得部５０８により取得された撮影データと、ＡＲオブジェクト生成部５１１により生成されたＡＲオブジェクトとに基づいて、ＡＲ表示させるための表示データを生成する。表示データ生成部５１２による表示データの生成については後述する。

環境情報取得部５１３は、車両の走行路の環境に関する環境情報を取得する。環境情報とは、例えば、積雪に関する情報、車両の走行路周辺の移動物（歩行者等）に関する情報、走行路の傾斜情報や幅情報である。環境情報取得部５１３は、例えば、道路近傍に設置されている通信機１０８や路面状況センサ、外部のデータベースサーバから環境情報を取得する。また、環境情報取得部５１３は、車両１０６から積雪に関する情報を取得する場合もある。なお、積雪に関する情報とは、例えば積雪深や雪質（固さなど）に関する情報である。環境情報取得部５１３は、取得した環境情報を記憶物５０１に環境情報５１５として格納する。また、環境情報取得部５１３は、定期的に環境情報を取得し、環境情報５１５を更新するようにする。

記憶部５０１は、プログラムや各種パラメータ、データ等を記憶する。また、上述のように、記憶部５０１は、積雪前画像データ５１４、環境情報５１５、撮影データ５１７、車両情報５１８を記憶する。撮影データ５１７、車両情報５１８は、各車両から取得する情報であるので、各車両ごとの情報５１６として相互に関連付けられて記憶される。また、各車両ごとの情報５１６には、後述する除雪量情報５１９も含まれる。

表示部５０２は、例えば、ディスプレイであり、各種ユーザインタフェース画面を表示する。操作部５０３は、例えば、キーボードやポインティングデバイスであり、ユーザ操作を受け付ける。通信インタフェース（Ｉ／Ｆ）５０４は、ネットワーク１０２との通信を可能にするためのインタフェースであり、ネットワーク１０２の媒体に応じた構成を有する。

以下、本実施形態の動作について説明する。本実施形態では、例えば、四輪車両１０４が積雪された走行路を走行する状況や、除雪機である車両１０６が積雪された走行路上を除雪作業する状況を想定している。積雪深が数ｃｍから数十ｃｍとなると、走行路は完全に雪に覆われ、さらには、走行路と非走行路の境界の認識は困難となる。走行路と非走行路との境界には、例えば、側溝や用水路、縁石、花壇や植樹等が存在する場合がある。そのような場合、車両の搭乗者は、意図せずに、それらの上を走行してしまうおそれがある。積雪されていない状態であれば、例えば、四輪車両の外界認識用カメラ４０７や外界認識用センサ４０８によって、走行路と非走行路の境界を認識することが可能である。しかしながら、上記のような状況であれば、それらのデバイスを用いても、走行路と非走行路の境界の認識は困難である。

そこで、本実施形態では、車両の走行位置に対応する場所を、ユーザ自身により若しくはストリートビューなどで予め撮影しておいた積雪前画像データからＡＲオブジェクトを生成し、そのＡＲオブジェクトを車両が撮影した撮影データに対して重畳してＡＲ表示させる。以下、車両１０６を車両１０４、１０５、１０６、携帯型端末１０７の代表例として説明する。

図６は、本実施形態におけるＡＲ表示データの生成を説明するための図である。撮影データ６０１は、車両１０６が撮影した撮影データである。図１６は、撮影データ６０１の一例を示す図である。撮影データ６０１は、車両１０６の前方を撮影した撮影データであり、図１６に示すように、一面が雪で覆われ、走行路を認識することができない。

積雪前画像データ６０２は、サーバ１０１の記憶部５０１に記憶されているデータであり、例えば、撮影データ６０１の撮影画像の位置に対応する積雪前のストリートビューデータである。図１７は、積雪前画像データ６０２の一例を示す図である。図１７に示すように、図１６の撮影データ６０１が表す積雪前の状態を示しており、走行路や側溝を認識することができる。

本実施形態では、積雪前画像データ６０２からＡＲオブジェクト６０３を生成し、撮影データ６０１に対して、生成されたＡＲオブジェクト６０３を重畳することで、ＡＲ表示データ６０４を生成する。図１８は、ＡＲオブジェクト６０３の一例を示す図であり、図１９は、ＡＲ表示データ６０４の一例を示す図である。図１９に示すように、ＡＲ表示データ６０４は、図１６の撮影データ６０１に対して、図１８のＡＲオブジェクト６０３が重畳されている。そして、車両１０６の表示部３１３には、図１９のＡＲ表示データ６０４が表示される。

本実施形態では、上記のように走行路をガイドするためのＡＲ表示が行われるので、車両１０６の搭乗者は、雪面のどこが走行路であり、どこが走行路でないかを容易に認識することができる。

図７は、車両１０６において実行される、ＡＲ表示をサーバ１０１に要求する処理を示すフローチャートである。図７の処理は、例えば、プロセッサ３０１が記憶部３１５に記憶されたプログラムをメモリ３０２にロードして実行することにより実現される。

Ｓ１０１において、制御部３００は、ＡＲ表示を行う指示を受け付けたか否かを判定する。この判定は、例えば、車両１０６の表示部３１３に表示されたユーザインタフェース画面のメニュー項目（「ＡＲ表示の実施」項目など）が操作部３１４によって選択されたか否かに応じて判定されても良い。上記のユーザインタフェース画面は、例えば、サーバ１０１から提供されたアプリケーションを起動することにより表示される画面である。ＡＲ表示を行う指示を受け付けたと判定された場合、Ｓ１０２に進み、ＡＲ表示を行う指示を受け付けていないと判定された場合、図７の処理を終了する。

Ｓ１０２において、制御部３００は、車両１０６の走行方向前方の撮影データを取得する。その際、撮影データは、静止画像データでも良いし、動画像データでも良い。Ｓ１０３において、制御部３００は、車両１０６の識別情報とともに、ＡＲ表示データの要求をサーバ１０１に送信する。

Ｓ１０４において、制御部３００は、車両１０６の識別情報とともに、車両情報、及びＳ１０２で取得された撮影データをサーバ１０１に送信する。ここで、車両情報とは、例えば、ＧＰＳセンサ３０７により検知された位置情報である。また、車両情報として、他の情報を含んでも良く、例えば、ジャイロセンサ３０８により検知された車両１０６の姿勢や挙動に関する情報、外界認識用センサ３０６により検知された積雪に関する情報を含んでも良い。

そして、Ｓ１０５において、制御部３００は、サーバ１０１からＡＲ表示データを受信し、Ｓ１０６において、受信したＡＲ表示データに基づいてＡＲ表示する。Ｓ１０７において、制御部３００は、ＡＲ表示を継続するか否かを判定する。例えば、制御部３００は、車両１０６の停止、ＡＲ表示の終了の指示の受付け、を検出した場合には、ＡＲ表示を継続しないと判定する。ＡＲ表示を継続すると判定された場合、Ｓ１０２からの処理を繰り返し、ＡＲ表示を継続しないと判定された場合、図７の処理を終了する。

図８は、サーバ１０１において実行される、ＡＲ表示データを生成する処理を示すフローチャートである。図８の処理は、例えば、プロセッサ５０５が記憶部５０１に記憶されたプログラムをメモリ５０６にロードして実行することにより実現される。

Ｓ２０１において、制御部５００は、ＡＲ表示データの要求を受信したか否かを判定する。ＡＲ表示データの要求を受信したと判定された場合、Ｓ２０２へ進み、ＡＲ表示データの要求を受信していないと判定された場合、Ｓ２０１の処理を繰り返す。

Ｓ２０２において、制御部５００は、車両情報を取得し、車両１０６の識別情報とともに記憶部５０１に車両情報５１８として格納する。Ｓ２０３において、制御部５００は、撮影データを取得し、車両１０６の識別情報とともに記憶部５０１に撮影データ５１７として格納する。Ｓ２０４において、制御部５００は、積雪前画像データを取得する。

図９は、Ｓ２０４の積雪前画像データを取得する処理を示すフローチャートである。Ｓ３０１において、制御部５００は、Ｓ２０３で取得された撮影データに対して画像認識を行い、Ｓ３０２において、オブジェクトを抽出する。画像認識の結果、例えば、樹木、ビル、電柱といったように複数のオブジェクトが認識され得る。Ｓ３０２では、制御部５００は、撮影データの画像内において少なくとも２つのオブジェクトを抽出するようにする。例えば、図１６の撮影データの場合、オブジェクト８０１とオブジェクト８０２を抽出する。そのように抽出することで、後述するように、撮影データと積雪前画像データの間の方向性のずれを検出することが可能となる。

Ｓ３０３において、制御部５００は、Ｓ３０２で抽出されたオブジェクトを含む積雪前画像データが存在するか否かを判定する。Ｓ３０３では、制御部５００は、記憶部５０１に記憶された積雪前画像データ５１４のうち車両１０６の位置に対応する積雪前画像データを対象として、Ｓ３０２で抽出されたオブジェクトを含む積雪前画像データが存在するか否かを判定する。Ｓ３０２で抽出されたオブジェクトを含む積雪前画像データが存在すると判定された場合、Ｓ３０６において、制御部５００は、その積雪前画像データを取得する。Ｓ３０６の後、図９の処理を終了し、図８のＳ２０５に進む。一方、Ｓ３０３で抽出されたオブジェクトを含む積雪前画像データが存在しないと判定された場合、Ｓ３０４に進む。例えば、図１７の積雪前画像データは、図１６の撮影データで抽出されたオブジェクト８０１及び８０２に対応するオブジェクト９０１及び９０２を含んでいる。その場合、Ｓ３０２で抽出されたオブジェクトを含む積雪前画像データが存在すると判定される。

Ｓ３０４において、制御部５００は、撮影データの画像認識の結果、抽出された全てのオブジェクトについてＳ３０３の判定が終了したか否かを判定する。抽出された全てのオブジェクトについて終了していないと判定された場合、Ｓ３０２に戻り、他のオブジェクトを抽出する。一方、抽出された全てのオブジェクトについて終了していると判定された場合、図８のＳ２０５のＡＲオブジェクトの生成が実行できないので、ＡＲ表示ができない旨の通知メッセージデータを車両１０６の制御部３００に送信する。Ｓ３０５の後、図９及び図８の処理を終了する。通知メッセージデータを受信した車両１０６の制御部３００は、表示部３１３にその通知メッセージを表示する。なお、通知メッセージデータは、表示用のデータでも良いし、音声出力用のデータでも良い。

上述のように図８のＳ２０４の処理が行われると、車両１０６の位置に対応した積雪前画像データが取得される。Ｓ２０４の後、Ｓ２０５において、制御部５００は、Ｓ２０４で取得された積雪前画像データに基づいてＡＲオブジェクトを生成する。

図１０は、Ｓ２０５のＡＲオブジェクトを生成する処理を示すフローチャートである。Ｓ４０１において、制御部５００は、Ｓ２０３で取得された撮影データと、Ｓ３０６で取得された積雪前画像データとを比較する。Ｓ４０２において、制御部５００は、比較の結果、Ｓ２０３で取得された撮影データとＳ３０６で取得された積雪前画像データとの間で、撮影位置や撮影角度の違いによって生じる方向性のずれがあるか否かを判定する。

方向性のずれの判定については、例えば、以下のように行う。図１１に示すように、２本の物体７０１及び７０２を方向Ａから撮影した場合、その撮影画像内での物体間の距離が距離７０３であるとする。一方、角度θ１分回転した方向Ｂから撮影した場合、その撮影画像内での物体間の距離は距離７０４となり、角度θ２分回転した方向Ｃから撮影した場合、その撮影画像内での物体間の距離は距離７０５となる。図１１に示すように、回転角度が大きくなるにつれて、撮影画像内での物体間の距離は短くなる。つまり、方向性と撮影画像内での物体間の距離とは相関関係があるといえる。従って、Ｓ４０１の比較の結果、Ｓ３０２で抽出された複数のオブジェクト間の距離について、撮影データと積雪前画像データとで所定以上の差がある場合には、方向性のずれがあると判定する。Ｓ４０２で方向性のずれがあると判定された場合、Ｓ４０３へ進み、Ｓ４０２で方向性のずれがないと判定された場合、Ｓ４０４へ進む。

Ｓ４０３において、制御部５００は、方向性のずれに応じて、積雪前画像データを補正する。ここでの補正とは、Ｓ３０６で取得された積雪前画像データをＳ２０３で取得された撮影データの方向性に合わせる、即ち、Ｓ４０２で判定されたずれを解消するための補正であって、例えば、図１１の角度θ１分の回転である。積雪前画像データの撮影座標と車両１０６の位置とに基づいて、回転が行われた後、撮影方向（例えば方向Ｂ）上の移動（物体７０１及び７０２に接近するか若しくは物体７０１及び７０２から遠ざかる）を行うようにしても良い。

Ｓ４０４において、制御部５００は、車両１０６の搭乗者により指定されたＡＲ表示モードを取得する。ＡＲ表示モードとは、後述する追加オブジェクトを表示させるか否かについての情報である。本実施形態では、図１９に示すような走行路と非走行路を識別可能とするＡＲ表示を、標準のＡＲ表示モードとする。また、本実施形態では、標準のＡＲ表示の他、車両１０６の傾きや、人などの移動体が近くにいることなどをＡＲ表示により警告する表示モードが可能である。それらの表示モードの選択情報は、例えば、図７のＳ１０３でＡＲ表示データの要求とともに送信される。ここでは、標準のＡＲ表示モードのみが選択されているとして説明する。

Ｓ４０５において、制御部５００は、画像認識部５１０による画像認識結果を用いて、走行路識別用のＡＲオブジェクトを生成する。

図１８は、ＡＲオブジェクトの一例を示す図である。例えば、サーバ１０１の画像認識部５１０は、図１７の積雪前画像データ６０２に対して画像認識を行い、オブジェクトを抽出する。ここで抽出されるオブジェクトは、走行路と非走行路の境界を認識するためのオブジェクトであり、例えば、側溝や用水路、縁石、花壇や植樹である。これらの画像認識対象のオブジェクトについては、サーバ１０１において予め深層学習等により学習されており、画像認識部５１０は、その学習済みのモデルを用いて、積雪前画像データ６０２からそれらのオブジェクトを抽出する。

例えば、画像認識部５１０は、図１７の積雪前画像データ６０２の画像認識の結果、側溝９０５、車止め９０３、走行路端９０４を認識する。そして、画像認識部５１０は、図１８のＡＲオブジェクト１００１、１００２、１００３、１００４、１００５を生成する。ここで、ＡＲオブジェクト１００１は側溝９０５に対応し、ＡＲオブジェクト１００２は走行路端９０４に対応している。また、ＡＲオブジェクト１００３は、車止め９０３に対応している。また、ＡＲオブジェクト１００４は、走行できない（進入できない）という意味を表す警告マークであり、側溝９０５、車止め９０３、走行路端９０４に対応するＡＲオブジェクト１００１、１００３、１００２の近傍に配置される。また、ＡＲオブジェクト１００５は、走行可能なエリアを表すためのＡＲオブジェクトである。ＡＲオブジェクト１００５は、走行方向に向かっての矢印の形とされているが、走行可能であることを表すものであるならば、図１８に示す形状でなくても良い。また、ＡＲオブジェクト１００５は、画面奥側に向かって色が順次点滅していくような動的に表示されるものであっても良い。

Ｓ４０６において、制御部５００は、Ｓ４０４で取得されたＡＲ表示モードに基づいて、追加ＡＲオブジェクトを生成するか否かを判定する。ここで、追加ＡＲオブジェクトを生成すると判定された場合、Ｓ４０７に進み、追加ＡＲオブジェクトが生成される。Ｓ４０７の処理については後述する。一方、追加ＡＲオブジェクトを生成しないと判定された場合、図１０の処理を終了し、図８のＳ２０６へ進む。上述のように標準のＡＲ表示モードのみが選択されている場合には、Ｓ４０６で、追加ＡＲオブジェクトを生成しないと判定される。

図８のＳ２０６において、制御部５００は、ＡＲ表示データを生成する。図６で説明したように、制御部５００は、Ｓ２０３で取得された撮影データに対して、Ｓ２０５で生成されたＡＲオブジェクトを重畳することによりＡＲ表示データを生成する。

Ｓ２０７において、制御部５００は、Ｓ２０６で生成されたＡＲ表示データを通信Ｉ／Ｆ５０４を介して車両１０６に送信する。車両１０６の制御部３００は、受信したＡＲ表示データに基づいて、ＡＲ表示画面を表示部３１３に表示させる。表示部３１３には、例えば図１９のような撮影データにＡＲオブジェクトが重畳されたＡＲ表示画面が表示される。Ｓ２０７の後、図８の処理を終了する。なお、車両１０６の搭乗者による画面上の各ＡＲオブジェクトにアイコンを合わせるか若しくはクリックするかなどの操作に応じて、ＡＲオブジェクトの説明を表示させるようにしても良い。例えば、アイコンをＡＲオブジェクト１００３に合わせることにより、「車止めです。行き止まりで通行できません。」といったバルーン表示をするようにしても良い。また、アイコンの説明については、サーバ１０１から予め提供されたアプリケーションのユーザインタフェース画面内など、他の方法によって提示されるようにしても良い。

以下、図１０のＳ４０６で追加ＡＲオブジェクトを生成すると判定された場合の処理について説明する。

図１２は、Ｓ４０７の追加ＡＲオブジェクトを生成する処理を示すフローチャートである。以降のＳ５０１、Ｓ５０３、Ｓ５０５、Ｓ５０７の判定は、例えば、ＡＲ表示を行う指示を受け付ける際のユーザインタフェース画面のメニュー項目の選択状態に基づいて行われる。例えば、そのユーザインタフェース画面には、「ＡＲ表示の実施」というメニュー項目にさらに「追加ＡＲ表示」というサブメニュー項目が設けられ、その詳細項目として「警告」「作業ライン」「積雪情報」「除雪量」の各表示の要否の選択が可能なように表示される。それらの選択情報は、例えば、Ｓ２０１でＡＲ表示データの要求とともに受信される。

Ｓ５０１において、制御部５００は、上記の選択情報に基づいて、警告オブジェクトを表示するか否かを判定する。警告オブジェクトを表示すると判定された場合、Ｓ５０２へ進み、警告オブジェクトの生成が行われる。一方、警告オブジェクトを表示しないと判定された場合、警告オブジェクトの生成は行われずにＳ５０３へ進む。

警告オブジェクトの生成の一例について説明する。例えば、警告オブジェクトは、車両１０６の傾きが所定以上となった場合にその旨をＡＲ表示により警告通知するためのＡＲオブジェクトである。積雪された走行路を走行する際、積雪深の程度や雪質によっては車両が傾いてしまい、その傾きの程度が大きれば、転倒などを引き起こしてしまうおそれがある。そこで、本実施形態では、制御部５００は、車両１０６の傾き状態を監視し、所定以上となった場合には、車両１０６に警告オブジェクトを表示させる。

Ｓ５０１で警告オブジェクトを表示すると判定された場合には、Ｓ５０２において、制御部５００は、車両１０６の車両情報により、車両１０６の傾きの監視を実行する。例えば、制御部５００は、所定の時間間隔で車両１０６から姿勢に関する情報を取得する。車両１０６の傾きの監視が実行されることに並行して、図１２の処理は、Ｓ５０２からＳ５０３へ進む。

図１３は、車両１０６の傾きの監視の処理を示すフローチャートである。Ｓ６０１において、制御部５００は、車両１０６から傾き（姿勢）に関する情報を取得する。そして、Ｓ６０２において、Ｓ６０１で取得した傾きに関する情報が示す、例えばロール角やピッチ角が閾値以上であるか否かを判定する。閾値以上でないと判定された場合、Ｓ６０１の処理を繰り返す。一方、閾値以上であると判定された場合、Ｓ６０３において、制御部５００は、警告オブジェクトを生成する。

図２２は、車両１０６の傾きを警告する警告オブジェクトの一例を示す図である。図２２に示すように、警告オブジェクト１３０１が表示される。図２２では、警告オブジェクト１３０１は、矢印方向に傾きを繰り返すような動的な表示が行われるが、その表示形態については限定されるものではなく、車両１０６の傾きを警告するものであれば、点滅表示やテキスト表示など他の表示形態であっても良い。Ｓ６０３の後、図１３の処理を終了し、図１２の処理が再開されるか、若しくは、図１２の処理が終了していれば、図８のＳ２０６へ進む。

Ｓ５０２の警告オブジェクトの生成の他の一例について説明する。例えば、警告オブジェクトとは、車両１０６の搭乗者から死角となるような位置に人などの移動体がいる場合に、その旨を警告通知するためのＡＲオブジェクトである。極めて激しい降雪の際、その積雪深は数ｍに及び、壁状態となった雪の向こう側に人がいても、車両１０６の搭乗者から見えないことがある。搭乗者がそのような人の存在を意識することなく除雪作業をすると、シュータ２０５から投射された雪を人の頭上に落下させてしまうおそれがある。そこで、本実施形態では、制御部５００は、車両１０６の搭乗者からの死角に移動体が存在することが推定される場合には、その旨の警告オブジェクトをＡＲ表示させる。

図１４は、Ｓ５０２の警告オブジェクトを生成する処理を示すフローチャートである。Ｓ７０１において、制御部５００は、車両１０６の位置周辺の環境情報を取得する。環境情報とは、例えば、車両１０６の位置周辺の移動体の存在に関する情報である。ここで、移動体とは、例えば、歩行者、自転車、車両である。制御部５００は、路側機等の通信機１０８から取得するようにしても良いし、外部のデータベースサーバから取得するようにしても良い。もしくは、制御部５００は、車両情報から移動体の存在に関する情報を取得するようにしても良い。例えば、制御部５００は、車両１０６のシュータ２０５の先端に近い部分に取り付けられたカメラの画像データを取得するようにしても良い。

Ｓ７０２において、制御部５００は、Ｓ７０１で取得された環境情報に基づいて、移動体を認識したか否かを判定する。ここで、移動体を認識したと判定された場合、Ｓ７０３へ進む。一方、移動体を認識していないと判定された場合、警告オブジェクトを生成する必要がないので、図１４の処理を終了し、図１２のＳ５０３へ進む。

Ｓ７０３において、制御部５００は、Ｓ２０３で取得した撮影データの画像認識を行い、Ｓ７０４において、撮影データ上で移動体を認識したか否かを判定する。Ｓ７０４で移動体を認識したと判定された場合、Ｓ７０５で警告オブジェクトを生成する。Ｓ７０５に進むケースとは、例えば、車両１０６の進行方向上、右前方に歩行者が存在することが環境情報から認識され、且つ、車両１０６による撮影データにおいても認識されている状態である。従って、Ｓ７０５では、制御部５００は、撮影データ上で認識された歩行者のオブジェクトを四角形で囲うなど、搭乗者から容易に識別可能なように警告オブジェクトを生成する。Ｓ７０５の後、図１４の処理を終了し、図１２のＳ５０３へ進む。

一方、Ｓ７０４で移動体を認識していないと判定された場合、Ｓ７０６で警告オブジェクトを生成する。Ｓ７０６に進むケースとは、例えば、車両１０６の進行方向上、右前方に歩行者が存在することが環境情報から認識される一方、車両１０６による撮影データデータにおいては認識されていない状態である。これは、図２３に示すように、車両１０６の右前方の積雪深が数ｍであり、積雪の向こう側の歩行者が搭乗者から見えない状態の場合にあり得る。そこで、Ｓ７０６では、図２３の警告オブジェクト１４０１のように警告オブジェクトを生成し、その近傍に「雪の向こう側に人がいます！」といったメッセージを表示する。そのような警告表示により、車両１０６の搭乗者から死角となる位置に存在する移動体を、搭乗者に認識させることができる。また、警告メッセージ１４０１は、点滅などで動的に表示させることにより認識効果を高めるようにしても良い。Ｓ７０６の後、図１４の処理を終了し、図１２のＳ５０３へ進む。

再び、図１２を参照する。Ｓ５０３において、制御部５００は、選択情報に基づいて、作業ラインを表示するか否かを判定する。作業ラインを表示すると判定された場合、Ｓ５０４へ進み、作業ラインオブジェクトの生成が行われる。一方、作業ラインを表示しないと判定された場合、作業ラインオブジェクトの生成は行われずにＳ５０５へ進む。

作業ラインオブジェクトの生成の一例について説明する。例えば、作業ラインオブジェクトとは、除雪機である車両１０６の除雪作業ラインである。車両１０６が小型の除雪機であり且つ走行路幅が広い場合には、一定の距離を往復しながら作業が行われる。また、手押しタイプの除雪機の場合には、積雪状態や搭乗者の作業の熟達度によっては、直線で走行させることが難しい場合がある。そこで、本実施形態では、制御部５００は、例えば図２０に示すように、走行路と非走行路を識別可能に表示することに加えて、作業ラインオブジェクト１１０１のように、作業ラインをＡＲ表示させる。その際、制御部５００は、車両１０６から取得した車両情報と、環境情報とに応じて、作業ラインオブジェクトを生成する。例えば、中型サイズの除雪機と小型サイズの除雪機とでは、同じ走行路幅に対する往復回数は異なる。従って、Ｓ５０４において、制御部５００は、車両情報から得られる除雪機のサイズと環境情報から得られる走行路幅とに基づいて往復回数を決定し、その往復回数に応じた作業ラインオブジェクトを生成する。例えば、図２０の作業ラインオブジェクト１１０１によると、３往復した後、走行路から抜けるように誘導される。このように、車両１０６の搭乗者に対して、側溝９０５がない部分から走行路外へ出る経路を搭乗者に対して容易に認識させることができる。

車両１０６の走行に応じて、作業ラインオブジェクト１１０１の表示を変化させるようにしても良い。例えば、車両１０６が作業ラインオブジェクト１１０１の作業ラインから大きく逸脱するようなラインを走行している場合には、作業ラインオブジェクト１１０１の色を赤色点滅表示させるとともに、「ラインを外れています」等のメッセージを表示するようにしても良い。Ｓ５０４の後、Ｓ５０５へ進む。

Ｓ５０５において、制御部５００は、選択情報に基づいて、積雪に関する情報を表示するか否かを判定する。積雪に関する情報を表示すると判定された場合、Ｓ５０６へ進み、積雪情報オブジェクトの生成が行われる。一方、積雪に関する情報を表示しないと判定された場合、積雪情報オブジェクトの生成は行われずにＳ５０７へ進む。

積雪情報オブジェクトの生成の一例について説明する。積雪された雪の密度などの雪質は、積雪場所によって異なることがある。そのような雪質の違いは、車両１０６の走行に対してばかりでなく、除雪機の除雪作業に対しても影響を及ぼす可能性がある。そこで、本実施形態では、制御部５００は、例えば図２１に示すように、走行路と非走行路を識別可能に表示することに加えて、積雪情報オブジェクト１２０１、１２０２、１２０３のように、雪質の違いをＡＲ表示させる。制御部５００は、雪質の情報に応じて、積雪情報オブジェクト１２０１、１２０２、１２０３を生成する。例えば、積雪情報オブジェクト１２０１、１２０２、１２０３は、その順で、雪の密度が高くなる（固さが増す）ことを表している。なお、雪質の情報は、車両１０６からの車両情報（センサ情報）から取得しても良いし、環境情報から取得しても良い。図２１のような表示により、走行路から離れるに従って雪質が固くなるといったことを車両１０６の搭乗者に容易に認識させることができる。なお、図２１では、本表示の説明上、オブジェクト１００５の表示を省略しているが、オブジェクト１００５を合わせて表示するようにしても良い。

積雪に関する情報として、雪質に限られず、他の情報であっても良い。例えば、積雪深であっても良い。その場合、制御部５００は、走行路と非走行路を識別可能に表示することに加えて、積雪深の情報をＡＲ表示させる。そのＡＲ表示の形態として、例えば、撮影データにおいて、丘状に積雪された雪山と認識されるオブジェクトの傍らに「１ｍ」といった数値表示をするようにしても良い。若しくは、その雪山と認識されるオブジェクトに等高線（５０ｃｍライン、１ｍラインなど）を重畳するようにしても良い。Ｓ５０６の後、Ｓ５０７へ進む。

Ｓ５０７において、制御部５００は、選択情報に基づいて、除雪量を表示するか否かを判定する。除雪量を表示すると判定された場合、Ｓ５０８へ進み、除雪量オブジェクトの生成が行われる。一方、除雪量を表示しないと判定された場合、除雪量オブジェクトの生成は行われずに図１２の処理を終了し、図８のＳ２０６へ進む。

除雪量オブジェクトの生成の一例について説明する。図１５は、除雪量オブジェクトを生成する処理の一例を示すフローチャートである。Ｓ８０１において、制御部５００は、車両１０６からの車両情報に基づいて、除雪中であるか否かを判定する。除雪中であると判定された場合、Ｓ８０２へ進む。一方、停止しているなど、除雪中でないと判定された場合、図１５及び図１２の処理を終了し、図８のＳ２０６へ進む。

Ｓ８０２において、制御部５００は、除雪量情報を取得する。制御部５００は、例えば、車両１０６からの車両情報からエンジントルクを除雪量情報として取得するようにしても良い。そして、Ｓ８０３において、制御部５００は、取得したエンジントルクに基づいて、除雪量を推定する。

Ｓ８０４において、制御部５００は、Ｓ８０３で推定された除雪量に応じて、除雪量オブジェクトを生成する。除雪量オブジェクトとは、数値を示すオブジェクトであり、例えば「１０ｔ／ｈ」といった数値表示を画面端部にスコアのように表示させるためのオブジェクトである。そのような表示により、搭乗者に対してゲーム感覚を抱かせたり、除雪作業に伴う収入換算に用いることができる。Ｓ８０４の後、Ｓ８０１の処理が繰り返される。なお、Ｓ８０１～Ｓ８０４の処理が実行されることに並行して、図８のＳ２０６以降の処理が実行される。

制御部５００は、Ｓ８０２で取得した除雪量情報を記憶部５０１に除雪量情報５１９として蓄積し、メンテナンスの通知に用いるようにしても良い。例えば、制御部５００は、蓄積された除雪量情報５１９に基づいて、バッテリ交換などの消耗品交換の時期である旨を車両１０６に通知するようにしても良い。

以上のように、本実施形態によれば、車両が雪面上を走行する場合、搭乗者に対して走行路と非走行路を容易に認識させることができる。また、本実施形態では、図１に示すように、サーバ１０１が車両１０４、１０５、１０６、携帯型端末１０７と別装置として構成される形態を説明したが、サーバ１０１の少なくとも一部が車両１０４、１０５、１０６、携帯型端末１０７に構成されるようにし、撮影データを取得してから、ＡＲ表示データを生成してＡＲ表示するまでのリアルタイム性を向上するようにしても良い。

＜実施形態のまとめ＞
上記実施形態のガイド表示方法は、所定位置における積雪後の状態を表す撮影データを取得する第１取得工程（Ｓ２０３）と、前記第１取得工程において取得された前記撮影データに基づいて、前記所定位置における積雪前の状態を表す画像データを記憶する第１記憶手段（５１４）から前記撮影データの表す前記積雪後の状態に対応する画像データを取得する第２取得工程（Ｓ２０４）と、前記第１取得工程において取得された前記撮影データと、前記第２取得工程において取得された前記画像データとに基づいて、前記撮影データの表す前記積雪後の状態で走行するためのガイドを表示するための表示データを生成する生成工程（Ｓ２０５）とを有することを特徴とする。

そのような構成により、車両が雪面上を走行する場合、搭乗者に対して走行路と非走行路を容易に認識させることができる。

また、前記ガイドは、走行路を表すオブジェクトと、非走行路を表すオブジェクトとを含むことを特徴とする。また、前記非走行路を表すオブジェクトは、側溝を含むことを特徴とする。

そのような構成により、例えば、搭乗者に対して、側溝を容易に認識させることができる。

また、前記第２取得工程は、前記第１取得工程において取得された前記撮影データで認識されるオブジェクトを含む前記画像データを前記第１記憶手段から取得する（図９）ことを特徴とする。

そのような構成により、オブジェクトに基づいて、積雪前の状態を表す画像データを取得することができる。

また、ガイド表示方法は、前記第１取得工程において取得された前記撮影データと、前記第１記憶手段から取得された前記画像データとの方向性のずれがあるか否かを判定する判定工程（Ｓ４０２）と、前記判定工程において前記方向性のずれがあると判定された場合、該方向性のずれを解消するように、前記第１記憶手段から取得された前記画像データを補正する補正工程（Ｓ４０３）と、をさらに有し、前記第２取得工程は、前記補正工程において補正された画像データを取得することを特徴とする。

そのような構成により、積雪前の状態を表す画像データの方向性が撮影データの方向性とずれていたとしても、表示データの生成のために用いることができる。

また、ガイド表示方法は、前記生成工程において生成された前記表示データに基づいて、前記積雪後の状態に前記ガイドが重畳された画面を表示装置に表示させる表示制御工程（Ｓ２０６、Ｓ２０７）、をさらに有することを特徴とする。また、前記表示装置（３１３）は、移動体に構成されていることを特徴とする。

そのような構成により、積雪後の状態にガイドが重畳された画面を表示装置に表示させることができる。

また、ガイド表示方法は、前記移動体の傾きの情報を取得する第３取得工程（図１３）、をさらに有し、前記生成工程は、前記移動体の傾きが所定以上であることを通知するためのオブジェクトをさらに生成することを特徴とする。

そのような構成により、移動体の傾きが所定以上となった場合に通知することができる。

また、ガイド表示方法は、前記移動体は、除雪機であることを特徴とする。また、ガイド表示方法は、前記除雪機による除雪量の情報を取得する第４取得工程（図１５）、をさらに有し、前記生成工程は、前記除雪量の情報を通知するためのオブジェクトをさらに生成することを特徴とする。また、ガイド表示方法は、前記第４取得工程において取得された前記除雪量の情報を第２記憶手段（５１９）に格納する格納工程、をさらに有することを特徴とする。

そのような構成により、除雪機である車両に対して、除雪量の情報を通知することができる。

本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。

１００ガイド表示システム：１０１サーバ：１０４、１０５、１０６車両：１０７携帯型端末：３１３表示部：４１６表示装置：５００制御部

Claims

所定位置における積雪後の状態を表す撮影データを取得する第１取得工程と、
前記第１取得工程において取得された前記撮影データに基づいて、前記所定位置における積雪前の状態を表す画像データを記憶する第１記憶手段から前記撮影データの表す前記積雪後の状態に対応する画像データを取得する第２取得工程と、
前記第１取得工程において取得された前記撮影データと、前記第２取得工程において取得された前記画像データとに基づいて、前記撮影データの表す前記積雪後の状態で走行するためのガイドを表示するための表示データを生成する生成工程と、
前記第１取得工程において取得された前記撮影データと、前記第１記憶手段から取得された前記画像データとの方向性のずれがあるか否かを判定する判定工程と、
前記判定工程において前記方向性のずれがあると判定された場合、該方向性のずれを解消するように、前記第１記憶手段から取得された前記画像データを補正する補正工程と、を有し、
前記第２取得工程は、前記補正工程において補正された画像データを取得する、
ことを特徴とするガイド表示方法。
前記ガイドは、走行路を表すオブジェクトと、非走行路を表すオブジェクトとを含むことを特徴とする請求項１に記載のガイド表示方法。
前記非走行路を表すオブジェクトは、側溝を含むことを特徴とする請求項２に記載のガイド表示方法。
前記第２取得工程は、前記第１取得工程において取得された前記撮影データで認識されるオブジェクトを含む前記画像データを前記第１記憶手段から取得することを特徴とする請求項１乃至３のいずれか１項に記載のガイド表示方法。
前記生成工程において生成された前記表示データに基づいて、前記積雪後の状態に前記ガイドが重畳された画面を表示装置に表示させる表示制御工程、をさらに有することを特徴とする請求項１乃至４のいずれか１項に記載のガイド表示方法。
前記表示装置は、移動体に構成されていることを特徴とする請求項５に記載のガイド表示方法。
前記移動体の傾きの情報を取得する第３取得工程、をさらに有し、
前記生成工程は、前記移動体の傾きが所定以上であることを通知するためのオブジェクトをさらに生成することを特徴とする請求項６に記載のガイド表示方法。
前記移動体は、除雪機であることを特徴とする請求項６又は７に記載のガイド表示方法。
前記除雪機による除雪量の情報を取得する第４取得工程、をさらに有し、
前記生成工程は、前記除雪量の情報を通知するためのオブジェクトをさらに生成することを特徴とする請求項８に記載のガイド表示方法。
前記第４取得工程において取得された前記除雪量の情報を第２記憶手段に格納する格納工程、をさらに有することを特徴とする請求項９に記載のガイド表示方法。
サーバと、前記サーバと通信可能な車両と、を含むガイド表示システムにおいて実行されるガイド表示方法であって、
前記サーバが、
所定位置における積雪後の状態を表す撮影データを前記車両から受信する第１受信工程と、
前記第１受信工程において受信された前記撮影データに基づいて、前記所定位置における積雪前の状態を表す画像データを記憶する記憶手段から前記撮影データの表す前記積雪後の状態に対応する画像データを取得する取得工程と、
前記第１受信工程において受信された前記撮影データと、前記取得工程において取得された前記画像データとに基づいて、前記撮影データの表す前記積雪後の状態で走行するためのガイドを表示するための表示データを生成する生成工程と、
前記生成工程において生成された前記表示データを前記車両に送信する第１送信工程と、
前記第１受信工程において受信された前記撮影データと、前記記憶手段から取得された前記画像データとの方向性のずれがあるか否かを判定する判定工程と、
前記判定工程において前記方向性のずれがあると判定された場合、該方向性のずれを解消するように、前記記憶手段から取得された前記画像データを補正する補正工程と、
前記車両が、
撮影手段により撮影された前記撮影データを前記サーバへ送信する第２送信工程と、
前記表示データを前記サーバから受信する第２受信工程と、
前記第２受信工程において受信された前記表示データに基づいて、前記積雪後の状態に前記ガイドが重畳された画面を表示する表示工程と、
を有し、
前記取得工程は、前記補正工程において補正された画像データを取得する、
ことを特徴とするガイド表示方法。