JP6763656B2 - 走行ガイドシステム - Google Patents

走行ガイドシステム Download PDF

Info

Publication number
JP6763656B2
JP6763656B2 JP2015219315A JP2015219315A JP6763656B2 JP 6763656 B2 JP6763656 B2 JP 6763656B2 JP 2015219315 A JP2015219315 A JP 2015219315A JP 2015219315 A JP2015219315 A JP 2015219315A JP 6763656 B2 JP6763656 B2 JP 6763656B2
Authority
JP
Japan
Prior art keywords
information
virtual space
processing unit
traveling
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015219315A
Other languages
English (en)
Other versions
JP2017090189A (ja
Inventor
利文 村田
利文 村田
Original Assignee
株式会社ソーシャル・キャピタル・デザイン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソーシャル・キャピタル・デザイン filed Critical 株式会社ソーシャル・キャピタル・デザイン
Priority to JP2015219315A priority Critical patent/JP6763656B2/ja
Publication of JP2017090189A publication Critical patent/JP2017090189A/ja
Application granted granted Critical
Publication of JP6763656B2 publication Critical patent/JP6763656B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)

Description

本発明は,車両などの移動体の操作者に,移動体の走行位置および/または管理対象箇所の位置をガイドする走行ガイドシステムに関する。
事故を未然に防止するため,空港では,滑走路の路面の損傷箇所などの管理対象箇所,たとえばひび割れや陥没箇所などを迅速に発見し,修理することが求められている。従来,この作業は,滑走路を使用していないときに,保守作業担当者が車両で滑走路を走行し,目視によって管理対象箇所の発見,修理を行っていた。
しかし滑走路は,場合によっては全長3000メートル以上,幅も60メートル程度になる。そのため,目視で滑走路の小さな管理対象箇所を発見するのは困難な作業である。そこで作業の簡易化のため,滑走路の路面を撮像するための撮像装置を備えた車両で滑走路を走行し,走行時に路面を逐次,撮像して管理対象箇所を発見する,という方法が検討されている。
この場合,滑走路を車両で走行しながら路面を撮像することを,複数回,撮像位置を並行にずらしながら行うことが求められる。しかし,車両を運転するのは人間であるから,つねに直線的に走行することは困難である。また,走行は航空機の離着陸が行われる日中の時間帯を避けて夜間に行わなければならず,目印となるものが見えなくなることから,直線的な走行はますます困難となる。そのため,車両の走行時に,左右へのずれが発生してしまい,滑走路の路面を撮像した画像の大幅な重複や欠落が生じる可能性がある。
そこで,滑走路に,車両が走行するためのガイドとなるLEDを搭載したコーン(パイロン)を置き,それに沿って車両が走行する方法が考えられる。
また,走行すべき経路をガイドするシステムとしてカーナビゲーションシステムがあり,それを用いることも考えられる。そしてその応用例として,人が進行すべき方向を,日陰の位置に投影することでナビゲーションをするシステムも存在する(特許文献1)。
特開2012−2709号公報
滑走路に置いたLED搭載のコーンに沿って車両が走行する方法はもっとも簡易であり,コーンに沿って走行できるので,撮像範囲の大幅な重複や欠落が生じることもない。しかし,コーンを滑走路に置く作業は保守作業担当者が行わなければならず,コーンの設置,回収の作業時間を要することとなる。また,作業終了後にはすべてのコーンを回収しなければならないが,もしコーンを回収し忘れてしまうと,滑走路を使用する飛行機にコーンが接触するなど,事故につながりかねない。そのため,安全性の観点からも問題がある。
また,カーナビゲーションシステムの場合,GPSによって現在の位置情報を測位し,現在地点から目的地点まで走行すべき道路をガイドする。そのため,道路や車線に沿って(自由度が1の状態で),ある目的地までどのように到達すべきか,という点においては有益である。しかし,滑走路のように,走行すべき地図がない場所,車線がない場所を走行する場合(自由度が2の状態の場合)や,管理対象箇所の位置を特定する場合には,カーナビゲーションシステムや特許文献1に記載のシステムを用いることはできない。
そこで本発明者は上記課題に鑑み,以下の発明をした。
請求項1の発明は,移動体の操作者にその移動体の走行位置をガイドする走行ガイドシステムであって,前記走行ガイドシステムは,位置情報取得装置から位置情報を取得する位置情報取得処理部と,方向情報を取得する方向情報取得処理部と,前記移動体の操作者に走行位置をガイドする範囲を含む実空間の一部または全部に対応する仮想空間であって,前記操作者が移動体を移動させるべき走行位置を示す走行ガイドがその仮想空間に配置されている仮想空間情報を記憶する仮想空間情報記憶部と,前記取得した位置情報と方向情報とを用いて,前記仮想空間における仮想視点の位置と向きの情報に変換する仮想空間位置変換処理部と,前記仮想空間情報記憶部に記憶する仮想空間において,前記仮想視点からの,前記走行ガイドを含む前記仮想空間の画像である仮想視点画像を生成する仮想視点画像生成処理部と,管理対象箇所の位置情報を記憶する管理対象箇所記憶部と,前記取得した位置情報を用いて,前記管理対象箇所記憶部を参照することで,所定範囲内にある管理対象箇所を特定する管理対象箇所特定処理部と,前記特定した管理対象箇所までの距離および/または方向を算出し,ガイドするガイド画像を生成するガイド画像生成処理部と,前記生成した仮想視点画像および/またはガイド画像を,投影装置または表示装置から出力する出力処理部と,を有しており,前記仮想空間情報記憶部は,前記仮想空間情報として,前記仮想空間の一部または全部を,所定間隔で長さ方向,幅方向に区切り,長さ方向を,長さ方向の基準位置からの距離で表し,幅方向を,幅方向の基準位置からのレーン番号で表し,距離とレーン番号の交点には,距離およびレーン番号を示す距離標が,前記仮想空間に配置されており,前記仮想視点画像生成処理部は,前記仮想視点からの,前記走行ガイドおよび前記距離標を含む仮想視点画像を生成する,走行ガイドシステムである。
また請求項2の発明は,移動体の操作者にその移動体の走行位置をガイドする走行ガイドシステムであって,前記走行ガイドシステムは,位置情報取得装置から位置情報を取得する位置情報取得処理部と,方向情報を取得する方向情報取得処理部と,前記移動体の操作者に走行位置をガイドする範囲を含む実空間の一部または全部に対応する仮想空間であって,前記操作者が移動体を移動させるべき走行位置を示す走行ガイドがその仮想空間に配置されている仮想空間情報を記憶する仮想空間情報記憶部と,前記取得した位置情報と方向情報とを用いて,前記仮想空間における仮想視点の位置と向きの情報に変換する仮想空間位置変換処理部と,前記仮想空間情報記憶部に記憶する仮想空間において,前記仮想視点からの,前記走行ガイドを含む前記仮想空間の画像である仮想視点画像を生成する仮想視点画像生成処理部と,前記生成した仮想視点画像を,投影装置または表示装置から出力する出力処理部と,を有しており,前記仮想空間情報記憶部は,前記仮想空間情報として,前記仮想空間の一部または全部を,所定間隔で長さ方向,幅方向に区切り,長さ方向を,長さ方向の基準位置からの距離で表し,幅方向を,幅方向の基準位置からのレーン番号で表し,距離とレーン番号の交点には,距離およびレーン番号を示す距離標が,前記仮想空間に配置されており,前記仮想視点画像生成処理部は,前記仮想視点からの,前記走行ガイドおよび前記距離標を含む仮想視点画像を生成する,走行ガイドシステムである。
これらの発明のように構成することで,車両などの移動体の操作者は,滑走路などの自由度が2以上の空間においても,移動体を,走行ガイドにしたがって適切に走行させることが可能となる。そのため,コーンを設置して移動体の走行位置を制御するなどの方法を採る必要がなくなり,作業時間の短縮ができ,安全性を確保することもできる。また,これらの発明のように構成することで,走行ガイドのみならず,距離標が出力される。そのため,距離やレーン番号を通じて,長さ方向,幅方向の位置を操作者は認識することができる。
また,請求項1の発明では,あらかじめ特定してある損傷などの管理対象箇所の中から,所望の管理対象箇所に移動体を移動させることができる。そのため,保守作業などが容易になる。
請求項3の発明は,移動体の操作者にその移動体の走行位置をガイドする走行ガイドシステムであって,前記走行ガイドシステムは,位置情報取得装置から位置情報を取得する位置情報取得処理部と,方向情報を取得する方向情報取得処理部と,前記移動体の操作者に走行位置をガイドする範囲を含む実空間の一部または全部に対応する仮想空間であって,前記操作者が移動体を移動させるべき走行位置を示す走行ガイドがその仮想空間に配置されている仮想空間情報を記憶する仮想空間情報記憶部と,前記取得した位置情報と方向情報とを用いて,前記仮想空間における仮想視点の位置と向きの情報に変換する仮想空間位置変換処理部と,前記仮想空間情報記憶部に記憶する仮想空間において,前記仮想視点からの,前記走行ガイドを含む前記仮想空間の画像である仮想視点画像を生成する仮想視点画像生成処理部と,管理対象箇所の位置情報を記憶する管理対象箇所記憶部と,前記取得した位置情報を用いて,前記管理対象箇所記憶部を参照することで,所定範囲内にある管理対象箇所を特定する管理対象箇所特定処理部と,前記特定した管理対象箇所までの距離および/または方向を算出し,ガイドするガイド画像を生成するガイド画像生成処理部と,前記生成した仮想視点画像および/またはガイド画像を,投影装置または表示装置から出力する出力処理部と,を有しており,前記方向情報取得処理部は,前記移動体の移動速度と所定の閾値とを比較し,閾値を超えたと判定した場合には,位置情報を用いた方向情報の算出処理を中止する,または所定時間における位置情報の移動平均によって方向情報の算出処理を行う,走行ガイドシステムである。
また請求項4の発明は,移動体の操作者にその移動体の走行位置をガイドする走行ガイドシステムであって,前記走行ガイドシステムは,位置情報取得装置から位置情報を取得する位置情報取得処理部と,方向情報を取得する方向情報取得処理部と,前記移動体の操作者に走行位置をガイドする範囲を含む実空間の一部または全部に対応する仮想空間であって,前記操作者が移動体を移動させるべき走行位置を示す走行ガイドがその仮想空間に配置されている仮想空間情報を記憶する仮想空間情報記憶部と,前記取得した位置情報と方向情報とを用いて,前記仮想空間における仮想視点の位置と向きの情報に変換する仮想空間位置変換処理部と,前記仮想空間情報記憶部に記憶する仮想空間において,前記仮想視点からの,前記走行ガイドを含む前記仮想空間の画像である仮想視点画像を生成する仮想視点画像生成処理部と,前記生成した仮想視点画像を,投影装置または表示装置から出力する出力処理部と,を有しており,前記方向情報取得処理部は,前記移動体の移動速度と所定の閾値とを比較し,閾値を超えたと判定した場合には,位置情報を用いた方向情報の算出処理を中止する,または所定時間における位置情報の移動平均によって方向情報の算出処理を行う,走行ガイドシステムである。
これらの発明のように構成することで,車両などの移動体の操作者は,滑走路などの自由度が2以上の空間においても,移動体を,走行ガイドにしたがって適切に走行させることが可能となる。そのため,コーンを設置して移動体の走行位置を制御するなどの方法を採る必要がなくなり,作業時間の短縮ができ,安全性を確保することもできる。また,位置情報の測位の際には,センサの精度の限界から,誤差がランダムに生じることがある。その場合,位置情報の変化から方向情報を特定し,その方向情報を用いて出力する画像(仮想視点画像)を生成すると,ランダムに方向が歪んでしまうこととなる。そのため,移動体を高速で移動させているときには,出力された画像を操作者が見て,移動体が回転方向に揺らいでいるように感じられ,幻惑されてしまう現象が発生する場合がある。そこでこれらの発明のように構成することで,出力する仮想視点画像の方向についての揺らぎを抑えることができる。さらに,請求項3の発明では,あらかじめ特定してある損傷などの管理対象箇所の中から,所望の管理対象箇所に移動体を移動させることができる。そのため,保守作業などが容易になる。
上述の発明において,前記仮想空間情報記憶部は,前記仮想空間情報として,前記走行ガイドが,前記移動体の運転者の正面に位置するように配置されている,走行ガイドシステムのように構成することもできる。

通常の道路上の走行であれば,車両の両脇にガイドとなる車線などの白線が見え,運転者はそれを目安に直線走行するが,運転者から見ると,白線は運転者の視線の正面ではなく,視線から左右方向へのオフセットがあるので,車線の中央を正確に走行するためには最適な視覚情報の与え方とはいえない。しかし,本発明のように,仮想空間情報において,走行ガイドを,運転者の正面となるように配置しておけば,運転者の視線の正面に走行ガイドが投影,表示される。そのため,運転者は走行ガイドが常に自分の正面に来るように運転すればよく,より正確な走行が可能となる。
上述の発明において,前記仮想視点画像生成処理部は,さらに,前記移動体または投影装置に備えた3軸慣性センサから3軸の角度情報を取得し,前記仮想視点の仰角,水平回転方向の方角,ねじれ角として反映させて,前記仮想視点画像を生成する,走行ガイドシステムのように構成することができる。
移動体が移動する場所の凹凸の状況や移動体の加速,減速の状況によっては移動体に設置された投影装置の姿勢が変動し,投影する仮想視点画像の投影位置が不安定な状態となる。そこで,本発明のように構成することで,仮想視点画像の投影位置を概略同じ位置に表示することができる。
上述の発明において,前記管理対象箇所記憶部は,さらに,前記管理対象箇所の位置情報に対応づけて管理対象画像を記憶しており,前記出力処理部は,前記取得した位置情報と,前記管理対象箇所の位置情報とを比較することで前記移動体が前記管理対象箇所からあらかじめ定められた範囲に入ったかを判定し,前記あらかじめ定められた範囲に入ったことを判定すると,前記管理対象箇所記憶部からその管理対象箇所の管理対象画像を抽出して出力する,走行ガイドシステムのように構成することができる。
本発明のように構成することで,移動体が管理対象箇所に接近すると,管理対象箇所に,サイズ,位置,方向などの一以上を概略合致させた管理対象画像を出力することができる。そのため,保守作業担当者はそれをみて管理対象箇所のおおよその位置を特定し,迅速に保守作業を進めることができる。
請求項1の発明は,本発明のプログラムをコンピュータで実行することで実現することもできる。すなわち,移動体の操作者に走行位置をガイドする範囲を含む実空間の一部または全部に対応する仮想空間であって,前記操作者が移動体を移動させるべき走行位置を示す走行ガイドがその仮想空間に配置されている仮想空間情報を記憶する記憶装置にアクセス可能なコンピュータを,位置情報取得装置から位置情報を取得する位置情報取得処理部,方向情報を取得する方向情報取得処理部,前記取得した位置情報と方向情報とを用いて,前記仮想空間における仮想視点の位置と向きの情報に変換する仮想空間位置変換処理部,前記記憶装置に記憶する仮想空間において,前記仮想視点からの,前記走行ガイドを含む前記仮想空間の画像である仮想視点画像を生成する仮想視点画像生成処理部,前記取得した位置情報を用いて,管理対象箇所の位置情報を記憶する管理対象箇所記憶部を参照することで,所定範囲内にある管理対象箇所を特定する管理対象箇所特定処理部,前記特定した管理対象箇所までの距離および/または方向を算出し,ガイドするガイド画像を生成するガイド画像生成処理部,前記生成した仮想視点画像および/またはガイド画像を,投影装置または表示装置から出力する出力処理部,として機能させる走行ガイドプログラムであって,前記仮想空間情報として,前記仮想空間の一部または全部を,所定間隔で長さ方向,幅方向に区切り,長さ方向を,長さ方向の基準位置からの距離で表し,幅方向を,幅方向の基準位置からのレーン番号で表し,距離とレーン番号の交点には,距離およびレーン番号を示す距離標が,前記仮想空間に配置されており,前記仮想視点画像生成処理部は,前記仮想視点からの,前記走行ガイドおよび前記距離標を含む仮想視点画像を生成する,走行ガイドプログラムである。
請求項2の発明は,本発明のプログラムをコンピュータで実行することで実現することもできる。すなわち,移動体の操作者に走行位置をガイドする範囲を含む実空間の一部または全部に対応する仮想空間であって,前記操作者が移動体を移動させるべき走行位置を示す走行ガイドがその仮想空間に配置されている仮想空間情報を記憶する記憶装置にアクセス可能なコンピュータを,位置情報取得装置から位置情報を取得する位置情報取得処理部,方向情報を取得する方向情報取得処理部,前記取得した位置情報と方向情報とを用いて,前記仮想空間における仮想視点の位置と向きの情報に変換する仮想空間位置変換処理部,前記記憶装置に記憶する仮想空間において,前記仮想視点からの,前記走行ガイドを含む前記仮想空間の画像である仮想視点画像を生成する仮想視点画像生成処理部,前記生成した仮想視点画像を,投影装置または表示装置から出力する出力処理部,として機能させる走行ガイドプログラムであって,前記仮想空間情報として,前記仮想空間の一部または全部を,所定間隔で長さ方向,幅方向に区切り,長さ方向を,長さ方向の基準位置からの距離で表し,幅方向を,幅方向の基準位置からのレーン番号で表し,距離とレーン番号の交点には,距離およびレーン番号を示す距離標が,前記仮想空間に配置されており,前記仮想視点画像生成処理部は,前記仮想視点からの,前記走行ガイドおよび前記距離標を含む仮想視点画像を生成する,走行ガイドプログラムである。
請求項3の発明は,本発明のプログラムをコンピュータで実行することで実現することもできる。すなわち,移動体の操作者に走行位置をガイドする範囲を含む実空間の一部または全部に対応する仮想空間であって,前記操作者が移動体を移動させるべき走行位置を示す走行ガイドがその仮想空間に配置されている仮想空間情報を記憶する記憶装置にアクセス可能なコンピュータを,位置情報取得装置から位置情報を取得する位置情報取得処理部,方向情報を取得する方向情報取得処理部,前記取得した位置情報と方向情報とを用いて,前記仮想空間における仮想視点の位置と向きの情報に変換する仮想空間位置変換処理部,前記記憶装置に記憶する仮想空間において,前記仮想視点からの,前記走行ガイドを含む前記仮想空間の画像である仮想視点画像を生成する仮想視点画像生成処理部,前記取得した位置情報を用いて,管理対象箇所の位置情報を記憶する管理対象箇所記憶部を参照することで,所定範囲内にある管理対象箇所を特定する管理対象箇所特定処理部,前記特定した管理対象箇所までの距離および/または方向を算出し,ガイドするガイド画像を生成するガイド画像生成処理部,前記生成した仮想視点画像および/またはガイド画像を,投影装置または表示装置から出力する出力処理部,として機能させる走行ガイドプログラムであって,前記方向情報取得処理部は,前記移動体の移動速度と所定の閾値とを比較し,閾値を超えたと判定した場合には,位置情報を用いた方向情報の算出処理を中止する,または所定時間における位置情報の移動平均によって方向情報の算出処理を行う,走行ガイドプログラムである。
請求項4の発明は,本発明のプログラムをコンピュータで実行することで実現することもできる。すなわち,移動体の操作者に走行位置をガイドする範囲を含む実空間の一部または全部に対応する仮想空間であって,前記操作者が移動体を移動させるべき走行位置を示す走行ガイドがその仮想空間に配置されている仮想空間情報を記憶する記憶装置にアクセス可能なコンピュータを,位置情報取得装置から位置情報を取得する位置情報取得処理部,方向情報を取得する方向情報取得処理部,前記取得した位置情報と方向情報とを用いて,前記仮想空間における仮想視点の位置と向きの情報に変換する仮想空間位置変換処理部,前記記憶装置に記憶する仮想空間において,前記仮想視点からの,前記走行ガイドを含む前記仮想空間の画像である仮想視点画像を生成する仮想視点画像生成処理部,前記生成した仮想視点画像を,投影装置または表示装置から出力する出力処理部,として機能させる走行ガイドプログラムであって,前記方向情報取得処理部は,前記移動体の移動速度と所定の閾値とを比較し,閾値を超えたと判定した場合には,位置情報を用いた方向情報の算出処理を中止する,または所定時間における位置情報の移動平均によって方向情報の算出処理を行う,走行ガイドプログラムである。
本発明の走行ガイドシステムでは,移動体に搭載した投影装置などで走行する位置を路面に投影,あるいは表示位置に表示し,操作者はそれにしたがって車両などの移動体を走行させれば良いだけであるので,操作者にとっては簡単である。また,滑走路に滑走路にコーンなどを置く必要もないので,作業時間の短縮ができるとともに,安全性を損なうこともない。
本発明の走行ガイドシステムのシステム構成の概念の一例を模式的に示す概念図である。 管理コンピュータのハードウェア構成の一例を模式的に示す概念図である。 本発明の走行ガイドシステムの処理プロセスの一例を模式的に示すフローチャートである。 走行ガイドシステムを搭載した車両が,撮像装置を備えた牽引台車を牽引している状態の一例を模式的に示す図である。 車両が牽引台車を牽引しているときに,撮像装置で撮像をする状態の一例を模式的に示す図である。 撮像装置による撮像範囲の一例を模式的に示す図である。 投影装置が車両に取り付けられた状態の一例を模式的に示す図である。 仮想空間情報を図として表した一例を模式的に示す図である。 レーンの幅を模式的に示す図である。 車両による走行経路の一例を模式的に示す図である。 投影装置によって画像を投影した際に,運転席からの視認状況の一例を模式的に示す図である。 投影装置によって画像を投影した場合の俯瞰図である。 仮想空間に配置されている走行ガイドと投影装置の投影範囲を示す上方からの図である。 投影する仮想空間の画像の一例を模式的に示す図である。 投影する仮想空間の画像の一例を模式的に示す図である。 走行経路の低速走行,高速走行の各領域の一例を模式的に示す図である。 実施例4における走行ガイドシステムのシステム構成の概念の一例を模式的に示す図である。 生成するガイド画像の一例を模式的に示す図である。 実施例4における走行ガイドシステムの処理プロセスの一例を模式的に示すフローチャートである。 管理対象箇所に接近した場合に管理対象画像を路面に投影した場合の一例を模式的に示す図である。 仮想空間における滑走路を模式的に示した図である。 仮想空間における滑走路でのカメラ位置(仮想視点)を模式的に示す図である。 仮想空間位置変換処理部23における,実空間の位置情報,方向情報を,仮想空間情報における仮想視点の位置情報と向きの情報に変換する処理を模式的に示す図である。
本発明の走行ガイドシステム1は車両10などの移動体に搭載される。なお,以下の説明では移動体として車両10の場合を説明するが,それ以外の移動体であっても良い。また,移動体が車両であるので,その操作者としては運転者とする。図1に走行ガイドシステム1のシステム構成の一例の概念図を模式的に示す。また,図2に走行ガイドシステム1を構成する管理コンピュータ2のハードウェア構成の一例を模式的に示す。
走行ガイドシステム1は,管理コンピュータ2とGPS装置3と,投影装置4および/または表示装置5とを有する。管理コンピュータ2は,プログラムの演算処理を実行するCPUなどの演算装置70と,情報を記憶するRAMやハードディスクなどの記憶装置71とを備える。場合によっては,演算装置70の処理結果や記憶装置71に記憶する情報をインターネットやLANなどのネットワークを介して送受信する通信装置が備えられていても良い。
図1では走行ガイドシステム1が一台のコンピュータで実現される場合を示したが,複数台のコンピュータにその機能が分散配置され,実現されても良い。
本発明における各手段は,その機能が論理的に区別されているのみであって,物理上あるいは事実上は同一の領域を為していても良い。
移動体としての車両10に牽引台車11が取り付けられた状態の一例を図4に模式的に示す。図4では,車両10の後方に,撮像装置6を搭載した牽引台車11を牽引しており,牽引台車11の撮像装置6で路面の撮影を行う。図5は,車両10が牽引台車11を牽引しているときに,撮像装置6で撮像をする状態を模式的に示す図である。
牽引台車11は,鉄やステンレスなどの金属製の枠体9によって形成されており,牽引台車11の後方左右にはそれぞれ車輪が取り付けられている。また,枠体9には,撮像装置6による撮像範囲を照らすためのLEDランプなどの照明装置7を取り付けた吊具8Lと,撮像装置6を取り付けた吊具8Cが取り付けられている。さらに撮像装置6の上方にはGPS装置3が取り付けられている。撮像装置6は路面を撮像するように,レンズが路面方向に向けられて吊具8Cに取り付けられており,照明装置7も路面を光で照射するように吊具8Lに取り付けられている。図4の例では,牽引台車11の左右の方向に2台の撮像装置6a,6bが取り付けられている。以下の説明では,図4における牽引台車11の左側の撮像装置6aを第1撮像装置,右側の撮像装置6bを第2撮像装置ということがある。
牽引台車11の照明装置7は撮像を行う際には路面を照明で照らしており,各撮像装置6a,6bが,一定時間,たとえば1/30秒ごとに路面の撮像を行う。そして車両10が牽引台車11を牽引しながら一定の速度で移動するので,図6に示すように,路面を撮像することができる。この際に,第1撮像装置6a,第2撮像装置6bの撮像範囲が一部重なるように,牽引台車11に取り付けられることがよい。撮像した画像が一部重なることによって,その重なりを検出することで,隣接する画像同士を正確に合成することができるからである。
また,撮像の時間間隔は,一つ前の撮像範囲と今回の撮像範囲とが一部重なるような間隔となることがよい。これも,撮像した画像が一部重なることによって,その重なりを検出することで,隣接する画像同士を正確に合成することができるからである。撮像間隔は,車両10の走行速度にも依存するので,車両10の走行速度と関連づけて適切な値を選んで設定することが可能である。なお,車速センサから車両10の走行速度の情報を受け取り,走行速度から撮像間隔を自動的に設定するように構成しても良い。
なお,車両10に取り付けられた管理コンピュータ2と,牽引台車11に取り付けられた各装置との間の情報の送受信は,有線または無線により適宜,行われる。また,管理コンピュータ2が牽引台車11に取り付けられていてもよい。
本発明の実施例では,車両10と牽引台車11の場合を説明するが,それらが一台で構成されていてもよい。また,牽引台車11の構成は,撮像装置6で路面を撮像できる構成であれば如何なる構成であっても良い。
投影装置4は,車両10の進行方向前方を投影することができる位置であれば,どの位置に設置されても良いが,たとえば車両10のルーフ,運転席や助手席の天井付近,フロントガラス付近に設置されていても良い。投影装置4が車両10に取り付けられた状態の一例を図7に模式的に示す。図7(a)は車両10のルーフに投影装置4が取り付けられた状態の一例を模式的に示しており,図7(b)は車両10の助手席に投影装置4が取り付けられた状態の一例を模式的に示している。
なお,投影装置4の位置にGPS装置3が取り付けられることが好ましいが,投影装置4とGPS装置3との取り付け位置が異なる場合,投影装置4の位置とGPS装置3の位置とに,前後,左右のそれぞれどの方向にどれだけオフセットがあるかを管理しておき,GPS装置3で取得した位置情報を上記管理しているオフセットで補正をし,投影装置4の位置を算出すると,より正確に投影装置4の位置情報を取得することができる。
投影装置4としては,プロジェクタを用いることができる。たとえばセイコーエプソン社製のビジネスプロジェクタ「EB−S03」(明るさ2600lm(ルーメン),画素数800×600)を用いることができるが,それに限定されるものではない。現在の比較的安価な撮像装置6と照明装置7の性能では,路面を良好に撮像するためには,車両10は時速30キロメートル以下で走行することが好ましい。その場合,投影装置4で30メートル程度先まで投影できれば,運転者に十分なフィードバック情報を提供できる。そのため,好ましくは30メートル先程度まで投影できる程度の投影装置4の性能があればよい。また,夜の滑走路のように暗いところで投影を行う場合には,投影装置4としては,明るさが3000ルーメン以下の安価なプロジェクタを用いたとしても30メートル先まで投影することが可能となる。
投影装置4は,投影対象,たとえば路面に投影できるように設置位置,投影角度が調整される。プロジェクタは通常,水平に設置すると斜め上向きに投影をし,水平より下はわずかな角度しか投影されない。そこで,投影装置4としてプロジェクタを用いる場合には,プロジェクタを上下逆にして設置することが好ましい。これによって,プロジェクタの水平位置より下向きに(路面方向に)投影できるため,プロジェクタによる投影範囲を広く確保することができる。
表示装置5は,車両10の運転者が視認可能な位置に取り付けられていれば良い。表示装置5として透過型ディスプレイや透過型スクリーンを用いる場合には,運転者の視線の先に表示装置5が位置するように,たとえばダッシュボードの上部付近や,運転席のルーフに設置されたサンバイザーの下方にヘッドアップディスプレイ状に設置することができる。
走行ガイドシステム1の管理コンピュータ2は,位置情報取得処理部20と方向情報取得処理部21と仮想空間情報記憶部22と仮想空間位置変換処理部23と仮想視点画像生成処理部24と出力処理部25とを有する。
位置情報取得処理部20は,GPS装置3などの位置情報を取得する装置によって位置情報としての緯度,経度情報を取得する。なお,位置情報取得装置としてGPS装置3による緯度,経度情報のほかにも,ジャイロセンサなどの各種センサを用いて,走行開始位置からの位置を取得しても良い。
方向情報取得処理部21は,GPS装置3によって車両10の進行方向の情報を取得する。なお,車両10の進行方向の情報は,ジャイロセンサや加速度センサなどの各種センサによって方向情報を取得することができるが,位置情報取得処理部20で取得した位置情報の変化によって進行方向を取得しても良い。各種センサはGPS装置3などの装置に設置されていても良いし,車両10に設置されているセンサを用いても良い。
仮想空間情報記憶部22は,車両10の運転者に対して,後述の出力処理部25により画像を出力して走行ガイドを行う実空間の一部または全部を,2次元または3次元モデル化した空間情報(仮想空間情報)として記憶する。実空間と仮想空間とは縮尺が等倍率(1倍)であることが好ましいが,実空間とは異なる倍率の仮想空間としてモデル化され,出力処理の際などに倍率変更され,実空間に対応するように出力されても良い。
仮想空間情報には,さらに,実空間において車両が走行すべき位置に対応する仮想空間上の位置に,車両10の走行すべき位置や目的地となる管理対象箇所の位置を運転者に示す走行ガイドがオブジェクトとして配置されている。たとえば仮想空間情報が空港の滑走路の場合,撮像範囲の滑走路が仮想空間としてモデル化されており,仮想空間の滑走路の路面上には,走行ガイドである三角マークがオブジェクトとして,実空間で車両10が走行すべき滑走路の位置に対応するように配置されている。なお,走行ガイドとして好ましいのは進行方向を示せる三角マークであるが,それに限定されるものではなく,たとえば線や矢印,丸印などの記号や文字,数字,図形などいかなるものであっても良い。走行ガイドは,投影装置4で投影すべき場所に表示されるので,仮想空間においても,滑走路の路面上に走行ガイドが配置されると良い。
仮想空間における滑走路を所定間隔で長さ,幅方向に区切り,長さ方向を滑走路の撮像範囲の所定位置からの距離(たとえば,メートル単位で0から3000)で表し,幅方向を,幅方向の基準位置からの撮影範囲を考慮した所定幅ごとのレーン番号(たとえば,中央のレーン番号0を基準として,その左右のレーン番号を−10から+10とする)で表す。そして距離,レーン番号の交点には,距離およびレーン番号を示す距離標がオブジェクトとして滑走路の路面上に配置されている。
実空間の滑走路を仮想空間として3次元モデル化し,走行ガイドと距離標をオブジェクトとして滑走路の路面上に配置した場合の仮想空間情報の一例を図8に示す。図8(a)は仮想空間情報の一部を俯瞰したものであり,図8(b)は仮想空間情報の一部を上方から示したものである。なお,図8(b)では,仮想空間におけるレーンの間隔を3メートル,仮想空間の長さ方向の距離標の配置間隔を5メートルとした場合を示しているが,それに限定されない。
レーンの幅としては,牽引台車11に取り付けられた撮像装置6による撮影範囲よりも若干,狭くなることが好ましい。これを模式的に示すのが図9である。撮像した画像に対応づけられた位置情報に基づいて隣接する画像であることを判定し,判定した画像同士の重なりを検出することで,隣接した画像を一つの画像に隣接させて組み合わせる。
図8(b)および図9におけるレーン間の距離3メートルは,牽引台車11に設置した撮像装置6a,6bの2台分をあわせた撮像範囲が4メートルとした場合である。この場合,レーンを3メートル間隔として車両10が往復走行をすれば,隣のレーンを走行した場合と撮像範囲が1メートル重複する。そのため,車両10を走行させたときのぶれが左右50センチメートルに収まっていれば撮像範囲に抜けが生じないこととなる。
仮想空間では,運転者が車両10を走行させるのに必要な最小限の情報である走行ガイドがあれば足りるが,それ以外に,上述の距離標,目標物などのオブジェクトが仮想空間情報として配置されていても良い。
仮想空間位置変換処理部23は,位置情報取得処理部20で取得した位置情報,方向情報取得処理部21で取得した方向情報,あらかじめ設定されている投影装置4の高さ情報を用いて,仮想空間情報記憶部22に記憶する仮想空間情報における視点(仮想視点)の位置情報とその視点の向きの情報に変換処理を行う。
仮想空間位置変換処理部23において,実空間の位置情報,方向情報を,仮想空間情報における仮想視点の位置情報と向きの情報に変換する処理は,たとえば以下のように処理を行うことで実現できる。
一例として,仮想空間情報記憶部22には,実空間における滑走路(幅60メートル,距離3000メートル)と縮尺が1倍である滑走路(幅60メートル,距離3000メートル)が3次元モデル化されている。そして,走行ガイドおよび距離標が仮想空間の滑走路にオブジェクトとして配置されている。このような仮想空間情報が仮想空間情報記憶部22に記憶されているとする。仮想空間としてモデル化された滑走路の一例が図21である。図21では,滑走路の幅方向にX軸,距離方向にY軸となる。そして幅60メートルのうち,その中心(端から30メートルの位置)をX=0とする。
投影装置4を車両10のルーフに設置した場合,出力処理部25で投影処理を行うときの投影装置4の高さは変わらない。そのため実空間における投影装置4の高さは,仮想空間におけるZ座標に対応する。したがって,仮想空間上の仮想視点(カメラ位置と向き)を制御するパラメータは,原点からのカメラ位置のオフセット(x1,y1)と,カメラの向きθとなる。これを,模式的に示すのが図22である。なお,実空間において投影装置4の高さが変わる場合には,GPS装置3から取得した高さ情報を仮想空間におけるZ座標にすればよい。
このような前提のもと,仮想空間位置変換処理部23は,図23に示す変換処理を実行する。まず,位置情報取得処理部20で位置情報として緯度,経度情報を取得している場合,たとえば平成14年国土交通省告示第9号に基づいて,平面直交座標系(x,y)に変換をする。そして,平面直交座標系と仮想空間座標系とでは座標系にずれが生じているので,そのずれの角度φに基づいて,平面直交座標系(x,y)の座標を,さらに仮想空間の座標系に変換する。なお,滑走路における始点の平面直交座標系(X1,Y1)は,その位置情報としての緯度,経度情報に基づいてあらかじめ算出しておく。
以上のように座標系の変換処理をした後,仮想空間情報における仮想視点の位置(xc,yc)に変換を行う。このような処理をすることで,位置情報取得処理部10で取得した位置情報を仮想視点の位置に変換することができる。
すなわち,仮想空間位置変換処理部23における位置情報の変換処理は,
xc=(X1−x)×cos(φ)−(y−Y1)×sin(φ)
yc=(X1−x)×sin(φ)+(y−Y1)×cos(φ)
を演算することで,仮想視点の位置(xc,yc)に変換できる。
なお,平面直交座標系のX軸は,座標系原点において子午線に一致する軸とし,真北に向かう値を正とし,座標系のY軸は,座標系原点において座標系のX軸に直交する軸とし,真東に向かう値を正としている。そのため,通常の座標系とX,Yが入れ替わった演算式となる。
仮想視点における向きの情報は,実空間の滑走路の方角に,実空間の0度の方角とのオフセットθを加算することで変換できる。
なお,投影装置4による投影ではなく,表示装置5による表示を行う場合には,上述の投影装置4の高さ情報や位置情報などは表示装置5の高さ情報や位置情報に読み替えられる。
仮想視点画像生成処理部24は,仮想空間位置変換処理部23で変換した仮想視点の位置情報と向きの情報(方向情報)に基づいて,その位置情報から見える仮想空間の画像(仮想視点画像)を生成する。すなわち,仮想視点画像とは,仮想空間情報記憶部22に記憶する仮想空間情報において,仮想視点に設置したカメラから仮想空間を撮像した場合にうつる仮想空間の画像である。
出力処理部25は,仮想視点画像生成処理部24で生成した仮想視点画像を投影装置4で路面上に投影,または表示装置5で表示を行う。
夜間は投影装置4による投影を行えるが,昼間では周囲の明るさから投影することができない。そこで,昼間には,出力処理部25は,投影装置4を用いるのではなく,車両10内に表示装置5を設け,そこに出力処理部25が表示をしても良い。
なお,何らかの理由で車両10が後進しなくてはならなくなったとき,本来の進行方向と方向が逆に認識され,出力処理部25が本来の進行方向と逆向きの画像を投影する可能性がある。そのため,それまでの進行方向とは逆を向いたことを判定した場合(方向情報取得処理部21で取得した方向情報と反対方向の方向情報を取得した場合や,GPS装置3に内蔵された方位磁針の方角と,方向情報取得処理部21で取得した方向情報とを比較し,車両10が後進していると判定した場合など)には,出力処理部25における出力処理を行わないように構成しても良い。
さらに,出力処理部25で出力処理を中止するほか,撮像装置6a,6bでの撮像処理を中止するように構成しても良い。
つぎに本発明の走行ガイドシステム1を用いた処理プロセスの一例を図3のフローチャートを用いて説明する。
まず,走行ガイドシステム1における投影装置4を車両10の所定位置,たとえばルーフの上に設置する。この際に,投影装置4の路面からの高さの情報はあらかじめ計測しておき,それを走行ガイドシステム1に入力しておく。また,撮像装置6,照明装置7を設置した牽引台車11を車両10に取り付け,牽引可能としておく。
車両10はあらかじめ滑走路の所定のレーン,たとえば左端のレーンから走行を開始する(S100)。たとえば図10に示すように,滑走路上の開始地点から走行を開始する。走行開始と同時に,GPS装置3では位置情報および方向情報の測位を開始する。また,牽引台車11に取り付けられた照明装置7では路面を照射しているので,撮像装置6で撮像を開始する。
位置情報取得処理部20は,GPS装置3で取得した位置情報としての緯度,経度情報を取得する(S110)。同様に,方向情報取得処理部21は,GPS装置3で取得した方向情報を取得する(S110)。このようにして取得した位置情報,方向情報と,投影装置4の高さ情報とを用いて,仮想空間位置変換処理部23は,仮想空間内のカメラ位置およびカメラ方向の情報に変換する。すなわち仮想空間内におけるカメラ位置としてのX座標,Y座標,Z座標およびカメラ方向に変換する(S120)。このカメラ位置が,実空間における投影装置4に対応する,仮想空間における仮想視点のX軸,Y軸,Z軸の各座標情報に相当し,カメラ方向が,実空間における投影装置4に対応する,仮想空間における投影方向に相当する。
そして,S120で変換した仮想空間内のカメラ位置(仮想空間におけるX座標,Y座標,Z座標)およびカメラ方向の情報に基づいて,仮想視点画像生成処理部24が,仮想空間のカメラ位置およびカメラ方向から,走行ガイド,距離標のオブジェクトを含む仮想空間の滑走路を撮影したときの仮想空間の画像を生成する(S130)。これによって,投影すべき画像(仮想視点画像)が生成できる。
そして,出力手段が,仮想視点画像生成処理部24で生成した画像を投影装置4から投影(出力)させる(S140)。この投影によって,仮想空間における走行ガイド,距離標が,実空間における路面に向けて投影されることとなる。投影装置4によって,仮想視点画像を滑走路に投影した際の一例が図11乃至図13である。図11は,投影装置4によって仮想視点画像を投影した際に,運転席からの視認状況の一例を模式的に示したものである。図11におけるセンターライン状のものは,滑走路にもとから引かれているラインである。図12は,投影装置4によって仮想視点画像を投影した場合の俯瞰図である。図13は,仮想空間に配置されている走行ガイドと投影装置4の投影範囲を示す上方からの図である。
以上のS110からS140の処理を,車両10が走行を停止するまで,たとえば1/10秒ごとに行う(S100)。投影の間隔はGPS装置3での位置情報などの取得間隔によって任意に定めることができ,1/10秒間隔に限定されるものではなく,それよりも短くも長くすることもできる。
運転者は,投影装置4で投影される走行ガイド(図11,図12で示す三角マーク)に沿って運転を行えばよい。また,車両10が走行している場合であっても,GPS装置3では1/10秒間隔などで位置情報などを取得し,逐次,投影する画像を変更しているので,車両10の進行方向に適した走行ガイドの表示が行われる。そして,仮に車両10が走行ガイドから左右にずれたとしても,走行ガイドは,路面上にあたかもペイントされているかのように概略同じ位置に投影されるので,運転者は,車両10が走行ガイドの走行位置に復帰するように,すぐにハンドルを戻すことで車両10が本来の走行位置に復帰可能となる。さらに,距離標の表示が行われることで,目標物のない滑走路などでも自らの走行位置を的確に把握しやすくなる。
車両10が走行している間,撮像装置6は,逐次,所定間隔で滑走路の路面を撮像している。撮像する時間間隔は任意に定めることができる。GPS装置3での位置情報などを取得する時間間隔と同じ時間間隔であっても良いし,異なる時間間隔であっても良い。また,走行距離をセンシングし,一定の距離ごとに撮像をしても良い。この際に,滑走路の路面を撮像した画像は,GPS装置3で取得した位置情報に対応づけて記憶させておくと良い。それによって,撮像した画像情報の位置を特定することができる。撮像装置6とGPS装置3とが離れた位置に設置されている場合には,それらのオフセットをあらかじめ管理しておき,GPS装置3で取得した位置情報にオフセットを演算して撮像装置6の正しい位置を算出した上で,撮像した画像情報の正確な位置を特定することが好ましい。
図14および図15に,投影する仮想空間の画像の一例を模式的に示す。図14は,0番目のレーンの40メートル付近を走行している場合の仮想視点画像であり,図15は,0番目のレーンの150メートル付近を走行している場合の仮想視点画像である。したがって,0番目のレーンを走行している場合の40メートル付近では図14の仮想視点画像が仮想視点画像生成処理部24で生成され,その仮想視点画像を出力処理部25が投影装置4から投影する。また,0番目のレーンを走行している場合の150メートル付近では図15の仮想視点画像が仮想視点画像生成処理部24で生成され,その仮想視点画像を出力処理部25が投影装置4から投影する。生成された仮想視点画像は出力処理部25が投影装置4を介して投影するが,運転者が視認できるのは,実際に路面に投影された領域の画像となる。
図14では運転席(運転者)の正面に走行ガイドが表示されているので,運転者は車両10を正しい走行位置で走行させているが,図15では,走行ガイドの右側に車両10がずれている。そのため,運転者はハンドルを左に切り,走行ガイドが運転席(運転者)の正面に来るように走行位置を修正することが求められる。
本発明の走行ガイドシステム1は,撮像装置6で路面を撮像するため,車両10がどのような位置を走行したら良いかを運転者に適切にガイドすることが目的であるが,たとえば図10に示すような経路で走行することとなる。この際に,直線である場所は高速走行が可能であるが,走行方向を変える場所は低速走行とならざるを得ない。これを模式的に示すのが図16である。
GPS装置3では,通常,位置情報の変化から方向(方向情報)を判定しているので,方向の判定精度が高くなく,方向情報の精度に限界がある。したがって,計測ごとにランダムに誤差が生じるので,その方向情報をそのまま使って出力する画像(仮想視点画像)を生成し,生成した画像を投影装置4で路面に投影したり,表示装置5で表示すると,ランダムに方向が歪んでしまう。そのため,車両10を高速に直線走行させる領域では,投影された画像を運転者が見て,車両10が回転方向に揺らいでいるように感じられ,幻惑されてしまう現象が発生する。
そこで,本実施例では,この現象を緩和するため,走行ガイドシステム1では,位置情報と方向情報を別々に処理して出力する仮想視点画像を生成する。この場合,位置情報についてはたとえば1/10秒の頻度で更新するが,方向情報については,車速が低速走行を脱した速度,たとえば時速20キロメートルの閾値を超えるなど,高速走行している間は,方向情報取得処理部21のGPS装置3の2つの位置情報を用いた方向情報の算出処理を中止する,あるいはGPS装置3の2つの位置情報ではなく,たとえば所定時間(たとえば直近1秒間)の移動平均によって方向情報の算出処理を行うように構成してもよい。
このように車速に応じて方向情報の算出処理を変更することで,出力する画像の方向についての揺らぎを抑えることができる。
本実施例の処理を用いることで,運転者には正確な方向情報のフィードバックはなくなる,または遅延する(方向がずれてもすぐには仮想視点画像に反映されない)ことになるが,位置情報については通常の処理と同様の頻度,たとえば1/10秒の頻度で更新するので,車両10の走行を想定するレーンからの左右のズレについては,リアルタイムに運転者にフィードバックされ,正確な直線走行をするためには十分である。
なお,車両10が走行する想定レーンが直線ではなく,湾曲している場合には,方向情報についてのある程度のフィードバックは必要なので,方向情報取得処理部21は,方向情報の算出処理を中止する処理方法よりは,直近の所定の時間間隔の移動平均によって方向情報の算出処理を行う処理方法を用いることが好ましい。
さらに,本発明の走行ガイドシステム1で投影する画像の安定性を確保するため,3軸慣性センサを備えても良い。
すなわち,路面の凹凸の状況や車両10の加速,減速の状況によっては車両10に設置された投影装置4の姿勢が変動し,投影する画像の投影位置が不安定な状態となる。たとえば,車両10が加速,減速する場合に投影装置4が通常より上や下を向いたり,湾曲したレーンを進行するときに遠心力等で投影装置4が通常より傾いたりする場合がある。このような状態を緩和し,なるべく同一の位置に表示するため,車両10に3軸慣性センサをさらに設置しても良い。
この場合,走行ガイドシステム1が3軸慣性センサから,画像の投影の頻度(上述の実施例では1/10秒に1回)でピッチ軸,ヨー軸,ロール軸のそれぞれの角度情報を得て,それぞれのパラメータを仮想空間上のカメラの仰角,水平回転方向の方角,ねじれ角(カメラを水平ではなく斜めに撮影する)に反映させ,仮想視点画像生成処理部24が仮想視点画像を生成し,出力処理部25が投影装置4から投影することで,仮想視点画像の投影位置を安定させることができる。
本実施例では,施設や路面の損傷箇所などの,管理対象となる管理対象箇所への走行ガイドを行う場合を説明する。この場合,走行ガイドシステム1として,撮像装置6などで撮像した画像から,管理対象箇所を抽出した画像(管理対象画像)が記憶されており,その管理対象画像を用いて,管理対象箇所のある場所まで車両10の運転者をガイドするように構成する場合である。本実施例における走行ガイドシステム1の構成の一例を図17に示す。なお,本明細書における管理対象画像とは,撮像装置6などで撮像した画像の中から画像認識等の手段により,損傷箇所などの管理対象となる箇所が認識され,その認識された箇所が二値画像化やベクトル画像化されたCAD図面などの画像である。
本実施例の走行ガイドシステム1では,さらに,管理対象箇所記憶部26と管理対象箇所特定処理部27とガイド画像生成処理部28とを有する。なお,走行ガイドシステム1における実施例1乃至実施例3の機能に加えて上述の各機能を備えていても良いが,仮想空間情報記憶部22,仮想空間位置変換処理部23,仮想視点画像生成処理部24などの各機能の一部または全部の機能を備えていなくても良い。
管理対象箇所記憶部26は,管理対象画像とその位置情報(緯度,経度情報,方向情報,縮尺情報)とを記憶する。なお,管理対象画像および位置情報は,それらを識別する識別情報に対応づけて記憶されていることが好ましい。管理対象画像を路面の管理対象箇所に重畳表示させる場合,管理対象画像から管理対象箇所をさらに切り出し,拡大/縮小や回転させた画像として管理していれば良い。
管理対象箇所特定処理部27は,GPS装置3により位置情報取得処理部20で取得した位置情報(車両10の現在の位置情報)に基づいて,そこから所定範囲内にある管理対象箇所を特定する。具体的には位置情報取得処理部20で取得した位置情報と,管理対象箇所記憶部26に記憶する位置情報とを比較し,取得した位置情報から所定範囲内,たとえば半径100メートル以内にある管理対象箇所の識別情報を特定する。
ガイド画像生成処理部28は,管理対象箇所特定処理部27で特定した管理対象箇所の識別情報に基づいて,現在地点から,特定した管理対象箇所までの距離や方向を算出し,それをガイドするガイド画像を生成する。生成するガイド画像の一例が図18である。
図18に示すガイド画像では,位置情報取得処理部20で取得した位置情報を中心として,3つの同心円を描いている。内側から第1同心円,第2同心円,第3同心円とした場合,第3同心円が,上述の取得した位置情報から所定範囲である100メートルを意味しており,各同心円が1/3ずつの距離を意味している。そして,第3同心円から各方向に伸びている矢印が管理対象箇所の存在する方向であり,矢印に付されている「♯」記号が管理対象箇所画像を示す識別情報,その隣の数字が当該管理対象箇所までの距離である。また矢印の長さは距離に比例して表示される。同心円状にある黒丸は,同心円の原点を位置情報取得処理部20で取得した位置情報としたときの,各管理対象箇所までの距離と方向を示している。すなわち,100メートルを所定範囲としたとき,どの方向と位置に管理対象箇所があるかを概略示すガイドとなる。
なお,ガイド画像としては,図18に示す表示方法に限定されるのではなく,少なくとも進行方向が表示されれば,いかなる表示方法であっても良い。
つぎに本実施例における走行ガイドシステム1の処理プロセスの一例を図19のフローチャートを用いて説明する。なお,以下の説明では,管理対象箇所記憶部26に管理対象画像,位置情報,損傷のレベル,識別情報などが記憶されているものとする。
本実施例における走行ガイドシステム1を搭載した車両10は,GPS装置3によって位置情報取得手段が位置情報を取得する(S210)。そして取得した位置情報に基づいて,管理対象箇所特定処理部27は,取得した位置情報から所定範囲,たとえば100メートル以内の管理対象箇所があるかを特定する(S220)。
管理対象箇所特定処理部27で所定範囲内の管理対象箇所を特定すると,ガイド画像生成処理部28は,S200で取得した位置情報と,特定した管理対象箇所の位置情報とを比較することで,方向および距離を算出する(S230)。そして特定した各管理対象箇所までの方向および距離を算出することで,ガイド画像を生成する(S240)。
ガイド画像生成処理部28で生成したガイド画像は,出力処理部25が,投影装置4で投影するS250)。
このようにS210からS250までの処理を,車両10が走行を終了するまで反復する。反復の頻度としては,たとえばGPS装置3で位置情報を取得する頻度,たとえば1/10秒ごとに行うと良いが,それに限定されるものではない。
これによって,車両10の運転者は,路面に投影されたガイド画像を見ながら運転することで,所望の管理対象箇所まで移動することができる。
以上の処理において,さらに,車両10が特定の管理対象箇所に接近した場合,たとえば損傷から10メートル以内に近づいた場合,出力処理部25は,ガイド画像ではなく,管理対象画像記憶部から管理対象画像を抽出し,管理対象画像を路面に投影するように構成しても良い。ガイド画像の表示から切り替えを行う場合,投影装置4と管理対象画像との位置関係に基づいて切り替えタイミングを調整することもできる。すなわち,投影装置4で路面に投影をする場合,管理対象画像を投影したときに,管理対象箇所と概略一致する,投影装置4の管理対象箇所までの距離はあらかじめ定まる。そのため,管理対象箇所からのあらかじめ定められた距離を切り替えタイミングとして設定することもできる。
管理対象箇所に接近した場合に管理対象画像を路面に投影した場合の一例を図20に示す。図20では,管理対象画像に加え,管理対象箇所の識別情報,損傷の度合いを示すレベルが投影されている。本実施例の場合,正確に管理対象箇所を特定できることが好ましいが,誤差は発生し得る。そのため,正確に投影できなくても概略の位置が特定できれば,実際には十分に対応し得る。そのため,本発明のように管理対象画像を投影できることで,車両10を所望の管理対象箇所まで,迅速かつ容易にガイドすることができる。そして車両10が管理対象箇所まで到達後,保守作業担当者などが保守作業を行う。
現状では,保守作業担当者は管理対象図を印刷した図面を持参し,夜間,手持ちのライト,あるいはヘルメットに装着したライトで図面を照らしながら路面の管理対象と思しきものと,管理対象図とを照合して,確認,補修すべき管理対象箇所を同定している。しかし本実施例を用いれば,管理対象箇所に管理対象画像が重畳表示されるので,参照,照合が極めて容易かつ効率的である。また,通常,管理対象画像には補修の指示等が記入されるので,その情報についても容易かつ確実に保守作業担当者に伝達できる。
さらに,本実施例を用いれば,道路の地下に埋設された施設の保守を行う場合には,地中の施設は目視で確認することができないため,施設の近傍に走行ガイドで誘導した上で設計図を路面に投影して大まかな位置を把握しながら繰り返して保守作業を行う場合に利用することができる。たとえば,道路の地下に埋設された配管が管理対象箇所となっている場合には,管理対象画像として配管図とその位置情報を記憶させておく。そして,配管の保守を行う場合には,本実施例における走行ガイドシステム1を用いることで,保守を行う配管のある場所まで容易にたどり着け,かつ配管図などの管理対象画像を路面に投影することで,保守作業を容易に行うことができる。
上述の各実施例の説明では,本発明の走行ガイドシステム1を滑走路上の走行の場合を例として説明したが,それに限定されるものではない。砂漠やゴルフ場,海浜など「自由度2」で車両10が移動できる場所で,管理,保全,保守あるいは遊戯などの目的で運転者をガイドする場合に利用することができる。
また,投影装置4は車両10に設置せずともよく,移動体としての飛行体(ヘリコプターや,ドローンなどのUAVなど)に設置しても良い。この場合,機体の高さ,すなわち対象物までの高さ方向の距離および投影装置4の仰角が変化することとなるが,GPS装置3で高さ情報を取得するとともに,実施例3のように3軸慣性センサを飛行体に設置し,画像の投影の頻度でピッチ軸,ヨー軸,ロール軸のそれぞれの角度情報を得て,それぞれのパラメータを仮想空間上のカメラの高さ,仰角,水平回転方向の方角,ねじれ角(カメラを水平ではなく斜めに撮影する)にさらに反映させ,仮想視点画像生成処理部24が仮想視点画像を生成し,出力処理部25が投影装置4から投影することで,仮想視点画像の投影位置を安定させることができる。UAVに投影装置4を搭載する場合には,車両10の走行や歩行による移動をガイドするために,上空から走行ガイドを投影するなどの目的で利用することができる。
本発明の走行ガイドシステム1では,移動体に搭載した投影装置4などで走行する位置を路面に投影し,あるいは表示位置5に表示し,操作者はそれにしたがって車両10などの移動体を走行させれば良いだけであるので,操作者にとっては簡単である。また,滑走路にコーンなどを置く必要もないので,作業時間の短縮ができるとともに,安全性を損なうこともない。
また,実施例4における走行ガイドシステムを用いることによって,道路の地下に埋設された施設の保守を行う場合に,目視では確認できない地下施設の近傍まで走行ガイドで誘導した上で,設計図等を路面に投影して大まかな位置を把握しながら繰り返して保守作業を行うことができるので,保守作業担当者にとって作業時間の短縮ができ,安全性を損なうこともない。
1:走行ガイドシステム
2:管理コンピュータ
3:GPS装置
4:投影装置
5:表示装置
6:撮像装置
7:照明装置
8:吊具
9:枠体
10:車両
11:牽引台車
20:位置情報取得処理部
21:方向情報取得処理部
22:仮想空間情報記憶部
23:仮想空間位置変換処理部
24:仮想視点画像生成処理部
25:出力処理部
26:管理対象箇所記憶部
27:管理対象箇所特定処理部
28:ガイド画像生成処理部
70:演算装置
71:記憶装置

Claims (11)

  1. 移動体の操作者にその移動体の走行位置をガイドする走行ガイドシステムであって,
    前記走行ガイドシステムは,
    位置情報取得装置から位置情報を取得する位置情報取得処理部と,
    方向情報を取得する方向情報取得処理部と,
    前記移動体の操作者に走行位置をガイドする範囲を含む実空間の一部または全部に対応する仮想空間であって,前記操作者が移動体を移動させるべき走行位置を示す走行ガイドがその仮想空間に配置されている仮想空間情報を記憶する仮想空間情報記憶部と,
    前記取得した位置情報と方向情報とを用いて,前記仮想空間における仮想視点の位置と向きの情報に変換する仮想空間位置変換処理部と,
    前記仮想空間情報記憶部に記憶する仮想空間において,前記仮想視点からの,前記走行ガイドを含む前記仮想空間の画像である仮想視点画像を生成する仮想視点画像生成処理部と,
    管理対象箇所の位置情報を記憶する管理対象箇所記憶部と,
    前記取得した位置情報を用いて,前記管理対象箇所記憶部を参照することで,所定範囲内にある管理対象箇所を特定する管理対象箇所特定処理部と,
    前記特定した管理対象箇所までの距離および/または方向を算出し,ガイドするガイド画像を生成するガイド画像生成処理部と,
    前記生成した仮想視点画像および/またはガイド画像を,投影装置または表示装置から出力する出力処理部と,を有しており,
    前記仮想空間情報記憶部は,
    前記仮想空間情報として,前記仮想空間の一部または全部を,所定間隔で長さ方向,幅方向に区切り,長さ方向を,長さ方向の基準位置からの距離で表し,幅方向を,幅方向の基準位置からのレーン番号で表し,距離とレーン番号の交点には,距離およびレーン番号を示す距離標が,前記仮想空間に配置されており,
    前記仮想視点画像生成処理部は,
    前記仮想視点からの,前記走行ガイドおよび前記距離標を含む仮想視点画像を生成する,
    ことを特徴とする走行ガイドシステム。
  2. 移動体の操作者にその移動体の走行位置をガイドする走行ガイドシステムであって,
    前記走行ガイドシステムは,
    位置情報取得装置から位置情報を取得する位置情報取得処理部と,
    方向情報を取得する方向情報取得処理部と,
    前記移動体の操作者に走行位置をガイドする範囲を含む実空間の一部または全部に対応する仮想空間であって,前記操作者が移動体を移動させるべき走行位置を示す走行ガイドがその仮想空間に配置されている仮想空間情報を記憶する仮想空間情報記憶部と,
    前記取得した位置情報と方向情報とを用いて,前記仮想空間における仮想視点の位置と向きの情報に変換する仮想空間位置変換処理部と,
    前記仮想空間情報記憶部に記憶する仮想空間において,前記仮想視点からの,前記走行ガイドを含む前記仮想空間の画像である仮想視点画像を生成する仮想視点画像生成処理部と,
    前記生成した仮想視点画像を,投影装置または表示装置から出力する出力処理部と,を有しており,
    前記仮想空間情報記憶部は,
    前記仮想空間情報として,前記仮想空間の一部または全部を,所定間隔で長さ方向,幅方向に区切り,長さ方向を,長さ方向の基準位置からの距離で表し,幅方向を,幅方向の基準位置からのレーン番号で表し,距離とレーン番号の交点には,距離およびレーン番号を示す距離標が,前記仮想空間に配置されており,
    前記仮想視点画像生成処理部は,
    前記仮想視点からの,前記走行ガイドおよび前記距離標を含む仮想視点画像を生成する,
    ことを特徴とする走行ガイドシステム。
  3. 移動体の操作者にその移動体の走行位置をガイドする走行ガイドシステムであって,
    前記走行ガイドシステムは,
    位置情報取得装置から位置情報を取得する位置情報取得処理部と,
    方向情報を取得する方向情報取得処理部と,
    前記移動体の操作者に走行位置をガイドする範囲を含む実空間の一部または全部に対応する仮想空間であって,前記操作者が移動体を移動させるべき走行位置を示す走行ガイドがその仮想空間に配置されている仮想空間情報を記憶する仮想空間情報記憶部と,
    前記取得した位置情報と方向情報とを用いて,前記仮想空間における仮想視点の位置と向きの情報に変換する仮想空間位置変換処理部と,
    前記仮想空間情報記憶部に記憶する仮想空間において,前記仮想視点からの,前記走行ガイドを含む前記仮想空間の画像である仮想視点画像を生成する仮想視点画像生成処理部と,
    管理対象箇所の位置情報を記憶する管理対象箇所記憶部と,
    前記取得した位置情報を用いて,前記管理対象箇所記憶部を参照することで,所定範囲内にある管理対象箇所を特定する管理対象箇所特定処理部と,
    前記特定した管理対象箇所までの距離および/または方向を算出し,ガイドするガイド画像を生成するガイド画像生成処理部と,
    前記生成した仮想視点画像および/またはガイド画像を,投影装置または表示装置から出力する出力処理部と,を有しており,
    前記方向情報取得処理部は,
    前記移動体の移動速度と所定の閾値とを比較し,閾値を超えたと判定した場合には,位置情報を用いた方向情報の算出処理を中止する,または所定時間における位置情報の移動平均によって方向情報の算出処理を行う,
    ことを特徴とする走行ガイドシステム。
  4. 移動体の操作者にその移動体の走行位置をガイドする走行ガイドシステムであって,
    前記走行ガイドシステムは,
    位置情報取得装置から位置情報を取得する位置情報取得処理部と,
    方向情報を取得する方向情報取得処理部と,
    前記移動体の操作者に走行位置をガイドする範囲を含む実空間の一部または全部に対応する仮想空間であって,前記操作者が移動体を移動させるべき走行位置を示す走行ガイドがその仮想空間に配置されている仮想空間情報を記憶する仮想空間情報記憶部と,
    前記取得した位置情報と方向情報とを用いて,前記仮想空間における仮想視点の位置と向きの情報に変換する仮想空間位置変換処理部と,
    前記仮想空間情報記憶部に記憶する仮想空間において,前記仮想視点からの,前記走行ガイドを含む前記仮想空間の画像である仮想視点画像を生成する仮想視点画像生成処理部と,
    前記生成した仮想視点画像を,投影装置または表示装置から出力する出力処理部と,を有しており,
    前記方向情報取得処理部は,
    前記移動体の移動速度と所定の閾値とを比較し,閾値を超えたと判定した場合には,位置情報を用いた方向情報の算出処理を中止する,または所定時間における位置情報の移動平均によって方向情報の算出処理を行う,
    ことを特徴とする走行ガイドシステム。
  5. 前記仮想空間情報記憶部は,
    前記仮想空間情報として,前記走行ガイドが,前記移動体の運転者の正面に位置するように配置されている,
    ことを特徴とする請求項1から請求項4のいずれかに記載の走行ガイドシステム。
  6. 前記仮想視点画像生成処理部は,さらに,
    前記移動体または投影装置に備えた3軸慣性センサから3軸の角度情報を取得し,前記仮想視点の仰角,水平回転方向の方角,ねじれ角として反映させて,前記仮想視点画像を生成する,
    ことを特徴とする請求項1から請求項5のいずれかに記載の走行ガイドシステム。
  7. 前記管理対象箇所記憶部は,さらに,
    前記管理対象箇所の位置情報に対応づけて管理対象画像を記憶しており,
    前記出力処理部は,
    前記取得した位置情報と,前記管理対象箇所の位置情報とを比較することで前記移動体が前記管理対象箇所からあらかじめ定められた範囲に入ったかを判定し,
    前記あらかじめ定められた範囲に入ったことを判定すると,前記管理対象箇所記憶部からその管理対象箇所の管理対象画像を抽出して出力する,
    ことを特徴とする請求項1または請求項3に記載の走行ガイドシステム。
  8. 移動体の操作者に走行位置をガイドする範囲を含む実空間の一部または全部に対応する仮想空間であって,前記操作者が移動体を移動させるべき走行位置を示す走行ガイドがその仮想空間に配置されている仮想空間情報を記憶する記憶装置にアクセス可能なコンピュータを,
    位置情報取得装置から位置情報を取得する位置情報取得処理部,
    方向情報を取得する方向情報取得処理部,
    前記取得した位置情報と方向情報とを用いて,前記仮想空間における仮想視点の位置と向きの情報に変換する仮想空間位置変換処理部,
    前記記憶装置に記憶する仮想空間において,前記仮想視点からの,前記走行ガイドを含む前記仮想空間の画像である仮想視点画像を生成する仮想視点画像生成処理部,
    前記取得した位置情報を用いて,管理対象箇所の位置情報を記憶する管理対象箇所記憶部を参照することで,所定範囲内にある管理対象箇所を特定する管理対象箇所特定処理部,
    前記特定した管理対象箇所までの距離および/または方向を算出し,ガイドするガイド画像を生成するガイド画像生成処理部,
    前記生成した仮想視点画像および/またはガイド画像を,投影装置または表示装置から出力する出力処理部,として機能させる走行ガイドプログラムであって,
    前記仮想空間情報として,前記仮想空間の一部または全部を,所定間隔で長さ方向,幅方向に区切り,長さ方向を,長さ方向の基準位置からの距離で表し,幅方向を,幅方向の基準位置からのレーン番号で表し,距離とレーン番号の交点には,距離およびレーン番号を示す距離標が,前記仮想空間に配置されており,
    前記仮想視点画像生成処理部は,
    前記仮想視点からの,前記走行ガイドおよび前記距離標を含む仮想視点画像を生成する,
    ことを特徴とする走行ガイドプログラム。
  9. 移動体の操作者に走行位置をガイドする範囲を含む実空間の一部または全部に対応する仮想空間であって,前記操作者が移動体を移動させるべき走行位置を示す走行ガイドがその仮想空間に配置されている仮想空間情報を記憶する記憶装置にアクセス可能なコンピュータを,
    位置情報取得装置から位置情報を取得する位置情報取得処理部,
    方向情報を取得する方向情報取得処理部,
    前記取得した位置情報と方向情報とを用いて,前記仮想空間における仮想視点の位置と向きの情報に変換する仮想空間位置変換処理部,
    前記記憶装置に記憶する仮想空間において,前記仮想視点からの,前記走行ガイドを含む前記仮想空間の画像である仮想視点画像を生成する仮想視点画像生成処理部,
    前記生成した仮想視点画像を,投影装置または表示装置から出力する出力処理部,として機能させる走行ガイドプログラムであって,
    前記仮想空間情報として,前記仮想空間の一部または全部を,所定間隔で長さ方向,幅方向に区切り,長さ方向を,長さ方向の基準位置からの距離で表し,幅方向を,幅方向の基準位置からのレーン番号で表し,距離とレーン番号の交点には,距離およびレーン番号を示す距離標が,前記仮想空間に配置されており,
    前記仮想視点画像生成処理部は,
    前記仮想視点からの,前記走行ガイドおよび前記距離標を含む仮想視点画像を生成する,
    ことを特徴とする走行ガイドプログラム。
  10. 移動体の操作者に走行位置をガイドする範囲を含む実空間の一部または全部に対応する仮想空間であって,前記操作者が移動体を移動させるべき走行位置を示す走行ガイドがその仮想空間に配置されている仮想空間情報を記憶する記憶装置にアクセス可能なコンピュータを,
    位置情報取得装置から位置情報を取得する位置情報取得処理部,
    方向情報を取得する方向情報取得処理部,
    前記取得した位置情報と方向情報とを用いて,前記仮想空間における仮想視点の位置と向きの情報に変換する仮想空間位置変換処理部,
    前記記憶装置に記憶する仮想空間において,前記仮想視点からの,前記走行ガイドを含む前記仮想空間の画像である仮想視点画像を生成する仮想視点画像生成処理部,
    前記取得した位置情報を用いて,管理対象箇所の位置情報を記憶する管理対象箇所記憶部を参照することで,所定範囲内にある管理対象箇所を特定する管理対象箇所特定処理部,
    前記特定した管理対象箇所までの距離および/または方向を算出し,ガイドするガイド画像を生成するガイド画像生成処理部,
    前記生成した仮想視点画像および/またはガイド画像を,投影装置または表示装置から出力する出力処理部,として機能させる走行ガイドプログラムであって,
    前記方向情報取得処理部は,
    前記移動体の移動速度と所定の閾値とを比較し,閾値を超えたと判定した場合には,位置情報を用いた方向情報の算出処理を中止する,または所定時間における位置情報の移動平均によって方向情報の算出処理を行う,
    ことを特徴とする走行ガイドプログラム。
  11. 移動体の操作者に走行位置をガイドする範囲を含む実空間の一部または全部に対応する仮想空間であって,前記操作者が移動体を移動させるべき走行位置を示す走行ガイドがその仮想空間に配置されている仮想空間情報を記憶する記憶装置にアクセス可能なコンピュータを,
    位置情報取得装置から位置情報を取得する位置情報取得処理部,
    方向情報を取得する方向情報取得処理部,
    前記取得した位置情報と方向情報とを用いて,前記仮想空間における仮想視点の位置と向きの情報に変換する仮想空間位置変換処理部,
    前記記憶装置に記憶する仮想空間において,前記仮想視点からの,前記走行ガイドを含む前記仮想空間の画像である仮想視点画像を生成する仮想視点画像生成処理部,
    前記生成した仮想視点画像を,投影装置または表示装置から出力する出力処理部,として機能させる走行ガイドプログラムであって,
    前記方向情報取得処理部は,
    前記移動体の移動速度と所定の閾値とを比較し,閾値を超えたと判定した場合には,位置情報を用いた方向情報の算出処理を中止する,または所定時間における位置情報の移動平均によって方向情報の算出処理を行う,
    ことを特徴とする走行ガイドプログラム。
JP2015219315A 2015-11-09 2015-11-09 走行ガイドシステム Active JP6763656B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015219315A JP6763656B2 (ja) 2015-11-09 2015-11-09 走行ガイドシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015219315A JP6763656B2 (ja) 2015-11-09 2015-11-09 走行ガイドシステム

Publications (2)

Publication Number Publication Date
JP2017090189A JP2017090189A (ja) 2017-05-25
JP6763656B2 true JP6763656B2 (ja) 2020-09-30

Family

ID=58768973

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015219315A Active JP6763656B2 (ja) 2015-11-09 2015-11-09 走行ガイドシステム

Country Status (1)

Country Link
JP (1) JP6763656B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6778008B2 (ja) * 2016-03-31 2020-10-28 倉敷紡績株式会社 ナビゲーション装置及びナビゲーション方法
JP7317299B2 (ja) * 2019-07-29 2023-07-31 株式会社ソーシャル・キャピタル・デザイン 画像処理システム
JP7304016B2 (ja) * 2019-07-29 2023-07-06 株式会社ソーシャル・キャピタル・デザイン 画像処理システム
CN113744335B (zh) * 2021-08-24 2024-01-16 北京体育大学 一种基于场地标记的运动引导方法、***及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10138719A1 (de) * 2001-08-07 2003-03-06 Siemens Ag Verfahren und Vorrichtung zur Darstellung von Fahrhinweisen, insbesondere in Auto-Navigationssystemen
JP5095321B2 (ja) * 2007-09-11 2012-12-12 クラリオン株式会社 観光情報表示装置、ナビゲーション装置および観光情報表示システム

Also Published As

Publication number Publication date
JP2017090189A (ja) 2017-05-25

Similar Documents

Publication Publication Date Title
JP7125214B2 (ja) プログラムおよびコンピューティングデバイス
JP7020728B2 (ja) システム、方法およびプログラム
JP4696248B2 (ja) 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
US11181737B2 (en) Head-up display device for displaying display items having movement attribute or fixed attribute, display control method, and control program
CN106408611B (zh) 静态目标的路过式校准
JP2022553491A (ja) 車両ナビゲーション用のシステムおよび方法
JP2024045389A (ja) レーンマッピング及びナビゲーション
JP2020085886A (ja) 乗物、乗物測位システム、及び乗物測位方法
CN112654836A (zh) 用于车辆导航的***和方法
CN115867767A (zh) 用于车辆导航的***和方法
JP6763656B2 (ja) 走行ガイドシステム
CN107615201A (zh) 自身位置估计装置及自身位置估计方法
CN114729813A (zh) 用于车辆导航的***和方法
CN110491156A (zh) 一种感知方法、装置及***
JP2006047291A (ja) デジタルレーンマーク作成装置
JP5801014B2 (ja) ナビゲーション装置
CN113924462A (zh) 用于确定物体尺寸的导航***和方法
JP7008040B2 (ja) 環境モデルの写像を作成するための方法、並びに、車両制御システム、及び、対応する車両
CN112567264A (zh) 用于获取坐标变换信息的装置和方法
CN117387614A (zh) 用于动态道路几何形状建模与导航的***和方法
CN115735168A (zh) 用于对交通工具进行导航的控制回路
JP2023504604A (ja) 車両を選択的に減速させるシステムおよび方法
JP2021020626A (ja) 表示制御装置
JP2014211431A (ja) ナビゲーション装置、及び、表示制御方法
CN117677972A (zh) 用于路段绘制的***和方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160208

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20160208

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180730

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180905

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180905

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200813

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200910

R150 Certificate of patent or registration of utility model

Ref document number: 6763656

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250