JP5093667B2 - ナビゲーションシステム、ナビゲーション方法、およびナビゲーションプログラム - Google Patents

ナビゲーションシステム、ナビゲーション方法、およびナビゲーションプログラム Download PDF

Info

Publication number
JP5093667B2
JP5093667B2 JP2008061232A JP2008061232A JP5093667B2 JP 5093667 B2 JP5093667 B2 JP 5093667B2 JP 2008061232 A JP2008061232 A JP 2008061232A JP 2008061232 A JP2008061232 A JP 2008061232A JP 5093667 B2 JP5093667 B2 JP 5093667B2
Authority
JP
Japan
Prior art keywords
information
user
image data
image
navigation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008061232A
Other languages
English (en)
Other versions
JP2009020091A (ja
Inventor
理恵子 門林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Information and Communications Technology
Original Assignee
National Institute of Information and Communications Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Information and Communications Technology filed Critical National Institute of Information and Communications Technology
Priority to JP2008061232A priority Critical patent/JP5093667B2/ja
Publication of JP2009020091A publication Critical patent/JP2009020091A/ja
Application granted granted Critical
Publication of JP5093667B2 publication Critical patent/JP5093667B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instructional Devices (AREA)
  • Navigation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、ナビゲーションシステム、ナビゲーション方法、およびナビゲーションプロ
グラムに関する。
近年、自動車の運転などの際に有用な情報を提供するナビゲーションシステムが各種提
案されている。一般的なナビゲーションシステムは、GPS受信機やジャイロなどで、自
車の位置や方位を検出し、検出された自車位置からリモコン、音声認識装置などにより入
力された目的地や経由地に基づき、誘導経路を算出し、自車位置ならびにその周辺部の地
図をディスプレイ上に表示し、地図をスクロールさせて目的地まで自車位置を案内するよ
うに構成されている(たとえば、特許文献1〜3を参照。)。
特開平6−309595号公報 特開2004−94444号公報 特開2004−140811号公報
しかしながら、従来のナビゲーションシステムでは、ユーザがあらかじめいくつかのポ
イントを経由地として設定することで、ユーザが所望する目的地までのルートを探索する
ことができるが、具体的な道路の危険情報(たとえば工事中の道路など)を提示すること
はできない。したがって、ナビゲーションシステムが提供した情報のみでは、容易に通行
できるか否かを判断することはできないという問題があった。なかには、ルート探索に加
えて当該ルートの渋滞情報や事故情報を提示できる、主に自動車の運転に使用する従来の
ナビゲーションシステムもあるが、このようなシステムでも前述のような道路の危険情報
を提示することはできない。
また、従来のナビゲーションシステムでは、ユーザが所望する目的物などを画像で示す
ことができるものがある。しかし、ここで提示される画像は、目的物などを一定の方向か
ら撮影した画像のみであって、ユーザが望む方向から撮影されたものではない。このため
、ユーザが本当に必要とする情報を取得することができない。
この発明は、上述した従来技術による問題点を解消するため、ユーザにとって必要な情
報を取得できるナビゲーションシステム、ナビゲーション方法、およびナビゲーションプ
ログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するため、請求項1の発明にかかるナビゲーション
システムは、ネットワークを介して接続されたナビゲーション装置とサーバとを含み構成
されるナビゲーションシステムであって、前記ナビゲーション装置が、ユーザの現存地点
周囲の各種情報を画像として取得するカメラと、画像を表示する表示手段と、各種情報の
入力を行う入力手段と、ユーザの現存位置の情報を認識する位置認識手段と、前記カメラ
が向いている方向を検出する方位検出手段と、前記カメラが取得した画像、前記入力手段
から入力された取得画像の被写体名、前記位置認識手段により認識されたユーザの現存位
置情報、および前記方位検出手段が検出した取得画像の方位情報を関連付けて前記サーバ
における処理で用いられるサンプル画像データを生成する画像データ生成手段と、を備え
ていることを特徴とする。
また、請求項2の発明にかかるナビゲーションシステムは、請求項1に記載の発明にお
いて、前記ナビゲーション装置が、前記位置認識手段が認識した位置情報および前記方位
検出手段が検出した方位情報を常時前記ネットワークを介して前記サーバへ送信すること
を特徴とする。
また、請求項3の発明にかかるナビゲーションシステムは、請求項1または2に記載の
発明において、前記サーバが、前記ナビゲーション装置から取得したサンプル画像データ
を被写体ごとに分類し、一つの被写体に対して複数の方向から撮影された画像を含む、ユ
ーザに供給するための供給用画像データを構築するデータ分類構築手段と、前記データ分
類構築手段により分類構築された供給用画像データを格納するデータベースと、前記ナビ
ゲーション装置が取得を希望する目的地点情報に合致する供給用画像データが前記データ
ベースにあるか否かを検索し、合致する供給用画像データがある場合に当該画像データを
前記データベースから抽出するデータ検索抽出手段と、を備えていることを特徴とする。
また、請求項4の発明にかかるナビゲーションシステムは、請求項3に記載の発明にお
いて、前記データ分類構築手段が、取得した前記サンプル画像データに含まれる画像を該
画像に関連付けられた位置情報およびその方位情報を参照して位置方位ごとに分類し、分
類された画像を分析し当該画像に含まれる道路の危険情報が視覚的に判別可能な危険情報
画像データを構築することを特徴とする。
また、請求項5の発明にかかるナビゲーションシステムは、請求項3または4に記載の
発明において、前記サーバが、前記ナビゲーション装置から送られてきた位置情報および
方位情報に基づき、ユーザの現存位置を検出するユーザ位置検出手段を備え、前記データ
検索抽出手段が、前記ユーザ位置検出手段により検出されたユーザの現存位置に合致する
画像データが前記データベースにあるか否かを検索し、合致する画像データがある場合に
当該画像データを前記データベースから抽出することを特徴とする。
また、請求項6の発明にかかるナビゲーションシステムは、請求項3〜5のいずれか一
つに記載の発明において、前記ナビゲーション装置が、前記供給用画像データを前記ネッ
トワークを介して前記サーバから取得し、前記供給用画像データに含まれる画像のうち、
前記入力手段から入力された情報と合致する画像を抽出して前記表示手段に表示させるデ
ータ処理手段と、を備えていることを特徴とする。
また、請求項7の発明にかかるナビゲーションシステムは、請求項6に記載の発明にお
いて、前記データ処理手段が、取得した供給用画像情報データのなかから、前記位置認識
手段が認識した位置情報および前記方位検出手段が検出した方位情報と合致する位置情報
および方位情報が関連付けられている画像を前記表示手段に表示させることを特徴とする
また、請求項8の発明にかかるナビゲーションシステムは、請求項3〜7のいずれか一
つに記載の発明において、前記サーバが、前記ナビゲーション装置から送られてきたユー
ザの位置情報および方位情報の履歴に基づき、ユーザの状況を推定するユーザ状況推定手
段を備え、その推定結果を前記データ検索抽出手段の検索抽出条件に入力することを特徴
とする。
また、請求項9の発明にかかるナビゲーションシステムは、請求項3〜8のいずれか一
つに記載の発明において、前記方位検出手段の不使用時に、前記サーバが、前記ナビゲー
ション装置から送られてきたユーザの位置情報の履歴に基づき、ユーザの方位情報を推定
するユーザ方位推定手段を備え、その推定結果を前記データ検索抽出手段の検索抽出条件
に入力することを特徴とする。
また、請求項10の発明にかかるナビゲーションシステムは、請求項3〜9のいずれか
一つに記載の発明において、前記サーバが、前記ナビゲーション装置から送られてきたユ
ーザの位置情報に基づき、ユーザの現存位置の周辺の推奨スポットを前記データベースか
ら検索抽出する推奨スポット検索抽出手段を備え、その検索抽出結果を前記データ検索抽
出手段の検索抽出条件に入力することを特徴とする。
また、請求項11の発明にかかるナビゲーションシステムは、請求項10に記載の発明
において、前記方位検出手段の不使用時には、前記サーバが、前記推奨スポット検索抽出
手段で方位情報付きの推奨スポット情報を検索抽出することを特徴とする。
また、請求項12の発明にかかるナビゲーション方法は、ユーザの現存位置の情報を取
得する位置情報取得工程と、画像を取得する画像取得工程と、取得した画像の被写体名を
設定する被写体名設定工程と、取得した画像の方位情報を取得する方位情報取得工程と、
前記位置情報取得工程で取得された位置情報と、前記画像取得工程で取得された画像と、
前記被写体名設定工程で設定された被写体名と、前記方位情報取得工程で取得された方位
情報とを関連づけて、サンプル画像データを生成するサンプル画像データ生成工程と、前
記サンプル画像データ生成工程で生成されたサンプル画像データを被写体ごとに分類し、
一つの被写体に対して複数の方向から撮影された画像を含む、ユーザに供給するための供
給用画像データを構築する供給用画像データ分類構築工程と、を有することを特徴とする
また、請求項13の発明にかかるナビゲーション方法は、請求項12に記載の発明にお
いて、さらに、ユーザが所望する画像情報の目的地点情報を設定する目的地点情報設定工
程と、前記供給用画像データ分類構築工程で分類構築された供給用画像データのなかから
、前記目的地点情報設定工程で設定された目的地点情報に合致する供給用画像データを検
索抽出する供給用画像データ検索抽出工程と、前記供給用画像データ検索抽出工程で検索
抽出された供給用画像データのなかからユーザが所望する方向から撮影された画像を選択
表示する画像選択表示工程と、を有することを特徴とする。
また、請求項14の発明にかかるナビゲーション方法は、ユーザの現存位置の情報を取
得する位置情報取得工程と、画像を取得する画像取得工程と、取得した画像の方位情報を
取得する方位情報取得工程と、前記位置情報取得工程で取得された位置情報と、前記画像
取得工程で取得された画像と、前記方位情報取得工程で取得された方位情報とを関連づけ
て、サンプル画像データを生成するサンプル画像データ生成工程と、前記サンプル画像デ
ータ生成工程で生成されたサンプル画像データに含まれる画像を当該画像に関連付けられ
た位置情報およびその方位情報を参照して位置方位ごとに分類し、分類された画像を分析
し当該画像に含まれる高低が視覚的に判別可能な危険情報画像データを構築する危険情報
画像データ分類構築工程と、を有することを特徴とする。
また、請求項15の発明にかかるナビゲーション方法は、請求項14に記載の発明にお
いて、さらに、ユーザの現在地点の位置情報および方位情報を取得するユーザ位置方位情
報取得工程と、前記危険情報画像データ分類構築工程で分類構築された危険情報画像デー
タのなかから、前記ユーザ位置方位情報取得工程で取得されたユーザの現在地点の位置情
報および方位情報に合致する危険情報画像データを検索抽出する危険情報画像データ検索
抽出工程と、前記危険情報画像データ検索抽出工程で検索抽出された危険情報画像データ
を表示する危険情報画像表示工程と、を有することを特徴とする。
また、請求項16の発明にかかるナビゲーション方法は、請求項12〜15のいずれか
一つに記載の発明において、さらに、前記ユーザ位置方位情報取得工程を連続的に複数回
行い、ユーザの位置情報および方位情報の履歴を得るユーザ位置方位履歴情報取得工程と
、前記ユーザ位置方位履歴情報取得工程で取得されたユーザの位置情報および方位情報の
履歴からユーザの注視状況を推定するユーザ状況推定工程と、を有することを特徴とする
また、請求項17の発明にかかるナビゲーション方法は、請求項16に記載の発明にお
いて、さらに、前記ユーザ状況推定工程で、前記ユーザ位置方位履歴情報取得工程で取得
された連続2回のユーザの注視対象が同一であれば、ユーザはその注視対象を見ている状
況であると判断し、その注視対象に関する情報をユーザへ提供する注視対象情報提供工程
を有することを特徴とする。
また、請求項18の発明にかかるナビゲーション方法は、請求項16に記載の発明にお
いて、さらに、前記ユーザ状況推定工程で、前記ユーザ位置方位履歴情報取得工程で取得
された連続2回のユーザの注視対象が異なれば、次回のユーザの注視対象の入力を待ち、
それが前2回のうち前の方の注視対象と同一ならば、ユーザは前2回の注視対象の間で見
るものを迷っている状況であると判断し、その前2回の注視対象に関する情報をユーザへ
提供する注視対象情報提供工程を有することを特徴とする。
また、請求項19の発明にかかるナビゲーション方法は、請求項16に記載の発明にお
いて、さらに、前記ユーザ状況推定工程で、前記ユーザ位置方位履歴情報取得工程で取得
された連続2回のユーザの注視対象が異なれば、次回のユーザの注視対象の入力を待ち、
それが前2回のうち後の方の注視対象と同一ならば、ユーザはその前2回のうち後の方の
注視対象を見ている状況であると判断し、その前2回のうち後の方の注視対象に関する情
報をユーザへ提供する注視対象情報提供工程を有することを特徴とする。
また、請求項20の発明にかかるナビゲーション方法は、請求項16に記載の発明にお
いて、さらに、前記ユーザ状況推定工程で、前記ユーザ位置方位履歴情報取得工程で取得
された連続2回のユーザの注視対象が異なれば、次回のユーザの注視対象の入力を待ち、
それが前2回のユーザの注視対象のいずれとも異なれば、ユーザは注視対象を定めていな
い状況であると判断し、ユーザの現存位置の周辺に関する情報をユーザへ提供する注視対
象情報提供工程を有することを特徴とする。
また、請求項21の発明にかかるナビゲーション方法は、請求項17〜19のいずれか
一つに記載の発明において、さらに、前記注視対象情報提供工程で提供される注視対象に
関する情報が、注視対象の写真を含むことを特徴とする。
また、請求項22の発明にかかるナビゲーション方法は、請求項17〜19のいずれか
一つに記載の発明において、さらに、前記注視対象情報提供工程で提供される注視対象に
関する情報が、注視対象の名称を含むことを特徴とする。
また、請求項23の発明にかかるナビゲーション方法は、請求項17〜19のいずれか
一つに記載の発明において、さらに、前記注視対象情報提供工程で提供される注視対象に
関する情報が、注視対象の詳細説明へのリンクを含むことを特徴とする。
また、請求項24の発明にかかるナビゲーション方法は、請求項20に記載の発明にお
いて、さらに、前記注視対象情報提供工程で提供されるユーザの現存位置の周辺に関する
情報が、ユーザの現存位置の周辺の写真を含むことを特徴とする。
また、請求項25の発明にかかるナビゲーション方法は、請求項20に記載の発明にお
いて、さらに、前記注視対象情報提供工程で提供されるユーザの現存位置の周辺に関する
情報が、ユーザの現存位置の周辺の地図を含むことを特徴とする。
また、請求項26の発明にかかるナビゲーション方法は、請求項25に記載の発明にお
いて、さらに、前記注視対象情報提供工程で提供されるユーザの現存位置の周辺に関する
情報が、地図上に示される他のユーザの注視情報を含むことを特徴とする。
また、請求項27の発明にかかるナビゲーション方法は、請求項20に記載の発明にお
いて、前記注視対象情報提供工程で提供されるユーザの現存位置の周辺に関する情報が、
ユーザの現存位置の周辺の詳細情報へのリンクを含むことを特徴とする。
また、請求項28の発明にかかるナビゲーション方法は、請求項12〜27のいずれか
一つに記載の発明において、前記方位情報取得工程を経ない場合に、前記位置情報取得工
程で取得された位置情報の履歴に基づき、ユーザの方位情報を推定するユーザ方位推定工
程を有することを特徴とする。
また、請求項29の発明にかかるナビゲーション方法は、請求項28に記載の発明にお
いて、前記ユーザ方位推定工程が、ユーザの位置情報を連続的に2回行い、その位置の変
化を元に、ユーザの方位を推定する演算であることを特徴とする。
また、請求項30の発明にかかるナビゲーション方法は、請求項12〜29のいずれか
一つに記載の発明において、前記位置情報取得工程で取得された位置情報に基づき、ユー
ザの現存位置の周辺の推奨スポットを、前記供給用画像データまたは前記危険情報画像デ
ータを含むデータベースから検索抽出する推奨スポット検索抽出工程を有することを特徴
とする。
また、請求項31の発明にかかるナビゲーション方法は、請求項12〜29のいずれか
一つに記載の発明において、前記方位情報取得工程を経ない場合には、前記位置情報取得
工程で取得された位置情報に基づき、ユーザの現存位置の周辺の方位情報付きの推奨スポ
ット情報を、前記供給用画像データまたは前記危険情報画像データを含むデータベースか
ら検索抽出する推奨スポット検索抽出工程を有することを特徴とする。
また、請求項32の発明にかかるナビゲーション方法は、請求項30または31に記載
の発明において、前記推奨スポット検索抽出工程で検索抽出される推奨スポットに関する
情報が、推奨スポットの写真を含むことを特徴とする。
また、請求項33の発明にかかるナビゲーション方法は、請求項30または31に記載
の発明において、前記推奨スポット検索抽出工程で検索抽出される推奨スポットに関する
情報が、推奨スポットの地図を含むことを特徴とする。
また、請求項34の発明にかかるナビゲーション方法は、請求項30または31に記載
の発明において、前記推奨スポット検索抽出工程で検索抽出される推奨スポットに関する
情報が、推奨スポットの名称を含むことを特徴とする。
また、請求項35の発明にかかるナビゲーション方法は、請求項30または31に記載
の発明において、前記推奨スポット検索抽出工程で検索抽出される推奨スポットに関する
情報が、推奨スポットの詳細説明へのリンクを含むことを特徴とする。
また、請求項36の発明にかかるナビゲーションプログラムは、請求項12〜35のい
ずれか一つに記載のナビゲーション方法をコンピュータに実行させることを特徴とする。
本発明にかかるナビゲーションシステム、ナビゲーション方法、およびナビゲーション
プログラムによれば、ユーザが所望する方向からの目的物の画像情報や、道路の危険情報
や、ユーザの状況を推定してのガイドなど、ユーザが本当に必要とする情報を画像で容易
に提供できるようになるという効果を奏する。
以下、添付図面を参照して、本発明にかかるナビゲーションシステム、ナビゲーション
方法、およびナビゲーションプログラムの好適な実施の形態を詳細に説明する。
(ナビゲーションシステムの概要)
図1は、本発明の実施の形態にかかるナビゲーションシステムの概略構成を示す図であ
る。本実施の形態にかかるナビゲーションシステムは、複数のナビゲーション装置101
と、サーバ102と、がネットワーク100を介して接続される。ナビゲーション装置1
01としては、たとえば携帯電話や携帯情報端末(PDA)、ノートパソコンなどを用い
ることができる。周囲の様子を撮影可能なカメラが備えられているか、もしくは接続でき
るようになっていることが好ましい。また、サーバ102には、データベースを構築する
ことができるパーソナル・コンピュータを用いる。
本実施の形態のナビゲーションシステムは、ユーザが所持するナビゲーション装置10
1により収集した画像情報を、より個々のユーザの要望に合致するように再構築して、各
ユーザに提供するものである。すなわち、各ユーザに提供される情報は、画一化された情
報ではなく、各ユーザから寄せられた情報をもとにより個々のユーザの要望を満たすよう
により洗練された情報を提供することを目的としている。
(ナビゲーション装置の機能的構成)
図2は、本発明の実施の形態にかかるナビゲーションシステムに用いるナビゲーション
装置の機能的構成の一例を示すブロック図である。このナビゲーション装置101は、カ
メラ201と、表示部202と、入力部203と、記憶部204と、位置認識部205と
、方位検出部206と、画像データ生成部207と、データ処理部208と、送受信部2
09と、を備えている。
カメラ201は、ユーザの現存地点周囲における各種情報を画像として取得する。
表示部202は、画像を表示する。
入力部203は、各種情報(たとえば、ユーザ個人を特定するユーザIDやパスワード
、取得した画像の被写体名、目的地点情報など)の入力を行う。
記憶部204は、カメラ201が取得した画像、入力部203から入力された各種情報
、およびネットワーク100を介して取得した各種データなどを格納する。
位置認識部205は、ユーザの現存位置の情報を取得する。ここで位置情報は、GPS
衛星からの電波を受信し、GPS衛星との幾何学的位置を求めるものであり、地球上どこ
でも計測可能である。電波としては、1.575.42MHzの搬送波で、C/A(Co
arse and Access)コードおよび航法メッセージが乗っているL1電波を
使う。
方位検出部206は、カメラ201が向いている方向を検出する。したがって、カメラ
201で画像情報を取得することで、位置認識部205が取得したユーザの現存位置情報
とあわせ、当該画像が取得された地点およびその地点からの方位を把握することができる

カメラ201としては、例えば、携帯電話などユーザが備える可般型の場合は、画像情
報を取得することをトリガとして方位の検出機能を動作させることができる。街頭カメラ
などのように、路上に設置されたカメラの場合は、そのカメラの向く方位を変えられるタ
イプが好ましい。固定カメラの方位が可変であると、サーバ102に対して画像情報をリ
クエストする場合に、カメラ201を可動させた状態でカメラ201を所望の方向へ向け
ることで、取得を望む画像の方位情報を設定することができる。
画像データ生成部207は、カメラ201が取得した画像、入力部203から入力され
た取得画像の被写体名、位置認識部205により認識されたユーザの現存位置情報、およ
び方位検出部206が検出した取得画像の方位情報などを関連付けてサンプル画像データ
を生成する。ここで生成されたサンプル画像データは、ネットワーク100を介してサー
バ102へ送られ、このサーバ102における処理で用いられる。
データ処理部208は、供給用画像データ(詳細は後述する)をネットワーク100を
介して取得する。そして、取得した供給用画像データに含まれる画像のうちユーザが所望
するものを抽出して表示部202に表示させる。また、データ処理部208は、取得した
供給用画像データのなかから、位置認識部205が認識した位置情報および方位検出部2
06が検出した方位情報に合致する位置情報および方位情報が関連付けられている画像を
自動的に抽出して表示部202に表示させるようにしてもよい。
送受信部209は、ネットワーク100に対して行うデータの送受信を制御する。入力
部203から入力された情報や画像データ生成部207で生成されたサンプル画像データ
などをネットワーク100へ送信する。また、ユーザが所望する供給用画像データをネッ
トワーク100から受信する。
また、このナビゲーション装置101では、位置認識部205が認識した位置情報およ
び方位検出部206が検出した方位情報を常時ネットワーク100を介してサーバ102
へ送信することで、サーバ102がユーザの現存位置を把握することができる。
さらに、このナビゲーション装置101では、音声取得部などを設けてユーザの声やユ
ーザ周辺の音声を音声情報として取得し、これを画像情報に付加してもよい。
(サーバの機能的構成)
図3は、本発明の実施の形態にかかるナビゲーションシステムに用いるサーバの機能的
構成の一例を示すブロック図である。このサーバ102は、データベース301と、送受
信部302と、データ分類構築部303と、データ検索抽出部304と、ユーザ位置検出
部305と、経路誘導情報生成部306と、を備えている。
データベース301は、各種情報を格納する。たとえば、地図情報や建築物などに関す
る情報などを格納している。また、各ユーザのナビゲーション装置101(図1参照)か
ら送信されてきた各種情報を再構築して生成したユーザに提供するためのデータ(詳細は
後述する)を格納する。なお、このデータベース301は、ネットワーク100を介して
このサーバ102と接続できるようにしてもよい。
送受信部302は、ネットワーク100に対して行うデータの送受信を制御する。
データ分類構築部303は、ユーザに供給するための供給用画像データを分類構築する
。たとえば、取得した複数の画像を被写体ごとに分類し、被写体ごとの画像データを構築
する。各画像情報には被写体がどの地点でどちらの方向から撮影されたものであるかを示
す位置情報および方位情報が付与されているので、被写体ごとに分類することで、たとえ
ば同じ被写体を複数の方向から撮影した画像をひとまとまりのデータとすることができる
。また、受信したサンプル画像データから道路の危険箇所情報を生成する場合は、前記サ
ンプル画像データに含まれる画像をその画像に関連付けられた位置情報およびその方位情
報を参照して位置方位ごとに分類し、分類された画像を分析し当該画像に含まれる道路の
危険情報を判別可能な画像データを構築する危険情報画像データを構築する。ここで構築
された各データは、データベース301に格納される。
データ検索抽出部304は、ナビゲーション装置101から送られてきたユーザが所望
する目的地点情報に合致するデータがデータベース301にあるか否かを検索し、合致す
るデータがある場合にそのデータをデータベース301から抽出する。ここで抽出された
データは、送受信部302によりネットワーク100を介してナビゲーション装置101
へ送られる。
ユーザ位置検出部305は、ナビゲーション装置101から送られてきた位置情報およ
び方位情報に基づき、ユーザの現存位置を検出する。サーバ102では、このユーザ位置
検出部305で検出されたユーザの現存位置に合致するデータがデータベース301にあ
るか否かをデータ検索抽出部304に検索させ、合致するデータがある場合にデータ検索
抽出部304がそのデータをデータベース301から抽出するようにしてもよい。
経路誘導情報生成部306は、ユーザが設定した目的地点情報と送受信部302が取得
したユーザの現存位置情報とから、目的地までの経路を検出する。そして、ここで検出し
た経路を含む周辺の地図情報をデータベース301から取得し、ユーザの現存位置から目
的地までの経路誘導情報を生成する。ここで生成された経路誘導情報は、送受信部302
によりネットワーク100を介して情報をナビゲーション装置101へ送られる。
(ナビゲーション装置のハードウェア構成)
次に、ナビゲーション装置101のハードウェア構成について説明する。図4は、本発
明の実施の形態にかかるナビゲーションシステムに用いるナビゲーション装置のハードウ
ェア構成の一例を示すブロック図である。このナビゲーション装置101は、CPU40
1と、ROM402と、RAM403と、音声I/F(インタフェース)404と、マイ
ク405と、スピーカ406と、入力デバイス407と、映像I/F(インタフェース)
408と、ディスプレイ409と、カメラ410と、通信I/F(インタフェース)41
1と、GPSユニット412と、各種センサ413と、を備えている。なお、各構成部4
01〜413はバス420によってそれぞれ接続されている。
まず、CPU401は、ナビゲーション装置101の全体の制御を司る。ROM402
は、たとえばブートプログラム、音声生成プログラム、地図情報表示プログラム、通信プ
ログラムなどの各種プログラムを記録している。CPU401が、前記各プログラムを実
行することで、図2に示した画像データ生成部207およびデータ処理部208の機能を
実現する。
また、音声生成プログラムは、音声パターンに対応したトーンと音声の情報を生成させ
る。たとえばCPU401を介して音声I/F404へ出力する。
また、地図情報表示プログラムは、映像I/F408によってディスプレイ409に表
示する地図情報(サーバ102から取得する)の表示形式を決定させ、決定された表示形
式によって地図情報をディスプレイ409に表示させる。
RAM403は、たとえばCPU401のワークエリアとして使用される。また、この
RAM403と前述したROM402で、図2に示した記憶部204の機能を実現する。
また、音声I/F404は、音声入力用のマイク405および音声出力用のスピーカ4
06に接続される。マイク405に受音された音声は、音声I/F404内でA/D変換
される。このスピーカ406からは、音声I/F404からの音声信号に基づく音声が出
力される。また、マイク405から入力された音声は、たとえば音声データとして記録す
ることが可能である。
入力デバイス407には、文字、数値、各種指示などの入力のための複数のキーを備え
たキーボード、タッチパネルなどが考えられ、図2に示した入力部203の機能を実現す
る。
また、映像I/F408は、ディスプレイ409およびカメラ410と接続される。こ
のディスプレイ409は図2に示した表示部202の機能を実現し、カメラ410は図2
に示したカメラ201の機能を実現する。この映像I/F408は、具体的には、たとえ
ば、ディスプレイ409全体の制御を行うグラフィックコントローラや、即時表示可能な
画像情報を一時的に記録するVRAM(Video RAM)などのバッファメモリや、
グラフィックコントローラから出力される画像データに基づいて、ディスプレイ409を
表示制御する制御ICなどを含む。
ディスプレイ409には、アイコン、カーソル、メニュー、ウインドウ、あるいは文字
や画像などの各種データが表示される。このディスプレイ409としては、たとえば、T
FT液晶ディスプレイなどを採用することができる。
また、通信I/F411は、無線を介してネットワークに接続され、CPU401との
インタフェースとして機能する。この通信I/F411は、図2に示した送受信部209
の機能を実現する。
また、GPSユニット412は、GPS衛星からの受信波や後述する各種センサ413
からの出力値を用いて、ナビゲーション装置101の現在位置を示す位置情報を算出する
。現在位置を示す位置情報は、たとえば、緯度・経度、高度などの地図情報上の1点を特
定する情報である。このGPSユニット412は、図2に示した位置認識部205の機能
を実現する。
各種センサ413は、車速センサ、加速度センサ、角速度センサ、方位センサなどであ
り、その出力値は、GPSユニット412による位置情報の算出や、速度や方位の変化量
の測定に用いられる。この各種センサ413は、図2に示した方位検出部206の機能を
実現する。
(サーバのハードウェア構成)
次に、サーバ102のハードウェア構成について説明する。図5は、本発明の実施の形
態にかかるナビゲーションシステムに用いるサーバのハードウェア構成の一例を示すブロ
ック図である。このサーバ102は、CPU501と、ROM502と、RAM503と
、磁気ディスクドライブ504と、磁気ディスク505と、光ディスクドライブ506と
、光ディスク507と、音声I/F(インタフェース)508と、マイク509と、スピ
ーカ510と、入力デバイス511と、映像I/F(インタフェース)512と、ディス
プレイ513と、通信I/F(インタフェース)514と、を備えている。なお、各構成
部501〜514はバス520によってそれぞれ接続されている。
まず、CPU501は、サーバ102の全体の制御を司る。ROM502は、たとえば
ブートプログラム、経路探索プログラム、音声生成プログラム、地図情報表示プログラム
、通信プログラム、データベース作成プログラム、データ解析プログラムなどの各種プロ
グラムを記録している。特に、CPU501がデータベース作成プログラムを実行するこ
とで、図3に示したデータ分類構築部303の機能を実現できる。また、CPU501が
データ解析プログラムを実行することで、図3に示したデータ検索抽出部304の機能を
実現できる。また、CPU501がブートプログラムを実行することで、図3に示したユ
ーザ位置検出部305の機能を実現できる。
経路探索プログラムは、後述する光ディスク507に記録されている地図情報などを利
用して、出発地から目的地までの最適な経路を探索させる。この経路探索プログラムを実
行することによって探索された誘導経路は、ネットワークを介してユーザのナビゲーショ
ン装置101へ配信される。CPU501がこの経路探索プログラムを実行することで、
図4に示した経路誘導情報生成部306の機能を実現できる。
また、音声生成プログラムは、音声パターンに対応したトーンと音声の情報を生成させ
、たとえばCPU501を介して音声I/F508へ出力する。
RAM503は、たとえばCPU501のワークエリアとして使用される。磁気ディス
クドライブ504は、CPU501の制御にしたがって磁気ディスク505に対するデー
タのリード/ライトを制御する。磁気ディスク505は、磁気ディスクドライブ504の
制御で書き込まれたデータを記録する。
光ディスクドライブ506は、CPU501の制御にしたがって光ディスク507に対
するデータのリード/ライトを制御する。光ディスク507は、光ディスクドライブ50
6の制御にしたがって光ディスク507からデータの読み出される着脱自在な記録媒体で
ある。この光ディスク507としては、書き込み可能な記録媒体を利用することもできる
。また、着脱可能な記録媒体として、光ディスク507のほか、MO、メモリカードなど
を用いることもできる。
これら磁気ディスク505、光ディスク507に記録される情報の一例として、ユーザ
に供給するために分類構築されたデータがある。これによって、図3に示したデータベー
ス301が構成される。
その他、磁気ディスク505、光ディスク507に記録される情報の一例として、経路
探索・経路誘導などに用いる地図情報が挙げられる。地図情報は、建物、河川、地表面な
どの地物(フィーチャ)を表す背景データと、道路の形状を表す道路形状データとを有し
ており、各ユーザのナビゲーション装置101に配信された場合に、ディスプレイ409
上に2次元または3次元に描画される。
道路形状データは、さらに交通条件データを有する。交通条件データには、たとえば、
各ノードについて、信号や横断歩道などの有無、高速道路の出入口やジャンクションの有
無、各リンクについての長さ(距離)、道幅、進行方向、道路種別(高速道路、有料道路
、一般道路など)などの情報が含まれている。
なお、ここでは、地図情報を磁気ディスク505、光ディスク507などに記録するよ
うにしたが、これに限るものではない。地図情報は、たとえば、通信I/F514を通じ
て、ネットワークを介して地図情報を取得するようにしてもよい。こうして取得された地
図情報は、たとえばRAM503などに記憶される。
また、音声I/F508は、音声入力用のマイク509および音声出力用のスピーカ5
10に接続される。マイク509に受音された音声は、音声I/F508内でA/D変換
される。スピーカ510からは、音声I/F508からの音声信号に基づく音声が出力さ
れる。また、マイク509から入力された音声は、たとえば音声データとして磁気ディス
ク505あるいは光ディスク507に記録可能である。
入力デバイス511としては、文字、数値、各種指示などの入力のための複数のキーを
備えたリモコン、キーボード、マウス、タッチパネルなどがある。
また、映像I/F512は、ディスプレイ513と接続される。この映像I/F512
は、具体的には、たとえば、ディスプレイ513全体の制御を行うグラフィックコントロ
ーラと、即時表示可能な画像情報を一時的に記録するVRAM(Video RAM)な
どのバッファメモリと、グラフィックコントローラから出力される画像データに基づいて
、ディスプレイ513を表示制御する制御ICなどによって構成される。
ディスプレイ513には、アイコン、カーソル、メニュー、ウインドウ、あるいは文字
や画像などの各種データが表示される。このディスプレイ513としては、たとえば、C
RT、TFT液晶ディスプレイ、プラズマディスプレイなどを採用することができる。
また、通信I/F514は、無線を介してネットワークに接続され、CPU501との
インターフェースとして機能する。通信I/F514は、図3に示した送受信部302の
機能を実現する。
(ナビゲーションシステムの処理)
次に、本発明の実施の形態にかかるナビゲーションシステムの処理について説明する。
以下では、目的物の画像を得る場合の処理と、道路の危険情報を得る場合の処理を説明す
る。
(目的物の画像情報を得る場合の処理)
まず、本発明の実施の形態にかかるナビゲーションシステムによって、目的物の画像を
得る場合の処理について説明する。以下では、ユーザに提供する目的物の画像収集を行う
ための処理手順と、ユーザが目的物の画像の提供を受けるための処理手順について示す。
まず、ユーザに提供する目的物の画像収集を行うための処理手順を説明する。図6は、
本発明の実施の形態にかかるナビゲーションシステムにおけるユーザに提供する目的物の
画像収集の処理手順を示すフローチャートである。
図6のフローチャートにおいて、まず、位置情報を取得する(ステップS601)。具
体的には、ナビゲーション装置101の位置認識部205が、ユーザの現存位置の情報を
取得する。
次に、画像を取得する(ステップS602)。具体的には、ナビゲーション装置101
に備えられているカメラ201が画像を取得する。
次に、取得した画像の被写体名を設定する(ステップS603)。たとえば、ここでは
、ステップS601で取得した画像の被写体名(表題)をナビゲーション装置101の入
力部203から入力する。
次に、画像の方位情報を取得する(ステップS604)。ここでは、ナビゲーション装
置101の方位検出部206がカメラ201の方向を検出する。すなわち、ステップS6
02においてカメラ201で画像を取得することで、画像の方位情報を取得することがで
きる。
次に、サンプル画像データを生成する(ステップS605)。ここでは、ステップS6
01〜ステップS604の処理によって取得された、画像、当該画像の被写体名、当該画
像の位置情報およびその方位情報を関連づけて、サーバ102で処理するためのサンプル
画像データを生成する。
サンプル画像データの送信を行う(ステップS606)。ここでは、ステップS605
で生成されたサンプル画像データをナビゲーション装置101からネットワーク100へ
送信する。
サーバがサンプル画像データを受信する(ステップS607)。ここでは、サーバ10
2がネットワーク100を介してナビゲーション装置101からのサンプル画像データを
受信する。
ユーザに供給するための供給用画像データを分類構築する(ステップS608)。この
処理は、サーバ102のデータ分類構築部303により実行される。たとえば、取得した
複数の画像を被写体ごとに分類し、被写体ごとの画像データを構築する。各画像には被写
体がどの地点でどちらの方向から撮影されたものであるかを示す位置および方位情報が付
与されているので、被写体ごとに分類することで、たとえば同じ被写体を複数の方向から
撮影した画像をひとまとまりのデータとすることができる。
分類構築された供給用画像データを格納する(ステップS609)。ここでは、ステッ
プS608で分類構築された供給用画像データをデータベース301に格納する。
以上のような工程を経ることにより、ユーザに供給する目的物の画像データの収集が完
了する。ここで得られる画像データは、ナビゲーションシステムを利用するユーザの協力
により収集されるものであるため、よりユーザのニーズにあった画像データを収集するこ
とが可能になる。
次に、ユーザが目的物の画像の提供を受けるための処理手順について説明する。図7は
、本発明の実施の形態にかかるナビゲーションシステムにおけるユーザが目的物の画像の
提供を受けるための処理手順を示すフローチャートである。
図7のフローチャートにおいて、まず、目的地点情報を設定する(ステップS701)
。ここでは、ナビゲーション装置101の入力部203から、ユーザが取得したい画像の
目的地点情報(位置、方位、被写体名など)の入力を行う。
目的地点情報の送信を行う(ステップS702)。ここでは、ステップS701で設定
された目的地点情報をナビゲーション装置101がネットワーク100へ送信する。
目的地点情報に合致する供給用画像データを検索抽出する(ステップS703)。ここ
では、サーバ102のデータ検索抽出部304が、送信されてきた前記目的地点情報(位
置、方位、被写体名など)に合致する供給用画像データがデータベース301にあるか否
かを検索し、合致する供給用画像データがある場合にそのデータをデータベース301か
ら抽出する。
供給用画像データの配信を受ける(ステップS704)。ここでは、ステップS703
で抽出された供給用画像データをユーザのナビゲーション装置101で受信する。ここで
受信するデータには、前記目的地点情報(位置、方位、被写体名など)に合致する複数の
画像(たとえば、一つの被写体を複数の方向から撮影した画像)が含まれている。
画像を選択表示する(ステップS705)。ステップS704において取得した供給用
画像データには、一つの被写体を複数の方向から撮影した画像が含まれている。そこで、
ユーザはナビゲーション装置101の入力部203などを操作することで所望の方向から
撮影されている画像を選択することで、データ処理部208が選択された画像を表示部2
02に表示させる。なお、前記供給用画像データには、一つの被写体を複数の方向から撮
影した画像が含まれていることから、ユーザが当初は希望していなかったが、後に異なる
方向からの画像が欲しくなった場合、再度ステップS701からの処理を実行しなくても
、このステップS705の処理を実行するだけで済む。
なお、このステップS705において、ナビゲーション装置101における位置認識部
205および方位検出部206の動作によりユーザの位置および方位を検出できるので、
取得した供給用画像データに含まれる画像から検出された位置および方位と合致する画像
をデータ処理部208が抽出して、その画像を表示部202に表示させるようにしてもよ
い。
以上のような工程を経ることにより、ユーザは所望する方向から撮影された目的物の画
像を取得することができる。
(道路の危険情報を得る場合の処理)
次に、本発明の実施の形態にかかるナビゲーションシステムによって、道路の危険情報
を得る場合の処理について説明する。以下では、ユーザに提供する道路の危険情報を行う
ための処理手順と、ユーザが道路の危険情報の提供を受けるための処理手順について示す

道路の危険情報の提示方法としては、工事現場や障害物の写真や、危険を示す図形などを
表示することであり、その位置についてはおおまかな場所として示す。詳細な位置がわか
らなくても、危険の有無に関する情報は有益であり、道路の混雑度の目安にもなる。
まず、ユーザに提供する道路の危険情報収集を行うための処理手順を説明する。
図8は、本発明の実施の形態にかかるナビゲーションシステムにおけるユーザに提供す
る道路の危険情報収集を行うための処理手順を示すフローチャートであり、図9は、本発
明の実施の形態にかかるナビゲーションシステムにおけるユーザが道路の危険情報の提供
を受けるための処理手順を示すフローチャートである。
図8のフローチャートにおいて、まず、位置情報を取得する(ステップS801)。具
体的には、ナビゲーション装置101の位置認識部205が、ユーザの現存位置の情を取
得する。
次に、画像を取得する(ステップS802)。具体的には、ナビゲーション装置101
に備えられているカメラ201が画像を取得する。
次に、画像の方位情報を取得する(ステップS803)。ここでは、ナビゲーション装
置101の方位検出部206がカメラ201の方向を検出する。すなわち、ステップS8
02においてカメラ201で画像を取得することで、当該画像の方位情報を取得すること
ができる。
次に、サンプル画像データを生成する(ステップS804)。ここでは、ステップS8
01〜ステップS803の処理によって取得された、画像、当該画像情報の位置情報およ
びその方位情報を統合して、サンプル画像データを生成する。このサンプル画像データは
、サーバ102の処理に用いられる。
サンプル画像データの送信を行う(ステップS805)。ここでは、ステップS804
で生成されたサンプル画像データをナビゲーション装置101からネットワーク100へ
送信する。
サーバがサンプル画像データを受信する(ステップS806)。ここでは、サーバ10
2がネットワーク100を介してナビゲーション装置101からのサンプル画像データを
受信する。
ユーザに供給するための供給用画像データを分類構築する(ステップS807)。この
処理は、サーバ102のデータ分類構築部303により実行される。取得したサンプル画
像データに含まれる画像をその画像に付加された位置情報およびその方位情報を参照して
位置方位ごとに分類し、分類された画像を分析し当該画像に含まれる道路の危険情報を判
別可能な危険情報画像データを構築する。
分類構築された供給用画像データを格納する(ステップS808)。ここでは、ステッ
プS807で分類構築された供給用画像データをデータベース301に格納する。
以上のような工程を経ることにより、ユーザに提供する道路の危険情報の収集が完了す
る。ここで得られる画像データは、ナビゲーションシステムを利用する各ユーザの協力に
より収集されるものであり、ユーザがよく利用する地域の危険情報ほど多く収集できるよ
うになる。したがって、よりユーザのニーズにあった危険情報を収集することが可能にな
る。
なお、ここでは携帯可能なナビゲーション装置101により画像を収集する例を示した
が、たとえば、街頭カメラにより画像を収集してもよい。ただし、この場合は、当該街頭
カメラがその位置情報や撮影する画像の方位情報を取得できる機能を備えている必要があ
る。
次に、ユーザが道路の危険情報の提供を受けるための処理手順について説明する。図9
は、本発明の実施の形態にかかるナビゲーションシステムにおけるユーザが道路の危険情
報の提供を受けるための処理手順を示すフローチャートである。
図9のフローチャートにおいて、まず、ユーザの現在地点の位置情報および方位情報を
取得する(ステップS1001)。ここでは、ナビゲーション装置101における位置認
識部205および方位検出部206の動作によりユーザの位置情報および方位情報を取得
する。
次に、ユーザの現在地点の位置情報および方位情報を送信する(ステップS1002)
。ここでは、ステップS1001で取得されたユーザの現在地点の位置情報および方位情
報をナビゲーション装置101がネットワーク100へ送信する。
ユーザの現在地点の位置情報および方位情報に合致する危険情報画像データを検索抽出
する(ステップS1003)。ここでは、サーバ102のユーザ位置検出部305が、ナ
ビゲーション装置101から送られてきた位置情報および方位情報に基づき、ユーザの現
存位置を検出する。そして、ユーザ位置検出部305で検出されたユーザの現存位置およ
び方位に合致する危険情報画像データがデータベース301にあるか否かをデータ検索抽
出部304に検索させ、合致する危険情報画像データがある場合にデータ検索抽出部30
4にそのデータをデータベース301から抽出する。
危険情報画像データの配信を受ける(ステップS1004)。ここでは、ステップS1
003で抽出された危険情報画像データをユーザのナビゲーション装置101で受信する
危険情報画像を表示する(ステップS1005)。ステップS1004において取得し
た危険情報画像データは、ユーザが現存する位置方位における危険情報が視覚的に判別で
きる危険情報画像データであるため、これをデータ処理部208が表示部202に表示さ
ることにより、ユーザは工事中などの状況を視覚的に把握することで、道路の危険情報を
取得することができる。
以上のような工程を経ることにより、ユーザは現存する位置方位における危険情報が容
易に判別できる危険情報画像データを取得することができ、効率的で安全な通行ができる
ようになる。
また、本発明の実施の形態にかかるナビゲーションシステムでは、サーバ102に一般
的なナビゲーションシステムが有している経路誘導機能が設けられているため、一般的な
ナビゲーションシステムと同様の経路誘導情報を取得することもできる。
(ユーザの状況を推定する場合の処理)
次に、本発明の実施の形態にかかるナビゲーションシステムによって、複数回の視線履
歴を利用して、ユーザの状況および意図を推定し、それに合わせて適切な情報を提供する
場合の処理について説明する。
図11は、ユーザの注視対象の変化を示す4通りの模式図であり、図12は、その注視対
象の変化からユーザの状況を推定するパターンを示す説明図である。
ユーザがどの位置でどの方位を向いていたかを表す視線情報(P1、P2、P3)を短時
間内で連続的に取得し、その履歴から、注視対象(A、B、C)の変化のパターン(イ、
ロ、ハ、ニ)を求め、それから現時点でのユーザの関心等の状況を推定することができる
パターン(イ)では、注視対象が2回続けて同一の建物(A)であったから、ユーザの
関心は建物(A)にあると推定できる。
注視対象が2回続けて同一でなかった場合には、次回の注視対象を勘案する。
すなわち、パターン(ロ)のように、3回目の注視対象が1回目の注視対象に戻った場合
は、ユーザの関心は建物(A)(B)の間で迷っていると推定できる。また、パターン(
ハ)のように、3回目の注視対象が2回目の注視対象と同一なら、パターン(イ)と同様
に、ユーザの関心は建物(B)にあると推定できる。また、パターン(ニ)のように、3
回目の注視対象が1回目および2回目の注視対象と異なった場合は、ユーザの関心は定ま
っていないと推定できる。
この推定結果を利用し、パターン(イ)の場合には、建物(A)に関する情報をユーザ
へ提供し、パターン(ロ)の場合には、建物(A)(B)に関する情報をユーザへ提供し
、パターン(ハ)の場合には、建物(B)に関する情報をユーザへ提供し、パターン(ニ
)の場合には、建物(A)(B)(C)などユーザの現存位置周辺に関する情報をユーザ
へ提供する。
図13は、本発明の実施の形態にかかるナビゲーションシステムにおいて、ユーザ状況
を推定し適切な情報を提供するための処理手順を示す要部のフローチャートである。
まず、ユーザの位置情報を取得する(ステップS1301)。具体的には、ナビゲーショ
ン装置101の位置認識部205が、ユーザの現存位置の情報を取得する。
引き続き、方位情報を取得する(ステップS1302)。ここでは、ナビゲーション装
置101の方位検出部206がカメラ201の方向を検出する。
すなわち、ユーザが備える可般型のカメラ201で画像情報を取得することで、位置認識
部205が取得したユーザの現存位置情報とあわせ、当該画像が取得された地点およびそ
の地点からの方位を把握することができる。
得られた位置方位情報データを、ネットワーク100を介してサーバ102へ送信する
(ステップ1303)。ここでは、前記実施例のようにサンプル画像データとして送信し
てもよいし、位置と方位のみのデータだけでもよい。また、その位置方位情報データは逐
次、連続的に送信することが好ましい。
サーバ102では、ナビゲーション装置101から送信された位置方位情報データを受
信する(ステップS1304)。
そして、ナビゲーション装置101から受信する位置方位情報の履歴からユーザの注視
状況を推定する。すなわち、連続2回のユーザの注視対象を比較し(ステップS1305
)、同一であれば(A、A)、ユーザはその注視対象(A)を見ている状況であると判断
して(パターン(イ))、その注視対象(A)に関する情報をユーザへ提供する(ステッ
プS1306)。
連続2回のユーザの注視対象が異なれば(A、B)、その次回のユーザの注視対象の入
力を待って比較し(ステップS1307)、それが前2回のうち前の方の注視対象(A)
と同一ならば(A、B、A)、ユーザはそれらの注視対象(A)(B)の間で見るものを
迷っている状況であると判断して(パターン(ロ))、その複数の注視対象(A)(B)
に関する情報をユーザへ提供する(ステップS1308)。
また、連続2回のユーザの注視対象が異なり(A、B)、その次回のユーザの注視対象
の入力を待って比較し(ステップS1307)、それが前2回のうち後の方の注視対象(
B)と同一ならば(A、B、B)、ユーザはその前2回のうち後の方の注視対象(B)を
見ている状況であると判断して(パターン(ハ))、その前2回のうち後の方の注視対象
(B)に関する情報をユーザへ提供する(ステップS1309)。
また、連続2回のユーザの注視対象が異なり(A、B)、その次回のユーザの注視対象
の入力を待って比較し(ステップS1307)、それが前2回のユーザの注視対象(A)
(B)のいずれとも異なれば(A、B、C)、ユーザは注視対象を定めていない状況であ
ると判断し(パターン(ニ))、それらの注視対象(A)(B)(C)などユーザの現存
位置の周辺に関する情報をユーザへ提供する(ステップS1310)。
図14は、上記パターン(イ)および(ハ)の場合において、注視対象(A)に関する
情報をユーザへ提供する様態を例示する説明図である。
ナビゲーション装置101としての携帯電話等の画面には、注視対象(A)としての建物
の名称や説明文(D1)や写真(D2)や詳細説明へのリンク(D3)が表示される。
写真(D2)が表示されることで、ユーザは眼前の風景と比較でき、ナビゲーションに
対する安心感も得られる。また、写真(D2)と現実の注視対象(A)とが異なれば検索
の修正にも寄与する。
また、詳細説明へのリンク(D3)等へ進むことで、ユーザは注視対象(A)に関する
詳細情報を得られる。そのような詳細情報には、例えば、注視対象(A)が建物なら、そ
こに社屋のある事業者の名称等の情報やその会社の連絡先やHPへのリンクなどが挙げら
れる。更に、注視対象(A)が建物の特定の階層に限定されれば、事業者も限定でき、道
案内としてのナビゲーションに有用である。
図15は、上記パターン(ロ)の場合において、注視対象(A)(B)に関する情報を
ユーザへ提供する様態を例示する説明図である。
ナビゲーション装置101としての携帯電話等の画面には、注視対象(A)(B)として
の2つの建物の名称や説明文(D1)や写真(D2)や詳細説明へのリンク(D3)が表
示される。
図16は、上記パターン(ニ)の場合において、注視対象(A)(B)(C)などユー
ザの現存位置の周辺に関する情報をユーザへ提供する様態を例示する説明図である。
ナビゲーション装置101としての携帯電話等の画面には、地図(D4)と共に、注視対
象(A)(B)としての3つの建物の名称や説明文(D1)や写真(D2)や詳細説明(
D5)へのリンク(D3)が表示される。
図示の例では、ユーザの視線情報(P)や、他のユーザの視線情報(Q)や、推奨スポ
ット(D6)も表示されている。推奨スポット(D6)の店舗情報や道順などを示しても
よい。
ユーザの視線情報(P)としては、時間的に直近のデータを用い、他のユーザの視線情報
(Q)としては、時間的に直近の1ユーザのデータや、多くのユーザが示した平均的なデ
ータでもよい。また、推奨スポット(D6)としては、人気の高い店舗や景勝地などが挙
げられる。
(位置情報から方位情報を推定する場合の処理)
次に、本発明の実施の形態にかかるナビゲーションシステムによって、位置情報の履歴
を利用して、ユーザの方位情報を推定する場合の処理について説明する。
図17は、位置情報の履歴からユーザの方位情報を推定する様態を示す説明図である。
GPS等を用いてユーザの位置情報(R1)(R2)を短時間で連続して2回取得し、
初めの位置(R1)を支点とし、後の位置(R2)を終点とするベクトルの向きを、ユー
ザの方位と推定する。
ユーザの位置情報の取得は2回に限らず多数回として、それから得られるベクトルの向
きの平均をとるなど適宜演算処理してもよい。
これによると、環境条件によって電子コンパス等を使えない場合や具備していない場合
や故障時にも、ユーザの位置と視線方向に基づいた写真マッピングやガイダンスを行うこ
とができる。
(方位情報が得られない場合の処理)
次に、本発明の実施の形態にかかるナビゲーションシステムによって、方位情報が得ら
れない場合のナビゲーション処理について説明する。
図18は、方位情報が得られない場合でも利用できるナビゲーション画面を例示する説
明図である。
ユーザへのサービス形態によっては、情報提供時にはユーザの方位情報がわからなくて
もよい場合がある。例えば、ユーザの現存位置の周辺の推奨スポットをガイドするような
場合である。
図示の例では、推奨スポットとしてお勧め撮影スポット(D6)を提示している。地図
(D4)には、GPS等から得られるユーザの現存位置(R)と、その周辺のお勧め撮影
スポット(D6)が示され、欄外に、お勧め撮影スポット(D6)の詳細説明へのリンク
(D3)や、他のお勧め撮影スポット(D6)を検索するための条件入力メニューへのリ
ンク(D7)が示されている。
お勧め撮影スポット(D6)に、その位置だけでなく、お勧めの撮影方位を示したり、
そこで撮影した写真へのリンクを付設してもよい。これによると、ユーザは、どこでどち
らを向けばどのような光景が見えるかを容易に知ることができ、特に公園などの広い場所
で効率的にお勧め撮影スポット(D6)を見つけることができ、また、道案内にも有用で
ある。
お勧め撮影スポット(D6)の選択基準には、例えば、撮影された日時の新しさや、多
数の人が撮影していること、夏の噴水や秋の紅葉などの季節、天候、時間帯、ユーザの現
存地から遊歩道だけをたどって行けること、高低差があまりないことなど諸々の条件が使
用できる。
図19の例では、お勧め撮影スポット(D6)を個々に提示しないで、まとめて一括表
示(D8)している。その一括表示スポット(D8)に、お勧め撮影スポット(D6)を
個々に提示する詳細地図へのリンクを付設してもよい。
図20は、お勧め撮影スポット(D6)で撮影された写真(D2)をブログ風に表示す
る例の説明図である。
図示の例では、複数のお勧め撮影スポット(D6)で撮影された写真(D2)が、その
タイトル(D9)や説明文(D1)や詳細説明へのリンク(D3)と共に表示されている
。詳細説明へのリンク(D3)の先では、拡大した写真(D2)の他に、方位や撮影者名
などの撮影情報詳細説明へのリンク(D10)、撮影位置を示す地図(D4)が表示され
る。地図(D4)に、ユーザの現存地から撮影位置への道案内を付加してもよい。
以上説明したように、本発明によれば、ユーザが所望する方向からの目的物の画像情報
や、道路の危険情報など、個々のユーザが必要とする情報を画像で提供できるようになる

また、写真を蓄積したデータベースと、電子地図およびユーザの現存地との関係を有機
的に結びつけたナビゲーションが得られる。
なお、本実施の形態で説明したナビゲーション方法(図6および図7、図8および図1
0に示したような処理)は、あらかじめ用意されたプログラムをパーソナル・コンピュー
タやワークステーション等のコンピュータで実行することにより実現することができる。
このプログラムは、ハードディスク、フレキシブルディスク、CD−ROM、MO、DV
D等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒
体から読み出されることによって実行される。またこのプログラムは、インターネット等
のネットワークを介して配布することが可能な伝送媒体であってもよい。
以上のように、本発明は、ナビゲーションシステムに有用であり、特に、よりユーザ個
々のニーズに合った情報を提供することができる。
本発明の実施の形態にかかるナビゲーションシステムの概略構成を示す図である。 本発明の実施の形態にかかるナビゲーションシステムに用いるナビゲーション装置の機能的構成の一例を示すブロック図である。 本発明の実施の形態にかかるナビゲーションシステムに用いるサーバの機能的構成の一例を示すブロック図である。 本発明の実施の形態にかかるナビゲーションシステムに用いるナビゲーション装置のハードウェア構成の一例を示すブロック図である。 本発明の実施の形態にかかるナビゲーションシステムに用いるサーバのハードウェア構成の一例を示すブロック図である。 本発明の実施の形態にかかるナビゲーションシステムにおけるユーザに提供する目的物の画像収集の処理手順を示すフローチャートである。 本発明の実施の形態にかかるナビゲーションシステムにおけるユーザが目的物の画像の提供を受けるための処理手順を示すフローチャートである。 本発明の実施の形態にかかるナビゲーションシステムにおけるユーザに提供する道路の危険箇所情報収集を行うための処理手順を示すフローチャートである。 本発明の実施の形態にかかるナビゲーションシステムにおけるユーザが道路の危険情報の提供を受けるための処理手順を示すフローチャートである。 本発明の実施の形態にかかるユーザの注視対象の変化を示す4通りの模式図である。 本発明の実施の形態にかかる注視対象の変化からユーザの状況を推定するパターンを示す説明図である。 本発明の実施の形態にかかるビゲーションシステムにおけるユーザ状況を推定し適切な情報を提供するための処理手順を示す要部のフローチャートである。 本発明の実施の形態にかかるパターン(イ)および(ハ)の場合における注視対象(A)に関する情報をユーザへ提供する様態を例示する説明図である。 本発明の実施の形態にかかるパターン(ロ)の場合における注視対象(A)(B)に関する情報をユーザへ提供する様態を例示する説明図である。 本発明の実施の形態にかかるパターン(ニ)の場合における注視対象(A)(B)(C)などユーザの現存位置の周辺に関する情報をユーザへ提供する様態を例示する説明図である。 本発明の実施の形態にかかる位置情報の履歴からユーザの方位情報を推定する様態を示す説明図である。 本発明の実施の形態にかかる方位情報が得られない場合でも利用できるナビゲーション画面を例示する説明図である。 本発明の実施の形態にかかる方位情報が得られない場合でも利用できるナビゲーション画面の別実施例を示す説明図である。 本発明の実施の形態にかかるお勧め撮影スポットで撮影された写真をブログ風に表示する例の説明図である。
符号の説明
100 ネットワーク
101 ナビゲーション装置
102 サーバ
201 カメラ
202 表示部
203 入力部
204 記憶部
205 位置認識部
206 方位検出部
207 画像データ生成部
208 データ処理部
209,302 送受信部
301 データベース
303 データ分類構築部
304 データ検索抽出部
305 ユーザ位置検出部
306 経路誘導情報生成部

Claims (17)

  1. ネットワークを介して接続されたナビゲーション装置とサーバとを含み構成されるナビゲーションシステムであって、
    前記ナビゲーション装置は、
    ユーザの現存地点周囲の各種情報を画像として取得するカメラと、
    画像を表示する表示手段と、
    各種情報の入力を行う入力手段と、
    ユーザの現存位置の情報を認識する位置認識手段と、
    前記カメラが向いている方向を検出する方位検出手段と、
    前記カメラが取得した画像、前記入力手段から入力された取得画像の被写体名、前記位置認識手段により認識されたユーザの現存位置情報、および前記方位検出手段が検出した取得画像の方位情報を関連付けて前記サーバにおける処理で用いられるサンプル画像データを生成する画像データ生成手段と、
    前記位置認識手段が認識した位置情報および前記方位検出手段が検出した方位情報を、常時前記ネットワークを介して前記サーバへ送信する送信手段と、を備え、
    前記サーバは、
    前記ナビゲーション装置から取得したサンプル画像データを被写体ごとに分類し、一つの被写体に対して複数の方向から撮影された画像を含む、ユーザに供給するための供給用画像データを構築するデータ分類構築手段と、
    前記データ分類構築手段により分類構築された供給用画像データを格納するデータベースと、
    前記ナビゲーション装置が取得を希望する目的地点情報に合致する供給用画像データが前記データベースにあるか否かを検索し、合致する供給用画像データがある場合に当該画像データを前記データベースから抽出するデータ検索抽出手段と、を備え
    かつ、前記データ分類構築手段は、取得した前記サンプル画像データに含まれる画像を該画像に関連付けられた位置情報およびその方位情報を参照して位置方位ごとに分類し、分類された画像を分析し当該画像に含まれる道路の危険情報を判別可能な画像データを構築する
    ことを特徴とするナビゲーションシステム。
  2. 前記サーバは、
    前記ナビゲーション装置から送られてきた位置情報および方位情報に基づき、ユーザの現存位置を検出するユーザ位置検出手段を備え、
    前記データ検索抽出手段が、前記ユーザ位置検出手段により検出されたユーザの現存位置に合致する画像データが前記データベースにあるか否かを検索し、合致する画像データがある場合に当該画像データを前記データベースから抽出することを特徴とする
    請求項1に記載のナビゲーションシステム。
  3. 前記ナビゲーション装置は、
    前記供給用画像データを前記ネットワークを介して前記サーバから取得し、前記供給用画像データに含まれる画像のうち、前記入力手段から入力された情報と合致する画像を抽出して前記表示手段に表示させるデータ処理手段と、
    を備えていることを特徴とする請求項1または2に記載のナビゲーションシステム。
  4. 前記データ処理手段は、取得した供給用画像情報データのなかから、前記位置認識手段が認識した位置情報および前記方位検出手段が検出した方位情報と合致する位置情報および方位情報が関連付けられている画像を前記表示手段に表示させることを特徴とする
    請求項3に記載のナビゲーションシステム。
  5. 前記サーバは、
    前記ナビゲーション装置から送られてきたユーザの位置情報および方位情報の履歴に基づき、ユーザの状況を推定するユーザ状況推定手段を備え、
    その推定結果を前記データ検索抽出手段の検索抽出条件に入力することを特徴とする
    請求項1〜4のいずれか一つに記載のナビゲーションシステム。
  6. 前記方位検出手段の不使用時に、
    前記サーバは、
    前記ナビゲーション装置から送られてきたユーザの位置情報の履歴に基づき、ユーザの方位情報を推定するユーザ方位推定手段を備え、
    その推定結果を前記データ検索抽出手段の検索抽出条件に入力することを特徴とする
    請求項1〜5のいずれか一つに記載のナビゲーションシステム。
  7. 前記サーバは、
    前記ナビゲーション装置から送られてきたユーザの位置情報に基づき、ユーザの現存位置の周辺の推奨スポットを前記データベースから検索抽出する推奨スポット検索抽出手段を備え、
    その検索抽出結果を前記データ検索抽出手段の検索抽出条件に入力することを特徴とする
    請求項1〜6のいずれか一つに記載のナビゲーションシステム。
  8. 前記方位検出手段の不使用時には、
    前記サーバは、
    前記推奨スポット検索抽出手段で方位情報付きの推奨スポット情報を検索抽出することを特徴とする
    請求項7に記載のナビゲーションシステム。
  9. ユーザの現存位置の情報を取得する位置情報取得工程と、
    画像を取得する画像取得工程と、
    取得した画像の方位情報を取得する方位情報取得工程と、
    前記位置情報取得工程で取得された位置情報と、前記画像取得工程で取得された画像と、前記方位情報取得工程で取得された方位情報とを関連づけて、サンプル画像データを生成するサンプル画像データ生成工程と、
    前記サンプル画像データ生成工程で生成されたサンプル画像データに含まれる画像を当該画像に関連付けられた位置情報およびその方位情報を参照して位置方位ごとに分類し、分類された画像を分析し当該画像に含まれる道路の危険情報を判別可能な画像データを構築する危険情報画像データ分類構築工程と、
    ユーザの現在地点の位置情報および方位情報を取得するユーザ位置方位情報取得工程と、
    前記危険情報画像データ分類構築工程で分類構築された危険情報画像データのなかから、前記ユーザ位置方位情報取得工程で取得されたユーザの現在地点の位置情報および方位情報に合致する危険情報画像データを検索抽出する危険情報画像データ検索抽出工程と、
    前記危険情報画像データ検索抽出工程で検索抽出された危険情報画像データを表示する危険情報画像表示工程と、
    を有することを特徴とするナビゲーション方法。
  10. 前記ユーザ位置方位情報取得工程を連続的に複数回行い、ユーザの位置情報および方位情報の履歴を得るユーザ位置方位履歴情報取得工程と、
    前記ユーザ位置方位履歴情報取得工程で取得されたユーザの位置情報および方位情報の履歴からユーザの注視状況を推定するユーザ状況推定工程と、
    を有することを特徴とする請求項9に記載のナビゲーション方法。
  11. 前記ユーザ状況推定工程で、
    前記ユーザ位置方位履歴情報取得工程で取得された連続2回のユーザの注視対象が同一であれば、ユーザはその注視対象を見ている状況であると判断し、
    その注視対象に関する情報をユーザへ提供する注視対象情報提供工程
    を有することを特徴とする請求項10に記載のナビゲーション方法。
  12. 前記注視対象情報提供工程で提供される注視対象に関する情報が、注視対象の写真を含む
    ことを特徴とする請求項11に記載のナビゲーション方法。
  13. 前記方位情報取得工程を経ない場合に、
    前記位置情報取得工程で取得された位置情報の履歴に基づき、ユーザの方位情報を推定するユーザ方位推定工程
    を有することを特徴とする請求項9〜12のいずれか一つに記載のナビゲーション方法。
  14. 前記ユーザ方位推定工程が、ユーザの位置情報を連続的に2回行い、その位置の変化を元に、ユーザの方位を推定する演算である
    ことを特徴とする請求項13に記載のナビゲーション方法。
  15. 前記位置情報取得工程で取得された位置情報に基づき、ユーザの現存位置の周辺の推奨スポットを、前記供給用画像データまたは前記危険情報画像データを含むデータベースから検索抽出する推奨スポット検索抽出工程
    を有することを特徴とする請求項9〜14のいずれか一つに記載のナビゲーション方法。
  16. 前記推奨スポット検索抽出工程で検索抽出される推奨スポットに関する情報が、推奨スポットの写真を含む
    ことを特徴とする請求項15に記載のナビゲーション方法。
  17. 請求項9〜16のいずれか一つに記載のナビゲーション方法をコンピュータに実行させることを特徴とするナビゲーションプログラム。
JP2008061232A 2007-06-12 2008-03-11 ナビゲーションシステム、ナビゲーション方法、およびナビゲーションプログラム Expired - Fee Related JP5093667B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008061232A JP5093667B2 (ja) 2007-06-12 2008-03-11 ナビゲーションシステム、ナビゲーション方法、およびナビゲーションプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007155782 2007-06-12
JP2007155782 2007-06-12
JP2008061232A JP5093667B2 (ja) 2007-06-12 2008-03-11 ナビゲーションシステム、ナビゲーション方法、およびナビゲーションプログラム

Publications (2)

Publication Number Publication Date
JP2009020091A JP2009020091A (ja) 2009-01-29
JP5093667B2 true JP5093667B2 (ja) 2012-12-12

Family

ID=40359844

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008061232A Expired - Fee Related JP5093667B2 (ja) 2007-06-12 2008-03-11 ナビゲーションシステム、ナビゲーション方法、およびナビゲーションプログラム

Country Status (1)

Country Link
JP (1) JP5093667B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4757933B2 (ja) * 2009-06-26 2011-08-24 京セラ株式会社 携帯型電子機器、および携帯型電子機器の動作方法
JP5363971B2 (ja) * 2009-12-28 2013-12-11 楽天株式会社 景観再現システム
JP5584581B2 (ja) * 2010-10-12 2014-09-03 株式会社 ミックウェア 情報システム、端末装置、サーバ装置、およびWebページ検索方法
WO2013024667A1 (ja) * 2011-08-15 2013-02-21 日本電気株式会社 関心地点抽出装置、関心地点抽出方法、及びコンピュータ読み取り可能な記録媒体
JP6265524B2 (ja) * 2013-06-20 2018-01-24 株式会社 ミックウェア 位置情報利用システム、情報処理方法、およびプログラム
WO2016103467A1 (ja) * 2014-12-26 2016-06-30 三菱電機株式会社 カメラ位置推定制御装置、画像処理装置および拡張現実システム
JP6593665B2 (ja) 2016-02-26 2019-10-23 日本電気株式会社 画像表示システム、端末、方法およびプログラム
JP6559921B1 (ja) * 2019-03-06 2019-08-14 株式会社ネイン 音声情報提供システム、情報処理端末の制御方法、情報処理端末の制御プログラム、音声出力装置の制御方法、及び、音声出力装置の制御プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08261770A (ja) * 1995-03-27 1996-10-11 Hitachi Ltd 双方向通信型カーナビゲーション装置
JPH08335037A (ja) * 1995-06-06 1996-12-17 Toshiba Corp 車載用誘導装置
JP3800257B2 (ja) * 1996-08-02 2006-07-26 オムロン株式会社 注目情報計測方法及び装置並びにそれを用いた各種システム
JPH10232135A (ja) * 1997-02-20 1998-09-02 Sony Corp 画像データ収集方法、画像データ提供方法、地図作成方法、位置データ提供方法、ナビゲーション装置及び車両
JP2001285526A (ja) * 2000-03-31 2001-10-12 Nec Corp 双方向コミュニケーションシステム
JP2001330449A (ja) * 2000-05-24 2001-11-30 Fujitsu Ten Ltd ナビゲーション装置
JP2003296341A (ja) * 2002-04-03 2003-10-17 Nissan Motor Co Ltd データベース生成方法、データベース生成プログラム、データ構造、データベース生成システム、検索システム、及び検索方法
JP4048818B2 (ja) * 2002-04-24 2008-02-20 株式会社エクォス・リサーチ 情報センタ装置及び移動体
JP2006135515A (ja) * 2004-11-04 2006-05-25 Nec Corp 写真撮影情報提供システム、写真撮影情報提供装置、写真撮影情報提供方法、およびプログラム
JP2006242837A (ja) * 2005-03-04 2006-09-14 National Univ Corp Shizuoka Univ 情報加工提示装置
JP2008039596A (ja) * 2006-08-07 2008-02-21 Pioneer Electronic Corp 情報提供装置、情報提供方法、情報提供プログラム、および記録媒体

Also Published As

Publication number Publication date
JP2009020091A (ja) 2009-01-29

Similar Documents

Publication Publication Date Title
JP5093667B2 (ja) ナビゲーションシステム、ナビゲーション方法、およびナビゲーションプログラム
EP2728313B1 (en) Method of displaying objects on a navigation map
US20190287398A1 (en) Dynamic natural guidance
CN109937343A (zh) 用于自动驾驶车辆交通预测中的预测轨迹的评估框架
US9291459B2 (en) Visualization of paths using GPS data
EP2726819B1 (en) Methods and systems for obtaining navigation instructions
US20160054137A1 (en) Navigation device with enhanced widgets and applications
KR100533033B1 (ko) 디지털 영상 처리 기술을 이용한 위치 추적 시스템 및 방법
EP1887321A2 (en) Information providing apparatus, information providing method, and computer product
JP2005077214A (ja) 道案内システム
JP4339178B2 (ja) 駐車場空きスペース案内装置及び駐車場空きスペース案内方法
JP2011048582A (ja) 情報収集装置
JP4578553B2 (ja) 経路誘導装置、経路誘導方法、経路誘導プログラム、および記録媒体
JP4922637B2 (ja) 経路探索装置、経路探索方法、経路探索プログラムおよび記録媒体
JP4619442B2 (ja) 画像表示装置、表示制御方法、表示制御プログラムおよび記録媒体
JP2012032284A (ja) ナビゲーションシステム
WO2007088915A1 (ja) 経路誘導装置、経路誘導方法、経路誘導プログラムおよび記録媒体
JP2008157661A (ja) ナビゲーション装置
JP5221120B2 (ja) 施設情報出力装置、プログラム、施設情報出力方法および施設情報表示装置
KR102149294B1 (ko) 웨어러블을 이용한 poi 정보 수집 시스템 및 그 방법
KR100687740B1 (ko) 위치 탐지 장치 및 그 방법
JP2007132724A (ja) ナビゲーション装置および施設検索方法
JP4949205B2 (ja) 情報処理端末、情報処理方法、処理プログラムおよびコンピュータに読み取り可能な記録媒体
KR102336775B1 (ko) 테마경로 생성 장치 및 방법
KR20120107671A (ko) 전자 기기, 교통 관련 컨텐츠 제공 방법 및 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110304

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120904

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120906

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150928

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees