JP2004138556A

JP2004138556A - Car-navigation system

Info

Publication number: JP2004138556A
Application number: JP2002304943A
Authority: JP
Inventors: Keiichi Uchimura; 内村圭一; Hiroki Ogiwara; 荻原裕樹
Original assignee: Kumamoto Technology and Industry Foundation
Current assignee: Kumamoto Technology and Industry Foundation
Priority date: 2002-10-18
Filing date: 2002-10-18
Publication date: 2004-05-13

Abstract

<P>PROBLEM TO BE SOLVED: To enable easy acquisition by a user of detailed information on a building or the like being imaged on a screen. <P>SOLUTION: This system has (1) a really-taken image photographing section for obtaining an actually photographed image, (2) a question receiving section for receiving questions from the user concerning the building or the like in the image, (3) a location / calculation section which measures the position of the system itself, calculates the position of the building or the like in the image about which the user asks, and selects a building or the like, (4) an information extraction section which extracts information on the selected building or the like from a database, and (5) a display section which displays the actually taken image and the above information, superposing it on the actually taken image. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は自動車に搭載された実画面と、地図上で走行地点、走行方向等を表示するとともに画面に写る建物等の情報を提供しうるカーナビゲーションシステムに関する。
【０００２】
【従来の技術】
近年自動車を安全にスムースに運転するために、自動車やドライバー運転支援に関する研究が進んでいる。なかでも人工衛星を利用したＧＰＳ（グローバル・ポジショニング・システム）により車の位置を認識するとともに、車周辺の地図を表示して車の進むべき方向をガイドするカーナビゲーションシステムが普及している。
【０００３】
しかし、当該地に初めて行った者や、方向音痴の者や、移動中のためにナビゲーションシステム画面の二次元の図と実物を十分に対比確認出来ない者には、実際の建物等の目標物とナビゲーションシステム画面上の地図や図形との一致や相違を理解することが困難であり、目標物を見誤るという問題があった。そこで、最近では、ニ次元的な地図だけでなく三次元的な画面を提供しようとする試みもなされている。
【０００４】
三次元画面としては、将来はバーチャルリアリティにより映し出される可能性があるが、現在は車載カメラで写したリアルタイムに流れる画像を用いる方法が試みられている。ところで、運転者が目標地点に到達しようとする場合、建物や駐車場（以下「建物等」という）を目標にすることが多い。カメラで写された画像の建物、例えばデパートやスーパーマーケットの特売情報、美術館、博物館の催し、駐車場の空き情報、レストランのメニュー等の情報が分かれば運転もより楽しいものになるに違いない。
【０００５】
【発明が解決しようとする課題】
提案システムを構築するためには、画面上と地図上との間におけるいくつかの整合性問題を解決する必要がある。
【０００６】
本発明は前記従来の問題に留意し、より広い情報が得られ、的確な走行案内ができるカーナビゲーションシステムを提供することを目的とする。本発明の第１の目的は運転手が運転中にとまどうことの少ないカーナビゲーションシステムを提供することにある。本発明の第２の目的は画面に映る建物等の詳細な情報をユーザーが容易に入手しうるカーナビゲーションシステムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
すなわち本発明は、
（１）実写映像を取得するための実写映像撮影部、
（２）ユーザーから画像上の建物等についての質問を受け取る質問受取部、
（３）自位置を測定するとともに、質問のあった画像上の建物等の位置を演算し、建物等を選定する測位・演算部、
（４）選定された建物等の情報をデータベースより抽出する情報抽出部、
（５）実写映像、および実写映像に重畳して上記情報を表示する表示部、
を有することを特徴とするカーナビゲーションシステムである。
【０００８】
建物等の情報はインターネットから取得することが好ましい。
【０００９】
選定された建物等をユーザーに対して確認を求める手段を有することが好ましい。
【００１０】
表示部における画像は地図情報または実写映像に切り替え表示可能にしてあることが好ましい。
【００１１】
建物等の情報の表示は、表示部における文字及び／または音声情報であることが好ましい。
【００１２】
建物等の情報は実写映像に重畳して表示されることが好ましい。
【００１３】
【発明の実施の形態】
以下、本発明のシステムを図面を参照して説明する。
図１は、本発明の１実施態様のカーナビゲーションシステムの機能がどのようにリンクされているかを示したモデル図である。図１▲１▼は本発明のカーナビゲーションシステムにおいて、ユーザーが質問を発している画面の１実施態様を示した図である。図１▲２▼は、同カーナビゲーションシステムにおける車載カメラのモデル図、図１▲３▼は、同カーナビゲーションシステムにおける位置表示画面の説明図、図１▲４▼は、同じくカーナビゲーションシステムにおける実画像兼表示画面及び建物への質問の説明図である。
【００１４】
本発明の好ましい実施の態様においては、本発明のカーナビゲーションシステムは、車の前方を撮影するための車載カメラ１と、ＧＰＳ衛星、車両に組み込まれたジャイロ等により自位置を測定する測位部２と、ユーザーからの画像上の建物等についての質問を受け取る質問受け取り部３、ＣＤ−ＲＯＭよりなる地図データ格納部４と、前記測位部２で得た座標データをもとに地図データ格納部４より地図データを読み出し、表示データを出すとともにカメラの座標と、ユーザーから質問された建物等の方向から建物等の座標を演算し、建物の候補を決定する演算部５、選定された建物等の情報をデータベースから抽出し、前方映写画面、および地図画面を１つの画面に重畳して、あるいは切り替え画面として表示する表示部６とより構成されている。
【００１５】
上記構成の本発明の実施態様において、実写画像撮影部の１実施態様である車載カメラは車の屋根またはバックミラーの裏側、バンパー上等に装着され、その車載カメラからは、車の前方、特に車の前方の道路のみならず、前方周辺の建物、構造物、駐車場等が映し出される。
【００１６】
上記構成の本発明の実施態様のカーナビゲーションシステムでは、ＧＰＳ衛星から送られてきたデータ、及び／または車両に組込まれたジャイロをもとに、測位部１にて自位置座標を算出し、更に地図データに位置を組込む処理を行う。
【００１７】
一方、図１▲２▼に例示したような車載カメラ１で撮影された画像はそのまま画像Ａとしてカーナビゲーションシステムの表示部６の画面に表示される。運転者を含むユーザーは、画面に映った建物、構造物を指で触ること等により詳細を知りたいと思う建物等を特定するとともに質問の意思表示をする。
【００１８】
本発明のカーナビゲーションシステムでは、手順としてまずこのユーザーから指示された建物の位置付けを行う。位置付けは例えば次のようにする。車載カメラで撮影した連続画像から得られる対象物の特徴点とその対応点の座標情報及びＧＰＳから得られるカメラの位置情報を用いて、対象物の位置情報を獲得する。その得られた位置情報から最も近い建物を第１候補、次に近い建物を第２候補とし、表示部の画面上に順次列挙して行く。
【００１９】
本発明のカーナビゲーションシステムでは、前記地図データから目標建物等を読み取り、特定するとともに、建物情報提供部から目標建物等の情報を抽出し、これを音声及び／または画像データに重畳して表示部６で表示する。建物情報部のデータはインターネットやサービス放送局からアンテナを経由して車内の記憶システムに一時的に記憶し、そこから適宜取り出すようにされていてもよい。
【００２０】
従って、本発明のカーナビゲーションシステムの表示部６に写る画面は、図１▲１▼のように車載カメラで撮影された車前方画面、ＧＰＳから得られた位置情報から求められた車周辺の地図（図１▲３▼）、及び車前方画面中央部分に重畳して詳細データまたは質問を表示する画面の主として３種類の画面が存在し、ユーザーは適宜メニュー設定チャンネルを切り替えて使用する。あるいは１つの画面に重畳して表示されるようになっている。通常は車載カメラで撮影された車前方の実写画面を表示する。
【００２１】
ユーザーが建物を特定した際、画面では特定された建物に何らかのマークが表示されるか、建物の色相が変化して、ユーザーにカーナビゲーションシステムがどの建物を特定しているのか明らかにするようになっていてもよい。
【００２２】
本発明のカーナビゲーションシステムで建物情報を入手したい場合、例えば、図１▲１▼において、ユーザーが情報の知りたい画像上の建物を指で触る（タッチする）。するとカーナビゲーション画面には第１の候補の建物「○○○○」の名前を表示する。そして、「この建物ですか」と問い掛ける。ユーザーは「はい」か「いいえ」の表示のどちらかを触るか声で選択し、建物を確認する。
【００２３】
【いいえ】を選択した場合、カーナビゲーションシステムは第２の候補の建物の名前を表示し、「この建物ですか」と問い掛ける。「はい」を選択する場合、その建物に関する詳細情報が画面の一部に表示されるようになっている。
【００２４】
別の態様ではユーザーは候補の建物が列挙されている建物名あるいはマークのうち目的とする建物のマークまたは文字をタッチすることで建物を選択する。
【００２５】
本発明のカーナビゲーションシステムで提供する建物等の情報は前述したようにデータ格納部に保存しているデータか、インターネットから入手あるいはサービス放送局からアンテナを通じて入手したデータで、指示に応じてデータ格納部等から選択・抽出できるようになっている。建物等の情報としては、例えばデパートやスーパーマーケットの特売情報、美術館、博物館の催し、駐車場の空き情報、レストランのメニュー等を挙げることが出来る。これらの情報は適宜変更されるようになっている。
【００２６】
また、本実施の態様１のカーナビゲーションシステムは、表示部における表示地図画面および表示領域外の地図に含まれる目印となる建物等の情報を表示する。本実施の態様１のカーナビゲーションシステムは、図示していないが表示地点の通過を検出する地図更新手段を備えており、建物等の表示は、車の通過にしたがって順次更新され、周辺を確認しやすくして走行案内をより明確にすることができる。
【００２７】
【発明の効果】
前記説明より明らかなように、本発明は、その場の画像をカメラで捕らえて実写画像のまま画面に表示し、カーナビゲーションシステムにおける位置情報で、車の位置を認識できるとともに、視界に写る建物に関する詳細を本発明のナビゲータの画像の情報で理解することができるため、目的地および周辺の確認がしやすく、かつデパートやスーパーマーケットの特売情報、美術館、博物館の催し、駐車場の空き情報、レストランのメニュー等の情報が得られる等、その効果は大きい。
【図面の簡単な説明】
【図１】図１は本発明のカーナビゲーションシステムの機能がどのようにリンクされているかを示したモデル図である。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a car navigation system capable of displaying an actual screen mounted on an automobile, a traveling point, a traveling direction, and the like on a map and providing information on buildings and the like shown on the screen.
[0002]
[Prior art]
2. Description of the Related Art In recent years, in order to drive a vehicle safely and smoothly, research on driving support for a vehicle and a driver has been advanced. Above all, a car navigation system that recognizes the position of a vehicle using a GPS (Global Positioning System) using artificial satellites, displays a map around the vehicle, and guides the vehicle in the direction of travel has become widespread.
[0003]
However, for those who have never been to the site, people who have sensation of direction, or those who are not moving enough to check the two-dimensional diagram of the navigation system screen and the actual thing, It is difficult to understand the coincidence and difference between the map and the graphic on the navigation system screen, and there is a problem that the target is misidentified. Thus, recently, attempts have been made to provide not only a two-dimensional map but also a three-dimensional screen.
[0004]
As a three-dimensional screen, there is a possibility that the image will be projected by virtual reality in the future, but currently, a method using an image flowing in real time captured by a vehicle-mounted camera is being attempted. By the way, when a driver tries to reach a target point, he or she often targets a building or a parking lot (hereinafter referred to as “building etc.”). Driving will be more enjoyable if you know the information of the buildings captured by the camera, such as information on special sales at department stores and supermarkets, museums, museum events, parking lot availability, restaurant menus, and so on.
[0005]
[Problems to be solved by the invention]
In order to construct the proposed system, it is necessary to solve some consistency problems between the screen and the map.
[0006]
SUMMARY OF THE INVENTION An object of the present invention is to provide a car navigation system capable of obtaining broader information and providing accurate travel guidance while keeping in mind the above-mentioned conventional problems. A first object of the present invention is to provide a car navigation system in which a driver is less likely to be confused while driving. A second object of the present invention is to provide a car navigation system that allows a user to easily obtain detailed information such as a building reflected on a screen.
[0007]
[Means for Solving the Problems]
That is, the present invention
(1) a live-action video shooting unit for obtaining a live-action video,
(2) a question receiving unit for receiving a question about a building on the image from a user,
(3) A positioning / calculation unit that measures the position of itself, calculates the position of a building or the like on the image in which the question was asked, and selects a building or the like.
(4) an information extraction unit for extracting information on the selected building or the like from a database;
(5) a live-action video, and a display unit that displays the information superimposed on the live-action video,
It is a car navigation system characterized by having.
[0008]
It is preferable to obtain information on buildings and the like from the Internet.
[0009]
It is preferable to have a means for requesting the user to confirm the selected building or the like.
[0010]
It is preferable that the image on the display unit can be switched to map information or a photographed image and can be displayed.
[0011]
The display of information such as a building is preferably text and / or audio information on the display unit.
[0012]
It is preferable that the information of the building and the like is displayed so as to be superimposed on the actual photographed video.
[0013]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, the system of the present invention will be described with reference to the drawings.
FIG. 1 is a model diagram showing how the functions of the car navigation system according to one embodiment of the present invention are linked. FIG. 1 (1) is a view showing one embodiment of a screen on which a user is asking a question in the car navigation system of the present invention. FIG. 1-2 is a model diagram of an on-vehicle camera in the car navigation system, FIG. 1-3 is an explanatory view of a position display screen in the car navigation system, and FIG. It is an explanatory view of an image and display screen and a question to a building.
[0014]
In a preferred embodiment of the present invention, the car navigation system according to the present invention includes an on-vehicle camera 1 for photographing the front of a vehicle, and a positioning unit 2 for measuring its own position using a GPS satellite, a gyro incorporated in the vehicle, or the like. A question receiving unit 3 for receiving a question about a building or the like from an image from a user, a map data storage unit 4 composed of a CD-ROM, and a map data storage unit 4 based on the coordinate data obtained by the positioning unit 2. From the map data, display data is output, and the coordinates of the camera and the coordinates of the building or the like are calculated from the direction of the building or the like queried by the user. A display unit 6 for extracting information from a database and superimposing a forward projection screen and a map screen on one screen or displaying the screen as a switching screen. To have.
[0015]
In the embodiment of the present invention having the above-described configuration, the vehicle-mounted camera, which is an embodiment of the real image capturing unit, is mounted on the roof of a car or the back of a rear-view mirror, on a bumper, or the like. Not only the road ahead of the car, but also buildings, structures, parking lots, etc. around the front are displayed.
[0016]
In the car navigation system according to the embodiment of the present invention having the above-described configuration, the positioning unit 1 calculates the own position coordinates based on the data transmitted from the GPS satellites and / or the gyro incorporated in the vehicle, and A process for incorporating a position into the map data is performed.
[0017]
On the other hand, an image captured by the on-vehicle camera 1 as illustrated in FIG. 1 (2) is displayed as it is on the screen of the display unit 6 of the car navigation system as an image A. A user including a driver specifies a building or the like that the user wants to know in detail by touching a building or a structure shown on a screen with a finger, and indicates an intention of a question.
[0018]
In the car navigation system according to the present invention, the position of the building designated by the user is first performed as a procedure. Positioning is performed, for example, as follows. The position information of the object is obtained by using the coordinate information of the feature points of the object obtained from the continuous images captured by the onboard camera and the corresponding points, and the position information of the camera obtained from the GPS. From the obtained position information, the closest building is set as a first candidate, and the next closest building is set as a second candidate, and listed sequentially on the screen of the display unit.
[0019]
In the car navigation system according to the present invention, a target building or the like is read and specified from the map data, and information on the target building or the like is extracted from the building information providing unit, and the information is superimposed on voice and / or image data and displayed on the display unit. 6 is displayed. The data of the building information section may be temporarily stored in a storage system in the vehicle from the Internet or a service broadcasting station via an antenna, and may be appropriately extracted therefrom.
[0020]
Therefore, the screen displayed on the display unit 6 of the car navigation system according to the present invention is a screen in front of the car photographed by the onboard camera as shown in FIG. 1 (1), and a map around the car obtained from the positional information obtained from the GPS. There are mainly three types of screens (FIG. 1-3 (3)) and a screen for displaying detailed data or questions superimposed on the center portion of the screen in front of the vehicle, and the user switches the menu setting channel as appropriate and uses it. Alternatively, they are displayed so as to be superimposed on one screen. Normally, a live-action image of the front of the car taken by the on-board camera is displayed.
[0021]
When the user identifies a building, the screen will show some mark on the identified building or the hue of the building will change, so that the user will know which building the car navigation system is identifying It may be.
[0022]
When it is desired to obtain building information with the car navigation system of the present invention, for example, in FIG. 1 (1), a user touches (touches) a building on an image whose information he / she wants to know. Then, the name of the first candidate building "OOOO" is displayed on the car navigation screen. Then ask, "Is this building?" The user touches on either the "yes" or "no" indication and makes a voice selection to confirm the building.
[0023]
If [No] is selected, the car navigation system displays the name of the second candidate building and asks "is this building?" When "Yes" is selected, detailed information on the building is displayed on a part of the screen.
[0024]
In another aspect, the user selects a building by touching a mark or a character of a target building among building names or marks in which candidate buildings are listed.
[0025]
The information of the building and the like provided by the car navigation system of the present invention is the data stored in the data storage unit as described above, or the data obtained from the Internet or obtained from the service broadcasting station through the antenna. It can be selected and extracted from departments. Examples of information on buildings and the like include special sale information on department stores and supermarkets, museums and museums, parking lot availability information, restaurant menus, and the like. These pieces of information are changed as appropriate.
[0026]
In addition, the car navigation system according to the first embodiment displays information such as a building serving as a mark included in a display map screen on the display unit and a map outside the display area. The car navigation system according to the first embodiment includes a map updating means (not shown) for detecting passage of a display point, and displays of buildings and the like are sequentially updated as the vehicle passes, and the surroundings are confirmed. This makes it easier to make travel guidance clearer.
[0027]
【The invention's effect】
As is clear from the above description, the present invention captures an image of the place with a camera, displays the image as it is on the screen as it is, and can recognize the position of the car with the position information in the car navigation system, and the building that is visible in the field of view Can be understood by the information of the image of the navigator of the present invention, so that it is easy to confirm the destination and surroundings, and special information on department stores and supermarkets, museums and museums, parking lots, restaurants The effect is great, for example, the information of the menu etc. can be obtained.
[Brief description of the drawings]
FIG. 1 is a model diagram showing how functions of a car navigation system of the present invention are linked.

Claims

（１）実写映像を取得するための実写映像撮影部、
（２）ユーザーから画像上の建物等についての質問を受け取る質問受取部、
（３）自位置を測定するとともに、質問のあった画像上の建物等の位置を演算し、建物等を選定する測位・演算部、
（４）選定された建物等の情報をデータベースより抽出する情報抽出部、
（５）実写映像、および実写映像に重畳して上記情報を表示する表示部、
を有することを特徴とするカーナビゲーションシステム。(1) a live-action video shooting unit for obtaining a live-action video,
(2) a question receiving unit for receiving a question about a building on the image from a user,
(3) A positioning / calculation unit that measures the position of itself, calculates the position of a building or the like on the image in which the question was asked, and selects a building or the like.
(4) an information extraction unit for extracting information on the selected building or the like from a database;
(5) a live-action video, and a display unit that displays the information superimposed on the live-action video,
A car navigation system comprising:

建物等の情報をインターネットから取得することを特徴とする請求項１記載のカーナビゲーションシステム。2. The car navigation system according to claim 1, wherein information on a building or the like is acquired from the Internet.

選定された建物等をユーザーに対して確認を求める手段を有することを特徴とする請求項１〜２記載のカーナビゲーションシステム。3. The car navigation system according to claim 1, further comprising means for requesting a user to confirm the selected building or the like.

表示部における画像を地図情報または実写映像に切り替え表示可能にしたことを特徴とする請求項１〜３記載のカーナビゲーションシステム。4. The car navigation system according to claim 1, wherein an image on the display unit is switched to map information or a photographed image and can be displayed.

建物等の情報の表示は、表示部における文字及び／または音声情報であることを特徴とする請求項１〜４記載のカーナビゲーションシステム。5. The car navigation system according to claim 1, wherein the display of information such as a building is text and / or audio information on a display unit.

建物等の情報を実写映像に重畳して表示することを特徴とする請求項１〜５記載のカーナビゲーションシステム。The car navigation system according to claim 1, wherein information on a building or the like is superimposed on a photographed image and displayed.