JP2005233710A - Position display system - Google Patents

Position display system Download PDF

Info

Publication number
JP2005233710A
JP2005233710A JP2004041349A JP2004041349A JP2005233710A JP 2005233710 A JP2005233710 A JP 2005233710A JP 2004041349 A JP2004041349 A JP 2004041349A JP 2004041349 A JP2004041349 A JP 2004041349A JP 2005233710 A JP2005233710 A JP 2005233710A
Authority
JP
Japan
Prior art keywords
image
information
travel route
planned
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004041349A
Other languages
Japanese (ja)
Inventor
Kazufumi Inai
一史 井内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Software Engineering Co Ltd
Original Assignee
Hitachi Software Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Software Engineering Co Ltd filed Critical Hitachi Software Engineering Co Ltd
Priority to JP2004041349A priority Critical patent/JP2005233710A/en
Publication of JP2005233710A publication Critical patent/JP2005233710A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Navigation (AREA)
  • Processing Or Creating Images (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a position display system for transmitting the latest scheduled travel route to an occupant of a movable body at a low cost. <P>SOLUTION: This position display system is characterized by being equipped with: a first means for obtaining information on a scheduled travel route from a storage means for the information, the information comprising two-dimensional or three-dimensional coordinate data and the route leading from a travel start position to a destination; a second means for detecting a present position of the movable body itself; a third means for detecting the movement direction of the movable body itself based on sequentially detected present position information; a camera for photographing an image of a forward visual field of the movable body itself traveling; a fourth means for converting information on a prescribed forward zone extending from a present position of the movable body itself, out of the information on the travel route, into a scheduled travel route bird's-eye image in a plane coordinate system; a fifth means for correcting the bird's-eye image obtained by the conversion in the coordinate system based on the the movement direction detected by the third means to combine it with the image obtained by photographing by the camera; and a sixth means for displaying an image obtained by their combination. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、位置表示システムに係わり、特に自動車、船舶、人などの移動体の前方視野の画像を撮影できるカメラを装備した位置表示システムに関する。   The present invention relates to a position display system, and more particularly, to a position display system equipped with a camera that can capture an image of a front field of view of a moving body such as an automobile, a ship, and a person.

従来、車両の運転者に走行予定経路情報や道路交通情報などを提供する車載用表示システムであるナビゲーションシステムでは、情報を音声やディスプレイ装置に表示する画像により搭乗者に伝えていた。ディスプレイ装置に表示する画像には、通常、地図が表示される。地図は日々更新されるものであるため、最新の地図が必要となる場合には、ＣＤ−ＲＯＭやＤＶＤ−Ｒなどの記憶媒体を最新のものに交換したり、インターネットに接続して最新の情報をディスクドライブなどにダウンロードしたりする方法がとられていた。
しかしながら、地図の情報量は小さいものではないため、インターネット経由でダウンロードするためには時間やコスト、レスポンスの問題があった。また、ＣＤやＤＶＤの作成にコストがかかるため、最終ユーザのコスト的な負担や更新時期の管理の問題があった。このため、より手軽に最新の情報を取得する方法が求められていた。 Conventionally, in a navigation system that is an in-vehicle display system that provides planned driving route information, road traffic information, and the like to a driver of a vehicle, the information is transmitted to the passenger by voice or an image displayed on a display device. A map is usually displayed on the image displayed on the display device. Since the map is updated daily, if you need the latest map, replace the storage medium such as CD-ROM or DVD-R with the latest one, or connect to the Internet for the latest information. The method of downloading to disk drive etc. was taken.
However, since the amount of map information is not small, there are problems of time, cost, and response to download via the Internet. In addition, since the production of CDs and DVDs is costly, there are problems of cost burden on the end user and management of the update time. For this reason, a method for acquiring the latest information more easily has been demanded.

そこで、車載用ナビゲーションシステムが保持する地図データの更新日付と、サーバが保有する地図データの更新日付により自車の地図データの更新が必要であるかどうかを判断するシステムとして下記特許文献１に記載のものがある。
この特許文献１に開示された方法によれば、地図データの更新があったかどうかが問い合わせの時点で把握でき、必要に応じてダウンロードすることができる。
一方、車載用ナビゲーションシステムが保持する地図データを区画単位に管理し、それぞれ更新が必要であるかどうかをサーバに問い合わせるシステムとして下記特許文献２に記載のものがある。
この特許文献２に開示された方法によれば、地図データの更新があったかどうかが問い合わせの時点で区画単位に把握でき、必要に応じて区画単位データをダウンロードすることができる。
特開２００３−１９４５４６号公報 特開２００３−１３０６５０号公報 Therefore, Patent Document 1 below describes a system that determines whether or not the map data of the own vehicle needs to be updated based on the update date of the map data held by the in-vehicle navigation system and the update date of the map data held by the server. There are things.
According to the method disclosed in Patent Document 1, it can be grasped at the time of inquiry whether or not the map data has been updated, and can be downloaded as necessary.
On the other hand, there is a system described in Patent Document 2 below as a system that manages map data held by an in-vehicle navigation system in units of partitions and inquires of a server whether or not each of them needs to be updated.
According to the method disclosed in Patent Document 2, whether or not map data has been updated can be grasped for each partition at the time of inquiry, and the partition unit data can be downloaded as necessary.
JP 2003-194546 A JP 2003-130650 A

しかしながら、上記特許文献１に記載の技術は、問い合わせの時点で判明した更新が必要な地図データをすべて自車側のデータベースにダウンロードしなければ、データベースが最新とならない。場合によっては、更新が必要なデータが多いことも考えられ、通信のコストが嵩んでしまうという問題があった。
また、上記特許文献２に記載の技術によれば、区画単位に更新が必要な地図データを取捨できるものの、単位あたりの地図情報量がやはり多い場合が考えられ、前記特許文献１に開示された技術と同様に、自車の地図データベースの保守に通信コストがかかってしまうという問題があった。 However, in the technique described in Patent Document 1, the database is not up-to-date unless all map data that needs to be updated at the time of the inquiry is downloaded to the database on the vehicle side. In some cases, there is a possibility that there is a lot of data that needs to be updated, and there is a problem that the cost of communication increases.
Further, according to the technique described in Patent Document 2, although map data that needs to be updated for each partition can be discarded, there may be a case where the amount of map information per unit is still large, which is disclosed in Patent Document 1. Similar to the technology, there was a problem that the maintenance of the map database of the own vehicle would cost communication costs.

本発明の目的は、低コストで最新の走行予定経路を自動車の運転者、船舶の操舵者、あるいは歩行している人に伝えることができる位置表示システムを提供することにある。   An object of the present invention is to provide a position display system capable of transmitting the latest planned travel route at a low cost to a driver of a car, a ship operator, or a person walking.

上記目的を達成するために、本発明は、走行開始位置から目的地に至る２次元または３次元座標データで構成された走行予定経路情報を該走行予定経路情報の記憶手段から取得する第１の手段と、移動体自身の現在位置を検出する第２の手段と、該第２の手段によって順次検出される現在位置情報に基づき移動体自身の進行方向を検出する第３の手段と、走行中の移動体自身の前方視界の画像を撮影するカメラと、前記走行予定経路情報のうち移動体自身の現在位置から前方所定区間の情報を平面座標系の走行予定経路鳥瞰画像に変換する第４の手段と、変換された平面座標系の走行予定経路鳥瞰画像を前記第３の手段が検出した進行方向に基づき補正し、前記カメラにより撮影した画像とを合成する第５の手段と、合成された画像を表示する第６の手段とを備えることを特徴とする。
また、走行予定経路の上り下りに応じた移動体自身の傾斜を検知する第７の手段と、該第７の手段によって検知した移動体自身の傾斜角度に基づき前記平面座標系の走行予定経路鳥瞰画像を補正する第８の手段をさらに備えることを特徴とする。
また、前記第６の手段は、前記第５の手段によって合成された画像を移動体自身の操縦位置前面のガラス面に表示するものであることを特徴とする。 In order to achieve the above object, the present invention obtains a travel schedule route information composed of two-dimensional or three-dimensional coordinate data from a travel start position to a destination from a storage means for the travel schedule route information. Means, second means for detecting the current position of the moving body itself, third means for detecting the traveling direction of the moving body based on current position information sequentially detected by the second means, and running A camera that captures an image of the forward view of the moving body itself, and a fourth part that converts information on a predetermined forward section from the current position of the moving body itself into the travel planned route bird's-eye image of the planar coordinate system in the planned travel route information. And a fifth means for correcting the bird's-eye view image of the planned travel route in the converted planar coordinate system based on the traveling direction detected by the third means and combining the image photographed by the camera Display image Characterized in that it comprises a sixth means.
Further, a seventh means for detecting the inclination of the moving body itself according to the up and down of the planned traveling path, and a bird's eye view of the planned traveling path of the planar coordinate system based on the inclination angle of the moving body detected by the seventh means An eighth means for correcting the image is further provided.
Further, the sixth means is characterized in that the image synthesized by the fifth means is displayed on the glass surface in front of the steering position of the moving body itself.

本発明によれば、例えば自動車によって目的地に向かって走行する場合、走行開始位置から目的地に至る３次元座標データで構成された走行予定経路情報を該走行予定経路情報を記憶した記憶手段から取得する。例えば、車両がネットワークに接続できる環境にある場合には、ネットワーク経由で地図データベースにアクセスし、２点間の走行予定経路情報を取得する。ネットワークに接続できない環境であれば、ネットワーク上の地図データベースから２点間の走行予定経路情報を取得し、これをメモリカード等の記憶媒体に格納し、この記録媒体から取得する。
これにより、車両側に地図データベースを持たなくてもよくなる。これは地図データベースの保守を車両側で行わないことを意味する。このため、地図データの保守コストが不要となるという効果がある。
また、地図情報が地図データベース側で一元管理されるので、地図情報自体の保守が不要になる効果がある。
さらに、地図データベース側で常に最新の地図情報を保持する運用とすることで、該地図データベースから取得する走行予定経路情報は最新の経路情報であって、車両側で利用する走行予定経路情報が常に最新であることが地図データベースによって保障されるという効果がある。
また、ネットワーク環境で地図データベースと車両が通信するデータの内容は、地図データのような大がかりなものではなく、２点間の走行予定経路情報であるため、地図データベースを更新するようなシステムに較べ、通信コストを低く抑えることができるという効果がある。
さらに、表示される画像は、平面座標系に変換した走行予定経路の現在位置の鳥瞰画像に対し、車載のカメラで撮影した現在位置の前方視界の画像を重ね合わせたものであるため、運転席から見える建物と道路との関係を的確に把握することが可能になり、建物等を擬似的に描画した従来のシステムに比べ、走行位置を把握するのが容易になる。
また、自車の上り下りに応じた傾斜角度を検出し、その検出結果に応じて、走行予定経路の現在位置の鳥瞰画像の傾きを補正することにより、運転席から見える建物と道路との関係がさらに精密に整合されるので、建物と道路との関係をさらに的確に把握することが可能になる。
また、合成した画像を自車のフロントガラス面に投影表示することにより、運転者は前方から視線を外すことなく、走行位置を把握することが可能になる。 According to the present invention, for example, when traveling toward a destination by an automobile, planned travel route information composed of three-dimensional coordinate data from the travel start position to the destination is stored in the storage means storing the planned travel route information. get. For example, when the vehicle is in an environment where it can be connected to a network, the map database is accessed via the network, and travel schedule route information between two points is acquired. If the environment is incapable of connecting to the network, the travel schedule route information between the two points is acquired from the map database on the network, stored in a storage medium such as a memory card, and acquired from the recording medium.
This eliminates the need for a map database on the vehicle side. This means that the map database is not maintained on the vehicle side. For this reason, there is an effect that the maintenance cost of the map data becomes unnecessary.
Further, since the map information is centrally managed on the map database side, there is an effect that the maintenance of the map information itself becomes unnecessary.
Furthermore, by always maintaining the latest map information on the map database side, the planned travel route information acquired from the map database is the latest route information, and the planned travel route information used on the vehicle side is always There is an effect that the map database ensures that it is up-to-date.
In addition, the contents of the data communicated between the map database and the vehicle in the network environment are not as large as the map data, but are the planned travel route information between two points, and therefore, compared to a system that updates the map database. The communication cost can be kept low.
Furthermore, the displayed image is a bird's-eye view image of the current position of the planned travel route converted into the plane coordinate system, and an image of the front view of the current position captured by the in-vehicle camera is superimposed on the driver's seat. It is possible to accurately grasp the relationship between the building and the road that can be seen from the road, and it becomes easier to grasp the traveling position as compared with the conventional system in which the building or the like is drawn in a pseudo manner.
In addition, the relationship between the building and the road that can be seen from the driver's seat is detected by detecting the inclination angle according to the up and down of the vehicle and correcting the inclination of the bird's-eye view image of the current position of the planned travel route according to the detection result. Are more precisely matched, so that the relationship between the building and the road can be grasped more accurately.
Further, by projecting and displaying the synthesized image on the windshield surface of the host vehicle, the driver can grasp the traveling position without removing his line of sight from the front.

以下、本発明を実施する場合の一形態を図面を参照して具体的に説明する。
図１は、本発明を車載用の位置表示システムに適用した場合の実施の一形態を示すシステム構成図である。
図１に示す車載用表示システムは、目的地等の情報の入力を受け付けるための入力部６と、自車位置検出手段としてのＧＰＳ受信機３と、自車の前方視野の画像を撮影するカメラ４と、道路の上り下りに応じた車両の傾斜度を測定する傾斜センサ５、およびこれらの構成部からの情報を合成して画像に変換する画像合成部８、さらにそこで合成された画像を表示するための表示装置７からなる。
目的地等情報入力部６は、ネットワーク２に常時もしくは必要に応じて接続しており、ネットワーク２に接続しているサーバ１の走行予定経路作成部１０が地図データベース１１から取得した２点間の走行予定経路情報を受け取ることができるようになっている。
ここで、走行予定経路作成部１０は地図データベース１１を管理するサーバ１内に設けられ、情報入力部６から走行開始位置と目的地とから成る２点の位置情報を受信した場合には、開始位置から目的地に至る最適な走行予定経路を探索し、その２点間を結ぶ走行予定経路の情報を地図データベース１１に登録された区間単位で情報入力部６に返す。
目的地等の情報入力部６では、目的地を入力して経路情報を受け取る。目的地は名称や電話番号などから検索して指定もしくは、地図を画面上に表示させ、その表示画面内でポインタデバイス等により入力するようにしてもよい。現在地はＧＰＳ受信機３により取得する。入力された目的地、走行開始位置地点としての現在地等の情報は、３次元の座標としてネットワーク２を通じて走行予定経路の問い合わせに使われる。サーバ１では、現在地等の情報と目的地の情報から走行予定経路を地図データベース１１から探索し、要求元である車両に走行予路情報を返す。
走行開始前に走行予定を計画しておくような場合は、メモリカード等を利用する方法が適している。１つまたは複数の走行予定経路等の情報をサーバ１より取得しておき、その情報をメモリカード等に保存しておく。運転を行う車両では、メモリカード等より走行予定経路の一覧を表示し、一覧から選択することで走行予定経路を特定する。 Hereinafter, an embodiment for carrying out the present invention will be specifically described with reference to the drawings.
FIG. 1 is a system configuration diagram showing an embodiment when the present invention is applied to an on-vehicle position display system.
The in-vehicle display system shown in FIG. 1 includes an input unit 6 for receiving input of information such as a destination, a GPS receiver 3 as a vehicle position detection unit, and a camera that captures an image of a front field of view of the vehicle. 4 and an inclination sensor 5 for measuring the degree of inclination of the vehicle according to the up and down roads, an image composition unit 8 for synthesizing information from these components and converting them into an image, and further displaying an image synthesized there It consists of a display device 7 for doing this.
The destination information input unit 6 is connected to the network 2 at all times or as necessary, and between the two points acquired from the map database 11 by the planned travel route creation unit 10 of the server 1 connected to the network 2. It is possible to receive the scheduled travel route information.
Here, the planned travel route creation unit 10 is provided in the server 1 that manages the map database 11, and starts when the location information of the travel start position and the destination is received from the information input unit 6. The optimum planned travel route from the position to the destination is searched, and information on the planned travel route connecting the two points is returned to the information input unit 6 for each section registered in the map database 11.
The information input unit 6 such as a destination inputs a destination and receives route information. The destination may be specified by searching from a name, a telephone number, or the like, or a map may be displayed on the screen and input with a pointer device or the like within the display screen. The current location is acquired by the GPS receiver 3. The input information such as the destination and the current location as the travel start position is used as a three-dimensional coordinate for the query of the planned travel route through the network 2. The server 1 searches the map database 11 for a planned travel route from the current location information and the destination information, and returns the predicted travel route information to the requesting vehicle.
A method using a memory card or the like is suitable for planning a travel schedule before the start of travel. Information such as one or a plurality of planned travel routes is acquired from the server 1, and the information is stored in a memory card or the like. In a vehicle to be driven, a list of planned travel routes is displayed from a memory card or the like, and the planned travel route is specified by selecting from the list.

サーバ１の走行予定経路作成部１０は、目的地等情報入力部６により入力された情報および自車の走行開始地点の情報に基づき、最適な走行予定経路を探索することを目的としている処理部であり、走行開始地点からスタートし、入力された目的地まで到達する好ましい経路を地図データベース１１より探索する。ここで得られる経路は、２次元、好ましくは３次元の折れ線データである。走行予定経路の座標系は、緯度・経度のような測地座標系、または測量法に定められる平面直角座標系であってもよいし、本発明のシステムで利用する地図データベースが独自の座標系であるならば、その座標系であってもよい。地図データベース１１は、道路情報を保持している。車両が坂道を走行する場合、あるいは坂のある山間部などを走行する場合の表示誤差を最小に抑えるためには、地図データベース１１は３次元の座標データを持つ道路地図データベースであることが好ましい。   The planned travel route creation unit 10 of the server 1 is a processing unit intended to search for an optimal planned travel route based on the information input by the destination etc. information input unit 6 and the travel start point information of the host vehicle. The map database 11 is searched for a preferable route starting from the travel start point and reaching the input destination. The path obtained here is 2-dimensional, preferably 3-dimensional line data. The coordinate system of the planned travel route may be a geodetic coordinate system such as latitude and longitude, or a plane rectangular coordinate system defined by the surveying method, and the map database used in the system of the present invention is a unique coordinate system. If there is, it may be the coordinate system. The map database 11 holds road information. The map database 11 is preferably a road map database having three-dimensional coordinate data in order to minimize display errors when the vehicle travels on a slope or travels in a mountainous area with a slope.

画像合成部８は、走行予定経路作成部１０で作成した走行予定経路情報のうち自車の現在位置から前方所定区間の情報を平面座標系の走行予定経路鳥瞰画像に変換し、この変換画像を自車の進行方向と傾斜角度に応じて補正し、その補正画像に対しカメラ４により撮影した画像を重ね合わせた画像を作成することを目的とするものである。
カメラ４は静止画用のカメラでもよいが、好ましくは動画を撮影できるビデオカメラである。静止画用のカメラである場合には、一定の間隔で画像を再作成することで、表示される情報を更新することが好ましい。画像の合成にあたっては、カメラ４により撮影された画像を背景画像とし、走行予定経路作成部１０で作成した走行予定経路情報（３次元折れ線データ）を平面座標系の走行予定経路鳥瞰画像に変換したものと合成し、フロントガラス面などに投影表示させる。
３次元座標データで構成される走行予定経路情報を平面座標系の走行予定経路鳥瞰画像へ変換するに際しては、カメラ４の光学的属性と傾斜センサ５により得られる自車の傾斜角を用い、カメラ４により撮影される画像と座標系が重なるように変換して投影を行う。
画像合成部８により得られた画像は、表示装置７に送られ、運転者もしくは同乗者に走行予定経路を提示する。
表示装置７は、ブラウン管によるディスプレイ、液晶ディスプレイなどの表示装置であってもよいが、フロントガラスに投影する形として、実際に運転席から見える視野に近づけ、運転者が視野を前方から外すことなく現在の走行位置を確認できるようにするのが望ましい。 The image synthesizing unit 8 converts information on a predetermined section ahead of the current position of the host vehicle from the planned traveling route information created by the planned traveling route creation unit 10 into a bird's-eye view image of the planned traveling route in the plane coordinate system, and converts the converted image. The object is to make correction according to the traveling direction and inclination angle of the host vehicle, and to create an image in which the image taken by the camera 4 is superimposed on the corrected image.
The camera 4 may be a still image camera, but is preferably a video camera capable of shooting a moving image. In the case of a still image camera, it is preferable to update the displayed information by recreating an image at regular intervals. In synthesizing the image, the image taken by the camera 4 is used as a background image, and the planned travel route information (three-dimensional broken line data) created by the planned travel route creation unit 10 is converted into a bird's-eye view image of the planned travel route in the plane coordinate system. It is combined with the object and projected on the windshield.
When converting the planned travel route information composed of the three-dimensional coordinate data into the bird's eye view image of the planned travel route in the plane coordinate system, the optical attribute of the camera 4 and the inclination angle of the own vehicle obtained by the tilt sensor 5 are used. Projecting is performed by converting the image captured by 4 so that the coordinate system overlaps.
The image obtained by the image synthesizing unit 8 is sent to the display device 7 to present the planned travel route to the driver or passenger.
The display device 7 may be a display device such as a display using a cathode ray tube or a liquid crystal display. However, as a form projected onto the windshield, the display device 7 is brought close to the field of view actually seen from the driver's seat, and the driver does not remove the field of view from the front. It is desirable to be able to confirm the current travel position.

図２は、走行予定経路を表示する際の処理手順の詳細を示したフローチャートである。
ここで、示す処理は情報入力部６と画像合成部８で行われる処理をあわせて記載したものである。
まず、ステップ２０１によりカメラ４の属性を取得する。ここで言う属性とは、カメラのＸ、Ｙ、Ｚ軸の向きを表す単位ベクトル（Ｘ、Ｙ、Ｚ）、カメラの位置、焦点距離などである。これらの情報により、走行予定経路作成部１０で算出した走行予定経路情報（３次元折れ線データ）を、平面座標系の鳥瞰画像に投影するための演算が可能となる。
次に、ステップ２０２により、走行開始地点を変数Ｓに設定する。走行開始地点は、ＧＰＳ受信装置３により取得する。
次に、ステップ２０３により目的地を取得する。目的地などの情報は、目的地を名称や電話番号などから検索して指定させてもよいし、地図を画面上に表示させるなどし、そこでポインタデバイス等により入力してもよい。目的地点はステップ２０４で変数Ｅに設定される。
ステップ２０５では、地点Ｓから地点Ｅまでの走行予定経路情報を取得する。走行予定経路情報はネットワーク２を通じてサーバ１から取得する。結果は２次元、もしくは３次元の折れ線データとして取得する。車両が坂道を走行する場合、あるいは坂のある山間部などを走行する場合の表示誤差を最小に抑えるために、ここで得られる算出結果は３次元の座標データによる折れ線データであることが好ましい。
次に、ステップ２０６でＧＰＳ受信機３から自車位置の取得を行う。車が実際に走行している場合には、自車位置は前回の位置とは異なっているはずである。
ステップ２０７では、地点Ｓに自車位置を上書きしている。こうすることで、車が走行予定の経路を外れた場合でも走行予定経路の見直しができるようになる。 FIG. 2 is a flowchart showing details of a processing procedure when displaying a planned travel route.
Here, the process shown is a combination of the processes performed by the information input unit 6 and the image composition unit 8.
First, in step 201, the attributes of the camera 4 are acquired. The attributes mentioned here are a unit vector (X, Y, Z) representing the X, Y, and Z axis directions of the camera, the camera position, the focal length, and the like. Based on these pieces of information, it is possible to perform calculations for projecting the planned travel route information (three-dimensional broken line data) calculated by the planned travel route creation unit 10 onto the bird's-eye view image of the planar coordinate system.
Next, in step 202, the travel start point is set to the variable S. The travel start point is acquired by the GPS receiver 3.
Next, the destination is acquired at step 203. Information such as the destination may be specified by searching for the destination from the name or telephone number, or by displaying a map on the screen, and inputting the information by a pointer device or the like. The destination point is set to variable E in step 204.
In step 205, planned travel route information from point S to point E is acquired. The planned travel route information is acquired from the server 1 through the network 2. The result is acquired as two-dimensional or three-dimensional line data. In order to minimize the display error when the vehicle travels on a slope or travels in a mountainous area with a slope, it is preferable that the calculation result obtained here is broken line data based on three-dimensional coordinate data.
Next, in step 206, the vehicle position is acquired from the GPS receiver 3. When the car is actually running, the vehicle position should be different from the previous position.
In step 207, the vehicle position is overwritten at point S. By doing so, the planned travel route can be reviewed even when the vehicle deviates from the planned travel route.

ステップ２０８では、走行予定の経路上を走行しているかどうかを判定している。判定の方法は、走行予定経路を示す３次元折れ線上に、地点Ｓがあるかどうかを計算すればよい。走行予定経路上を問題なく走行している場合は、走行予定経路の再算出は不要となる。この場合はそのままステップ２０９に進む。もしも、走行予定経路から外れていた場合には、走行予定経路の再算出が必要となる。経路は新しく設定した地点Ｓから地点Ｅまでの経路である。
ステップ２０９では、車両の傾斜角度を傾斜センサ５から取得している。傾斜角度は、次のステップで走行予定経路の情報を平面座標系の鳥瞰画像に投影変換する際にパラメタとして必要となる。 In step 208, it is determined whether or not the vehicle is traveling on the planned travel route. As a determination method, it is only necessary to calculate whether or not the point S is on the three-dimensional broken line indicating the planned travel route. When traveling on the planned travel route without any problem, recalculation of the planned travel route is not necessary. In this case, the process proceeds to step 209 as it is. If it is off the planned travel route, it is necessary to recalculate the planned travel route. The route is a route from the newly set point S to point E.
In step 209, the inclination angle of the vehicle is acquired from the inclination sensor 5. The tilt angle is required as a parameter when projecting and converting the information on the planned travel route to a bird's-eye view image in a plane coordinate system in the next step.

ステップ２１０では、走行予定経路を表す３次元折れ線のデータを平面座標系の鳥瞰画像へ投影変換を行う。投影変換にあたっては、まず、前回から今回までの自車位置の差分ベクトルから、自車の進行方向を求める。
次に、カメラ４の属性である焦点距離を用い、走行予定経路を表す３次元折れ線データを平面座標系の走行予定経路鳥瞰画像へ投影変換する。投影変換の方法としては、図学や透視学で知られる、変換行列による計算が利用できる。行列変換としては、例えば次の参考文献に開示された方法が利用できる。
参考文献
http://www.ke.ics.saitama-u.ac.jp/kondo/Geomap/CADCGHTML/Chap5/Chap504.html
この投影変換に際しては、自車の進行方向とステップ２０９で検出した傾斜角度をパラメータとして用い、３次元折れ線データを平面座標系の走行予定経路鳥瞰画像へ投影変換した画像がカメラ座標系に整合するように補正し、投影変換した画像がカメラ４で撮影している画像に見えるように補正する。すなわち、上記参考文献ではユーザは水平な面に立っており、位置ベクトルｄの方向を向いてカメラを構えているという前提になっているので、車両にカメラを搭載した場合、自車の進行方向と傾斜角度に応じて投影変換した画像を補正する必要がある。
この補正によって、投影変換した画像はカメラ４で撮影している画像に見えるようになる。なお、傾斜角度による補正は、傾斜角度によって表示画像の見え方に誤差が生じるので、この誤差を補正するものであるから、誤差を無視する簡易な構成を採用する場合には不要である。
ステップ２１１では、表示装置７へカメラ４で撮影した画像を出力する。
ステップ２１２では、ステップ２１１で表示したカメラ撮影画像の上に、ステップ２１０で走行予定経路を平面座標系の走行予定経路鳥瞰画像に投影変換した結果を重ねて描画する。
表示に際しては、特定の色を付けたり、線の幅や種類を変更したりしてもよい。また、道路は面であるので、面として塗りつぶしを行ってもよい。背景となるカメラ４で撮影した画像は、運転者が認識するために非常に重要な意味を持っているため、好ましくは、半透明の折れ線、もしくはハッチングされた面とし、背景が透けて見える表示がよい。また、必要に応じて進行方向を示す矢印などの符号を付与してもよい。 In step 210, projection conversion of the three-dimensional broken line data representing the planned travel route is performed on a bird's-eye image in a plane coordinate system. In the projection conversion, first, the traveling direction of the own vehicle is obtained from the difference vector of the own vehicle position from the previous time to the current time.
Next, using the focal length which is an attribute of the camera 4, the three-dimensional broken line data representing the planned travel route is projected and converted to the planned travel route bird's-eye view image in the plane coordinate system. As a method of projection transformation, calculation using a transformation matrix, which is known in graphics and perspectives, can be used. As the matrix transformation, for example, the method disclosed in the following reference can be used.
References
http://www.ke.ics.saitama-u.ac.jp/kondo/Geomap/CADCGHTML/Chap5/Chap504.html
In this projection conversion, the traveling direction of the host vehicle and the inclination angle detected in step 209 are used as parameters, and the image obtained by projecting the three-dimensional broken line data into the bird's eye view image of the planned traveling route in the plane coordinate system matches the camera coordinate system. In this way, the projection-converted image is corrected so that it can be seen as an image captured by the camera 4. That is, in the above reference, it is assumed that the user is standing on a horizontal plane and is holding the camera facing the direction of the position vector d. Therefore, when the camera is mounted on the vehicle, the traveling direction of the own vehicle It is necessary to correct the projected image according to the inclination angle.
By this correction, the projection-converted image becomes visible as an image captured by the camera 4. Note that the correction based on the tilt angle causes an error in the appearance of the display image depending on the tilt angle. Therefore, since this error is corrected, it is not necessary when a simple configuration that ignores the error is employed.
In step 211, the image taken by the camera 4 is output to the display device 7.
In step 212, the result obtained by projecting the planned travel route to the travel planned route bird's-eye image in the plane coordinate system in step 210 is superimposed and drawn on the camera photographed image displayed in step 211.
At the time of display, a specific color may be given, or the line width and type may be changed. Further, since the road is a surface, it may be painted as a surface. The image taken by the camera 4 serving as the background has a very important meaning for the driver to recognize. Therefore, it is preferable that the background is a translucent broken line or a hatched surface. Is good. Moreover, you may provide code | symbols, such as the arrow which shows a traveling direction, as needed.

ステップ２１３では、地点Ｓと地点Ｅが同じであるか、判定している。これは車両が目的地に達したかどうかを判定するものである。目的地に達している場合には、ナビゲーションは終了となる。達していない場合はステップ２０６に戻り、自車位置の取得から処理を繰り返すことになる。
以上により、走行予定経路情報の表示を行う処理を説明したが、上記は目的地までのナビゲーションを行う場合の処理である。実際に、目的地まで１つまたは複数の経由地を経由して最終目的地まで向かう場合、図２に示した目的地までの処理を各経由地までに代え、処理を繰り返すことで、１つまたは複数の経由地を経由して最終目的地まで向かうナビゲーションを同様に実現できる。 In step 213, it is determined whether the point S and the point E are the same. This determines whether the vehicle has reached its destination. If the destination has been reached, navigation ends. If not, the process returns to step 206, and the process is repeated from the acquisition of the vehicle position.
Although the process for displaying the scheduled travel route information has been described above, the above is the process for performing navigation to the destination. Actually, when heading to the final destination via one or more waypoints to the destination, the processing up to the destination shown in FIG. Or navigation which goes to a final destination via a plurality of waypoints can be realized similarly.

次に、図３を用いて、本発明の一実施の形態の車載用表示装置における表示装置７で表示される画像について説明する。
本発明で表示される画像は、カメラ４により撮影された進行方向前方の画像を利用しているため、運転者が実際に運転席から見ている視野に近い。このため、車両のダッシュボードなどにナビゲーション装置を組み込む方法も適用できるが、フロントガラスに直接投影する方法がより好ましい。
図３は、フロントガラスに本発明による表示装置７を組み込んだ例である。３０１はフロントガラス、３０２は本発明による表示装置７の表示部、３０３はハンドルである。
図４は、走行予定経路情報としてネットワーク経由で取得されるデータを説明する図である。
走行予定経路情報は、データヘッダ部分ＨＥＡＤ、データ点数ｎ、走行予定経路データＤＡＴＡから成る。ＤＡＴＡは、ｎ点の折線座標の集まりである。ＤＡＴＡは、第１座標（Ｘ０、Ｙ０、Ｚ０）、第２座標（Ｘ１、Ｙ１、Ｚ１）の順に並んでおり、最終の第ｎ座標（Ｘｎ−１、Ｙｎ−１、Ｚｎ−１）で終っている。
図５は、３次元折れ線データで構成される走行予定経路情報を平面座標系の走行予定経路鳥瞰画像に変換し、その変換画像とカメラ４で撮影した進行方向前方の画像とを合成する処理の概要を示したものであり、平面座標系に変換された鳥瞰画像は進行方向と車両の傾きに応じて補正される。カメラの撮影画像と合成される。 Next, an image displayed on the display device 7 in the in-vehicle display device according to the embodiment of the present invention will be described with reference to FIG.
Since the image displayed in the present invention uses an image in the forward direction taken by the camera 4, it is close to the visual field that the driver is actually looking from the driver's seat. For this reason, a method of incorporating a navigation device into a dashboard of a vehicle can be applied, but a method of directly projecting on a windshield is more preferable.
FIG. 3 shows an example in which the display device 7 according to the present invention is incorporated in a windshield. Reference numeral 301 denotes a windshield, 302 denotes a display unit of the display device 7 according to the present invention, and 303 denotes a handle.
FIG. 4 is a diagram for explaining data acquired via the network as planned travel route information.
The planned travel route information includes a data header portion HEAD, a data point n, and a planned travel route data DATA. DATA is a collection of n-point broken line coordinates. DATA is arranged in the order of the first coordinate (X 0 , Y 0 , Z 0 ) and the second coordinate (X 1 , Y 1 , Z 1 ), and the final n- th coordinate (X n−1 , Y n− 1 , Z n-1 ).
FIG. 5 shows a process of converting the planned travel route information composed of the three-dimensional broken line data into a bird's eye view image of the planned travel route in the plane coordinate system, and synthesizing the converted image and the forward image taken by the camera 4. The outline is shown, and the bird's-eye view image converted into the plane coordinate system is corrected according to the traveling direction and the inclination of the vehicle. It is combined with the camera image.

なお、走行予定経路の鳥瞰画像を表示させるに際しては、走行速度に応じて表示する区間長を変えるようにした方が望ましい。すなわち、高速走行の場合には長い区間が見えるように表示するようにした方が望ましい。
また、走行速度が早い場合、カメラ４で撮影した動画像のフレームを間引いて合成するようにしても良い。これにより、画像合成処理に係る負荷が軽減する。
なお、上記実施例では、本発明を車載用に適用した例を説明したが、船舶についても適用することができる。船舶の場合には、走行経路は航行経路という表現に置き換わる。
また、地図データベースについては、３次元データでなく、２次元データでよい。
さらに、車両、船舶に代えて、人間が携帯して持ち歩く携帯電話機などの携帯端末にも適用することができる。すなわち、最近では、ＧＰＳ機能、カメラ機能を備えた携帯電話機があるので、この２つの機能を備えた携帯端末にも同様に適用することができる。
人間が持ち歩く携帯端末に適用した場合、走行経路は歩行経路という表現に置き換わる。 When displaying the bird's-eye view image of the planned travel route, it is desirable to change the section length to be displayed according to the travel speed. In other words, it is desirable to display so that a long section can be seen when traveling at high speed.
Further, when the traveling speed is high, the frames of the moving image captured by the camera 4 may be thinned out and combined. Thereby, the load related to the image composition processing is reduced.
In addition, although the example which applied this invention for vehicle-mounted was demonstrated in the said Example, it is applicable also about a ship. In the case of a ship, the travel route is replaced with the expression navigation route.
Further, the map database may be two-dimensional data instead of three-dimensional data.
Further, the present invention can be applied to a mobile terminal such as a mobile phone carried by a person instead of a vehicle or a ship. That is, recently, since there are mobile phones having a GPS function and a camera function, the present invention can be similarly applied to a mobile terminal having these two functions.
When applied to a portable terminal carried by a human, the travel route is replaced with the expression walking route.

本発明の一実施の形態の位置表示システムの概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the position display system of one embodiment of this invention. 走行予定経路情報の表示処理手順を示すフローチャートである。It is a flowchart which shows the display processing procedure of driving schedule route information. 表示装置に表示される画像の例を示す図である。It is a figure which shows the example of the image displayed on a display apparatus. 走行予定経路情報としてネットワーク経由で取得される情報の構成例を示すデータ構成図である。It is a data block diagram which shows the structural example of the information acquired via a network as driving plan route information. ３次元折れ線データで構成される走行予定経路情報を平面座標系の走行予定経路鳥瞰画像に変換し、その変換画像とカメラ４で撮影した進行方向前方の画像とを合成する処理の概要を示す図である。The figure which shows the outline | summary of the process which converts the driving plan route information comprised by three-dimensional broken line data into the driving plan route bird's-eye image of a plane coordinate system, and synthesize | combines the converted image and the image ahead of the advancing direction image | photographed with the camera 4. It is.

符号の説明Explanation of symbols

１…走行予定経路作成部
２…ネットワーク
３…ＧＰＳ受信機
４…カメラ
５…傾斜センサ
６…目的地等の情報入力部
７…表示装置
８…画像合成部 DESCRIPTION OF SYMBOLS 1 ... Planned route preparation part 2 ... Network 3 ... GPS receiver 4 ... Camera 5 ... Inclination sensor 6 ... Information input part, such as a destination 7 ... Display apparatus 8 ... Image composition part

Claims (3)

走行開始位置から目的地に至る２次元または３次元座標データで構成された走行予定経路情報を該走行予定経路情報の記憶手段から取得する第１の手段と、
移動体自身の現在位置を検出する第２の手段と、
該第２の手段によって順次検出される現在位置情報に基づき移動体自身の進行方向を検出する第３の手段と、
走行中の移動体自身の前方視界の画像を撮影するカメラと、
前記走行予定経路情報のうち移動体自身の現在位置から前方所定区間の情報を平面座標系の走行予定経路鳥瞰画像に変換する第４の手段と、
変換された平面座標系の走行予定経路鳥瞰画像を前記第３の手段が検出した進行方向に基づき補正し、前記カメラにより撮影した画像とを合成する第５の手段と、
合成された画像を表示する第６の手段とを備えることを特徴とする位置表示システム。 First means for obtaining planned travel route information composed of two-dimensional or three-dimensional coordinate data from the travel start position to the destination from the storage means for the planned travel route information;
A second means for detecting the current position of the mobile body itself;
Third means for detecting the traveling direction of the moving body based on the current position information sequentially detected by the second means;
A camera that captures an image of the front view of the moving moving object itself,
A fourth means for converting information of a predetermined forward section from the current position of the moving body itself into the travel planned route bird's-eye view image of the planar coordinate system in the travel planned route information;
Fifth means for correcting the bird's eye view image of the planned travel route of the converted planar coordinate system based on the traveling direction detected by the third means, and combining the image taken by the camera;
A position display system comprising: a sixth means for displaying the synthesized image. 走行予定経路の上り下りに応じた移動体自身の傾斜を検知する第７の手段と、該第７の手段によって検知した移動体自身の傾斜角度に基づき前記平面座標系の走行予定経路鳥瞰画像を補正する第８の手段をさらに備えることを特徴とする請求項１に記載の位置表示システム。   A seventh means for detecting the inclination of the moving body itself according to the up and down of the planned traveling route, and a bird's eye view image of the planned traveling path of the planar coordinate system based on the inclination angle of the moving body detected by the seventh means. The position display system according to claim 1, further comprising an eighth means for correcting. 前記第６の手段は、前記第５の手段によって合成された画像を移動体自身の操縦位置前面のガラス面に表示するものであることを特徴とする請求項１または２に記載の位置表示システム。   The position display system according to claim 1 or 2, wherein the sixth means displays the image synthesized by the fifth means on the glass surface in front of the steering position of the moving body itself. .
JP2004041349A 2004-02-18 2004-02-18 Position display system Pending JP2005233710A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004041349A JP2005233710A (en) 2004-02-18 2004-02-18 Position display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004041349A JP2005233710A (en) 2004-02-18 2004-02-18 Position display system

Publications (1)

Publication Number Publication Date
JP2005233710A true JP2005233710A (en) 2005-09-02

Family

ID=35016839

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004041349A Pending JP2005233710A (en) 2004-02-18 2004-02-18 Position display system

Country Status (1)

Country Link
JP (1) JP2005233710A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008139148A (en) * 2006-12-01 2008-06-19 Denso Corp Communication-type navigation system, vehicle navigation device, and center device
JP2011243076A (en) * 2010-05-20 2011-12-01 Pasco Corp Object management image generation device and object management image generation program
JP2015164001A (en) * 2014-02-28 2015-09-10 株式会社丸山製作所 guide device
JP2017068771A (en) * 2015-10-02 2017-04-06 東京ガスエンジニアリングソリューションズ株式会社 Laying equipment display device
CN108986510A (en) * 2018-07-31 2018-12-11 同济大学 A kind of local dynamic map of intelligence towards crossing realizes system and implementation method

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008139148A (en) * 2006-12-01 2008-06-19 Denso Corp Communication-type navigation system, vehicle navigation device, and center device
JP2011243076A (en) * 2010-05-20 2011-12-01 Pasco Corp Object management image generation device and object management image generation program
JP2015164001A (en) * 2014-02-28 2015-09-10 株式会社丸山製作所 guide device
JP2017068771A (en) * 2015-10-02 2017-04-06 東京ガスエンジニアリングソリューションズ株式会社 Laying equipment display device
CN108986510A (en) * 2018-07-31 2018-12-11 同济大学 A kind of local dynamic map of intelligence towards crossing realizes system and implementation method

Similar Documents

Publication Publication Date Title
US8352177B2 (en) Navigation apparatus
US8180567B2 (en) Navigation device with camera-info
US8423292B2 (en) Navigation device with camera-info
US20050209776A1 (en) Navigation apparatus and intersection guidance method
EP3341687B1 (en) Methods and systems for generating routes
KR101322055B1 (en) Navigation terminal and method using satellite images
JP2011506983A (en) Improved navigation device and method
KR20070097089A (en) Navigation device traffic information reception method
US20110213548A1 (en) Method and apparatus for displaying guidance for navigation system
JP2016125952A (en) Movement guiding apparatus, map information updating method of movement guiding apparatus, and computer program
JP2005265573A (en) Vehicle mounted navigation device, navigation system
JP2005233710A (en) Position display system
JP2011174748A (en) Device, method and program for map display
JP2005233712A (en) Position display system
US20070005239A1 (en) Method and system for initialization in distributed navigation
KR20080019690A (en) Navigation device with camera-info
JP2004138556A (en) Car-navigation system
JP5893481B2 (en) Navigation device, navigation method, and program
JP2002340576A (en) Navigation system, server for the same and portable information terminal
JP2005164410A (en) Navigation device and method
CN112087714B (en) Information processing apparatus, information processing method, and storage medium
JP4180471B2 (en) Navigation system
WO2011063860A1 (en) Navigation device and method
JP7082588B2 (en) Programs, navigation systems, navigation devices
JP2021032850A (en) Information providing device, vehicle, information providing system, and information providing method