JP2011047649A - Navigation device - Google Patents
Navigation device Download PDFInfo
- Publication number
- JP2011047649A JP2011047649A JP2007339951A JP2007339951A JP2011047649A JP 2011047649 A JP2011047649 A JP 2011047649A JP 2007339951 A JP2007339951 A JP 2007339951A JP 2007339951 A JP2007339951 A JP 2007339951A JP 2011047649 A JP2011047649 A JP 2011047649A
- Authority
- JP
- Japan
- Prior art keywords
- video
- unit
- display
- vehicle
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3647—Guidance involving output of stored or live camera images or video streams
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Navigation (AREA)
- Instructional Devices (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
この発明は、ユーザを目的地まで案内するナビゲーション装置に関し、特にカメラで撮影することにより得られた実写映像に経路誘導矢印を表示する技術に関する。 The present invention relates to a navigation apparatus that guides a user to a destination, and more particularly to a technique for displaying a route guidance arrow on a real image obtained by photographing with a camera.
従来、カーナビゲーション装置において、走行中に車載カメラでリアルタイムに前方を撮影し、この撮影により得られた実写映像の上に、CG(Computer Graphics)によって案内情報を重畳して表示することにより経路誘導を行う技術が知られている(例えば、特許文献1参照)。 Conventionally, in a car navigation device, the front is photographed in real time by a vehicle-mounted camera while traveling, and guidance information is superimposed and displayed on a real video image obtained by this photographing by CG (Computer Graphics). A technique for performing is known (see, for example, Patent Document 1).
また、同様の技術として、特許文献2は、ナビゲーション情報要素を感覚的に把握しやすいように表示するカーナビゲーションシステムを開示している。このカーナビゲーションシステムは、自動車のノーズなどに取付けた撮像カメラで進行方向の景色を撮像し、ナビゲーション情報要素の背景表示について地図画像と実写映像とをセレクタで選択できるようにして、この背景画像に対して画像合成部によりナビゲーション情報要素を重ね合せて表示器に表示する。この特許文献2には、経路誘導矢印の生成および重畳方法に関して、画像を解析することなく、実写映像と同じ視線角度および表示縮尺のCGから矢印を生成し、実写映像上に重畳する技術が開示されている。
Further, as a similar technique,
また、特許文献3は、矢印などの案内情報を運転の妨げにならないように実風景に重ねて表示するナビゲーション装置を開示している。このナビゲーション装置において、経路作成部は、自車位置取得部と地図記憶部と目的地設定部から取得した自車位置情報と地図情報と目的地位置情報とに基づいて経路を作成する。案内情報特定部は、案内情報を提示する地図上の位置と、提示する案内情報の種類を特定する。障害物検知部は、画像認識などにより、自車の周辺にある障害物(歩行者や車両等)の位置と種類とを検知する。優先度決定部は、各障害物の提示優先度を決定する。表示位置決定部は、案内情報の表示位置として、検知した障害物と重ならない位置を求める。画像出力部は、車両のフロントガラス内の決定された位置に、あるいは、前方画像を表示するディスプレイ内の決定された位置に、案内情報を出力する。
しかしながら、特許文献2に開示された技術では、実写映像上には前方車両が映っていることもあるので、実写映像と同じ視線角度および表示縮尺のCGから矢印を生成して実写映像上に重畳するという方法では、時として前方車両上に矢印が重畳表示されるので、見づらくなるという問題がある。また、特許文献3に開示された技術では、自車周辺の障害物(歩行者や車両等)の位置と種類とを検知し、この検知した障害物と重ならない位置を案内情報の表示位置として決定して案内情報を出力するが、障害物と重ならない位置を探すのが困難であるという問題がある。
However, in the technique disclosed in
この発明は、上述した問題を解消するためになされたものであり、その課題は、見やすい実写映像を表示できるナビゲーション装置を提供することにある。 The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a navigation device that can display an easy-to-see real image.
この発明に係るナビゲーション装置は、上記課題を解決するために、前方を撮影するカメラと、カメラで撮影された前方の映像を取得する映像取得部と、経路誘導矢印を表示する際には映像取得部で取得された映像の上部に重畳させて映像を生成する映像合成処理部と、映像合成処理部で生成された映像を表示する表示部を備えている。 In order to solve the above problems, a navigation device according to the present invention acquires a camera when capturing a forward image, a video acquisition unit that acquires a forward image captured by the camera, and a route guidance arrow. A video composition processing unit that generates a video by superimposing the video obtained by the video unit and a display unit that displays the video generated by the video synthesis processing unit.
この発明に係るナビゲーション装置によれば、経路誘導矢印を表示する際には前方車両によって遮蔽されにくい映像の上部に表示するように構成したので、前方車両と経路誘導矢印とが重なることが少なくなり、見やすい実写映像を表示することができる。 According to the navigation device of the present invention, when the route guidance arrow is displayed, the route guidance arrow is displayed on the upper part of the image that is not easily shielded by the vehicle ahead, so that the vehicle ahead and the route guidance arrow are less likely to overlap. It is possible to display a live-action video that is easy to see.
以下、この発明の実施の形態を、図面を参照しながら詳細に説明する。
実施の形態1.
図1は、この発明の実施の形態1に係るナビゲーション装置、特に車に適したカーナビゲーション装置の構成を示すブロック図である。このカーナビゲーション装置は、GPS(Global Positioning System)レシーバ1、車速センサ2、方位センサ3、位置方位計測部4、地図データベース5、入力操作部6、カメラ7、映像取得部8、ナビゲーション制御部9および表示部10を備えている。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a block diagram showing the configuration of a navigation device according to
GPSレシーバ1は、複数の衛星からの電波を受信することにより自車位置を計測する。このGPSレシーバ1で計測された自車位置は、自車位置信号として位置方位計測部4に送られる。車速センサ2は、自車の速度を逐次計測する。この車速センサ2は、一般には、タイヤの回転数を計測するセンサから構成されている。車速センサ2で計測された自車の速度は、車速信号として位置方位計測部4に送られる。方位センサ3は、自車の進行方向を逐次計測する。この方位センサ3で計測された自車の進行方位(以下、単に「方位」という)は、方位信号として位置方位計測部4に送られる。
The
位置方位計測部4は、GPSレシーバ1から送られてくる自車位置信号から自車の現在位置および方位を計測する。なお、トンネルの中または周囲の建造物などによって自車の上空が遮られている場合は、電波を受信できる衛星の数がゼロまたは少なくなって受信状態が悪くなり、GPSレシーバ1からの自車位置信号だけでは自車の現在位置および方位が計測できなくなったり、計測できても精度が悪化するため、車速センサ2からの車速信号および方位センサ3からの方位信号を用いた自律航法を利用して自車位置を計測し、GPSレシーバ1による計測を補う処理を実行する。
The position /
位置方位計測部4で計測された自車の現在位置および方位は、上述したように、GPSレシーバ1の受信状態の悪化による計測精度の悪化、タイヤの摩耗による直径の変化、温度変化に起因する車速の誤差またはセンサ自体の精度に起因する誤差などといった様々な誤差を含んでいる。そこで、位置方位計測部4は、計測により得られた誤差を含んだ自車の現在位置および方位を、地図データベース5から取得した道路データを用いてマップマッチングを行うことにより修正する。この修正された自車の現在位置および方位は、自車位置方位データとしてナビゲーション制御部9に送られる。
As described above, the current position and direction of the host vehicle measured by the position /
地図データベース5は、道路の位置、道路の種別(高速道路、有料道路、一般道路または細街路など)、道路に関する規制(速度制限または一方通行など)または交差点近傍のレーン情報といった道路データの他、道路周辺の施設の情報などを含む地図データを保持している。道路の位置は、道路を複数のノードとノード間を直線で結ぶリンクとで表現され、このノードの緯度および経度を記録することにより表現されている。例えば、あるノードに3つ以上のリンクが接続されている場合は、そのノードの位置で複数の道路が交わっていることを表している。この地図データベース5に保持されている地図データは、上述したように位置方位計測部4によって読み出される他、ナビゲーション制御部9によって読み出される。
The
入力操作部6は、リモートコントローラ、タッチパネルまたは音声認識装置などの少なくとも1つから構成されており、ユーザである運転者または同乗者が、操作によって、目的地を入力したり、カーナビゲーション装置が提供する情報を選択したりするために使用される。この入力操作部6の操作によって発生されたデータは、操作データとしてナビゲーション制御部9に送られる。
The
カメラ7は、自車の前方を撮影するカメラまたは周囲全体を含む幅広い方向を一度に撮影できるカメラなどの少なくとも1つから構成されており、自車の進行方向を含む自車近傍を撮影する。このカメラ7で撮影することにより得られた映像信号は、映像取得部8に送られる。
The
映像取得部8は、カメラ7から送られてくる映像信号を、計算機で処理可能なデジタル信号に変換する。この映像取得部8における変換により得られたデジタル信号は、映像データとしてナビゲーション制御部9に送られる。
The
ナビゲーション制御部9は、入力操作部6から入力された目的地までの誘導経路の計算、誘導経路と自車の現在位置および方位とに応じた案内情報の生成、または、自車位置周辺の地図と自車位置を示す自車マークを合成した案内図の生成などといったカーナビゲーション装置が有する自車周辺の地図を表示する機能、および、自車を目的地に誘導するための機能などを提供するためのデータ処理を行う他、自車位置、目的地または誘導経路に関連する交通情報、観光地、飲食店または物販店などの情報の検索、入力操作部6から入力された条件にマッチした施設の検索といったデータ処理を実行する。
The
また、ナビゲーション制御部9は、地図データベース5から読み出した地図データに基づき生成した地図、映像取得部8から取得した映像データによって示される映像または自己の内部の映像合成処理部14(詳細は後述する)で合成された画像を、単独で、または、これらを組み合わせて表示するための表示データを生成する。このナビゲーション制御部9の詳細は後述する。ナビゲーション制御部9における種々の処理によって生成された表示データは、表示部10に送られる。
The
表示部10は、例えばLCD(Liquid Crystal Display)から構成されており、ナビゲーション制御部9から送られてくる表示データにしたがって、地図および/または実写映像などを画面に表示する。
The
次に、ナビゲーション制御部9の詳細を説明する。ナビゲーション制御部9は、目的地設定部11、経路計算部12、案内表示生成部13、映像合成処理部14および表示決定部15を備えている。なお、図1においては、図面の煩雑さを避けるために、上記複数の構成要素間の接続の一部を省略しているが、省略した部分については、以下において出現する都度説明する。
Next, details of the
目的地設定部11は、入力操作部6から送られてくる操作データにしたがって目的地を設定する。この目的地設定部11で設定された目的地は、目的地データとして経路計算部12に送られる。経路計算部12は、目的地設定部11から送られてくる目的地データ、位置方位計測部4から送られてくる自車位置方位データ、および、地図データベース5から読み出した地図データを用いて、目的地までの誘導経路を計算する。この経路計算部12で計算された誘導経路は、誘導経路データとして表示決定部15に送られる。
The
案内表示生成部13は、表示決定部15からの指示に応じて、従来のカーナビゲーション装置で用いられている地図による案内図(以下、「地図案内図」という)を生成する。この案内表示生成部13で生成される地図案内図には、平面地図、交差点拡大図、高速略図などといった実写映像を用いない様々な案内図が含まれる。また、地図案内図は、平面地図に限定されず、3次元CGを用いた案内図または平面地図を俯瞰する案内図であってもよい。なお。地図案内図を作成する技術は周知であるので、ここでは詳細な説明は省略する。この案内表示生成部13で生成された地図案内図は、地図案内図データとして表示決定部15に送られる。
In response to an instruction from the
映像合成処理部14は、表示決定部15からの指示に応じて、実写映像を用いた案内図(以下、「実写案内図」という)を生成する。例えば、映像合成処理部14は、地図データベース5から、自車周辺の道路ネットワーク、ランドマークまたは交差点などといった周辺物の情報を取得し、映像取得部8から送られてくる映像データによって示される実写映像上に存在する周辺物の周辺に、この周辺物の形状または内容などを説明するための図形、文字列またはイメージなど(以下、「コンテンツ」という)を重ね合わせた実写案内図を生成する。また、映像合成処理部14は、コンテンツに高さ情報を付加する処理を行う(詳細は後述)。
In response to an instruction from the
表示決定部15は、上述したように、案内表示生成部13に対して地図案内図の生成を指示するとともに、映像合成処理部14に対して実写案内図の生成を指示する。また、表示決定部15は、位置方位計測部4から送られてくる自車位置方位データ、地図データベース5から読み出した自車周辺の地図データ、入力操作部6から送られてくる操作データ、案内表示生成部13から送られてくる地図案内図データおよび映像合成処理部14から送られてくる実写案内図データに基づき表示部10の画面に表示する内容を決定する。この表示決定部15において決定された表示内容に対応するデータは、表示データとして表示部10に送られる。
As described above, the
これにより、表示部10には、例えば、車両が交差点に近づいた場合には交差点拡大図が表示され、入力操作部6のメニューボタンが押されている場合はメニューが表示され、入力操作部6によって実写表示モードに設定された場合は実写映像を用いた実写案内図が表示される。なお、実写映像を用いた実写案内図への切り替えは、実写表示モードの設定が行われる場合以外にも、自車と曲がるべき交差点の距離が一定値以下になった場合に実写案内図に切り替わるように構成することもできる。
Thereby, for example, when the vehicle approaches an intersection, an enlarged view of the intersection is displayed, and when the menu button of the
また、表示部10の画面に表示する案内図は、例えば案内表示生成部13で生成された地図案内図(例えば平面地図)を画面の左側に配置し、映像合成処理部14で生成された実写案内図(例えば実写映像を用いた交差点拡大図)を画面の右側に配置するというように、実写案内図と地図案内図とを1つの画面内に同時に表示するように構成できる。
The guide map to be displayed on the screen of the
次に、上記のように構成される、この発明の実施の形態1に係るカーナビゲーション装置の動作を、映像合成処理部14で行われる映像合成処理を中心に、図2に示すフローチャートを参照しながら説明する。
Next, the operation of the car navigation device according to
映像合成処理では、まず、自車位置方位および映像が取得される(ステップST11)。すなわち、映像合成処理部14は、位置方位計測部4から自車位置方位データを取得するとともに、その時点で映像取得部8において生成された映像データを取得する。このステップST11で取得される映像データによって示される映像は、実写映像である。
In the video composition process, first, the vehicle position direction and video are acquired (step ST11). That is, the video
次いで、コンテンツ生成が行われる(ステップST12)。すなわち、映像合成処理部14は、地図データベース5から自車の周辺物を検索し、その中からユーザに提示したいコンテンツ情報を生成する。コンテンツ情報は、誘導する経路、自車周辺の道路ネットワーク、ランドマーク、交差点などユーザに提示したいコンテンツが、図形、文字列またはイメージとそれを表示すべき座標値の集合として表現される。この座標値は、例えば、緯度および経度のように地上で一意に決定されるような座標系(以下、「基準座標系」と呼ぶ)で与えられる。そして、図形であれば、各頂点の基準座標系での座標、文字列またはイメージであれば、それが表示される基準となる座標が与えられる。このステップST12において、ユーザに提示したいコンテンツと、その総数aが確定する。このステップST12で行われるコンテンツ生成処理については、後にさらに詳細に説明する。
Next, content generation is performed (step ST12). That is, the video
次いで、コンテンツ総数aが取得される(ステップST13)。すなわち、映像合成処理部14は、ステップST12で生成したコンテンツの総数aを取得する。次いで、カウンタの内容iが「1」に初期化される(ステップST14)。すなわち、合成済みコンテンツ数をカウントするためのカウンタの内容iが「1」に設定される。なお、カウンタは、映像合成処理部14の内部に設けられている。
Next, the total content a is acquired (step ST13). In other words, the video
次いで、全てのコンテンツ情報の合成処理が終了したかどうかが調べられる(ステップST15)。具体的には、映像合成処理部14は、カウンタの内容である合成済みコンテンツ数iがコンテンツ総数aより大きくになったかどうかを調べる。このステップST15において、全てのコンテンツ情報の合成処理が終了した、つまり、合成済みコンテンツ数iがコンテンツ総数aより大きくなったことが判断されると、映像合成処理は終了し、その時点でコンテンツが合成された映像データが、表示決定部15に送られる。
Next, it is checked whether or not the composition processing of all content information has been completed (step ST15). Specifically, the video
一方、ステップST15において、全てのコンテンツ情報の合成処理が終了していない、つまり、合成済みコンテンツ数iがコンテンツ総数aより大きくないことが判断されると、i番目のコンテンツ情報が取得される(ステップST16)。すなわち、映像合成処理部14は、ステップST12で生成したコンテンツ情報のうちのi番目のコンテンツ情報を取得する。
On the other hand, when it is determined in step ST15 that the composition processing of all content information has not been completed, that is, the number of synthesized content i is not larger than the total content a, the i-th content information is acquired ( Step ST16). That is, the video
次いで、コンテンツが経路誘導矢印であるかどうかが調べられる(ステップST17)。すなわち、映像合成処理部14は、ステップST16で取得したコンテンツ情報が経路誘導矢印であるかどうかを調べる。このステップST17において、コンテンツが経路誘導矢印でないことが判断されると、シーケンスはステップST19に進む。
Next, it is checked whether or not the content is a route guidance arrow (step ST17). That is, the video
一方、ステップST17において、コンテンツが経路誘導矢印であることが判断されると、次いで、コンテンツに高さ情報が付加される(ステップST18)。すなわち、映像合成処理部14は、経路誘導矢印を表すコンテンツに、例えば10[m]上空といった高さ情報を付加する。この高さ情報は、カーナビゲーション装置の製作者があらかじめ定めておくように構成できるし、ユーザが任意に定めるように構成することもできる。その後、シーケンスはステップST19に進む。
On the other hand, when it is determined in step ST17 that the content is a route guidance arrow, height information is then added to the content (step ST18). That is, the video
ステップST19においては、透視変換によるコンテンツ情報の映像上の位置が計算される。すなわち、映像合成処理部14は、ステップST11で取得した自車位置方位(基準座標系における自車の位置方位)、カメラ7の自車を基準にした座標系における位置方位、および、あらかじめ取得しておいた画角および焦点距離といったカメラ7の固有値を使用し、ステップST11で取得した映像上のコンテンツを表示すべき基準座標系における位置を計算する。この計算は、透視変換と言われる座標変換計算と同じである。
In step ST19, the position on the video of the content information by perspective transformation is calculated. That is, the video
次いで、映像合成処理が行われる(ステップST20)。すなわち、映像合成処理部14は、ステップST11で取得した映像上の、ステップST19で計算された位置に、ステップST16で取得したコンテンツ情報によって示された図形、文字列またはイメージなどを描画する。この場合、描画するコンテンツが経路誘導矢印である場合は、ステップST18で付加された高さ情報に応じた位置に経路誘導矢印が描画される。これにより、実写映像にコンテンツが重畳された映像が生成される。
Next, video composition processing is performed (step ST20). That is, the video
次いで、カウンタの内容iがインクリメントされる(ステップST21)。すなわち、映像合成処理部14は、カウンタの内容をインクリメントする。その後、シーケンスはステップST15に戻り、上述した処理が繰り返される。
Next, the content i of the counter is incremented (step ST21). That is, the video
次に、上述した映像合成処理のステップST12で行われるコンテンツ生成処理の詳細を、図3に示すフローチャートを参照しながら説明する。 Next, details of the content generation process performed in step ST12 of the above-described video composition process will be described with reference to the flowchart shown in FIG.
コンテンツ生成処理では、まず、コンテンツを収集する範囲が決定される(ステップST201)。すなわち、映像合成処理部14は、例えば自車を中心とする半径50mの円形、または、自車から前方50m、左右10mの矩形といった範囲を、コンテンツを収集する範囲と定める。なお、コンテンツを収集する範囲は、カーナビゲーション装置の製作者が予め定めるように構成できるし、ユーザが任意に設定するように構成することもできる。
In the content generation process, first, a range in which content is collected is determined (step ST201). In other words, the video
次いで、収集するコンテンツの種類が決定される(ステップST202)。収集するコンテンツの種類は、例えば図4に示すように、案内する状況に応じて変化する。映像合成処理部14は、案内する状況に応じて収集するコンテンツの種類を決定する。なお、コンテンツの種類は、カーナビゲーション装置の製作者が予め定めるように構成できるし、ユーザが任意に設定するように構成することもできる。
Next, the type of content to be collected is determined (step ST202). For example, as shown in FIG. 4, the type of content to be collected changes depending on the situation of guidance. The video
次いで、コンテンツの収集が行われる(ステップST203)。すなわち、映像合成処理部14は、ステップST201で決定された範囲内に存在するコンテンツであって、ステップST202で決定された種類のコンテンツを、地図データベース5または他の処理部などから収集する。その後、コンテンツ生成処理は終了する。
Next, contents are collected (step ST203). That is, the video
以上説明したように、この発明の実施の形態1に係るカーナビゲーション装置によれば、経路誘導矢印に高さ情報を付加し、この高さ情報で示される位置に経路誘導矢印を表示するように構成したので、図5に示すように、経路誘導矢印を前方車両に遮蔽されにくい画面上部に描画することができる。その結果、前方車両と経路誘導矢印とが重なることが少なくなり、分かりやすい案内を行うことができる。 As described above, according to the car navigation device of the first embodiment of the present invention, height information is added to the route guidance arrow, and the route guidance arrow is displayed at the position indicated by the height information. Since it comprised, as shown in FIG. 5, a route guidance arrow can be drawn on the screen upper part which is hard to be shielded by the front vehicle. As a result, the front vehicle and the route guidance arrow are less likely to overlap, and easy-to-understand guidance can be provided.
なお、上述した実施の形態1に係るカーナビゲーション装置においては、経路誘導矢印に高さ情報を付加することにより、経路誘導矢印を画面上部に描画するように構成したが、ステップST19における映像上の対応する位置の計算後に、経路誘導矢印を画面上部にずらして描画するといった他の方法を用いて経路誘導矢印を画面の上部に描画するように構成することもできる。
In the car navigation device according to
また、上述した映像合成処理部14では、透視変換を用いて映像上にコンテンツを合成するように構成したが、映像に対して画像認識処理を行うことにより映像内の対象を認識し、その認識した映像の上にコンテンツを合成するように構成することもできる。
Further, the video
実施の形態2.
図6は、この発明の実施の形態2に係るカーナビゲーション装置の構成を示すブロック図である。このカーナビゲーション装置は、実施の形態1に係るカーナビゲーション装置のナビゲーション制御部9に前方車両検知部16が追加されるとともに、映像合成処理部14が映像合成処理部14aに変更されて構成されている。
FIG. 6 is a block diagram showing a configuration of the car navigation device according to
前方車両検知部16は、映像合成処理部14からの指示に応答して、映像取得部8からの映像を画像解析することにより自車の前方に車両(以下、「前方車両」という)の存否を検知し、前方車両存否データとして映像合成処理部14aに送る。なお、画像認識を用いて前方車両を検知する技術に関しては、例えば、特開平5−20593号公報または特開平6−59033号公報などに開示されているので、必要に応じて参照されたい。
In response to an instruction from the video
なお、前方車両検知部16は、画像解析を用いて前方車両を検知する代わりに、例えばミリ波レーダを用いて自車の前方の物体を検知することにより前方車両の存否を検知するように構成することもできる。さらに、画像解析を用いて前方車両を検知する方法とミリ波レーダを用いて前方車両を検知する方法とを組み合わせて構成することもできる。
The forward
映像合成処理部14aは、実施の形態1に係るカーナビゲーション装置の映像合成処理部14が実行する処理の他に、前方車両検知部16に対して、前方車両の存否を検知するように指示する処理を実行する。また、映像合成処理部14aは、前方車両検知部16から送られてくる前方車両存否データを調べることにより、前方車両が存在するかどうかが調べ、前方車両が存在することが判断されると、コンテンツに高さ情報を付加する処理を実行する。
In addition to the processing executed by the video
次に、上記のように構成される、この発明の実施の形態2に係るカーナビゲーション装置の動作を説明する。この実施の形態2に係るカーナビゲーション装置で行われる映像合成処理は、コンテンツが経路誘導矢印である場合の処理が追加された点を除き、図2に示した実施の形態1に係るカーナビゲーション装置で行われる映像合成処理と同じである。以下では、実施の形態1と相違する部分を中心に、図7に示すフローチャートを参照しながら説明する。なお、図7のフローチャートに示した処理のうち、実施の形態1に係るカーナビゲーション装置の映像合成処理(図2参照)と同じ処理を行うステップには、実施の形態1で使用した符号と同じ符号を付して説明を簡略化する。
Next, the operation of the car navigation device according to
映像合成処理では、まず、自車位置方位および映像が取得される(ステップST11)。次いで、コンテンツ生成が行われる(ステップST12)。次いで、コンテンツ総数aが取得される(ステップST13)。次いで、カウンタの内容iが「1」に初期化される(ステップST14)。次いで、全てのコンテンツ情報の合成処理が終了したかどうかが調べられる(ステップST15)。このステップST15において、全てのコンテンツ情報の合成処理が終了したことが判断されると、映像合成処理は終了し、その時点でコンテンツが合成された映像データが、表示決定部15に送られる。
In the video composition process, first, the vehicle position direction and video are acquired (step ST11). Next, content generation is performed (step ST12). Next, the total content a is acquired (step ST13). Next, the content i of the counter is initialized to “1” (step ST14). Next, it is checked whether or not the composition processing of all content information has been completed (step ST15). When it is determined in step ST15 that the composition processing of all the content information has been completed, the video composition processing is terminated, and the video data in which the content is synthesized at that time is sent to the
一方、ステップST15において、全てのコンテンツ情報の合成処理が終了していないことが判断されると、i番目のコンテンツ情報が取得される(ステップST16)。次いで、コンテンツが経路誘導矢印であるかどうかが調べられる(ステップST17)。このステップST17において、コンテンツが経路誘導矢印でないことが判断されると、シーケンスはステップST19に進む。 On the other hand, if it is determined in step ST15 that all the content information has not been combined, the i-th content information is acquired (step ST16). Next, it is checked whether or not the content is a route guidance arrow (step ST17). If it is determined in step ST17 that the content is not a route guidance arrow, the sequence proceeds to step ST19.
一方、ステップST17において、コンテンツが経路誘導矢印であることが判断されると、次いで、前方車両の有無が取得される(ステップST31)。すなわち、映像合成処理部14aは、前方車両検知部16に対して、前方車両の存否を検知するように指示する。前方車両検知部16は、この指示に応答して、映像取得部8から得られる映像を画像解析することにより前方車両の存否を検知し、前方車両存否データとして映像合成処理部14aに送る。
On the other hand, if it is determined in step ST17 that the content is a route guidance arrow, the presence / absence of a forward vehicle is then acquired (step ST31). That is, the image
次いで、前方車両が存在するかどうかが調べられる(ステップST32)。すなわち、映像合成処理部14aは、前方車両検知部16から送られてくる前方車両存否データを調べることにより、前方車両が存在するかどうかが調べる。このステップST32において、前方車両が存在しないことが判断されると、シーケンスはステップST19に進む。一方、ステップST32において、前方車両が存在することが判断されると、次いで、コンテンツに高さ情報が付加される(ステップST33)。このステップST33の処理は、実施の形態1のステップST18の処理と同じである。その後、シーケンスはステップST19に進む。
Next, it is checked whether or not a vehicle ahead is present (step ST32). That is, the video
ステップST19においては、透視変換によるコンテンツ情報の映像上の位置が計算される。次いで、映像合成処理が行われる(ステップST20)。次いで、カウンタの内容iがインクリメントされる(ステップST21)。その後、シーケンスはステップST15に戻り、上述した処理が繰り返される。 In step ST19, the position on the video of the content information by perspective transformation is calculated. Next, video composition processing is performed (step ST20). Next, the content i of the counter is incremented (step ST21). Thereafter, the sequence returns to step ST15, and the above-described processing is repeated.
以上説明したように、この発明の実施の形態2に係るカーナビゲーション装置によれば、前方車両の有無に応じて経路誘導矢印に高さ情報を付加するかどうかを切り替えることにより、前方車両が存在する場合には経路誘導矢印を前方車両に遮蔽されにくい画面上部に描画した実写案内図を表示し、存在しない場合には道路上に経路誘導矢印を表示した通常の実写案内図を表示することができる。その結果、前方車両と経路誘導矢印とが重なることがなくなり、分かりやすい案内を行うことができる。 As described above, according to the car navigation device of the second embodiment of the present invention, there is a vehicle ahead by switching whether to add height information to the route guidance arrow according to the presence or absence of the vehicle ahead. If you do, a live-action guide map with a route guidance arrow drawn on the top of the screen that is hard to be shielded by the vehicle ahead will be displayed. If there is no route guide arrow, a normal live-action guide map with a route guide arrow will be displayed on the road. it can. As a result, the vehicle ahead and the route guidance arrow do not overlap, and easy-to-understand guidance can be provided.
なお、上述した実施の形態2に係るカーナビゲーション装置においては、経路誘導矢印に高さ情報を付加することにより、経路誘導矢印を画面上部に描画するように構成したが、ステップST19における画像上の対応する位置の計算後に、経路誘導矢印を画面上部にずらして描画するといった他の方法を用いて経路誘導矢印を画面の上部に描画するように構成することもできる。
In the car navigation device according to
実施の形態3.
この発明の実施の形態3に係るカーナビゲーション装置の構成は、映像合成処理部14aの機能を除き、図6に示した実施の形態2に係るカーナビゲーション装置の構成と同じである。映像合成処理部14aは、実施の形態2に係るカーナビゲーション装置のそれが有する、コンテンツに高さ情報を付加するという機能の代わりに、背景色および経路誘導矢印の色を決定する機能を有する。
The configuration of the car navigation device according to
また、実施の形態3に係るカーナビゲーション装置で行われる映像合成処理は、コンテンツが経路誘導矢印である場合の処理の内容を除き、図7に示した実施の形態2に係るカーナビゲーション装置で行われる映像合成処理と同じである。以下では、実施の形態2と相違する部分を中心に、図8に示すフローチャートを参照しながら説明する。なお、図8のフローチャートに示した処理のうち、実施の形態2に係るカーナビゲーション装置の映像合成処理と同じ処理を行うステップには、実施の形態2で使用した符号と同じ符号を付して説明を簡略化する。
Also, the video composition processing performed in the car navigation device according to the third embodiment is performed by the car navigation device according to the second embodiment shown in FIG. 7 except for the content of the processing when the content is a route guidance arrow. This is the same as the video composition process. Below, it demonstrates, referring the flowchart shown in FIG. 8 focusing on a different part from
映像合成処理では、まず、自車位置方位および映像が取得される(ステップST11)。次いで、コンテンツ生成が行われる(ステップST12)。次いで、コンテンツ総数aが取得される(ステップST13)。次いで、カウンタの内容iが「1」に初期化される(ステップST14)。次いで、全てのコンテンツ情報の合成処理が終了したかどうかが調べられる(ステップST15)。このステップST15において、全てのコンテンツ情報の合成処理が終了したことが判断されると、映像合成処理は終了し、その時点でコンテンツが合成された映像データが、表示決定部15に送られる。
In the video composition process, first, the vehicle position direction and video are acquired (step ST11). Next, content generation is performed (step ST12). Next, the total content a is acquired (step ST13). Next, the content i of the counter is initialized to “1” (step ST14). Next, it is checked whether or not the composition processing of all content information has been completed (step ST15). When it is determined in step ST15 that the composition processing of all the content information has been completed, the video composition processing is terminated, and the video data in which the content is synthesized at that time is sent to the
一方、ステップST15において、全てのコンテンツ情報の合成処理が終了していないことが判断されると、i番目のコンテンツ情報が取得される(ステップST16)。次いで、透視変換によるコンテンツ情報の映像上の位置が計算される(ステップST19)。次いで、コンテンツが経路誘導矢印であるかどうかが調べられる(ステップST17)。このステップST17において、コンテンツが経路誘導矢印でないことが判断されると、シーケンスはステップST20に進む。 On the other hand, if it is determined in step ST15 that all the content information has not been combined, the i-th content information is acquired (step ST16). Next, the position of the content information on the video by the perspective transformation is calculated (step ST19). Next, it is checked whether or not the content is a route guidance arrow (step ST17). If it is determined in step ST17 that the content is not a route guidance arrow, the sequence proceeds to step ST20.
一方、ステップST17において、コンテンツが経路誘導矢印であることが判断されると、次いで、前方車両の有無が取得される(ステップST31)。次いで、前方車両が存在するかどうかが調べられる(ステップST32)。このステップST32において、前方車両が存在しないことが判断されると、シーケンスはステップST20に進む。 On the other hand, if it is determined in step ST17 that the content is a route guidance arrow, the presence / absence of a forward vehicle is then acquired (step ST31). Next, it is checked whether or not a vehicle ahead is present (step ST32). If it is determined in step ST32 that there is no preceding vehicle, the sequence proceeds to step ST20.
一方、ステップST32において、前方車両が存在することが判断されると、次いで、背景色が計算される(ステップST18)。すなわち、映像合成処理部14aは、経路誘導矢印の背景となる色を計算する。背景色の算出は、例えばステップST19で計算された映像上の位置に対応する全ての画素の平均をとることにより行うことができる。なお、背景色を計算するエリアは、ステップST19で計算された映像上の位置に一致する必要はなく、計算された位置を含む矩形といったように計算された位置とそれ以外のエリアを合わせたものであってもよいし、計算された位置の周囲10[pixel]といったようにステップST19で計算された映像上の位置以外のエリアのみであってもよい。
On the other hand, if it is determined in step ST32 that a vehicle ahead is present, the background color is then calculated (step ST18). That is, the video
次いで、経路誘導矢印の色が決定される(ステップST42)。すなわち、映像合成処理部14aは、ステップST41で計算した背景色をもとに、経路誘導矢印の色を決定する。このステップST42の処理については、後に詳細に説明する。その後、シーケンスはステップST20に進む。ステップST20においては、映像合成処理が行われる。次いで、カウンタの内容iがインクリメントされる(ステップST21)。その後、シーケンスはステップST15に戻り、上述した処理が繰り返される。
Next, the color of the route guidance arrow is determined (step ST42). That is, the video
次に、上述した映像合成処理のステップST42で行われる経路誘導矢印の色を決定する処理の詳細を、図9に示すフローチャートを参照しながら説明する。この経路誘導矢印の色を決定する処理は、映像合成処理部14によって実行される。
Next, details of the process for determining the color of the route guidance arrow performed in step ST42 of the video composition process described above will be described with reference to the flowchart shown in FIG. The process of determining the color of the route guidance arrow is executed by the video
経路誘導矢印の色を決定する処理では、図10に示すような、背景色と経路誘導矢印の色との対応を示したテーブルが用いられる。このテーブルは映像合成処理部14の内部に形成される。なお、図10に示すテーブルは、色の表記方法としてRGB形式を用いる場合の例を示しているが、CMY形式などといった他の形式を用いることもできる。さらに、図10に示すテーブルは、カーナビゲーション装置の製作者があらかじめ定めるように構成できるし、ユーザが任意に変更できるように構成することもできる。
In the process of determining the color of the route guidance arrow, a table showing the correspondence between the background color and the color of the route guidance arrow as shown in FIG. 10 is used. This table is formed inside the video
経路誘導矢印の色を決定する処理では、まず、テーブルの総行数aが求められる(ステップST51)。次いで、参照済み行数をカウントするためのカウンタの内容iが「1」に設定されるとともに、テーブルの1つの行の背景色と映像合成処理(図8参照)のステップST41で計算された背景色との、その時点における最小の差diffminが無限大に、その時点で最小の差となる行番号iminが「1」に設定される。 In the process of determining the color of the route guidance arrow, first, the total number of rows a in the table is obtained (step ST51). Next, the content i of the counter for counting the number of referenced rows is set to “1”, and the background color of one row of the table and the background calculated in step ST41 of the video composition process (see FIG. 8). The minimum difference diff min at that time from the color is set to infinity, and the line number i min that is the minimum difference at that time is set to “1”.
次いで、全ての行の参照が終了したかどうかが調べられる(ステップST53)。具体的には、カウンタの内容である参照済み行数iが総行数aより大きくになったかどうかが調べられる。このステップST53において、全ての行の参照が終了した、つまり、参照済み行数iが総行数aより大きくなっていないことが判断されると、次いで、テーブルのi行目の背景色が取得される(ステップST54)。 Next, it is checked whether or not all the lines have been referenced (step ST53). Specifically, it is checked whether or not the number of referenced lines i, which is the content of the counter, has become larger than the total number of lines a. If it is determined in step ST53 that all the lines have been referenced, that is, it is determined that the number i of referenced lines is not greater than the total number a, then the background color of the i-th row of the table is acquired. (Step ST54).
次いで、経路誘導矢印の背景色とi行目の背景色との差diffが計算される(ステップST55)。すなわち、映像合成処理(図8参照)のステップST41で計算された背景色(RGBをRsrc、Gsrc、Bsrcとする)とステップST54で取得された背景色(RGBをRi、Gi、Biとする)の差diffが以下の計算式で計算される。
diff=(Rsrc−Ri)2+(Gsrc−Gi)2+(Bsrc−Bi)2
Next, a difference diff between the background color of the route guidance arrow and the background color of the i-th row is calculated (step ST55). That is, the background color (RGB is R src , G src , B src ) calculated in step ST41 of the video composition process (see FIG. 8) and the background color (RGB is R i , G i ) acquired in step ST54. , B i ) is calculated by the following formula.
diff = (R src −R i ) 2 + (G src −G i ) 2 + (B src −B i ) 2
次いで、最小の差diffminがステップST55で計算された差diffより小さいかどうかが調べられる(ステップST56)。このステップST56において、最小の差diffminが差diffより小さいことが判断されると、次いで、iminがiに、最小の差diffminが差diffにそれぞれ更新される(ステップST57)。一方、上記ステップST56において、最小の差diffminが差diffより小さくないことが判断されると、ステップST57の処理はスキップされる。次いで、iがインクリメントされる(ステップST58)。その後、シーケンスはステップST53に戻り、上述した処理が繰り返される。 Next, it is checked whether or not the minimum difference diff min is smaller than the difference diff calculated in step ST55 (step ST56). If it is determined in step ST56 that the minimum difference diff min is smaller than the difference diff, then i min is updated to i, and the minimum difference diff min is updated to the difference diff (step ST57). On the other hand, if it is determined in step ST56 that the minimum difference diff min is not smaller than the difference diff, the process in step ST57 is skipped. Next, i is incremented (step ST58). Thereafter, the sequence returns to step ST53, and the above-described processing is repeated.
上記ステップST53において、全ての行の参照が終了した、つまり、参照済み行数iが総行数aより大きくなっていないことが判断されると、次いで、テーブルのimin行目の経路誘導矢印の色が、実際に使用する経路誘導矢印の色として決定される(ステップST59)。以上により、経路誘導矢印の色を決定する処理は終了する。 If it is determined in step ST53 that all the lines have been referenced, that is, it is determined that the number i of referenced lines is not greater than the total number of lines a, then the route guidance arrow for the i min line of the table Is determined as the color of the route guidance arrow actually used (step ST59). Thus, the process for determining the color of the route guidance arrow ends.
以上説明したように、この発明の実施の形態3に係るカーナビゲーション装置によれば、前方車両が存在する場合に、経路誘導矢印の背景色を考慮して、経路誘導矢印の色を認識しやすい色に変更するように構成したので、前方車両の上であっても認識しやすい経路誘導矢印を描画できる。
As described above, the car navigation device according to
なお、上述した経路誘導矢印の色を決定する処理では、図10に示すような背景色と矢印色の対応を表したテーブルを用いて経路誘導矢印の色を決定するように構成したが、テーブルを用いずに、例えば背景色の補色を経路誘導矢印の色とするようなアルゴリズムを用いて経路誘導矢印の色を決定するように構成することもできる。 In the process for determining the color of the route guidance arrow described above, the color of the route guidance arrow is determined using a table showing the correspondence between the background color and the arrow color as shown in FIG. For example, the color of the route guidance arrow may be determined by using an algorithm that uses the complementary color of the background color as the color of the route guidance arrow.
また、上述した実施の形態1に係るカーナビゲーション装置では、前方車両が存在する場合に、経路誘導矢印の色を変更するように構成したが、経路誘導矢印の色に限定されず、例えば模様または形状などといった、所謂、表示形態を変更するように構成することができる。 Moreover, in the car navigation apparatus according to the first embodiment described above, when the vehicle ahead is present, the color of the route guidance arrow is changed. However, the color is not limited to the color of the route guidance arrow. A so-called display form such as a shape can be changed.
実施の形態4.
この発明の実施の形態4に係るカーナビゲーション装置は、前方車両が存在する場合に、実写案内図に代えて、従来の地図案内図を表示するようにしたものである。
The car navigation apparatus according to
図11は、この発明の実施の形態4に係るカーナビゲーション装置の構成を示すブロック図である。このカーナビゲーション装置は、実施の形態2に係るカーナビゲーション装置のナビゲーション制御部9に含まれる表示決定部15が表示決定部15aに、前方車両検知部16が前方車両検知部16aにそれぞれ変更されて構成されている。
FIG. 11 is a block diagram showing a configuration of a car navigation device according to
前方車両検知部16a、映像合成処理部14からの指示に応答して、映像取得部8から得られる映像を画像解析することにより自車の前方に前方車両の存否を検知し、前方車両存否データとして映像合成処理部14aに送る他に、該前方車両存否データを表示決定部15aにも送る。
In response to instructions from the front
表示決定部15aは、案内表示生成部13に対して地図案内図の生成を指示し、映像合成処理部14に対して実写案内図の生成を指示する他に、前方車両検知部16aに対して車両存否データの取得を指示する。また、表示決定部15aは、位置方位計測部4から送られてくる自車位置方位データ、地図データベース5から読み出した自車周辺の地図データ、入力操作部6から送られてくる操作データ、案内表示生成部13から送られてくる地図案内図データおよび映像合成処理部14から送られてくる実写案内図データに基づく他に、前方車両検知部16aから送られてくる前方車両存否データをも考慮して表示部10の画面に表示する内容を決定する。この表示決定部15において決定された表示内容に対応するデータは、表示データとして表示部10に送られる。
The
次に、上記のように構成される、この発明の実施の形態4に係るカーナビゲーション装置の動作を、映像合成処理部14に対して映像合成処理を依頼する処理を中心に、図12に示すフローチャートを参照しながら説明する。なお、図12のフローチャートに示す処理を開始するまでに、案内対象物に近づいたり、ユーザが入力操作部6を操作して画面を切り替えたりするなどして、映像合成処理部14に対して映像合成処理を依頼することが決まったものとする。
Next, the operation of the car navigation device according to
まず、前方車両の有無が取得される(ステップST61)。すなわち、映像合成処理部14aは、前方車両検知部16に対して、前方車両の存否を検知するように指示する。前方車両検知部16は、この指示に応答して、映像取得部8から得られる映像を画像解析することにより前方車両の存否を検知し、前方車両存否データとして映像合成処理部14aに送る。
First, the presence / absence of a preceding vehicle is acquired (step ST61). That is, the image
次いで、前方車両が存在するかどうかが調べられる(ステップST62)。すなわち、映像合成処理部14aは、前方車両検知部16aから送られてくる前方車両存否データを調べることにより、前方車両が存在するかどうかが調べる。このステップST62において、前方車両が存在することが判断されると、次いで、映像合成処理が実行される(ステップST63)。すなわち、映像合成処理部14aは、図7のフローチャートに示した実施の形態2に係るカーナビゲーション装置の映像合成処理、または、図8のフローチャートに示した実施の形態3に係るカーナビゲーション装置の映像合成処理を実行する。
Next, it is checked whether or not a preceding vehicle exists (step ST62). That is, the video
一方、ステップST62において、前方車両が存在しないことが判断されると、従来の地図案内図が生成される(ステップST64)。すなわち、映像合成処理部14aは、表示決定部15aに対し、映像合成処理を行わない旨を通知する。表示決定部15aは、前方車両検知部16aに対して車両存否データの取得を指示し、これに応答して、前方車両検知部16aから送られてくる前方車両存否データが、前方車両が存在することを示していれば、案内表示生成部13に対して地図案内図の生成を指示する。そして、この指示に応答して、案内表示生成部13から送られてくる地図案内図データを、表示データとして表示部10に送る。これにより、表示部10に、交差点誘導案内などといった従来のカーナビゲーション装置と同様の地図案内図が表示される。
On the other hand, if it is determined in step ST62 that there is no preceding vehicle, a conventional map guide map is generated (step ST64). That is, the video
以上説明したように、この発明の実施の形態3に係るカーナビゲーション装置によれば、前方車両が存在することにより視界が遮られる場合に、従来と同様の地図案内図を用いた案内に切り替えられるので、分かりやすい案内を確保することができる。 As described above, according to the car navigation device of the third embodiment of the present invention, when the field of view is blocked by the presence of the preceding vehicle, the guidance can be switched to the guidance using the same map guide map as in the past. Therefore, easy-to-understand guidance can be secured.
実施の形態5.
図13は、この発明の実施の形態5に係るカーナビゲーション装置の構成を示すブロック図である。このカーナビゲーション装置は、実施の形態1に係るカーナビゲーション装置のナビゲーション制御部9に表示位置決定部17が追加されるとともに、映像合成処理部14が映像合成処理部14bに変更されて構成されている。
FIG. 13 is a block diagram showing a configuration of a car navigation device according to
表示位置決定部17は、映像取得部8で取得された映像を用いて、該映像内で経路誘導矢印を表示させる位置を決定する。この表示位置決定部17で決定された位置を表すデータは、映像合成処理部14bに送られる。
The display
映像合成処理部14bは、実施の形態1に係るカーナビゲーション装置の映像合成処理部14が実行する処理の他に、表示位置決定部17に対して、経路誘導矢印を表示する位置を決定するように指示する処理を実行する。また、映像合成処理部14bは、表示位置決定部17から送られてくる経路誘導矢印を表示する位置を表すデータによって示される映像内の位置に、経路誘導矢印を合成する処理を実行する。
In addition to the processing performed by the video
次に、上記のように構成される、この発明の実施の形態5に係るカーナビゲーション装置の動作を説明する。
Next, the operation of the car navigation device according to
まず、表示位置決定部17で行われる表示位置の決定処理を、図14に示すフローチャートを参照しながら説明する。この表示位置の決定処理では、まず、マスクエリアがクリアされる(ステップST71)。ここで、マスクエリアとは、経路誘導矢印を表示するのに不適切な映像内のエリアをいう。このステップST71の処理により、不適切なエリアが選択されていない状況にされる。
First, display position determination processing performed by the display
次いで、前方画像が取得される(ステップST72)。すなわち、表示位置決定部17は、映像取得部8から映像データを入力し、1つの画像を取得する。次いで、車両の検出が行われる(ステップST73)。すなわち、表示位置決定部17は、ステップST72で取得した前方画像を解析して画像認識を行うことにより、前方車両を検出する。ここで、画像認識を用いた前方車両を検出する技術に関しては、上述したように、特開平5−20593号公報または特開平6−59033号公報などに開示されているので、必要に応じて参照されたい。
Next, a front image is acquired (step ST72). That is, the display
次いで、車両が存在するかどうかが調べられる(ステップST74)。すなわち、表示位置決定部17は、ステップST73における検出結果に基づき、前方車両が存在するかどうかを調べる。このステップST74において、車両が存在しないことが判断されると、シーケンスはステップST76に進む。
Next, it is checked whether or not a vehicle exists (step ST74). In other words, the display
一方、ステップST74において、車両が存在することが判断されると、車両のエリアがマスクエリアに追加される(ステップST75)。すなわち、表示位置決定部17は、画像上の車両が存在するエリアをマスクエリアとして、自己の内部の図示しないメモリに追加する。その後、シーケンスはステップST76に進む。
On the other hand, when it is determined in step ST74 that a vehicle exists, the area of the vehicle is added to the mask area (step ST75). That is, the display
ステップST76においては、信号機の検出が行われる。すなわち、表示位置決定部17は、ステップST72で取得した前方画像を解析して画像認識を行うことにより、信号機を検出する。この画像認識では、例えば地面からの高さ5mに対応する画像上の位置において、赤、青または黄色の円が存在する場合に、その周囲の高さ50cm、幅1mの場所を信号機と判断することができる。
In step ST76, a traffic light is detected. That is, the display
次いで、信号機が存在するかどうかが調べられる(ステップST77)。すなわち、表示位置決定部17は、ステップST76における検出結果に基づき、信号機が存在するかどうかを調べる。このステップST77において、信号機が存在しないことが判断されると、表示位置の決定処理は終了する。
Next, it is checked whether or not a traffic light exists (step ST77). That is, the display
一方、ステップST77において、信号機が存在することが判断されると、信号機のエリアがマスクエリアに追加される(ステップST78)。すなわち、表示位置決定部17は、画像上の信号機が存在するエリアをマスクエリアとして、自己の内部の図示しないメモリに追加する。その後、表示位置の決定処理は終了する。
On the other hand, if it is determined in step ST77 that there is a traffic light, the traffic light area is added to the mask area (step ST78). That is, the display
図15は、画像中の前方車両および信号機の部分(斜線で示す部分)がマスクエリアとして登録されている様子を示す。 FIG. 15 shows a state in which the front vehicle and the traffic light part (the hatched part) in the image are registered as a mask area.
なお、上述した表示位置の決定処理では、前方車両および信号機を検知してマスクエリアを計算する場合について説明したが、それ以外にも、例えば歩行者、道路標識または道路標示などの運転行動に関わる物体を単独または組み合わせてマスクエリアとすることもできる。また、車両および信号機を必ずマスクエリアとする必要はなく、どちらか片方のみをマスクエリアとしたり、どちらもマスクエリアとしないように構成することもできる。 In the above-described display position determination process, the case where the front vehicle and the traffic signal are detected and the mask area is calculated has been described, but other than that, it relates to driving behavior such as pedestrians, road signs or road markings. An object can be used alone or in combination to form a mask area. Further, the vehicle and the traffic signal do not necessarily have to be mask areas, and only one of them can be used as a mask area, or neither can be configured as a mask area.
また、画像認識においては、運転行動に関わる物体を認識するだけでなく、例えば信号機の位置情報が判明している場合、自車位置方位とカメラの設置位置と信号機の位置情報を用いて画像上の信号機の位置を計算し、この計算した位置をマスクエリアとするように、画像解析を用いずにマスクエリアを定めることもできる。 In addition, in image recognition, not only the object related to driving behavior is recognized, but for example, when the traffic signal position information is known, the vehicle position direction, the camera installation position, and the traffic signal position information are used on the image. The mask area can also be determined without using image analysis so that the position of the traffic light is calculated and the calculated position is set as the mask area.
また、上述した表示位置の決定処理では、不適切なエリアを計算するように構成したが、適切なエリアを計算するように構成することもできる。さらに、上述した表示位置の決定処理では、不適切なエリアと適切なエリアを2分しているが、適切さまたは不適切さを段階的に計算するように構成することもできる。 In the display position determination process described above, an inappropriate area is calculated. However, an appropriate area may be calculated. Further, in the display position determination process described above, the inappropriate area and the appropriate area are divided into two, but it may be configured to calculate appropriateness or inappropriateness step by step.
次に、実施の形態5に係るカーナビゲーション装置で行われる映像合成処理を、図16に示すフローチャートを参照しながら説明する。この映像合成処理は、コンテンツをマスクエリア以外の位置に描画する処理を除き、図2に示した実施の形態1に係るカーナビゲーション装置で行われる映像合成処理と同じである。なお、図16のフローチャートに示した処理のうち、実施の形態1に係るカーナビゲーション装置の映像合成処理と同じ処理を行うステップには、実施の形態1で使用した符号と同じ符号を付して説明を簡略化する。
Next, video composition processing performed by the car navigation device according to
映像合成処理では、まず、自車位置方位および映像が取得される(ステップST11)。次いで、コンテンツ生成が行われる(ステップST12)。次いで、コンテンツ総数aが取得される(ステップST13)。次いで、マスクエリアが取得される(ステップST81)。すなわち、映像合成処理部14bは、表示位置決定部17からマスクエリアを取得する。次いで、カウンタの内容iが「1」に初期化される(ステップST14)。次いで、全てのコンテンツ情報の合成処理が終了したかどうかが調べられる(ステップST15)。このステップST15において、全てのコンテンツ情報の合成処理が終了したことが判断されると、映像合成処理は終了し、その時点でコンテンツが合成された映像データが、表示決定部15に送られる。
In the video composition process, first, the vehicle position direction and video are acquired (step ST11). Next, content generation is performed (step ST12). Next, the total content a is acquired (step ST13). Next, a mask area is acquired (step ST81). That is, the video
一方、ステップST15において、全てのコンテンツ情報の合成処理が終了していないことが判断されると、i番目のコンテンツ情報が取得される(ステップST16)。次いで、透視変換によるコンテンツ情報の映像上の位置が計算される(ステップST19)。次いで、計算された位置がマスクエリア内に存在するかどうかが調べられる(ステップST82)。すなわち、映像合成処理部14bは、ステップST19で計算した位置がステップST81で表示位置決定部17から取得しマスクエリア内に存在するかどうかが調べる。このステップST82において、計算された位置がマスクエリア内に存在しないことが判断されると、シーケンスはステップST20に進む。
On the other hand, if it is determined in step ST15 that all the content information has not been combined, the i-th content information is acquired (step ST16). Next, the position of the content information on the video by the perspective transformation is calculated (step ST19). Next, it is checked whether or not the calculated position exists in the mask area (step ST82). That is, the video
一方、ステップST17において、計算された位置がマスクエリア内に存在することが判断されると、次いで、上下左右を探索して非マスクエリアまでの距離が計算される(ステップST83)。すなわち、映像合成処理部14bは、ステップST19で計算したコンテンツ情報の映像上の位置の上下左右を探索し、最も近い非マスクエリアまでの距離[pixel]を計算する。例えば、上に10[pixel]、下に15[pixel]、左に20[pixel]および右に25[pixel]といったように計算される。
On the other hand, if it is determined in step ST17 that the calculated position exists within the mask area, then the distance to the non-mask area is calculated by searching up, down, left, and right (step ST83). That is, the video
次いで、コンテンツ情報の映像上の位置をずらす処理が行われる(ステップST84)。すなわち、映像合成処理部14bは、ステップST83で求めた上下左右のうち最も近いものを選択し、コンテンツ情報の映像上の位置を選択した距離だけずらす処理、例えば、上に10[pixel]だけずらす処理を実行する。その後、シーケンスはステップST20に進む。ステップST20においては、映像合成処理が行われる。次いで、カウンタの内容iがインクリメントされる(ステップST21)。その後、シーケンスはステップST15に戻り、上述した処理が繰り返される。
Next, a process of shifting the position of the content information on the video is performed (step ST84). That is, the video
なお、上記ステップST82〜ステップST84の処理において、コンテンツ情報の映像上の位置をずらした後に、マスクエリアに重なっているかどうかを判断し、マスクエリアに重なっている場合は、さらにずらすという処理を繰り返し実行するように構成することもできる。 In the processing of step ST82 to step ST84, after shifting the position of the content information on the video, it is determined whether or not it overlaps the mask area. If it overlaps the mask area, the processing of further shifting is repeated. It can also be configured to execute.
以上説明したように、この発明の実施の形態5に係るカーナビゲーション装置によれば、カメラ7で撮影した自車周辺の実写映像上に経路誘導矢印を重畳表示する際に、描画に最も適した場所を選択し、その場所に経路誘導矢印を描画するように構成できるので、前方車両または信号機などを避けて誘導矢印を描画することができる。その結果、分かりやすい案内が可能となる。
As described above, the car navigation device according to
なお、図示の実施の形態では、車に適用したカーナビゲーション装置として説明したが、この発明に係るナビゲーション装置は、カメラを有する携帯電話機で飛行機等の移動体に対しても同様に適用することができる。 In the illustrated embodiment, the car navigation apparatus applied to a car has been described. However, the navigation apparatus according to the present invention can be similarly applied to a mobile object such as an airplane with a mobile phone having a camera. it can.
1 GPSレシーバ、2 車速センサ、3 方位センサ、4 位置方位計測部、5 地図データベース、6 入力操作部、7 カメラ、8 映像取得部、9 ナビゲーション制御部、10 表示部、11 目的地設定部、12 経路計算部、13 案内表示生成部、14,14a,14b 映像合成処理部、15,15a 表示決定部、16,16a 前方車両検知部。
DESCRIPTION OF
Claims (6)
前記カメラで撮影された前方の映像を取得する映像取得部と、
経路誘導矢印を表示する際には、前記映像取得部で取得された映像の上部に重畳させて映像を生成する映像合成処理部と、
前記映像合成処理部で生成された映像を表示する表示部
とを備えたナビゲーション装置。 A camera that shoots in front,
A video acquisition unit for acquiring a forward video captured by the camera;
When displaying a route guidance arrow, a video composition processing unit that generates a video by superimposing it on the top of the video acquired by the video acquisition unit;
A navigation apparatus comprising: a display unit that displays the video generated by the video synthesis processing unit.
前記カメラで撮影された前方の映像を取得する映像取得部と、
前方車両の存否を検知する前方車両検知部と、
前記前方車両検知部により前方車両が存在することが検知された場合に、前記映像取得部で取得された映像に重畳させる経路誘導矢印の位置を変更する映像合成処理部
ことを特徴とする請求項1記載のナビゲーション装置。 A camera that shoots in front,
A video acquisition unit for acquiring a forward video captured by the camera;
A forward vehicle detection unit for detecting the presence or absence of a forward vehicle;
The video composition processing unit that changes a position of a route guidance arrow to be superimposed on the video acquired by the video acquisition unit when the front vehicle detection unit detects that a front vehicle is present. The navigation device according to 1.
ことを特徴とする請求項2記載のナビゲーション装置。 The video composition processing unit generates a video in which a route guidance arrow is superimposed on an upper part of the video acquired by the video acquisition unit when the forward vehicle detection unit detects that a forward vehicle is present. The navigation device according to claim 2.
ことを特徴とする請求項2記載のナビゲーション装置。 The video composition processing unit superimposes the route guidance arrow whose display form has been changed according to the background color on the video acquired by the video acquisition unit when the forward vehicle detection unit detects the presence of the forward vehicle. The navigation apparatus according to claim 2, wherein an image is generated.
現在位置および方位を計測する位置方位計測部と、
前記位置方位計測部で計測された位置の周辺の地図データを前記地図データベースから取得し、該地図データから地図を用いた案内図である地図案内図を生成する案内表示生成部と、
前方車両検知部により前方車両が存在することが検知された場合に、前記案内表示生成部で生成された地図案内図を表示部に表示させるように決定する表示決定部
とを備えたことを特徴とする請求項2記載のナビゲーション装置。 A map database that holds map data;
A position / orientation measurement unit that measures the current position and direction
A guide display generating unit that obtains map data around the position measured by the position and direction measuring unit from the map database, and generates a map guide map that is a guide map using a map from the map data;
A display determination unit that determines to display the map guide map generated by the guidance display generation unit on the display unit when the front vehicle detection unit detects that a front vehicle exists. The navigation device according to claim 2.
前記カメラで撮影された前方の映像を取得する映像取得部と、
前記映像取得部で取得された映像の中の所定の物体をマスクエリアに設定し、該マスクエリアに重ならない位置を、経路誘導矢印を表示させる位置として決定する表示位置決定部と、
前記映像取得部で取得された映像の中の前記表示位置決定部により決定された位置に経路誘導矢印を重畳させる映像合成処理部
とを備えたナビゲーション装置。 A camera that shoots in front,
A video acquisition unit for acquiring a forward video captured by the camera;
A display position determination unit that sets a predetermined object in the video acquired by the video acquisition unit as a mask area and determines a position that does not overlap the mask area as a position for displaying a route guidance arrow;
The navigation apparatus provided with the image | video synthetic | combination process part which superimposes a route guidance arrow on the position determined by the said display position determination part in the image | video acquired by the said image | video acquisition part.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007339951A JP2011047649A (en) | 2007-12-28 | 2007-12-28 | Navigation device |
PCT/JP2008/002414 WO2009084129A1 (en) | 2007-12-28 | 2008-09-03 | Navigation device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007339951A JP2011047649A (en) | 2007-12-28 | 2007-12-28 | Navigation device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011047649A true JP2011047649A (en) | 2011-03-10 |
Family
ID=40823867
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007339951A Pending JP2011047649A (en) | 2007-12-28 | 2007-12-28 | Navigation device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2011047649A (en) |
WO (1) | WO2009084129A1 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013111302A1 (en) * | 2012-01-26 | 2013-08-01 | パイオニア株式会社 | Display device, control method, program, and storage medium |
WO2014002167A1 (en) * | 2012-06-25 | 2014-01-03 | パイオニア株式会社 | Information display device, information display method, information display program, and recording medium |
JP2014106037A (en) * | 2012-11-26 | 2014-06-09 | Mitsubishi Electric Corp | On-vehicle information providing device |
US8825406B2 (en) | 2010-12-28 | 2014-09-02 | Toyota Jidosha Kabushiki Kaisha | Navigation apparatus |
WO2015118859A1 (en) * | 2014-02-05 | 2015-08-13 | パナソニックIpマネジメント株式会社 | Display device for vehicle and display method of display device for vehicle |
JP2016008894A (en) * | 2014-06-25 | 2016-01-18 | 株式会社Screenホールディングス | Route guide device, route guide method, and route guide program |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011121788A1 (en) * | 2010-03-31 | 2011-10-06 | パイオニア株式会社 | Navigation device, information display device, navigation method, navigation program, and recording medium |
WO2011135660A1 (en) * | 2010-04-26 | 2011-11-03 | パイオニア株式会社 | Navigation system, navigation method, navigation program, and storage medium |
JP5356483B2 (en) * | 2011-09-21 | 2013-12-04 | パイオニア株式会社 | Navigation device and navigation method |
JP5438172B2 (en) * | 2012-06-29 | 2014-03-12 | パイオニア株式会社 | Information display device, information display method, information display program, and recording medium |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3573864B2 (en) * | 1996-02-22 | 2004-10-06 | 本田技研工業株式会社 | Head-up display device |
JPH09330022A (en) * | 1996-06-12 | 1997-12-22 | Sumitomo Electric Ind Ltd | Picture displaying method and device utilizing threedimensional cg technology |
JP3389795B2 (en) * | 1996-11-14 | 2003-03-24 | 日産自動車株式会社 | Navigation route display device |
JPH10281794A (en) * | 1997-04-03 | 1998-10-23 | Toyota Motor Corp | Guidance display device for vehicle |
JPH10339646A (en) * | 1997-06-10 | 1998-12-22 | Toyota Motor Corp | Guide display system for car |
JPH1123305A (en) * | 1997-07-03 | 1999-01-29 | Toyota Motor Corp | Running guide apparatus for vehicle |
JP2004117294A (en) * | 2002-09-27 | 2004-04-15 | Clarion Co Ltd | Navigation system, method, and program |
JP3890596B2 (en) * | 2003-09-30 | 2007-03-07 | マツダ株式会社 | Vehicle information providing device |
JP4206955B2 (en) * | 2004-04-02 | 2009-01-14 | 株式会社デンソー | VEHICLE DISPLAY DEVICE, VEHICLE DISPLAY SYSTEM, AND PROGRAM |
JP2006162442A (en) * | 2004-12-07 | 2006-06-22 | Matsushita Electric Ind Co Ltd | Navigation system and navigation method |
-
2007
- 2007-12-28 JP JP2007339951A patent/JP2011047649A/en active Pending
-
2008
- 2008-09-03 WO PCT/JP2008/002414 patent/WO2009084129A1/en active Application Filing
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8825406B2 (en) | 2010-12-28 | 2014-09-02 | Toyota Jidosha Kabushiki Kaisha | Navigation apparatus |
JP5660140B2 (en) * | 2010-12-28 | 2015-01-28 | トヨタ自動車株式会社 | Navigation device |
WO2013111302A1 (en) * | 2012-01-26 | 2013-08-01 | パイオニア株式会社 | Display device, control method, program, and storage medium |
JP5702476B2 (en) * | 2012-01-26 | 2015-04-15 | パイオニア株式会社 | Display device, control method, program, storage medium |
JPWO2013111302A1 (en) * | 2012-01-26 | 2015-05-11 | パイオニア株式会社 | Display device, control method, program, storage medium |
WO2014002167A1 (en) * | 2012-06-25 | 2014-01-03 | パイオニア株式会社 | Information display device, information display method, information display program, and recording medium |
JP2014106037A (en) * | 2012-11-26 | 2014-06-09 | Mitsubishi Electric Corp | On-vehicle information providing device |
WO2015118859A1 (en) * | 2014-02-05 | 2015-08-13 | パナソニックIpマネジメント株式会社 | Display device for vehicle and display method of display device for vehicle |
JPWO2015118859A1 (en) * | 2014-02-05 | 2017-03-23 | パナソニックIpマネジメント株式会社 | Display device for vehicle and display method for display device for vehicle |
US10378916B2 (en) | 2014-02-05 | 2019-08-13 | Panasonic Intellectual Property Management Co., Ltd. | Display apparatus for vehicle and display method of display apparatus for vehicle |
JP2016008894A (en) * | 2014-06-25 | 2016-01-18 | 株式会社Screenホールディングス | Route guide device, route guide method, and route guide program |
Also Published As
Publication number | Publication date |
---|---|
WO2009084129A1 (en) | 2009-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2009084129A1 (en) | Navigation device | |
JP4741023B2 (en) | Navigation device | |
WO2009084135A1 (en) | Navigation system | |
US8315796B2 (en) | Navigation device | |
JP4293917B2 (en) | Navigation device and intersection guide method | |
JP4959812B2 (en) | Navigation device | |
JP4679182B2 (en) | Map display method, map display program, and map display device | |
JP4895313B2 (en) | Navigation apparatus and method | |
WO2009084126A1 (en) | Navigation device | |
JP2008309529A (en) | Navigation system, navigation method and program for navigation | |
JP2009020089A (en) | System, method, and program for navigation | |
JP2001082969A (en) | Navigation device | |
JP2009163504A (en) | Image deformation method and the like | |
JP2008128827A (en) | Navigation device, navigation method, and program thereof | |
JP2008139295A (en) | Device and method for intersection guide in vehicle navigation using camera | |
US9086293B2 (en) | Navigation device and control method for displaying detour | |
JP4339178B2 (en) | Parking space empty space guidance device and parking space empty space guidance method | |
JP2007206014A (en) | Navigation device | |
JP2008002965A (en) | Navigation device and method therefor | |
JP2008157680A (en) | Navigation apparatus | |
WO2009095966A1 (en) | Navigation device | |
KR20080019690A (en) | Navigation device with camera-info | |
JP3848351B2 (en) | Navigation device | |
JP2007155528A (en) | Display controller | |
JP4628796B2 (en) | Navigation device |