CN102798397B - 带有相机信息的导航装置 - Google Patents

Abstract

本发明涉及一种带有相机信息的导航装置(10)。所述导航装置(10)经设置以在显示器(18)上显示导航方向(3、4、5)。所述导航装置(10)进一步经设置以从相机(24)接收馈送。所述导航装置(10)进一步经设置以在所述显示器(18)上显示根据来自所述相机(24)的馈送的相机图像与所述导航方向(3、4、5)的组合。

Description

带有相机信息的导航装置

分案申请的相关信息

本案是分案申请。该分案的母案是申请日为2005年6月6日、申请号为200580050008.8、发明名称为“带有相机信息的导航装置”的发明专利申请案。

技术领域

本发明涉及一种导航装置，所述导航装置经设置以在显示器上显示导航方向。

此外，本发明涉及一种包括此种导航装置的交通工具和一种提供导航方向的方法。另外，本发明涉及一种计算机程序和一种数据载体。

背景技术

基于全球定位***(GPS)的现有技术导航装置是众所周知的，并且广泛地用作车内导航***。此种基于GPS的导航装置涉及计算装置，所述计算装置与外部(或内部)GPS接收器形成功能连接，并且能够确定其全球位置。另外，所述计算装置能够确定开始地址与目的地地址之间的路线，而所述地址可由计算装置的用户输入。通常通过软件来启用计算装置，所述软件用于根据地图数据库计算开始地址位置与目的地地址位置之间的“最佳”或“最优”路线。“最佳”或“最优”路线是基于预定标准确定的，并且无需一定是最快或最短的路线。

导航装置可能通常安装在交通工具的仪表板上，但是也可能形成为交通工具或汽车收音机的板上计算机的一部分。导航装置也可能是如PDA等手持***(的一部分)。

通过使用从GPS接收器导出的位置信息，计算装置可以规律的时间间隔确定其位置并且可将交通工具的当前位置显示给用户。导航装置也可包括用于存储地图数据的存储器装置和用于显示地图数据的选定部分的显示器。

此外，其可提供如何通过适当的导航方向导航所确定路线的指令，所述指令显示在显示器上且/或作为可听到的信号从扬声器中产生(例如，“100米以内左转”)。描绘将要实行的行为的图形(例如，指示前面左转的向左箭头)可显示在状态条中，并且也可叠加在地图本身中的合适交叉点/转弯处等上。

已知通过启用车内导航***来允许驾驶员在沿着导航***计算的路线驾驶汽车的同时起始对路线的重新计算。在交通工具面临建筑工程或严重堵车时，这一点是有用的。

还已知能够使用户选择导航装置部署的路线计算算法的类型，从而选择(例如)“正常”模式或“快速”模式(其以最短的时间计算路线，但查找出来的替代路线没有正常模式多)。

还已知允许用用户定义的标准计算路线；例如，用户可能偏好将由装置所计算的风景路线。装置软件于是将计算出各种路线，并且更青睐那些沿着其路线包含最多数目的标记为(例如)景观的兴趣点(称为POI)的路线。

在现有技术中，导航装置显示的地图和大多数地图一样是对真实世界的高度风格化或示意性的表示。许多人发现难以将真实世界的这种相当抽象的版本转换成可容易认识和理解的东西。已知这样的导航装置：其显示地图的(不完全)三维投影，所述投影可从交通工具上方和/或后方看到。这样做是为了使用户较容易理解所显示的地图数据，因为其对应于用户对世界的视觉感知。但是，这种(不完全)立体图是风格化或示意性的表示，其仍然相对难以被用户理解。

然而，使人们能容易且快速地跟随显示器上显示的方向的需要在个人导航***(例如可用作车内导航***)中特别急迫。不难理解，交通工具驾驶员应当花尽可能少的时间来观看和理解所显示的地图数据，因为他/她的主要精力应当集中在道路和交通上。

发明内容

因此，本发明的目的是提供一种克服上述问题中的至少一者并且为用户显示便于容易理解的指令的导航装置。

为了实现这个目的，本发明提供一种根据导言的导航装置，其特征在于所述导航装置进一步经设置以从相机接收馈送，并且所述导航装置经设置以在显示器上显示根据来自相机的馈送的相机图像与导航方向的组合。

通过将导航方向叠加或组合在相机图像上，向驾驶员呈现一个便于容易且快速理解的用户友好的视图。用户不需要对真实世界的抽象表示进行转换，因为相机图像是对用户看到的真实生活视图的一对一的表示。来自相机的馈送与导航方向的组合可能是所有类型的组合，例如将一者叠加在另一者上，同时在显示器的不同部分上进行展示。然而，组合也可能是时间上的组合，即，交替地展示相机馈送和导航方向。这可在预定时间间隔(例如5秒)之后改变，或可因用户的输入而改变。

根据另一实施例，本发明涉及一种导航装置，其中所述相机与所述导航装置一体形成。这种导航装置不需要外部相机馈送。所述导航装置可(例如)以使得相机通过前面屏幕提供图像的方式简单地安装在交通工具的仪表板上。

根据另一实施例，本发明涉及一种导航装置，其中所述导航方向是位置箭头、路线、箭头、兴趣点、道路、建筑物、例如向量数据等地图数据中的一者或一者以上，以上内容至少存储在存储器单元中，例如硬盘、只读存储器、电可擦除可编程只读存储器和随机存取存储器。可显示所有类型的导航方向。请注意，这些导航方向也可提供导航(查找路线)本身并不需要的信息，而是也可向用户提供额外信息。

根据另一实施例，本发明涉及一种导航装置，其进一步经设置以将导航方向叠加在相机图像上，使得导航方向的位置相对于相机图像的相应部分成预定义的空间关系。这向用户提供可非常容易理解的图像，因为所有的导航方向均可显示成使其与相机图像中的相应项目的实际位置匹配。举例来说，可将指示右转的箭头叠加在相机图像上，使其与相机图像中可看到的转弯匹配。

根据另一实施例，本发明涉及一种导航装置，其中所述导航装置包括处理单元、定位装置和方位传感器，所述定位装置和所述方位传感器经设置以与处理单元通信，所述处理单元经设置以使用来自所述定位装置的读数和所述方位传感器来计算相机和/或导航装置的位置和方位，处理单元基于所述位置和方位来计算导航方向在显示器上的位置。知道相机和/或导航装置的确切位置和方位，便可将导航方向较准确地叠加在相机馈送上。

根据另一实施例，本发明涉及一种导航装置，其中所述定位装置使用定位传感技术来确定地理位置，所述技术例如为GPS、欧洲伽利略***或其它任何全球导航卫星***或以基于地面的信标为基础的定位传感技术。

根据另一实施例，本发明涉及一种导航装置，其中所述处理单元通过比较定位装置在连续时间点上确定的相机和/或导航装置的位置，来计算相机相对于在使用中大致上垂直的第一旋转轴的方位。通过比较相机和/或导航装置在连续时间点上的位置，可计算相机和/或导航装置的行进方向。根据这一点，可计算相机的方位和方位变化。

根据另一实施例，本发明涉及一种导航装置，其中所述导航装置包括罗盘，所述罗盘向处理单元提供罗盘读数，所述处理单元经设置以基于罗盘读数计算相机相对于在使用中大致上垂直的第一旋转轴的方位。罗盘提供了一种确定相机方位的容易且有利的方式。

根据另一实施例，本发明涉及一种导航装置，其中所述方位传感器包括倾角传感器(tilt sensor)，用以确定相机相对于第二和第三旋转轴的方位，所述第二和第三旋转轴在使用中大致上是水平的。为了用较准确的方式相对于相机图像来组合或叠加导航方向，相对于第二和/或第三方向来测量相机的旋转方位。

根据另一实施例，本发明涉及一种导航装置，其中所述处理单元使用图案辨别技术将导航方向叠加在相机图像上，使得导航方向的位置相对于相机图像的相应部分成预定义的空间关系。通过使用图案辨别技术，可将导航方向组合和/或叠加在相机馈送上，而无需知道相机的确切方位。可通过单单使用图案辨别技术来完成对导航方向在显示的相机图像上的位置的确定，但是也可结合相机的所确定方位使用图案辨别技术，这样能进一步提高准确性。

根据另一实施例，本发明涉及一种导航装置，其中所述导航装置使用地图数据作为输入以用于图案识别技术。使用地图数据可简化图案辨别技术，因为当根据地图数据大概知道(例如)道路在什么位置时较容易辨别出所述道路。这使得图案辨别较准确且/或可节约计算时间。

根据另一实施例，本发明涉及一种导航装置，其中所述导航装置经设置以接收检校(calibration correction)、存储这些检校并在组合导航方向与相机图像时应用所述检校。当以使叠加在相机图像上的导航方向相对于相机图像具有预定义的空间关系的方式组合导航方向时，这尤其有利。可使用检校来消除偏移误差。

根据另一实施例，本发明涉及一种导航装置，其中所述导航装置经设置以接收或读入相机设定并使用所述相机设定来计算导航方向在显示器上的位置。不同的相机设定可导致不同的相机馈送。向导航装置提供这些相机设定会进一步提高导航方向与相机图像的组合的准确性。

根据另一实施例，本发明涉及一种导航装置，其中所述导航装置进一步经设置以从一个以上的相机接收馈送，且所述导航装置经设置以选择其中一个馈送在显示器上显示。所述一个以上的相机馈送提供不同的立体图，其可(例如)由图案辨别技术用来提高使用数学的图案辨别的质量。所述一个以上相机还可用来向用户提供在不同相机角度间作出选择的选项。

根据另一实施例，本发明涉及一种导航装置，其中所述相机对人类肉眼可看到的电磁频谱范围外的电磁辐射敏感。

根据另一实施例，本发明涉及一种导航装置，其中所述相机是红外相机。这种相机使得导航装置能够在夜间使用。

根据另一实施例，本发明涉及一种导航装置，其中所述相机经设置以拉近和/或拉远。这使得用户可根据他或她的偏好来调整相机视图。

根据另一实施例，本发明涉及一种导航装置，其中所述相机经设置以根据(例如)导航装置/交通工具的速度来拉近或拉远。这提供了一种依据导航装置的速度自动调整的相机馈送。因此，在导航装置的速度相对较高的情况下，相机可拉近以向用户提供较远前方的较清楚的视图。

根据另一方面，本发明涉及一种仪表板，其包括根据上述内容的导航装置。

根据另一方面，本发明涉及一种交通工具，其包括根据上述内容的导航装置。

根据另一实施例，本发明涉及一种交通工具，其中所述交通工具包括交通工具倾角传感器，以确定交通工具的倾角，从而将交通工具倾角读数提供给导航装置。这是测量交通工具倾角的一种有利方式。

根据另一方面，本发明涉及一种提供导航方向的方法，所述方法包括：

-在显示器上显示导航方向，其特征在于所述方法进一步包括：

-从相机接收馈送，和

-在显示器上显示根据来自相机的馈送的相机图像与相机图像上的导航方向的组合。

根据另一方面，本发明涉及一种计算机程序，所述程序当加载在计算机设置上时经设置以执行上述方法。

根据另一方面，本发明涉及一种数据载体，其包括如上所述的计算机程序。

附图说明

现在将参看随附示意图仅以举例形式描述本发明的实施例，图中相应参考符号指示相应部件，且其中：

图1示意性描绘导航装置的示意方框图，

图2示意性描绘导航装置的示意图，

图3示意性描绘根据本发明实施例的导航装置的示意方框图，

图4示意性描绘包括根据本发明实施例的导航装置的交通工具，

图5示意性描绘根据本发明实施例的导航装置，

图6示意性描绘根据本发明实施例的导航装置，

图7示意性描绘根据本发明实施例的相机，

图8a和图8b示意性描绘相机图像因相机的不同倾角而在显示器上的不同移动，

图9示意性描绘根据本发明实施例的导航装置10的功能性的流程图，

图10示意性描绘根据本发明实施例的导航装置，

图11描绘根据本发明实施例的导航装置，和

图12描绘根据本发明另一实施例的导航装置。

具体实施方式

图1展示导航装置10的实施例的示意方框图，所述导航装置包括执行算术运算的处理器单元11。处理器单元11经设置以与存储指令和数据的存储器单元通信，所述存储器单元例如为硬盘12、只读存储器(ROM)13、电可擦除可编程只读存储器(EEPROM)14和随机存取存储器(RAM)15。所述存储器单元可包括地图数据22。这个地图数据可能是二维地图数据(纬度和经度)，但也可能包括第三纬度(高度)。所述地图数据可进一步包括额外信息，例如关于加油站、兴趣点的信息。所述地图数据还可包括关于道路沿线的建筑物和物体的形状的信息。

处理器单元11还可经设置以与一个或一个以上输入装置通信，所述输入装置例如为键盘16和鼠标17。键盘16可(例如)为提供在显示器18(为触摸屏)上的虚拟键盘。处理器单元11可进一步经设置以与一个或一个以上输出装置通信，所述输出装置例如为显示器18、扬声器29和一个或一个以上用以读取(例如)软盘20或CD ROM 21的读取单元19。显示器18可为常规计算机显示器(例如，LCD)，或者可能是投影型显示器，例如用来将仪器数据投影到汽车挡风玻璃或挡风板上的仰视型显示器。显示器18也可能是经设置以充当触摸屏的显示器，其使得用户可通过用他的手指触摸显示器18来输入指令和/或信息。

处理器单元11可进一步经设置以使用输入/输出装置25与其它计算装置或通信装置通信。将输入/输出装置25展示为经设置以经由网络27来准备通信。

扬声器29也可形成为导航装置10的一部分。在导航装置10用作车内导航装置的情况下，导航装置10可使用汽车收音机、插件式计算机等的扬声器。

处理器单元11可进一步经设置以与例如GPS接收器等定位装置23通信，所述定位装置提供关于导航装置10的位置的信息。根据这个实施例，定位装置23是基于GPS的定位装置23。然而，将了解，导航装置10可实施任何类型的定位传感技术而不限于GPS。因此，其可使用例如欧洲伽利略***等其它类型的GNSS(全球导航卫星***)来实施。同样，其不限于基于卫星的位置/速率***，而是同样可使用基于地面的信标或其它任何类型的使装置能够确定其地理位置的***来部署。

然而应了解，可能提供所属领域的技术人员已知的更多和/或其它存储器单元、输入装置和读取装置。另外，如果需要的话，其中一者或一者以上可能在物理上远离存储器单元11定位。处理器单元11展示为一个方框，然而其可能包括若干并行运转或由一个主要处理器控制的可能远离彼此定位的处理单元，如所属领域的技术人员已知的。

将导航装置10展示为计算机***，但其可为任何带有经设置以执行此处论述的功能的模拟和/或数字和/或软件技术的信号处理***。将了解，虽然图1中将导航装置10展示为多个组件，但导航装置10可形成为单个装置。

导航装置10可使用导航软件，例如TomTom B.V.的称为Navigator的导航软件。Navigator软件可在触摸屏(即，通过触控笔控制)口袋PC供电的PDA装置(例如，CompaqiPaq)以及具有一体式GPS接收器23的装置上运行。组合的PDA和GPS接收器***经设计以用作交通工具内导航***。本发明还可用导航装置10的其它任何设置来实施，例如带有一体式GPS接收器/计算机/显示器的装置，或针对非交通工具用途(例如，针对步行者)或汽车之外的交通工具(例如，飞行器)设计的装置。

图2描绘如上所述的导航装置10。

Navigator软件当在导航装置10上运行时致使导航装置10在显示器18处显示正常导航模式屏幕，如图2所示。这个视图可使用文本、符号、声音指导和移动地图的组合提供驾驶指令。主要的用户界面要素如下：3D地图占据大部分屏幕。应注意，所述地图也可展示为2D地图。

所述地图展示导航装置10的位置及其紧接的周围环境，上述内容的旋转方式使得导航装置10的移动方向始终是“向上”。在屏幕下部四分之一部分上运行的可能是状态条2。导航装置10的当前位置(如导航装置10本身使用常规GPS位置查找方法所确定)及其方位(如根据其行进方向所推断)通过位置箭头3描绘。所述装置(使用存储在存储器装置11、12、13、14、15中并被应用于存储器装置11、12、13、14、15中存储的地图数据的路线计算算法)计算出来的路线4展示为阴影路径。在路线4上，所有主要行为(例如，转弯、十字路口、绕道等)均由覆盖在路线4上的箭头5来示意性描绘。状态条2也可在其左侧包含一个描绘下一行为(此处为右转)的示意图标6。状态条2还展示到达下一行为(即，右转)的距离(此处距离为50米)，所述距离是从由装置计算出来的整个路线的数据库(即，定义将采用的路线的所有道路和相关行为的列表)中提取出来的。状态条2还展示当前道路的名称8、到达之前的估计时间9(此处为2分40秒)、估计的实际到达时间25(上午11:36)以及离目的地的距离26(1.4Km)。状态条2可进一步展示额外信息，例如移动电话型信号强度指示符形式的GPS信号强度。

如上文已经提到的，导航装置可包括输入装置(例如触摸屏)，其使得用户可调用导航菜单(未展示)。从这个菜单中，可起始或控制其它导航功能。允许从本身非常容易调用的菜单屏幕(例如，从地图显示到菜单屏幕只隔一个步骤)中选择导航功能大大简化了用户交互并且使其更快速且更容易。导航菜单包含让用户输入目的地的选项。

除了一体式的GPS接收器23或来自外部GPS接收器的GPS数据馈送之外，导航装置10本身的实际物理结构可能与任何常规手持计算机基本上并无区别。因此，存储器装置12、13、14、15存储路线计算算法、地图数据库和用户界面软件；处理器单元12解译和处理用户输入(例如，使用触摸屏来输入开始和目的地地址及其它所有控制输入)并部署路线计算算法来计算最优路线。“最优”可指例如最短时间或最短距离等标准或某些其它与用户有关的因素。

更具体地说，用户使用所提供的输入装置(例如触摸屏18、键盘16等)将他的开始位置和所需的目的地输入到在导航装置10上运行的导航软件中。用户接着选择计算行进路线的方式：提供了多种模式，例如“快速”模式，其非常快速地计算路线，但路线可能不是最短的；“完整”模式，其查看所有可能的路线并定位出最短的路线，但计算花费的时间较长等。其它选项是可能的，其中用户定义一条有风景的路线，例如经过大多标记为突出美景的视图的兴趣点(POI)，或者经过儿童可能感兴趣的大多POI，或者使用最少的交叉点等。

地图数据库中将道路本身描述为线条(即，向量(例如，开始点、结束点、道路方向，整个道路由数百个此种部分组成，每一部分由开始点/结束点方向参数来唯一地定义))，所述地图数据库是在导航装置10上运行的导航软件的一部分(或由导航软件以其它方式存取)。于是，地图是一组此种道路向量，加上兴趣点(POI)、加上道路名称、加上例如公园边界、河流边界等其它地理特征，所有这些内容根据向量来定义。所有地图特征(例如，道路向量、POI等)均用对应于或关联于GPS坐标***的坐标***来定义，从而使得通过GPS***确定的装置位置能够定位在地图中展示的相关道路上。

路线计算使用作为导航软件的一部分的复杂算法。应用所述算法以获得大量可能的不同路线。接着，所述导航软件对比用户定义的标准(或装置默认值)来对其作出评价，所述标准例如为完整模式扫描、带有风景路线、经过博物馆和没有测速相机。接着，通过处理器单元11计算最符合预定标准的路线，并接着将其作为向量、道路名称和在向量结束点将采取的行为的序列(例如，对应于沿着路线中的每条道路的预定距离，例如在100米之后，左转到x街道)存储在存储器装置12、13、14、15中的数据库中。

图3描绘根据本发明的导航装置10的示意方框图，其中相应的参考符号指代图1和2中相应的部分。

根据本发明提供相机24，所述相机24经设置以向处理器单元11提供实时馈送。相机24在使用中定位成使其记录用户前方的道路。当定位在汽车中时，将相机24定位成使其记录交通工具前方的道路。相机24可与导航装置10一体化，或者可在物理上与其分开。如果是分开的，那么相机24可经由线缆或经由无线连接连接到处理器单元11。可将相机24定位在交通工具顶壁上或交通工具前面，例如靠近前灯。

导航装置10也可具备一个以上相机24，以允许用户可在不同的相机角度之间切换。还可提供后视相机。相机可为任何类型的相机，例如数码相机或模拟相机。由相机24记录的图像显示在显示器18处。

相机24也可为对人类肉眼可看到的电磁频谱外的电磁辐射敏感的相机。相机可为能够在夜间使用的红外相机。

图4展示导航装置10的一个实例，其定位在汽车1的仪表板上。导航装置10包括导向在汽车1前方的道路处的相机24。图4进一步展示显示器18是面向用户的。

根据本发明，导航装置10经设置以在显示器18上显示来自相机的实时馈送，并组合或叠加一个或一个以上导航方向。导航方向可为以下中的一者或一者以上：位置箭头3、路线4、箭头5、兴趣点、道路、建筑物和所有存储在导航装置10中的其它导航方向。这也可包含地图数据本身，例如描述道路的向量数据。下文更详细描述如何实现这个效果。

由于道路崎岖不平、引擎导致交通工具振动等，相机24提供的图像将是不稳定的。因此，导航装置10可具备消除这些不合需要的振动以提供稳定图像的软件。消除所述相机24提供的图像的不合需要的振动的软件在摄像机中广泛使用，其中其是借助所谓的稳定架(steady cam)而使用的。这是所属领域的技术人员所已知的。

可进一步对来自相机24的馈送进行处理，以便提高图像质量。这个处理可包括调整亮度、对比度，但可为任何合适的滤光。可使用滤光片在下雨的情形下提高图像质量。

来自相机24的馈送可在显示器上实时显示，但也可显示为在特定时间点(例如每隔0.5秒)上更新的静态形式。可依据导航装置10交通工具的速度、行进方向的变化(转弯)来确定连续更新之间的适当的时间间隔。

此外，导航装置可经设置以依据(例如)导航装置/交通工具的速度来执行拉近或拉远。可通过向相机24发送控制信号并提供执行变焦操作的指令来执行这个变焦操作。然而，也可通过用放大方式在显示器18处显示接收到的相机馈送的一部分来执行变焦操作。

实施例1

图5描绘本发明的第一实例。图5展示由导航装置10显示的相机24所记录的图像的静态形式。可以看出，通过处理器单元11叠加指示右转的箭头5。根据这个实施例，向用户显示用户友好的图像，以便于容易理解。这个实施例具有不需要复杂的数学和数据处理的优点。

替代图5中描绘的导航方向，也可显示上述其它导航方向，包含立体形状的导航方向，例如立体形状的箭头。

实施例2

图6展示由相机24所记录的图像的另一静态形式。根据这个实例，导航装置10将路线4与箭头5叠加。以使得路线4和箭头5在显示器18上的位置对应于相机24提供的图像的方式将二者叠加。图6清楚地展示对路线4的显示使得路线4对应于显示器18上显示的道路。此外，对箭头5的显示使得箭头5在相机24提供的图像中准确地指示右转。

将了解，通过将相机24提供的图像与导航方向(例如箭头5)叠加或组合，可容易地获得图5所示的实施例。但是，为了创建图6中提供的图像，需要更加复杂的数据处理才能使相机24提供的图像与导航方向匹配。下面将更详细地解释这一点。

为了叠加导航方向以使导航方向相对于相机图像中的相应部分具有预定义的空间关系，需要知道确切的相机位置、方向和相机设定。如果知道了所有所述信息，处理单元11便计算(例如)道路在显示器18上的位置，并与路线4叠加。

首先，需要确定相机24的位置。可简单地通过使用由处理单元11和/或定位装置23确定的GPS信息完成这个操作。根据现有技术的用法，导航装置10的位置信息和(因此)相机24的位置信息已经在导航装置10中可用。

第二，需要确定相机24的方位。使用经设置以与处理单元11通信的方位传感器来进行这个操作。方位传感器可能是定位装置23和倾角传感器27、28。倾角传感器27、28可能是陀螺仪。

图7描绘根据本发明实施例的相机24。需要相对于如图7中描绘的轴C确定第一旋转方向。同样，可简单地使用由处理单元11和/或定位装置23确定的GPS信息来进行这个操作。通过比较导航装置10在连续时间点上的位置，可确定导航装置10的移动方向。根据现有技术的用法，这个信息也已经在导航装置10中可用。假设相机24面向导航装置10的行进方向。然而，情况不一定是这样，下文中将进一步解释。

也可通过使用导航装置或相机24中包括的(电子)罗盘来确定相机24的第一旋转方向C。所述罗盘可能是电子罗盘或模拟罗盘。所述罗盘提供传送给处理单元11的罗盘读数。处理单元11基于所述罗盘读数确定相机24的第一旋转方向。

为了进一步确定相机24的方位，相机24可具备倾角传感器27、28，如图7描绘。倾角传感器27、28经设置以测量相机24的倾角。第一倾角传感器27经设置以测量图7中的弯曲箭头A指示的第二旋转方向上的倾角，即，围绕大致垂直于图表面的轴的旋转。第二旋转方向上的倾角确定显示器18上显示的相机图像中的水平线的高度。图8a中示意性描绘此种旋转对所显示的相机图像的影响。

第二倾角传感器28经设置以测量因围绕第三旋转轴旋转而产生的倾角，其中所述第三旋转轴是图7中通过虚线B描绘的相机24的中心轴。图8b中示意性描绘此种旋转对所显示的相机图像的影响。

在使用中，第一旋转轴大致是垂直的，且第二和第三旋转轴相对于第一旋转轴且相对于彼此大致垂直。

将倾角传感器27、28确定的倾角值传送到处理器单元11。倾角传感器27和28也可形成为单个一体式倾角传感器。

此外，可将相机设定(特别是相机24的透镜的变焦系数、相机角度、焦距等)传送到处理器单元11。

基于可供处理器单元11用来描述相机24的位置、方向和设定的信息，处理器单元11确定将在显示器18处的哪个位置显示对应于存储在存储器装置11、12、13、14、15中的地图数据的道路、十字路口、岔口、兴趣点等。

处理器单元11可基于这个信息将例如路线4、箭头5、兴趣点POI等导航方向叠加在处理器单元11所显示的相机图像上，使其与相机视图重合。用使导航方向看起来浮在路面上方或与路面具有其它某种预定义的空间关系的方式叠加导航方向可能是有用的。

由于导航装置10计算出任何交叉点或转弯(或其它方向变化)有多远，所以其可大概算出显示器18上显示的导航方向的形状应如何，以及应将导航方向定位在哪个位置上才能对应于如来自相机24的馈送上显示的方向变化的实际位置。

然而由于若干原因可能会存在误差。首先，导航装置10可用许多方式安装在交通工具仪表板上。举例来说，当通过比较导航装置24在连续时间点上的位置来确定相机24相对于轴C的第一旋转方向时，假设相机24是指向正前方的。然而，在相机24不是与交通工具恰好对准的情况下，可能发生叠加的导航方向不匹配。

如上所述，在相机24具备内置罗盘的情况下，可通过将罗盘读数与导航装置10的确定行进方向进行比较来计算相机相对于轴C的第一旋转方位。然而，仍然可能存在误差，从而导致叠加的导航方向与相机馈送之间不匹配。

此外，倾角传感器27、28可能只能够测量相对倾角，而无法测量绝对倾角。这意味着需要对导航装置10进行校准，以便能够在相机图像上准确地定位导航方向。

为了补偿这些误差，导航装置10可具备菜单选项，其使得用户可调整显示的图像相对于显示的相机图像的相对位置。这个调整可由导航装置10通过以下方式来执行：改变显示导航方向的位置，和/或改变显示相机图像的位置，和/或改变相机24的方位。对于最后一个选项，相机24可具备致动装置以改变其方位。可独立于导航装置10来致动相机24。在相机24与导航装置10一体式形成的情况下，致动装置可改变导航装置10的方位或相机24仅相对于导航装置10的方位。

用户可简单地使用箭头键来校准导航方向的位置，使其与相机图像匹配。举例来说，如果相机24以使其围绕图7描绘的轴C向左倾斜的方式定位，那么导航方向相对于相机图像中的相应部分向右偏。用户可简单地通过使用左键箭头将导航方向向左托拽来校正这个误差。导航装置10可进一步经设置以向用户提供相对于显示的相机图像调整叠加的导航方向的所显示的旋转方位的选项。

导航装置10还可经设置以向用户提供校正立体图不匹配的选项，所述不匹配例如由相机24的不同高度导致。位于汽车顶部上的相机24提供与位于交通工具的仪表板上或其前灯之间的相机24不同的道路视图(不同的立体形状)。为了使导航方向(例如3D方向(例如3D箭头)或道路的向量表示)符合相机视图，需要应用导航方向的立体变形。这种立体变形从相机24的高度、相机设定和相机24在如图7描绘的箭头A方向上的第二旋转方向下垂。

处理器单元11存储这些输入的检校，并向所有进一步显示的图像应用类似的检校。处理器单元11可对相机24的测量出来的位置、方向和方位方面的所有进一步变化进行处理，以便一直确保导航方向的准确叠加。这便于对因交通工具的方向变化或因速度斜坡、尖锐转角、加速、刹车等及其它影响相机24方位的原因导致的相机移动进行准确的补偿。

图9描绘根据本发明第二实施例的导航装置10的功能性的流程图。流程图中所示的步骤可由处理单元11执行。请注意，所有关于输入目的地地址、选择路线等步骤均在此图中被省略，因为这些步骤在现有技术中已经是已知的。

在第一步骤101中，接通导航装置10，且用户选择相机程序。这在图9中用“开始”来描绘。

在第二步骤102中，处理单元11确定导航装置10的位置。这通过使用来自例如GPS装置等定位装置23的输入来进行，如上所述。

在下一步骤103中，处理单元11确定导航装置10的行进方向。同样，对此使用来自定位装置23的输入。

接下来，在步骤104中，通过处理单元11确定相机24的方位和相机设定。同样，使用来自定位装置23的输入。也使用来自倾角传感器27、28的输入来确定相机24的方位。

根据步骤105，通过处理单元11在显示器18上显示相机图像。在步骤106中，处理单元11叠加选定数目的导航方向(例如位置箭头3、路线4、箭头5、兴趣点、道路、地图数据等)。为了进行此操作，使用所有收集到的信息来计算所显示的导航方向的位置和形状。如果需要的话，用户可通过调整所叠加的导航方向的位置和/或形状来校准这个计算。这个可选步骤由步骤107描绘。

在使用期间当通常需要或希望时可重复步骤102-107。

除了方向箭头5之外，其它类型的虚拟标志也可存储在存储器装置12、13、14、15中。举例来说，可存储关于存储在存储器装置12、13、14、15中的道路名称、交通标志、速度极限、测速相机或兴趣点的图标。所有这些也可叠加在来自相机24的馈送上，其中所显示的相机图像中的空间位置对应于虚拟标志所涉及的真实世界特征。因此，处理单元11可从导航软件中获取包含这些真实世界特征的位置数据的2D地图数据，并应用可在将所述特征叠加在视频馈送中时使其正确定位的几何变换。

在(例如)带有导航装置10的交通工具上山或下山时，倾角传感器27、28检测如图7中描绘的箭头A方向上的倾角。然而，为了将导航方向正确地叠加在相机图像上，以便使导航方向与相机图像重合时，不应校正这个倾角。可通过向导航装置提供包括高度信息的地图数据来对此进行设置。基于地图高度数据，导航装置10计算相机24的对应于交通工具正在行进的道路的方位的倾角。将这个预测的倾角与倾角传感器27、28检测到的倾角进行比较。用预测的倾角与检测到的倾角之间的差别来调整叠加的导航方向的位置。

在地图数据不包括高度信息的情况下，交通工具可具备交通工具倾角传感器30。交通工具倾角传感器30经设置以向处理单元11提供交通工具倾角读数。接着，将交通工具倾角传感器30的读数与倾角传感器27、28的读数进行比较，且使用因不合需要的振动等导致的差别来调整叠加的导航方向的位置。

将了解，可想出对以上解释和展示的实例的各种类型的更改。

图10描绘地图数据还包括描述道路沿线的物体(例如建筑物31)的数据的实例。根据这个实例，可用虚线或闪烁的线来展示叠加在建筑物31上的导航方向3、4、5。这使得用户可看到原本会被建筑物挡住而无法看到的地图数据、路线4和箭头5。

第三实施例

根据第三实施例，通过使用图案辨别技术将导航方向叠加在相机图像上。

近些年来，在对图像帧(例如，由如相机24提供的视频馈送)进行实时分析以识别出视频馈送中的实际物体的领域中已取得巨大进步。这个领域中的文献相当广泛：例如可参考US5627915(Princeton Video Image Inc.)，其中通过图案识别软件分析来自例如运动馆等场景的视频；操作人员手动指示馆内的高对比度区域(例如，台面上标记的线；台面边缘；告示牌)，且所述软件使用这些高对比度的地标建立整个馆的几何模型。于是，软件能够分析实时视频馈送以便查找这些地标；于是其能够获取所存储的由计算机产生的图像(例如，告示牌的广告)、向所存储的图像应用几何变换，以便当使用图像合成技术在参考几何模型界定的位置处***视频馈送中时，其在视频观看者看来仿佛是场景的完全自然的部分。

也可参看Facet Technology的US 2001/0043717；其揭示了一种可对从移动的交通工具中获取的视频进行分析以便辨别道路标志的***。

总之，应用于实时视频分析以便辨别真实世界特征的图案辨别技术是一个广泛且发展良好的领域。

在一个实施方案中，导航装置10部署图案辨别软件，以辨别来自相机24的视频馈送中的真实世界特征，并以与视频馈送中辨别的真实世界特征的预定义的空间关系在显示器18上显示导航方向(例如箭头5)。举例来说，视频馈送可能显示目前所述导航装置10正在行进的道路，且导航方向则是叠加在所述道路上的3D方向(例如，3D箭头)。道路转弯和其它特征可用图形或图标的形式表示，并且定位成覆盖其涉及的真实世界特征。

可对处理单元11进行编程，使其可辨别具有高视觉对比度并且与给定道路相关联的特征。所述特征也可能是在一贯的方向上移动的交通工具或道路标记(例如，边缘标记、中线标记等)。

请注意，导航装置10经编程以使其可辨别具有高视觉对比度并且与道路相关联的特征。举例来说，所述特征可能是在一致的方向上移动的交通工具或道路标记。

导航装置10可(例如)编程有前方道路的几何模型：所述模型可能简单到两条线的程度。所述模型可能仅仅是经存储以形成地图数据的向量数据，如上所述。

于是，在使用中，图案辨别软件查找由相机24提供的实时视频流中对应于所存储的几何模型(例如，两条线)的视觉特征。一旦其定位出这些特征，其实际上便已识别出前方的道路。这通常将要求对视频馈送中辨别出的特征(例如，两条线)应用快速平移和变换，以实现与所存储的模型的匹配；所述平移是x-y平移，以便使辨别出的特征与所存储的模型近似地对准。所述变换包含缩短视线，以对应于不同的相机高度和两条线之间的相对方位，从而对应于不同的相机观看角度和相机与道路之间的相对角度。同样，可应用变换，以便相对于辨别出的特征来对准和成形所存储的模型。

所属领域的技术人员将了解，图案辨别算法具有地图数据作为输入是有利的。当算法提前知道关于要辨别的图案的资料时，可用较容易且较快速的方式进行图案辨别。根据可用的地图数据可容易地获得所述资料。

一旦知道了变换，以下便是相对简单的操作：将预先存储的箭头图标成形以使其立体图、形状和方位对应于任何给定视频帧中的道路的立体图、形状和方位(多种类型的几何变换可能适合此操作)，且接着使用常规图像合成将方向箭头叠加在显示器中显示的道路上。以看起来浮现在路面上方或与其具有其它某种预定义的空间关系的方式叠加箭头可能是有用的。

由于导航装置10计算出任何交叉点或转弯(或其它方向变化)有多远，所以其可大概算出显示器18上显示的导航方向应当如何成形才能对应于视频馈送上展示的方向上的变化的实际位置。

将了解，导航装置10也可使用上述实施例的组合。举例来说，导航装置可使用方位和定位测量来粗略地确定导航方向在显示器18上的位置，并使用图案辨别技术来确定导航方向在显示器18上的位置。

将了解，可想到对以上提到的实施例的许多替代和更改。举例来说，另一特征是也可将存储在装置存储器12、13、14、15中的道路名称、交通标志(例如，单向、禁止通行、出口编号、地名等)、速度极限、测速相机和兴趣点的指示叠加在视频馈送上——视频帧中的这个“视觉标志”的空间位置可对应于虚拟标志涉及的真实世界特征。因此，可叠加速度极限(例如，文本“30mph”)，使其看起来仿佛覆盖在有30mph速度极限的道路的路面上或是其一部分。可将代表特定类型的交通标志的图标叠加在视频流上，使其出现在将有益地出现真实世界标志的位置上。

除了方向箭头5之外，也可将其它类型的虚拟标志存储在存储器装置12、13、14、15中。举例来说，可将关于道路名称、交通标志、速度极限、测速相机、公交车站、博物馆、房屋编号或兴趣点的图标存储在存储器装置12、13、14、15中。所有这些均可也叠加在视频馈送上，其中所显示的视频中的空间位置对应于虚拟标志所涉及的真实世界特征。因此，软件可从导航软件中获取包含这些真实世界特征的位置数据的2D地图数据，并应用在所述特征叠加在视频馈送中时使其正确定位的几何变换。

根据另一替代方案，图案辨别技术也可经设置以辨别道路上的物体，例如(举例来说)其它交通工具或卡车。当辨别出此种物体时，可将所显示的路线4展示为虚线，例如图11中所示。这提供用户较容易理解的图像。

第四实施例

根据第四实施例，来自相机24的馈送和导航方向(例如位置箭头3、路线4、箭头5、兴趣点(POI)、道路、建筑物、地图数据(如向量数据))并不叠加，而是以组合的方式在显示器18上显示。

可通过将显示器划分成第一部分和第二部分来实现这种组合，其中第一部分显示相机馈送，且第二部分显示导航方向。然而，也可在时间上执行组合，即，导航装置可经设置以依次轮流展示相机馈送和导航方向。可通过将相机馈送展示持续第一时期(例如，2秒)并接着将导航方向展示持续第二时期(例如，2秒)来实现这种效果。然而，导航装置也可向用户提供按其需要在相机馈送与导航方向之间切换的选项。

当然，可使用一个以上相机。可向用户提供从第一相机馈送切换成第二相机馈送的选项。用户也可选择同时在显示器18上显示一个以上相机馈送。

根据另一替代方案，用户可拉近或拉远。当拉远时，将逐渐在显示器18上显示导航装置10的越来越多的环境。将了解，用户可选择(例如)直升机视图(如图2所示)，其中包含导航装置10的位置。此种视图提供从后方观看导航装置10(或交通工具)的图像。当然，此种视图无法由固定在导航装置10或交通工具上的相机提供。因此，导航装置10可提供如图12所展示的图像，其中图像中只有一部分是相机视图，其周围是地图数据和导航方向。

虽然上文已经描述了本发明的特定实施例，但将了解，可用不同于所述的方式实践本发明。举例来说，本发明可采用含有描述上述方法的一个或一个以上机器可读指令序列的计算机程序或其中存储着此种计算机程序的数据存储媒体(例如，半导体存储器、磁盘或光盘)的形式。所属领域的技术人员机将了解，软件组件中的任一者也可形成为硬件组件。

以上描述希望是说明性的而不是限制性的。因此，所属领域的技术人员将明白，可在不偏离随附权利要求书的范围的情况下对所描述的本发明进行修改。

Claims (11)

1.一种可定位于车辆中的导航装置(10)，所述装置经设置以接收来自相机(24)的、车辆前方道路的视频馈送和来自定位装置(23)的、指示所述装置和/或相机的位置的数据，并且所述装置进一步经设置以显示来自所述相机(24)的视频馈送的所述相机图像和显示器(18)上的导航方向(4、5)的组合，所述装置的特征在于：

所述导航方向包括表示要跟随的计划路线的路径(4)，所述路径(4)采用路线计算算法来计算，其中所述路径(4)是一条线，并且所述装置(10)经设置以利用图案识别技术来处理所述视频馈送，以检测所述相机图像中的车辆前方道路并且将所述导航方向叠加到所述相机图像上，使得所述导航方向和所述相机图像相对于在所述相机图像中示出的被检测道路表面具有预定义的空间关系,

其中，所述导航装置(10)经设置以接收用户输入检校，以通过装置菜单调整所述导航方向(4、5)相对于所显示的所述相机图像的位置。

2.如权利要求1所述的导航装置，其中所述导航方向进一步包括在所述要跟随的计划路线上指出调动的箭头(5)。

3.根据权利要求1或2所述的导航装置，其中表示所述要跟随的计划路线的所述路径(4)是实线或虚线。

4.根据权利要求1或2所述的导航装置，其中所述装置(10)经设置以接收检校、存储这些检校并且在将所述导航方向(4、5)叠加到所述相机图像上时应用所述检校。

5.根据权利要求1或2所述的导航装置，其中所述装置(10)经设置以从至少一个方位传感器(23、27、28)接收读数，以利用所述读数计算所述装置的方位，以及利用所计算的方位将所述导航方向(4、5)叠加到所述相机图像上。

6.根据权利要求1或2所述的导航装置，其中所述装置经设置以存储与一个或更多个真实世界特征相关联的信息，并且所述装置进一步经设置以接收相机(24)设定，并且其中利用与由虚拟标志表示的存储信息以及所述相机设定相关联的位置数据来将表示所存储的真实世界特征信息的所述虚拟标志叠加到所述相机图像上，使得所述虚拟标志在显示的相机图像中具有对应于所述真实世界特征的位置的空间位置。

7.根据权利要求6所述的导航装置，其中所述虚拟标志涉及以下中的一个或更多个：道路名称、交通标志、速度极限、测速相机、建筑物和兴趣点。

8.根据权利要求1或2所述的导航装置，其中所述装置(10)进一步经设置以从与所述装置一体式形成的所述相机(24)接收所述视频馈送。

9.一种导航装置(10)，所述装置经设置以存储地图数据，所述地图数据包括：与真实世界特征相对应的一个或多个物体的位置；指示所述一个或多个物体的形状的信息；以及用于所述一个或多个物体的额外信息，

所述装置进一步经设置以接收来自相机(24)的视频馈送，且进一步经设置以接收指示以下内容的数据：所述相机的设置；来自位置装置的相机的位置；以及来自至少一个方位传感器的所述相机的方位，且经设置以使用接收的所述数据来确定在来自所述相机的所述视频馈送中表示的所述真实世界的部分，

所述装置进一步经设置以显示来自所述相机(24)的视频馈送的相机图像和显示器(18)上的虚拟标志的组合，所述虚拟标志为与真实世界特征相对应的物体的经存储的所述额外信息的文本或图形表示，所述真实世界特征在由所述显示的相机图像表示的所述真实世界的所述部分中具有位置，

其中所述装置进一步经设置以部署图形识别技术且使用指示所述物体的所述形状的信息来识别所述显示的相机图像中对应的所述真实世界特征，并将所述虚拟标志叠加到所述相机图像上，使得所述虚拟标志在显示的相机图像中具有对应于经识别的所述真实世界特征的位置的空间位置，

且其中所述装置经设置以接收用户输入检校，以通过装置菜单调整所述虚拟标志相对于经显示的所述相机图像的位置。

10.根据权利要求9所述的导航装置，其中所述虚拟标志涉及以下中的一个或更多个：道路名称、交通标志、速度极限、测速相机、建筑物和兴趣点。

11.根据权利要求9或10所述的导航装置，其中所述装置(10)进一步经设置以从与所述装置一体式形成的所述相机(24)接收所述视频馈送。