CN103513951A - 使用三维地图提供增强现实信息的设备和方法 - Google Patents

Abstract

提供了使用三维地图提供增强现实信息的设备和方法。一种用于使用3-D地图在移动装置中提供增强信息的设备包括：相机；显示器，显示通过相机实时获取的包括第一对象的当前图像；控制器，执行控制，从而实时获取的当前图像和通过预先拍摄第一对象而获取并存储的实际3-D图像被混合并在显示器上显示。

Description

使用三维地图提供增强现实信息的设备和方法

技术领域

本发明总体涉及一种用于使用相机提供增强现实(AR)的设备和方法。更具体地讲，本发明涉及一种使用三维(3D)地图提供增强信息的方法和设备。

背景技术

由移动装置提供的各种服务和附加功能正在逐渐增加，在这些服务和附加功能中，相机功能被认为是必要功能。为了增强移动装置的有效值并且满足用户的各种需求，需要用于将带有相机的移动装置与移动装置的各种附加服务和功能相结合的应用。这种应用的一个示例是将相机图像中的对象的各种信息项显示给用户的方法。为了此目的，可应用增强现实技术。

通常，增强现实是指将用户期望表示的虚拟对象与作为背景的真实世界进行组合。也就是，增强现实是指通过将虚拟对象和真实环境进行组合来将虚拟对象表示为真实环境中存在的事物。由于即使用户的相机位置或用户的姿势改变或者即使虚拟对象将被显示的位置处的真实对象被移动，虚拟对象也应该没有误差地在正确的位置被增强，因此在这个背景下，实时图像识别技术逐渐地被使用。

以下述内容为基础来提供现有的增强现实服务：将正被拍摄的相机图像与预先存储的数据库图像相互比较来示出增强信息，从而提取的图像被增强并显示在相机图像上。然而，由于如上所述的现有的增强现实服务使用通过相机获取的实时图像，这受到相机的视场(FOV)的限制。例如，当具有相机的移动装置的用户正在多个建筑物所在的街道上散步时，相机可拍摄与相机的镜头相反方向上的建筑物中的最前面的一个或多个建筑物，但是不能拍摄被最前面的建筑物遮挡的其他建筑物或者道路。因此，存在的问题在于位于最前面的建筑物后面的其他建筑物或道路的信息不可获得，因此关于它们的增强信息不能提供给用户。

因此，存在对使用3-D地图提供更大量的增强信息的方法和设备的需要。

上述信息被描述为背景信息，仅为了帮助理解本公开。对于上述任何信息是否可适于作为本发明的现有技术，并没有做出确定和声明。

发明内容

本发明的多个方面在于解决至少上述问题和/或缺点并且提供至少以下描述的优点。因此，本发明的一方面在于提供一种能够使用三维3-D地图提供关于通过相机获取的当前图像中包括的对象的多条信息的设备和方法。

本发明的另一方面在于提供一种能够使用3D地图提供关于通过相机获取的当前图像中包括的对象的增强信息的设备和方法。

上述方面的至少一个可由以下阐述的配置元件来实现。

根据本发明的一方面，提供了一种用于使用3-D地图在移动装置中提供增强信息的设备。所述设备包括：相机；显示器，显示通过相机实时获取的包括第一对象的当前图像；控制器，执行控制，从而将实时获取的当前图像和通过先前拍摄第一对象而获取并存储的实际3-D图像混合并在显示器上显示。

根据本发明的另一方面，提供了一种使用3-D地图在移动装置中提供增强信息的方法。所述方法包括：使用相机实时获取包括第一对象的当前图像；将使用相机实时获取的当前图像与通过预先拍摄第一对象而获取并存储的实际3-D图像进行混合并在显示器上显示。

根据本发明的另一方面，提供了至少一个非暂时性处理器可读介质。该介质存储配置为可被至少一个处理器读取的指令的计算机程序，所述指令用于指令所述至少一个处理器执行用于执行这里的方法的计算机处理。

根据本发明的另一方面，能够使用3-D地图提供对于通过相机获取的当前图像中包括的对象的各种信息项。

根据本发明的另一方面，还能够使用3-D地图在通过相机获取的当前图像中清楚地指示车辆的驾驶路线。

根据本发明的另一方面，即使通过相机获取的当前图像中的用户感兴趣的对象被一个或多个其他对象遮挡，也能够使用3-D图像提供所述感兴趣对象的增强信息。

从下面结合附图公开本发明的示例性实施例的以下详细描述中，对于本领域的技术人员来说，本发明的其他方面、优点和突出特点将变得清楚。

附图说明

通过下面结合附图进行的详细描述，本发明的上述和其他方面、特征和优点将会变得更加清楚，其中：

图1是示出根据本发明的示例性实施例的移动装置的示意性框图；

图2是示出根据本发明的示例性实施例的移动装置的透视图；

图3是示出根据本发明的示例性实施例的实际三维(3-D)地图提供单元的配置的框图；

图4是用于描述根据本发明的示例性实施例的使用3-D地图的增强信息提供方法的示意性流程图；

图5A至5C是用于描述根据本发明的示例性实施例的使用3-D地图提供增强信息的方法的示意图；

图6A至6C是用于描述根据本发明的示例性实施例的使用3-D地图提供增强信息的方法的示意图。

贯穿附图，应该注意相同的标号用于表示相同或类似的元件、特征和结构。

具体实施方式

提供以下参照附图进行的描述以帮助全面理解由权利要求及其等同物限定的本发明的示例性实施例。所述描述包括各种特定细节来帮助理解，但是这些细节将被认为仅仅是示例性的。因此，本领域的普通技术人员将认识到，在不脱离本发明的范围和精神的情况下，可对在此描述的实施例进行各种改变和修改。另外，为了清楚和简明，可省略对公知功能和构造的描述。

以下描述和权利要求中使用的术语和词语不限于书面含义，而是仅被发明人使用以使得能够清楚和一致地理解本发明。因此，本领域的技术人员应清楚，提供下面对本发明的示例性实施例的描述仅是为了说明目的，而不是为了限制由所附权利要求及其等同物限定的本发明的目的。

应该理解，除非上下文清楚地另有指示，否则单数形式包括复数指示物。因此，例如，提到“组件表面”包括提到一个或多个这样的表面。

图1是示出根据本发明的示例性实施例的移动装置的示意性框图。

参照图1，设备100可使用移动通信模块120、子通信模块130和连接器165连接到外部装置(未示出)。外部装置可包括另一装置(未示出)，例如，便携式电话(未示出)、智能电话(未示出)、平板PC(未示出)或服务器(未示出)。

参照图1，设备100包括触摸屏190和触摸屏控制器195。此外，设备100包括控制器110、移动通信模块120、子通信模块130、多媒体模块140、相机模块150、全球定位***(GPS)模块155、输入/输出模块160、传感器模块170、存储单元175和电源单元180。子通信模块130包括以下模块中的至少一个：无线局域网(WLAN或无线LAN)模块131和近场通信(NFC)模块132；多媒体模块140包括以下模块中的至少一个：广播模块141、音频再现模块142和运动图像再现模块143。相机模块150包括以下模块中的至少一个：第一相机151和第二相机152。输入/输出模块160包括按钮161、麦克风162、扬声器163、振动马达164、连接器165和键区166。

控制器110可包括CPU111、存储用于控制设备100的一个或多个控制程序的只读存储器(ROM)112以及随机存取存储器(RAM)113，RAM113存储从设备100的外部输出的信号或数据或者被用作对于在设备100中执行的操作的存储区域。CPU111可包括单核、双核、三核或四核。CPU111、ROM112和RAM113可通过内部总线彼此连接。

控制器110可控制移动通信模块120、子通信模块130、多媒体模块140、相机模块150、GPS模块155、输入/输出模块160、传感器模块170、存储单元175、电源单元180、触摸屏190和触摸屏控制器195。

移动通信模块120使得设备100根据控制器110的控制使用一根或多根天线(未示出)通过移动通信与另一外部装置连接。移动通信模块120发送/接收对于与具有输入到设备100的电话号码的便携式电话(未示出)、智能电话(未示出)、平板PC或另一装置(未示出)的语音通信、图像通信、短消息服务(SMS)或多媒体消息服务(MMS)的无线信号。

子通信模块130可包括WLAN模块131和NFC模块132中的至少一个。例如，子通信模块130可仅包括WLAN模块131，仅包括NFC模块132或包括WLAN模块131和NFC模块132两者。

WLAN模块131可根据控制器110的控制在可获得无线接入点(AP)(未示出)的地方连接到互联网。WLAN模块131使用电气和电子工程师协会的无线LAN标准(IEEE802.11x)。NFC模块132可根据控制器110的控制来执行设备100和图像形成设备(未示出)之间的短距离通信。在示例性实施例中，可包括短距离通信、蓝牙通信、红外线通信(红外线数据联盟或“IrDA”)等。

设备100可根据它的性能包括以下模块中的至少一个：移动通信模块120、WLAN模块131和NFC模块132。例如，设备100可根据它的性能包括以下模块的组合：移动通信模块120、WLAN模块131和NFC模块132。

多媒体模块140可包括广播通信模块141、音频再现模块142或运动图像再现模块143。广播通信模块141可根据控制器110的控制通过广播通信天线(未示出)接收从广播站传送的广播信号(例如，TV广播信号、无线电广播信号或数据广播信号)以及广播附加信息(例如，电子节目指南(EPG)或电子服务指南(ESG)信息)。音频再现模块142可根据控制器110的控制再现存储或接收的数字音频文件(例如，具有文件扩展名.mp3、.wma、.ogg或.wav)。运动图像再现模块143可根据控制器110的控制来再现存储或接收的数字运动图像文件(例如，具有扩展名.mpeg、.mpg、.mp4、.avi、.mov或.mkv)。运动图像再现模块143还可再现数字音频文件。

多媒体模块140可包括音频再现模块142和运动图像再现模块143，但是不包括广播通信模块141。此外，多媒体模块140的音频再现模块142或运动图像再现模块143可被包括在控制器110中。

相机模块150可包括以下模块中的至少一个：根据控制器110的控制拍摄静止图像或运动图像的第一相机151和第二相机152。此外，第一相机151或第二相机152可包括辅助光源，例如，提供拍摄所需的光量的闪光灯(未示出)。第一相机151可布置在设备100的前表面，第二相机152可布置在设备100的后表面。可选择地，第一相机151和第二相机152可彼此相邻地布置(例如，第一相机151和第二相机152之间具有的间隔处于从1厘米到8厘米的范围)，以拍摄三维(3D)静止图像或3-D运动图像。

GPS模块155可从地球轨道(未示出)上的多个GPS卫星接收电波，并且可使用来自GPS卫星(未示出)的电波到达设备100的时间来计算设备的位置。

输入/输出模块160可包括以下模块中的至少一个：按钮161、麦克风162、扬声器163、振动马达164、连接器165和键区166。

按钮161可形成在设备100的前表面、侧表面或后表面上，并且可包括以下按钮中的至少一个：电源/锁定按钮(未示出)、音量按钮(未示出)、菜单按钮、主页按钮、后退按钮和搜索按钮。

麦克风162根据控制器110的控制来接收语音或声音输入并将该输入转换为电信号。

扬声器163可根据控制器110的控制将与移动通信模块120、子通信模块130、多媒体模块140或相机模块150的各种信号对应的声音(例如，与无线信号、广播信号、数字音频文件、数字运动图像文件、照片等对应的声音)输出到设备100的外部。扬声器163可输出与由设备100执行的功能对应(例如，与按钮操作声音对应或者与对应于电话通信的通信连接声音对应)的声音。一个或多个扬声器163可形成在设备100的外壳上的适当的位置或多个位置。

振动马达164可根据控制器110的控制来将电信号转换为机械振动。例如，当处于振动模式下的设备接收到来自100从另一装置(未示出)的语音通信时，振动马达164操作。一个或多个振动马达164可设置在设备100的外壳中。振动马达164可响应于用户触摸触摸屏190的触摸动作或触摸屏190上的连续触摸移动而操作。

连接器165可被用作用于将设备100与外部装置(未示出)连接或者连接到电源(未示出)的接口。根据控制器110的控制，通过与连接器165连接的线缆，存储在设备100的存储单元175中的数据可被发送到外部装置(未示出)，或者可从外部装置(未示出)接收数据。通过与连接器165连接的线缆，可从电源(未示出)输入电能或者可对电池(未示出)充电。

键区166可从用户接收用于控制设备100的键输入。键区166可采用形成在设备100上的物理键区(未示出)或显示在触摸屏190上的虚拟键区(未示出)的形式。根据设备100的性能或配置，形成在设备100上的物理键区(未示出)可被省略。

传感器模块170包括感测设备100的状况的至少一个传感器。在示例性实施例中，传感器模块170可包括检测用户是否接近设备100的接近传感器、检测设备100周围的光量的照明传感器(未示出)或者检测设备100的动作(例如，设备100的旋转、其加速度或者振动是否应用到设备100)的运动传感器(未示出)。传感器中的至少一个可检测该状况，产生与所述检测对应的信号并将该信号发送给控制器110。可根据设备100的性能来添加或省略传感器模块170的传感器。

存储单元175可根据控制器110的控制来存储信号或数据输入/输出以与移动通信模块120、子通信模块130、多媒体模块140、相机模块150、GPS模块155、输入/输出模块160、传感器模块170和触摸屏的操作对应。存储单元175还可存储用于控制设备100或控制器110的控制程序和应用。

术语“存储单元”可包括控制器110中的存储单元175、ROM112和RAM113或者安装在设备100中的存储卡(未示出)（例如，SD卡和存储棒）。存储单元175可包括非易失性存储器、易失性存储器、硬盘驱动(HDD)或固态驱动(SSD)。

电源单元180可根据控制器110的控制将电源供应给布置在设备100的外壳中的一个或多个电池(未示出)。一个或多个电池(未示出)将电源供应到设备100。另外，电源单元180可通过与设备100的连接器165连接的线缆来供应从外部电源(未示出)输入的电能。

触摸屏190可分别将对应于各种服务(例如，电话交谈、数据传输、广播以及摄影)的用户接口提供给用户。触摸屏190可将输入到用户接口并且与至少一个触摸对应的模拟信号发送给触摸屏控制器195。触摸屏190可通过用户的身体(例如，通过手指，包括拇指)或通过可触摸的输入装置(例如，铁笔)来接收至少一个触摸的输入。另外，触摸屏190可接收所述至少一个触摸中的一个触摸的连续移动的输入。触摸屏190可将与触摸的连续移动对应的模拟信号发送给触摸屏控制器195。

在本发明的示例性实施例中，触摸不限于触摸屏190与用户的身体或与可触摸输入装置之间的触摸，并且可包括无接触的触摸(例如，当触摸屏190与用户的身体或可触摸输入装置之间的可感测的空间不大于1毫米时)。触摸屏190可感测的空间可根据设备100的性能或配置而改变。

触摸屏190可被实现为电阻型、电容型、红外线型或声波型。

触摸屏控制器195将从触摸屏190接收的模拟信号转换为数字信号(例如，具有X坐标和Y坐标)，并将数字信号发送给控制器110。控制器110可使用从触摸屏控制器195接收的数字信号来控制触摸屏190。例如，控制器110可使得显示在触摸屏190上的快捷图标(未示出)被选择或可执行快捷图标(未示出)。此外，触摸屏控制器195可被包括在控制器110中。

图2是示出根据本发明的示例性实施例的移动装置的透视图。

参照图2，触摸屏190被布置在设备100的前接口100a的中心。触摸屏190被形成为大尺寸而占用设备100的前表面100a的较大部分。第一相机151和照明传感器170a可被布置在设备100的前表面100a的边缘区域。在设备100的侧表面100b上可布置例如电源/重置按钮160a、音量按钮161b、扬声器163、用于接收广播信号的陆地DMB天线141a、麦克风(未示出)和连接器(未示出)。在设备100的后表面(未示出)上可布置第二相机(未示出)。

触摸屏190包括主屏幕210和底栏220。

主屏幕210是执行一个或多个应用的区域。图2示出了主屏幕被显示在触摸屏190上的示例。主屏幕可以是当设备100被开启时显示在触摸屏190上的第一屏幕。在主屏幕上，可以以行和/或列排列来显示用于执行存储在设备100中的多个应用的多个执行键212。可用图标、按钮、文本等来形成执行键212。当执行键212的每一个被触摸时，与被触摸的执行键212对应的应用可被执行并显示在主屏幕210上。

底栏220在触摸屏190的下端水平地延伸，并且可包括多个标准功能按钮222至228。

此外，在触摸屏190的顶端，顶端栏(未示出)可被形成来显示设备100的状态，例如，电池的充电状态、接收的信号的强度和当前时间。

同时，根据设备100的操作***(OS)或在设备100中执行的应用，底栏220和顶端栏(未示出)可不显示在触摸屏190上。如果底栏220和顶端栏(未示出)都不显示在触摸屏190上，则主屏幕210可被形成在触摸屏190的整个区域上。此外，底栏220和顶端栏(未示出)可被显示为半透明地重叠在主屏幕210上。

图3是示出根据本发明的示例性实施例的实际3-D地图提供单元的框图。

参照图3，3-D地图提供单元300包括地图数据库(DB)310、控制器320和通信单元330。

在示例性实施例中，地图DB310存储由相机拍摄的城市或街道的实际图像构成的实际3-D地图。这里，实际3-D地图是指通过使用车辆、飞机等拍摄实际街道并且随后使用拍摄的实际图像而实现的3-D地图。通过使用安装在车辆等上的立体相机拍摄城市或街道来获得这种实际3-D地图。因此，不仅能够获得包括在拍摄的图像中的对象的三维坐标(x、y和z坐标)，而且能够获得与在拍摄中使用的相机与对象之间的距离对应的深度信息。此外，可通过使用飞机拍摄宽范围的多个二维(2-D)图像，提取拍摄的图像中的每两个相邻2-D图像之间的重叠区域的深度信息并且通过三维映射来执行三维建模，来实现这种3-D地图。此外，包括在实际3-D地图中的每个对象具有多条3-D信息和深度信息项。例如，显示每个对象的多个像素可具有3-D信息和深度信息项。作为结果，实际3-D地图可不仅区分出特定建筑物的位置，而且区分出建筑物的轮廓(例如，特定建筑物的前视图、后视图和侧视图)，并且还可区分出建筑物的各个层。相反，现有的2-D地图与前述3-D地图的不同在于：由于仅来自2-D地图的GPS信息被使用，因此对于特定建筑物仅能提供简单的位置信息项，因此不能详细地区分出建筑物的前侧和后侧或者各个层。

控制器320通过通信单元330从移动装置100接收对存储的3-D图像和增强信息的请求，并且响应于该请求将3-D图像和增强信息提供给移动装置100。将在下面对由控制器320提供给移动装置100的3-D图像和增强信息进行详细描述。

图4是用于描述根据本发明的示例性实施例的使用3-D地图提供增强信息的方法的示意性流程图。

参照图4，在步骤S401，移动装置100的控制器使用相机150获取外部当前图像。外部当前图像可被实时获取，并且获取的外部当前图像可被显示在显示器190上。多个对象可被包括在外部当前图像中。例如，各种对象(诸如建筑物、街道、车辆和步行者)可被包括在外部当前图像中。然而，由于某些限制(例如，用户握持移动装置100的位置、上面安装移动装置100的车辆的高度以及相机150的视场(FOV)，第一对象可能被外部图像中的多个对象中的至少一个第二对象阻挡。

在步骤S402，移动装置100的控制器110从3-D地图提供单元300请求第一对象的增强信息。在步骤S402，移动装置100将由GPS模块155获取的GPS信息(位置信息)、由传感器模块170获取的相机150瞄准方向信息以及由相机150获取的外部当前图像发送给3-D地图提供单元300。增强信息可包括先前拍摄的第一对象的3-D图像。增强信息还可包括关于兴趣点(POI)的各种信息，例如，车辆导航信息、建筑物的名称、关于位于建筑物内部的任何特定商店的信息、广告信息等。

在步骤S403，3-D地图提供单元300将从移动装置100接收的GPS信息、由传感器模块170获取的相机150瞄准方向信息以及外部当前图像与先前存储的实际3-D图像进行比较，以在步骤S404获取与第一对象匹配的先前存储的3-D图像。

在步骤S405，3-D地图提供单元300将获取的与第一对象匹配的先前存储的3-D图像发送给移动装置100。另外，3-D地图提供单元300可另外将预定增强信息以及获取的先前存储的3-D图像发送给移动装置100。

在步骤S406，移动装置100的控制器将外部当前图像与匹配的实际图像进行合成。在步骤S407，移动装置100的控制器110执行控制，从而显示器190显示合成的图像，在合成的图像中，由相机150获取的外部当前图像和与第一对象的至少一部分对应因此从3-D地图提供单元300接收的先前存储的3-D图像彼此合成。对于此目的，控制器110可产生合成图像(在合成图像中，由相机150获取的外部当前图像和与第一对象的至少一部分对应因此从3-D地图提供单元300接收的先前存储的3-D图像彼此合成)，并在显示器190上显示合成的图像。此外，合成图像可在3-D地图提供单元300中产生并且被提供给移动装置100。可由位于距离移动装置100较远的服务器来配置3-D地图提供单元300，或者3-D地图提供单元300可形成在移动装置100内部。

图5A至5C是用于描述根据本发明的示例性实施例的使用3-D地图提供增强信息的方法的示意图。

图5A示出使用2-D地图在导航***中指示驾驶方向的示例。参照图5A，2-D地图被显示在移动装置100的显示器190上，并且多个建筑物431至436位于道路420的交叉点周围。可由计算机图形来实现2-D地图。当期望引导携带移动装置100的用户或者安装有移动装置100的车辆以从道路420的交叉点向右行使时，指示驾驶方向的箭头440被如此指示：该箭头漂浮在建筑物E435和建筑物F436的上方而非正确地指示在位于建筑物D434和建筑物E435之间的道路420上。这是因为仅建筑物D434和建筑物E435的GPS位置可被掌握，而建筑物D434和建筑物E435的三维轮廓不能从2-D地图被正确地识别。

图5B示出使用实际3-D地图在导航***中显示驾驶方向的示例。参照图5B，由于显示在移动装置100的显示器190上的3-D地图包括每个对象的三维信息和深度信息，因此建筑物D434和建筑物E435的3维轮廓(例如，建筑物的前侧、后侧、左侧、右侧和各个高度)可被正确地掌握，因此，指示驾驶方向的箭头440可被显示为位于建筑物D434的前侧和建筑物E435的后侧之间的道路420上。在这种情况下，由于实际3-D地图被使用，因此箭头440可被显示，就如该箭头被绘制在道路420上而非看起来处于漂浮的状态。可由相机拍摄的实际图像来形成3-D地图。然而，在图5B中，由于箭头440的一部分被建筑物E435部分遮挡，因此用户可能处于难于识别正确的驾驶方向和用户的目的地的状况。

图5C示出根据本发明的示例性实施例的使用实际3-D地图在导航***中显示驾驶方向的示例。参照图5C，通过相机150实时拍摄的外部当前图像被显示在移动装置100的显示器190上。外部当前图像包括道路420以及位于道路420周围的多个建筑物431至436。

根据本示例性实施例，移动装置100的控制器110可调整位于建筑物D434前面的建筑物E435和建筑物F436的透明度，从而建筑物D434的整个外观可被显示在显示器190上。这里，可假设建筑物D434是第一对象，而建筑物E435和建筑物F436是第二对象。例如，在图5C中，建筑物E435和建筑物F436的轮廓由虚线指示以表示建筑物E435和建筑物F436的半透明显示的状态。另外，移动装置100的控制器110可将建筑物E435和建筑物F436处理为透明，从而建筑物E435和建筑物F436不被显示在显示器190上。此外，用于引导持有移动装置100的用户或安装有移动装置100的车辆的驾驶方向的箭头440被指示在建筑物D434前面的道路420上。如上所述，根据本发明，指示驾驶方向的箭头440可被显示为如同箭头440被直接绘制在由相机150实时获取的外部当前图像中的道路上那样。此外，由于箭头440没有被建筑物E435和建筑物F436遮挡，因此用户可通过箭头440来识别正确的驾驶方向和用户的目的地。

同时，在由移动装置100的相机150实时获取的外部当前图像中，建筑物E435和建筑物F436遮挡建筑物D434的部分或全部。然而，当建筑物E435和建筑物F436如上所述被透明地或半透明地显示时，不存在建筑物D434中已经被建筑物E435和建筑物F436遮挡的区域434-1的信息。因此，在遮挡的区域434-1和未遮挡的区域434-2之间图像没有被平滑地显示。为了解决此问题，这里示例性实施例可从3-D地图提供单元300接收对于建筑物D434先前拍摄的图像中的与遮挡的区域434-1对应的图像，并且可在遮挡的区域434-1上显示该图像。作为结果，在建筑物D434的遮挡的区域434-1中，从3-D地图提供单元300接收的先前拍摄的图像被显示，并且对于建筑物D434的未遮挡的区域434-2和对于其他对象420、431、432、433和434，由相机150实时拍摄的图像被混合和显示。当存在通过输入模块160的用户的命令或者当确定至少一部分的箭头440被其他对象435和436遮挡时，控制器110可确定是否透明地或半透明地显示建筑物E435和建筑物E436，或者是否将当前图像与从3-D地图提供单元接收的先前拍摄的图像进行合成并在移动装置100的显示器190上显示该合成的图像。

图6A至6C是用于描述根据本发明的示例性实施例的使用3-D地图提供增强信息的方法的示意图。

参照图6A，通过相机150实时拍摄的外部图像被显示在移动装置100的显示器190上。外部当前图像包括第一对象610和第二对象620。此时，相机150可处于预览模式下。在这种预览模式下，当用于移除对象620的用户命令被输入时(例如，当用户轻敲或轻弹第二对象时)，响应于用户的命令，控制器110以这种方式执行控制：第二对象620被调整为透明或半透明，从而已经被第二对象620遮挡的第一对象610的轮廓可被完全显示。可选择地，当用户在触摸屏190上长按第一对象610时，控制器110可确定第一对象610被选择并且将位于第一对象610前面的第二对象620处理为透明或半透明。

参照图6B，控制器110可使得从3-D地图提供单元300接收的先前拍摄的图像与当前图像合成并且以这样的方式被显示：对于第一对象610中被第二对象620(未示出)遮挡的部分611，如上所述从3-D地图提供单元300接收的先前拍摄的图像被显示，对于除了部分611之外的第一对象610的其他部分，由相机150实时拍摄的当前图像被显示。作为结果，用户可看到在相机150的预览模式下显示的图像中的对于用户期望的特定建筑物或特定对象的整个合成图像，并且用户可通过该合成的图像容易地确定第一对象610是否是期望的目的地。

参照图6C，在第二对象620(未示出)被处理为透明或半透明的状态下，建筑物信息、商店信息、广告信息等可被显示在位于第二对象620(未示出)后面的第一对象610的表面上。在图6C中，当增强信息612(例如，“Tom'sCoffee”)被显示在作为第一对象610的建筑物的第一层的外墙上时，用户可确定第一对象610的第一层是用户的约会地点。可从3-D地图提供单元300接收增强信息。另外，显示在第一对象610上的增强信息可包括用户过去和当前关注的与第一对象610有关的信息，例如，存储在移动装置100的存储单元175中的用户的日程信息(例如，“在今天下午2点在Tom’s Coffee与Alice见面”)、存储在存储单元175中的Alice的照片以及从Alice或发送给Alice的消息(例如，“在今天下午2点我们见面时一定要带给我我要的文档！”)。由于此，存在的优点在于用户可容易地确定用户的约会地点，用户要做的工作等。

将理解，根据本发明的示例性实施例的用于使用3-D地图提供增强信息的方法可被实现为硬件、软件或硬件和软件的组合的形式。这种任意软件可被存储在易失性存储装置或非易失性存储装置(例如，ROM)、存储器（例如，RAM）、存储芯片、存储器装置或存储器集成电路、或可由机器(例如计算机)光或磁地记录和读取的存储介质(例如，CD、DVD、磁盘或磁带)，而不管软件是可擦除的还是可重写的。发明的图形屏幕更新方法可由计算机或便携式终端来实现，计算机或便携式终端包括控制器和存储器，存储器是适合于存储包含用于实现本发明的示例性实施例的指令的一个程序或多个程序的机器可读存储介质的示例。因此，本发明包括存储介质、包含用于执行在权利要求中定义的设备或方法的代码的程序、以及存储所述程序的机器可读(例如，计算机可读)存储介质。此外，程序可通过任意介质(例如，通过有线连接或无线连接发送的通信信号)被电传输，本发明适当地包括它们的等同物。

此外，用于使用3-D地图来提供增强信息的设备可从有线或无线连接的程序提供设备接收程序并存储该程序。程序提供设备可包括：存储器，用于存储包含用于执行使用3-D地图提供增强信息的方法的指令的程序；通信单元，用于执行使用3-D地图的增强信息提供设备的有线或无线通信；控制器，用于响应于使用3-D地图的增强信息提供设备的请求或者自动地将相应的程序发送给通信单元。

尽管已经参照其特定实施例显示和描述了本发明，但是本领域的技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。

Claims (14)

1.一种使用三维3-D地图在移动装置中提供增强信息的设备，所述设备包括：

相机；

显示器，显示通过相机实时获取的包括第一对象的当前图像；

控制器，执行控制，从而将实时获取的当前图像和通过预先拍摄第一对象而获取并存储的实际3-D图像混合并在显示器上显示。

2.如权利要求1所述的设备，其中，控制器执行控制，从而实际3-D图像被显示为***当前图像中的部分区域中。

3.如权利要求2所述的设备，其中，当前图像包括第一对象以及位于第一对象前面而遮挡第一对象的至少一部分的至少一个第二对象，

其中，控制器执行控制，从而所述至少一个第二对象的至少一部分被透明或半透明地显示。

4.如权利要求1所述的设备，其中，当前图像包括第一对象以及位于第一对象前面而遮挡第一对象的至少一部分的至少一个第二对象，

其中，控制器执行控制，从而实际3-D图像被显示为***当前图像中的部分区域中，从而所述至少一个第二对象的至少一部分被透明或半透明地显示，并且从而移动装置的驾驶路线被指示在第一对象和所述至少一个第二对象之间。

5.如权利要求1所述的设备，其中，实际3-D图像包括每个图像的像素的3-D信息和深度信息。

6.如权利要求1所述的设备，其中，控制器将移动装置的位置信息和方向信息发送给3-D地图提供单元，并且将当前图像发送给3-D地图提供单元，

其中，由3-D地图提供单元在当前图像上基于移动装置的位置信息和方向信息来匹配实际3-D图像。

7.如权利要求1所述的设备，其中，控制器在第一对象上显示存储在移动装置中的信息。

8.一种使用三维3-D地图在移动装置中提供增强信息的方法，所述方法包括：

使用相机实时获取包括第一对象的当前图像；

将使用相机实时获取的当前图像与通过预先拍摄第一对象而获取并存储的实际3-D图像进行混合并在显示器上显示。

9.如权利要求8所述的方法，其中，实际3-D图像被显示为***当前图像中的部分区域中。

10.如权利要求9所述的方法，其中，当前图像包括第一对象以及位于第一对象前面而遮挡第一对象的至少一部分的至少一个第二对象，

其中，所述至少一个第二对象的至少一部分被透明或半透明地显示。

11.如权利要求8所述的方法，其中，当前图像包括第一对象以及位于第一对象前面而遮挡第一对象的至少一部分的至少一个第二对象，

其中，实际3-D图像被显示为***当前图像中的部分区域中，所述至少一个第二对象的至少一部分被透明或半透明地显示，并且移动装置的驾驶路线被指示在第一对象和所述至少一个第二对象之间。

12.如权利要求8所述的方法，其中，实际3-D图像包括每个图像的像素的3-D信息和深度信息。

13.如权利要求8所述的方法，其中，移动装置将移动装置的位置信息和方向信息发送给3-D地图提供单元，并且将当前图像发送给3-D地图提供单元，

其中，由3-D地图提供单元在当前图像上基于移动装置的位置信息和方向信息来匹配实际3-D图像。

14.如权利要求8所述的方法，其中，移动装置在第一对象上显示存储在移动装置中的信息。

Images