CN103207728A

CN103207728A - 提供增强现实的方法和支持该方法的终端

Info

Publication number: CN103207728A
Application number: CN2013100102922A
Authority: CN
Inventors: 金凞云; 姜志营; 金敬和
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2012-01-12
Filing date: 2013-01-11
Publication date: 2013-07-17
Anticipated expiration: 2033-01-11
Also published as: CN103207728B; US20130182012A1; KR101874895B1; US9558591B2; KR20130083179A

Abstract

一种提供增强现实的方法和支持该方法的终端。所述支持增强现实的终端包括：相机，产生特定图像；显示单元，在预览图像模式期间显示特定图像；控制器，根据预定标准从特定图像识别至少一个表面，组合虚拟物体的图像和特定图像以便将虚拟物体的图像显示在识别的至少一个表面上，并控制显示单元输出组合图像。

Description

提供增强现实的方法和支持该方法的终端

技术领域

本发明涉及一种提供增强现实的方法和支持该方法的终端。

背景技术

由于使用方便和容易携带，便携式终端支持基于移动和广泛用于多个领域的各种功能。

这样的便携式终端具有特定功能模块以支持各种用户功能。例如，所述便携式终端可包括用于图像采集功能的相机模块。具体地讲，具有相机模块的便携式终端支持将通过相机模块采集的图像输出到显示单元上的预览功能以及存储根据用户请求采集的图像的存储功能。

近年来，已开发了与使用相机模块相关的多个不同技术，例如，作为实时的、直接或间接的、现实世界环境的景象的增强现实，其中，通过计算机产生的感觉输入来增强现实世界环境的元素。更具体地讲，增强现实将现实环境和虚拟物体组合，并且使用图形技术将虚拟现实添加到现实世界图像中。

然而，当提供增强现实时，当前的便携式终端只是组合虚拟物体图像，而没有分离现实世界物体的立体感。具体地讲，因为当前的便携式终端只是组合虚拟物体而没有分离现实世界物体之间的边界和层次，所以被应用增强现实的图像的真实感显著恶化并且缺少最佳的观看者远近关系。因此，需要提高增强现实的改进的方案，以便呈现给用户满意的事件模拟。

发明内容

考虑到以上问题做出本发明，通过提供一种从预览图像识别对象的表面以便将虚拟物体布置在识别的对象的表面上用于显示的方法，本发明提供另外优点，从而增强观看体验。

根据本发明的一方面，一种提供增强现实的方法包括：在预览图像模式期间显示特定图像；根据预定标准从特定图像识别至少一个表面，以用于在该表面上现实虚拟对象；组合虚拟物体的图像和特定图像，以便将虚拟物体的图像显示在识别的至少一个表面上；显示组合图像。

根据本发明的另一方面，一种支持增强现实的终端包括：相机，产生特定图像；显示单元，在预览图像模式期间显示特定图像；控制器，根据预定标准从特定图像识别至少一个表面，组合虚拟物体的图像和特定图像以便将虚拟物体的图像显示在识别的至少一个表面上，并控制显示单元输出组合图像。

附图说明

通过以下结合附图进行的详细描述，本发明的以上特征和优点将变得更清楚，在附图中：

图1是示出根据本发明的示例性实施例的终端的配置的框图；

图2是示意性地示出图1示出的控制器的配置的框图；

图3是示出根据本发明的示例性实施例的提供增强现实的方法的流程图；

图4示出根据本发明的示例性实施例的提供增强现实的处理；

图5示出根据本发明的另一示例性实施例的提供增强现实的处理。

具体实施方式

在下文中，参照附图详细描述本发明的示例性实施例。贯穿附图，相同的标号表示相同或相似的部件。为了清晰简明，可省略包含于此的已知功能和结构的详细描述，以避免使本发明的主题模糊。

简略地讲，本发明通过将真实物体图像与虚拟物体图像组合，以便根据多个标准将虚拟物体布置并显示在现实物体上，来提供具有提高的现实感的增强现实。为此，本发明的特征在于：本发明从特定图像（例如，观看或反映现实世界的对象的预览图像）分析色彩、边缘和阴影以识别用于显示虚拟物体的理想的对象的表面。本发明的特征在于：本发明改变或修改将被容纳在对象上的虚拟物体，以提高观看或显示体验。

在本发明中，虚拟物体是由2D图像或3D图像表达的物体。虚拟物体可与特定事件（例如，图像、日程表和终端状态警报事件）相关。因此，虚拟物体可以是指示与将被布置的对象相关的信息的物体。例如，如果对象是特定地点，则虚拟物体可以是与特定地点相关的旅游信息或对象可以是与特定的人相关的私人信息。

图1是示出根据本发明的示例性实施例的终端的配置的框图。本发明的终端可包括电子装置或移动终端，诸如便携式电话、便携式多媒体播放器（PMP）、数字广播播放器、个人数字助理（PDA）、音乐文件播放器（例如，MP3播放器）、便携式游戏终端、平板PC和智能电话。为了示例性目的，为了描述方便，以下描述假设本发明在智能手机中实现的情况下作出。

参照图1，根据本发明的实施例的终端100包括射频（RF）通信单元110、输入单元120、音频处理器130、显示单元140、相机150、存储器160和控制器170。

RF通信单元110在控制器170的控制下形成用于语音通话的通信信道、用于图像通话的通信信道和用于发送图像或消息的通信信道（称为“数据通信信道”）。具体地讲，本发明的RF通信单元110可通过数据通信信道发送根据本发明的实施例的用于请求图像分析的消息并且接收响应于该请求的图像分析结果。例如，RF通信单元110可在控制器170的控制下将用于请求关于增强现实目标图像、对象的色彩、对象的边缘和对象的阴影中的至少一个的分析的消息发送到特定服务器。作为响应，RF通信单元110可从特定服务器接收增强现实目标图像分析结果。因此，控制器170可使用分析结果的参考识别对象的表面。本发明的RF通信单元110可通过数据通信信道接收由用户输入的或来自另一外部源的用于添加增强现实的图像或者用于提供增强现实的虚拟物体图像。

输入单元120接收各种字符信息并将输入的与设置终端100的各种功能和功能控制相关的信号传输到控制器170。输入单元120可由触摸板、通用键布置的键盘和QWERTY类型的键盘之一或它们的组合配置。输入单元120还可包括设置为执行特定功能的功能键（诸如方向键、音量键和热键）。具体地讲，本发明的输入单元120可产生由用户产生的增强现实提供请求信号。为此，本发明的输入单元120可产生用于选择增强现实目标图像和虚拟物体图像的选择信号。另外，输入单元120可产生关于在增强现实目标图像中识别对象的表面的方案的选择信号。这里，用户可选择是使用特定分析元素还是使用色彩、边缘和阴影的特定组合识别对象的表面。因此，控制器170可接收关于选择表面识别方案的信号并分析增强现实目标图像，以识别对象的表面。控制器170可包括用于确定图像的亮度的亮度分析单元。输入单元120可产生输入信号设置，从而当执行图像拍摄功能时，自动执行增强现实提供程序。

音频处理器130包括：扬声器SPK，用于播放通话期间发送/接收的音频数据、包括在接收的消息中的音频数据和根据存储在存储器160中的音频文件的回放的音频数据；麦克风MIC，用于在通话期间采集用户的语音或其它音频信号。具体地讲，如果输出应用增强现实的图像，则本发明的音频处理器130可输出相应的效果声音。根据用户设置可省略效果声音。

显示单元140根据终端100的操作，显示用户输入的信息或者提供给用户的信息，作为各种屏幕。具体地讲，本发明的显示单元140输出增强现实目标图像，并且输出增强现实应用图像，所述增强现实应用图像可以是增强现实目标图像和虚拟物体图像的组合。例如，显示单元140可在控制器170的控制下，通过输出增强现实应用图像从而将虚拟物体布置在增强现实目标图像的对象上，来提供逼真的增强现实。当在增强现实目标图像中识别出对象的表面时，本发明的显示单元140可突出并显示识别的表面。显示单元140支持2D图形技术或3D图形技术。

相机150在控制器170的控制下被激活，并且相机150提供各种相机功能并支持与根据本发明的实施例的增强现实有关的功能。相机150可包括：相机传感器，将光信号转换为电信号；图像信号处理器，将模拟视频信号转换为数字视频信号；数字信号处理器，对从图像信号处理器输出的视频信号进行图像处理（缩放、去噪、RGB信号转换）以将视频信号显示在显示单元140上。这里，相机传感器可包括CCD传感器或CMOS传感器，图像信号处理器（未示出）的配置可由DSP实现。具体地讲，本发明的相机150可拍摄对象以产生预览图像并将拍摄的预览图像存储在存储器160中。控制器170可将预览图像用作根据本发明的实施例的增强现实目标图像。

存储器160存储至少一个在根据本发明的实施例的功能操作中需要的应用、由用户产生的用户数据、用网络发送/接收的消息和根据应用的执行的数据。存储器160可主要包括程序区域和数据区域。

程序区域可存储用于启动终端100和用于操作各个组成元件的操作***（OS）以及下载和安装的应用。具体地讲，本发明的程序区域存储增强现实提供程序161。

增强现实提供程序161包括例行程序，所述例行程序从增强现实目标图像中识别对象的表面以将虚拟物体布置和显示在识别的对象的表面上。

具体地讲，根据本发明的实施例的增强现实提供程序161包括获取增强现实目标图像的例行程序、从增强现实目标图像分析色彩、边缘和阴影中的至少一个以识别对象的表面的例行程序、组合增强现实目标图像和虚拟物体图像以产生增强现实应用图像从而在识别的表面上布置和显示虚拟物体的例行程序、以及输出增强现实应用图像的例行程序。同时，将参照图4和图5详细描述表面识别例行程序和产生增强现实应用图像的例行程序。

数据区域是存储根据终端100的使用产生的数据的区域。具体地讲，本发明的数据区域存储执行增强现实提供程序161期间使用或产生的数据。例如，数据区域可存储增强现实目标图像、虚拟物体图像、增强现实目标图像和虚拟物体图像的组合的增强现实应用图像、以及表面识别方案。

控制器170控制终端100的整体操作。具体地讲，本发明的控制器170可从增强现实目标图像(例如预览图像)识别对象的表面并且在识别的表面上布置和显示虚拟物体，从而控制与增强现实相关的操作。例如，控制器170从增强现实目标图像分析色彩、边缘和阴影中的至少一个以识别对象的表面。然后，控制器170组合增强现实目标图像和虚拟物体图像以产生增强现实应用图像，从而在识别的表面上布置和显示虚拟物体。控制器170控制显示单元140显示产生的增强现实应用图像，从而可提供更加逼真的增强现实。因为控制器170支持虚拟物体（该虚拟物体指示与特定对象相关的信息，该特定对象将以信息量更丰富的增强现实的形式被表现），所以可向用户提供改进的信息传输效果或可添加更有趣的元素以提高增强现实体验。为此，控制器170可包括如图2所示的组成元件。

图2是示意性示出图1所示的控制器170的配置的框图。

参照图2，本发明的控制器170包括虚拟物体图像管理器171、增强现实应用单元173和屏幕输出单元175。

在操作中，虚拟物体图像管理器171通过把将被布置和显示的虚拟物体改变为虚拟物体与特定实时的、直接或间接的、物理的现实世界环境的景象的混合（即，增强现实目标图像）来产生增强现实。为此，虚拟物体图像管理器171可根据特定事件创建虚拟物体并产生适合于特定事件的图像。这里，虚拟物体图像管理器171可根据用户的选择或警报事件（诸如消息、日程表和终端100的状态）选择虚拟物体。

虚拟物体图像管理器171还可通过改变虚拟物体的布置结构来改变虚拟物体的图像。例如，虚拟物体图像管理器171可缩小、放大、2D旋转、3D旋转、或切割虚拟物体，或者将另一虚拟物体（诸如对话气泡）添加到虚拟物体，以改变和修改虚拟物体的整体外观。因此，虚拟物体图像管理器171可改变或修改与对象的接触部分的尺寸，虚拟物体图像布置在所述接触部分。

增强现实应用单元173组合增强现实目标图像和虚拟物体图像以加强增强现实。详细地讲，增强现实应用单元173从增强现实目标图像分析对象的色彩、边缘和阴影中的至少一个以识别至少一个可布置虚拟物体的表面。增强现实应用单元173可控制RF通信单元110向特定服务器请求分析操作的代理执行。增强现实应用单元173组合虚拟物体图像和增强现实目标图像以产生增强现实应用图像。这里，增强现实应用单元173组合图像，如同虚拟物体被布置在识别的表面上一样。增强现实应用单元173将增强现实应用图像存储在存储器160中，并且通知屏幕输出单元175准备好增强现实应用图像。

另外，增强现实应用单元173可确定是否可将虚拟物体布置在识别的表面上。增强现实应用单元173可确定识别的表面是否具有能够在其上投影或接收虚拟物体的最小面积。即，增强现实应用单元173可确定面积和形状以确定是否可将虚拟物体布置在识别的表面上。同时，如果识别的表面不具有容纳虚拟物体的最小面积或合适的形状，则增强现实应用单元173确定虚拟物体不可被布置在识别的表面上，并且可向虚拟物体图像管理器171请求改变虚拟物体，从而可修改将被布置在识别的表面上的虚拟物体。

当执行用户功能时，屏幕输出单元175总体上控制显示单元140输出相应的执行屏幕。具体地讲，根据本发明的实施例的屏幕输出单元175控制显示单元140输出增强现实应用图像，从而根据增强现实请求将虚拟物体布置并显示在对象的表面上。即，当从增强现实应用单元173接收到指示增强现实应用图像完成的信号时，屏幕输出单元175访问存储器160以支持显示增强现实应用图像。

图3是示出根据本发明的示例性实施例的提供增强现实的方法的流程图。在下文中，为了描述方便，通过示例假设将增强现实提供给在相机拍摄模式下提供的预览图像做出本发明。因此，预览图像对应于增强现实目标图像，然而，本领域普通技术人员将理解本发明可应用于预览图像和拍摄的图像。

参照图3，控制器170接收增强现实请求（310）。增强现实请求可通过输入单元120从用户接收或当特定事件（诸如警报事件或通知事件）发生时被产生。当这样的事件发生时，控制器170访问存储器160以获取预览图像和虚拟物体图像（320）。可由用户预先选择或可根据特定事件预设虚拟物体图像。

控制器170可分析预览图像的色彩、边缘和阴影中的至少一个（330）并且尝试识别能够布置虚拟物体图像的至少一个表面。

例如，控制器170可扫描预览图像以确定预览图像的色彩组成。在这种情况下，控制器170可通过色彩分析单元确定预览图像的色彩组成，所述色彩分析单元可以是宏块或像素单元。接下来，控制器170可确定具有一种色彩的预定区域。在这种情况下，控制器170可确定具有特定范围内的预定亮度的各种色彩。在实施例中，控制器170可识别由同样的色彩配置的区域作为用于布置虚拟物体的表面。

控制器170还可从预览图像检测边缘。如果有被边缘划分的封闭区域，则控制器170可将由封闭区域限定的表面识别为用于布置虚拟物体的表面。

控制器170还可从预览图像确定阴影区域并且使用阴影区域信息识别能够布置虚拟物体的表面。例如，控制器170可通过亮度分析单元确定预览图像的亮度级别以检测阴影区域。所述亮度分析单元可以是宏块或像素单元。另外，为了检测阴影区域，控制器170可确定具有低亮度级别（即，深灰级别）的区域并确定具有低亮度级别的区域是否具有预定形状。如果阴影区域被确定，则控制器170可使用与阴影区域接触的表面的边界识别能够布置虚拟物体的表面。

在可选实施例中，控制器170可使用上述表面识别方案的组合来分析预览图像。例如，控制器170可使用色彩变化提取边缘并识别能够布置虚拟物体的表面。控制器170可检测阴影区域并确定与阴影相关的边缘。

相反地，如果在步骤340没有识别到表面，则控制器170终止提供增强现实的处理。可选择地，控制器170可按照用户命令或默认方案控制虚拟物体显示在显示单元内的特定点上。

如果识别到能够布置虚拟物体的表面（340），则控制器170还确定是否可将虚拟物体布置在识别的表面上（350）。这里，控制器170可确定是否可将虚拟物体布置在识别的表面上。例如，当识别的表面的尺寸等于或大于虚拟物体的尺寸时，控制器170确定可在识别的表面上布置虚拟物体并且进入步骤360。

如果在步骤340识别到足够显示虚拟物体的多个表面，则控制器170比较识别的表面的面积和形状（350）。这里，当确定是否可布置虚拟物体时，控制器170选择具有最大面积的表面或可将虚拟物体稳定地布置在其中的表面。

确定不可在识别的表面上布置虚拟物体，控制器170改变或修改将被布置在识别的表面上的虚拟物体（355）。为此，控制器170可缩小、旋转和切割将被布置在识别的表面的区域上的虚拟物体。控制器170还可添加另一虚拟物体（例如对话气泡）连同修改的虚拟物体。因此，控制器170可调整虚拟物体的尺寸。根据改变，虚拟物体被改变为具有有限的接触表面、线或点。这样，可在识别的表面上布置虚拟物体。

其后，控制器170将虚拟物体的图像与预览图像组合以产生组合图像，从而将虚拟物体布置并显示在识别的表面上（360）。之后，控制器170输出组合图像（370）并终止提供增强现实的程序。

在下文中，将参考图4和图5描述识别在特定图像（例如，预览图像）中的各种表面和各种虚拟物体图像的方法。为了示例性目的，假定在输出预览图像期间接收到增强现实请求，并且将增强现实提供给预览图像，进行以下描述。

图4示出根据本发明的示例性实施例的提供增强现实的操作。

参照图4，如屏幕401所示，控制器170在相机拍摄模式期间控制显示单元140输出预览图像。控制器170可从用户接收增强现实请求。可选择地，增强现实请求可以是响应于接收到进入的消息、呼叫或邮件而接收的一种警报事件或通知事件。因此，控制器170可使用增强现实支持一种通知功能。如果在图像拍摄模式期间，在终端100中发生警报事件或通知事件（诸如消息、电话呼叫和日程表），则控制器170可提供与当前执行的功能相关的增强现实。

如屏幕403所示，响应于上述的增强现实请求，控制器170可分析预览图像的色彩、边缘和阴影中的至少一个以检测多个表面，例如，表面“A”、表面“B”、表面“C”和表面“D”。例如，控制器170可从预览图像分析每个表面的色彩。在所述实施例中，控制器170可将在区域内具有相同色彩的预定区域识别为一个表面。另外，控制器170还可通过色彩分析从检测的表面识别指示边缘的图案，然后识别表面。即，控制器170可分析图像以从预览图像检测边缘。因此，控制器170确定对象的边缘，然后将被边缘分开的区域识别为用于布置和显示虚拟物体的可能的表面。

接下来，控制器170可确定虚拟物体（例如，足够大的显示“电话450”图像的表面面积）是否包括在检测的表面中。这里，控制器170可考虑检测的表面的面积和形状。控制器170可确定检测的表面中的表面“A”具有最大的面积和能够显示“电话450”图像的尺寸和形状。如上所述，在确定可布置虚拟物体的表面后，如屏幕405所示，控制器170可组合“电话450”的图像与预览图像并且在显示单元上输出组合图像。在这种情况下，控制器170可组合两个图像，从而提供“电话450”被布置在识别的表面“A”上的增强现实。

同时，除了屏幕405中显示的“电话450”图像外，虚拟物体可具有各种形式。控制器170可改变虚拟物体，从而可根据识别的面积将虚拟物体布置在表面上。在这种情况下，如在下文中所述，控制器170可将虚拟物体改变为各种形状和/或尺寸。

如果确定识别的表面具有不合适的尺寸并且不足以接收虚拟物体，则如屏幕407所示，控制器170可旋转并切割虚拟物体（即，“信封450”）的一部分，然后，将虚拟物体的切割部分显示为线。因此，控制器170可将“信封450”布置在识别的表面“A”上并且提供如“信封450”***到书上的增强现实。可选择地，如屏幕409所示，控制器170可组合“信封450”和诸如对话气泡455的另一虚拟物体，以在表面“A”的预定点上显示组合结果。

在另一可选择的实施例中，控制器170可提供如可移动的虚拟物体的增强现实。例如，如屏幕410所示，控制器170控制显示器模拟信封450在识别的表面“A”上以环形方式移动。

如上所述，在从由色彩相似、边缘和显示区域之一限定的预览图像检测至少一个表面后，可改变和/或调整虚拟图像的各种形式以使其被显示在检测的表面上。

图5是示出根据本发明的另一示例性实施例的提供增强现实的屏幕的示例性示图。

参照图5，控制器170控制显示单元140显示如屏幕501所示的预览图像。当输出预览图像时，控制器170可接收增强现实请求，并且作为响应，分析如屏幕503示出的预览图像的阴影“E”。在这种情况下，控制器170可基于黑色级别从预览图像识别灰色阴影区域“E”。可选择地，控制器170可使用照度传感器分析预览图像的阴影“E”。在确定阴影“E”后，控制器170可确定阴影“E”的轮廓。其后，控制器170识别由阴影“E”限定的边界以确定与边界接触的表面“F”，所述表面“F”可被用于显示虚拟物体。可选择地，控制器170可分析由阴影区域“E”限定的色彩亮度或由阴影“E”的轮廓限定的边缘以识别表面“F”，虚拟物体可显示在所述表面“F”上。

如上所述，本发明可从特定图像（例如，预览图像）识别对象的表面，然后在识别的现实表面上显示虚拟物体，从而提供更刺激和真实方式的更前的增强现实体验。

根据本发明的上述方法可以以硬件、固件来实现，或者实现为能够存储在记录介质（诸如CD ROM、RAM、软盘、硬盘或磁光盘）中的软件或计算机代码或通过网络下载的计算机代码，所述计算机代码最初存储在远程记录介质或非暂时性机器可读介质上并将被存储在本地记录介质上，从而这里描述的方法可使用通用计算机或专用处理器，或者在可编程或专用硬件（诸如ASIC或FPGA）中，以存储在记录介质上的软件来实现。正如本领域中所理解的那样，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储器组件（例如，RAM、ROM、闪存等），其中，当通过计算机、处理器或硬件访问和执行所述软件或计算机代码时，所述软件或计算机代码执行描述于此的处理方法。此外，将认识到，当通用计算机访问用于执行显示于此的处理的代码时，代码的执行将通用计算机转变为用于执行显示于此的处理的专用计算机。

尽管以上详细描述了本发明的示例性实施例，但是应该清楚地理解，对本领域技术人员可能出现的这里教导的基本发明构思的许多改变和修改仍将落入权利要求限定的本发明的精神和范围。

Claims

1.一种提供增强现实的方法，所述方法包括:

在预览图像模式期间显示特定图像；

根据预定标准从特定图像识别至少一个表面，以用于在所述表面上显示虚拟物体；

组合虚拟物体的图像和特定图像，以便将虚拟物体的图像显示在识别的至少一个表面上；

显示组合图像。

2.如权利要求1所述的方法，其中，识别至少一个表面的步骤包括：从特定图像分析色彩、边缘和阴影中的至少一个。

3.如权利要求2所述的方法，其中，识别至少一个表面的步骤包括：确定具有一种色彩的区域；

将确定的具有一种色彩的区域识别为所述至少一个表面。

4.如权利要求3所述的方法，还包括：从所述区域中搜索边缘以将由边缘限定的封闭区域识别为所述至少一个表面。

5.如权利要求3所述的方法，其中，所述区域具有预定亮度差。

6.如权利要求2所述的方法，其中，识别至少一个表面的步骤包括：将由边缘划分的区域识别为所述至少一个表面。

7.如权利要求2所述的方法，其中，识别至少一个表面的步骤包括：使用在所述表面上检测的阴影边界识别所述至少一个表面。

8.如权利要求1所述的方法，还包括：

确定虚拟物体是否能够容纳在所述至少一个表面内;

当虚拟物体不能容纳在所述至少一个表面内时，通过调整虚拟物体的尺寸将虚拟物体显示在所述至少一个表面的有限的接触表面、线或点上。

9.如权利要求1所述的方法，其中，虚拟物体通过2D图像或3D图像表达，其中，虚拟物体指示消息、日程表和终端状态警报事件或与特定图像相关的信息。

10.一种支持增强现实的终端，所述终端包括：

相机，产生特定图像；

显示单元，在预览图像模式期间显示特定图像；

控制器，根据预定标准从特定图像识别至少一个表面，组合虚拟物体的图像和特定图像以便将虚拟物体的图像显示在识别的至少一个表面上，并控制显示单元输出组合图像。

11.如权利要求10所述的终端，其中，控制器从特定图像分析色彩、边缘和阴影中的至少一个以识别所述至少一个表面。

12.如权利要求11所述的终端，其中，控制器从特定图像中将具有一种色彩的区域确定为所述至少一个表面，其中，具有一种色彩的区域具有预定亮度差。

13.如权利要求11所述的终端，其中，控制器将在特定图像中由边缘限定的区域识别为所述至少一个表面。

14.如权利要求11所述的终端，其中，控制器使用阴影边界识别所示至少一个表面。

15.如权利要求10所述的终端，其中，控制器根据识别的至少一个表面的面积和尺寸调整、放大、2D旋转、3D旋转或切割虚拟物体，或者将虚拟物体添加到另一虚拟物体，从而将虚拟物体显示在所述至少一个表面内。