CN113287137A - 用于显示至少一个视觉对象的方法和电子装置 - Google Patents

用于显示至少一个视觉对象的方法和电子装置 Download PDF

Info

Publication number
CN113287137A
CN113287137A CN202080008661.2A CN202080008661A CN113287137A CN 113287137 A CN113287137 A CN 113287137A CN 202080008661 A CN202080008661 A CN 202080008661A CN 113287137 A CN113287137 A CN 113287137A
Authority
CN
China
Prior art keywords
electronic device
visual object
information
processor
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080008661.2A
Other languages
English (en)
Inventor
辛相旻
权五允
尹德均
李智雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN113287137A publication Critical patent/CN113287137A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G06Q30/0625—Directed, with specific intent or strategy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

根据某些实施例，提供一种电子装置，所述电子装置可以包括相机、显示器、与所述相机和所述显示器可操作地耦合的处理器、和与所述处理器可操作地耦合的存储器，其中，所述存储器可以存储指令，所述指令在被执行时，使得所述处理器：将与所述电子装置相关的所购买物品的信息存储在所述存储器中；在存储所述物品信息后，在所述显示器上显示使用所述相机采集的图像作为预览图像；识别所述图像中与所述物品相对应的至少一个对象；基于识别出所述图像中的至少一个对象与所述物品相对应，获取至少一个视觉对象的信息；并且在所述显示器上将所述至少一个视觉对象叠加地显示在所述图像上，从而将所述至少一个对象与所述至少一个对象相关联。

Description

用于显示至少一个视觉对象的方法和电子装置
技术领域
本公开的某些实施例总体上涉及一种用于显示至少一个视觉对象(visualobject)的电子装置和方法。
背景技术
随着电子装置技术的进步，电子装置可以向用户提供各种体验。例如，电子装置可以通过相机识别真实对象，并在预览上显示所识别的对象。
但是，所显示的对象可能与用户不相关。因此，重要的是显示所识别出的与用户相关的对象。
发明内容
技术方案
一种电子装置，包括：相机；通信电路；显示器；处理器，其与相机、通信电路和显示器可操作地耦合；和存储器，其与处理器可操作地耦合，其中，所述存储器存储指令，所述指令在被执行时，使所述处理器：使用通信电路将通过电子装置购买的物品的信息发送到服务器；在发送所述物品信息之后，在显示器上显示使用相机采集的图像；使用通信电路将所述图像的至少一部分发送到服务器；并且当服务器识别出所述图像中的至少一个对象对应于所购买物品时，在所述显示器上将从服务器接收的至少一个视觉对象叠加在所述图像上以将至少一个对象与至少一个视觉对象相关联。
根据某些实施例，一种方法，包括：将使用电子装置购买的物品的信息发送到服务器；在发送所述物品信息后，在电子装置的显示器上显示使用电子装置的相机采集的图像；将图像的至少一部分发送到服务器；以及在电子装置的显示器上，将从服务器接收的至少一个视觉对象叠加在图像上以将至少一个对象与至少一个视觉对象相关联。
根据某些实施例的电子装置可以包括相机、显示器、与相机和显示器可操作地耦合的处理器、和与处理器可操作地耦合的存储器，其中存储器可以存储指令，所述指令在被执行时，使得处理器：将与电子装置相关的所购买物品的信息存储在存储器中；在存储物品信息后，在显示器上显示使用相机采集的图像作为预览图像；识别图像中与所述物品相对应的至少一个对象；基于识别出所述图像中的至少一个对象与所述物品相对应，获取至少一个视觉对象的信息；并且在显示器上将至少一个视觉对象叠加地显示在图像上，从而将至少一个对象与至少一个对象相关联。
本公开的其它方面、优势和显著特征将从以下结合附图进行的公开了本公开某些实施例的详细描述中对本领域技术人员而言是清楚的。
附图说明
从以下结合附图进行的描述，本公开某些实施例的上述和其它方面、特征和优势将更加清楚，在附图中：
图1示出根据一个实施例的集成智能***的方框图；
图2示出根据某些实施例的用于处理通过用户终端中的智能应用程序接收的声音输入的屏幕；
图3示出根据某些实施例的网络环境中的电子装置的方框图；
图4示出根据某些实施例的包括用于提供至少一个视觉对象的电子装置和服务器的***的结构；
图5示出根据某些实施例的电子装置的操作的一个示例；
图6示出根据某些实施例的电子装置的操作的另一个示例；
图7A示出根据某些实施例的电子装置的用户界面的一个示例；
图7B示出根据某些实施例的电子装置的用户界面的另一个示例；
图8A示出根据某些实施例对服务器中的至少一个关键词进行分类的一个示例；
图8B示出根据某些实施例对服务器中的至少一个关键词进行分类的另一个示例；
图9示出根据某些实施例的多个类别的上下文提供器的一个示例；
图10A和图10B示出根据某些实施例在电子装置中生成至少一个视觉对象的一个示例；
图11A、11B和11C示出根据某些实施例的在电子装置中显示视觉对象的另一个示例；以及
图12示出根据某些实施例的电子装置的用户界面的又一个示例。
贯穿附图，相似的附图标记将被理解为指代相似的部件、组件和结构。
具体实施方式
当在预览显示器上显示相机看到的所识别对象时，电子装置可能不会显示基于用户购买历史的对象。因此，根据本公开某些方面，基于用户购买历史或电子装置的用户体验从相机视野显示对象。
图1示出根据一个实施例的集成智能***的方框图。
参照图1，一个实施例的集成智能***10可以包括用户终端100、智能服务器200和服务服务器300。
在某些实施例中，用户终端100可以用于购买或选购物品。在用户终端100处的相机捕获的后续图像中，如果此物品出现，则视觉对象可以叠加在该图像上。智能服务器200存储物品、接收图像、确定此物品是否位于图像中，并且当物品在图像中时，创建视觉对象并且将其发送到用户终端。在一些实施例中，服务服务器300可以便利用户终端购买物品。
一个实施例的用户终端100可是用于连接到互联网的终端设备(或电子装置)，且可是例如移动电话、智能手机、个人数字助理(PDA)、笔记本计算机、电视(TV)、家用电器、可穿戴设备、头戴式设备(HMD)或智能扬声器。
根据一个实施例，用户终端100可以包括通信接口110、麦克风120、扬声器130、显示器140、存储器150、相机158或处理器160。这样的组件可以彼此可操作地耦合或电耦合。
一个实施例的通信接口110可以被配置成通过连接到外部设备来发送和接收数据。一个实施例的麦克风120可以接收声音(voice，例如，用户话语(utterance))并且将其转换成电信号。一个实施例的扬声器130可以将电信号作为声音(例如，声音)输出。一个实施例的显示器140可以被配置成显示图像或视频。一个实施例的显示器140可以显示被执行的应用(或应用程序)的图形用户界面(GUI)。
一个实施例的存储器150可以存储客户端模块151、软件开发工具包(SDK)153和多个应用155。客户端模块151和SDK 153可以配置用于执行通用功能的框架(或解决方案程序)。此外，客户端模块151和SDK 153可以配置用于处理声音输入的框架。
一个实施例的存储器150可以是用于执行应用155的指定功能的程序。根据一个实施例，应用155可以包括第一应用155_1和第二应用155_3。根据一个实施例，应用155可以包括用于分别执行指定功能的多个动作。例如，应用程序155可以包括闹钟应用、消息应用和/或日程应用。根据一个实施例，应用155可以由处理器160执行以顺序地执行所述动作的至少一部分。
一个实施例的相机158被配置成拍摄用户终端100周围场景的照片或图像。
一个实施例的处理器160可以控制用户终端100的动作。例如，处理器160可以与通信接口110、麦克风120、扬声器130和显示器140电耦合。
一个实施例的处理器160可以通过执行存储在存储器150中的程序来执行指定的功能。例如，所述处理器160可以执行客户端模块151或SDK 153中的至少一者，从而执行以下动作来处理声音输入。所述处理器160可以例如通过SDK 153来控制应用155的动作。被描述成客户端模块151或SDK153的动作的以下动作可由处理器160执行。
一个实施例的客户端模块151可以接收声音输入。例如，客户端模块151可以接收与通过麦克风120检测到的用户话语相对应的声音信号。客户端模块151可以将接收到的声音输入发送到智能服务器200。客户端模块151可以将用户终端100的状态信息连同接收到的声音输入一起发送到智能服务器200。所述状态信息例如可以是应用的执行状态信息。
一个实施例的客户端模块151可以接收与接收到的声音输入相对应的结果。例如，如果智能服务器200可以计算与接收到的声音输入对应的结果，则客户端模块151可以接收与接收到的声音输入相对应的结果。客户端模块151可以在显示器140上显示接收到的结果。
一个实施例的客户端模块151可接收与接收到的声音输入相对应的计划。客户端模块151可在显示器140上显示根据计划执行应用的动作的结果。客户端模块151例如可依次显示动作的执行结果。例如，用户终端100可在显示器140上仅显示动作的执行结果中的一些结果(例如，最后的动作结果)。
根据一个实施例，客户端模块151可以从智能服务器200接收用于获得必要信息以计算与声音输入相对应的结果的请求。根据一个实施例，客户端模块151可以响应于此请求，将必要的信息发送到智能服务器200。
一个实施例的客户端模块151可以将基于计划的动作执行结果信息发送到智能服务器200。智能服务器200可以使用结果信息来识别接收到的声音输入被正确处理。
一个实施例的客户端模块151可以包括语音(speech)识别模块。根据一个实施例，客户端模块151可以通过语音识别模块识别用于执行有限功能的声音输入。例如，客户端模块151可以执行用于处理声音输入的智能应用以通过指定输入(例如，Wake up！)执行有组织(organized)的动作。
一个实施例的智能服务器200可以通过通信网络从用户终端100接收与用户声音输入有关的信息。根据一个实施例，智能服务器200可以将与接收到的声音输入相关的数据变为文本数据。根据一个实施例，基于文本数据，智能服务器200可以生成用于执行与用户声音输入相对应的任务的计划。
根据一个实施例，此计划可由人工智能(AI)***生成。AI***可以是基于规则的***或基于神经网络的***(例如，前馈神经网络(FNN)或递归神经网络(RNN))。或者，AI***可以是它们的组合，也可以是其它AI***。根据一个实施例，所述计划可以从一组预定义计划中选择，或者可响应于用户请求而实时生成。例如，AI***可从多个预定义计划中选择至少一个计划。
一个实施例的智能服务器200可以将根据所生成的计划的结果发送到用户终端100，或者可以将所生成的计划发送到用户终端100。根据一个实施例，用户终端100可以在显示器140上显示根据计划的结果。根据一个实施例，用户终端100可以在显示器140上显示根据计划的动作执行的结果。
一个实施例的智能服务器200可以包括前端210、自然语言平台220、封装(capsule)数据库(DB)230、执行引擎240、终端用户界面250、管理平台260、大数据平台270、或分析平台280。
一个实施例的前端210可以从用户终端110接收接收到的声音输入。所述前端210可以发送对应于声音输入的响应。
根据一个实施例，自然语言平台220可以包括自动语音识别(ASR)模块221、自然语言理解(NLU)模块223、规划器模块225、自然语言生成器(NLG)模块227或文本转语音(TTS)模块229。
一个实施例的ASR模块221可以将从用户终端100接收的声音输入转换成文本数据。一个实施例的NLU模块223可以使用声音输入的文本数据来获得用户的意图。例如，NLU模块223可以通过句法分析或语义分析来获得用户的意图。一个实施例的NLU模块223可以使用语素或短语的语言特征(例如，语法元素)从声音输入中提取单词的含义，并且通过将所获得的单词的含义与意图进行匹配来确定用户的意图。
一个实施例的计划器模块225可以使用在NLU模块223处确定的意图和参数来生成计划。根据一个实施例，所述计划器模块225可以基于所确定的意图来确定用于执行任务的多个域。所述计划器模块225可以确定基于意图确定的域的多个动作。根据一个实施例，所述计划器模块225可以确定执行所确定的动作所需的参数，或者确定通过执行动作输出的结果值。所述参数和结果值可以定义为指定类型(或类)的概念。因此，所述计划可以包括通过用户意图确定的多个动作以及多个概念。计划器模块225可以按阶段(或分层)确定动作之间以及概念之间的关系。例如，计划器模块225可以基于概念确定基于用户意图确定的动作的执行顺序。换言之，计划器模块225可以基于用于执行动作的参数以及通过执行动作输出的结果来确定动作的执行顺序。因此，计划器模块225可以生成包括动作之间以及概念之间的关联信息(例如，本体)的计划。计划器模块225可以使用存储在封装DB 230中的信息来生成计划，其中封装DB 230存储概念和动作的关系集合。
一个实施例的NLU模块227可以将指定信息改变为文本。改变成文本的信息可以是自然语言语音的形式。一个实施例的TTS模块229可以将文本信息改变成声音信息。
根据一个实施例，自然语言平台220的一些或全部功能可以在用户终端100处实施。
封装DB 230可存储与域对应的概念和动作的关系信息。根据一个实施例的封装可以在计划中包括多个动作对象或动作信息以及概念对象或概念信息。根据一个实施例，封装DB 230可以以概念动作网络(CAN)的形式存储多个封装。根据一个实施例，封装可存储在封装DB 230的功能注册表中。
封装DB 230可包括存储用于确定与声音输入对应的计划的策略信息的策略注册表。如果多个方案对应于声音输入，则策略信息可包括用于确定一个方案的参考信息。根据一实施例，封装DB 230可包括跟进(follow up)注册表，其存储跟进动作信息以在指定情况下向用户建议跟进动作。所述跟进动作可以包括例如跟进话语。根据一实施例，封装DB 230可包括布局注册表，其存储在用户终端100处输出的信息的布局信息。根据一实施例，封装DB 230可包括存储封装信息的词汇信息的词汇注册表。根据一实施例，封装DB 230可包括存储用户的对话(或交互)信息的对话注册表。封装DB 230可以通过开发者工具更新所存储的对象。开发者工具可包括例如用于更新动作对象或概念对象的功能编辑器。开发者工具可包括用于更新词汇的词汇编辑器。开发者工具可包括用于生成和注册用于确定计划的策略的策略编辑器。开发者工具可包括用于创建与用户的对话的对话编辑器。开发者工具可以包括用于激活跟进目标并且编辑跟进话语以提供提示的跟进编辑器。跟进目标可基于当前目标、用户偏好或环境条件来确定。在某些实施例中，封装DB 230可在用户终端100中实施。
一个实施例的执行引擎240可使用生成的计划来计算结果。终端用户接口250可以将计算结果发送到用户终端100。因此，用户终端100可以接收结果，并且将接收到的结果提供给用户。一个实施例的管理平台260可管理智能服务器200使用的信息。一个实施例的大数据平台270可收集用户的数据。一个实施例的分析平台280可以管理智能服务器200的服务质量(QoS)。例如，分析平台280可以管理智能服务器200的组件和处理速率(或效率)。
一个实施例的服务服务器300可向用户终端100提供指定服务(例如，订餐或酒店预订)。根据一个实施例，服务服务器300可是由第三方运营的服务器。一个实施例的服务服务器300可向智能服务器200提供用于生成与接收到的声音输入对应的计划的信息。所提供的信息可存储在封装DB 230中。此外，智能服务器200可将基于计划的结果信息提供给智能服务器200。
在上述集成智能***10中，用户终端100可响应于用户输入向用户提供各种智能服务。用户输入可包括例如经由物理按钮提供的输入、触摸输入或声音输入。
在一实施例中，用户终端100可通过存储在其中的智能应用(或语音识别应用)来提供语音识别服务。在此情况下，例如，用户终端100可识别经由麦克风接收的用户话语或声音输入，且向用户提供与所识别的声音输入对应的服务。
在一实施例中，基于接收到的声音输入，用户终端100可单独或与智能服务器200和/或服务服务器一起执行指定的动作。例如，用户终端100可执行与接收到的声音输入对应的应用，且使用被执行的应用来执行指定动作。
在一个实施例中，如果用户终端100与智能服务器200和/或服务服务器一起提供服务，则用户终端100可以使用麦克风120检测用户话语并且生成与检测到的用户话语相对应的信号(或声音数据)。用户终端100可以使用通信接口110将声音数据发送到智能服务器200。
根据一实施例的智能服务器200可响应于从用户终端100接收的声音输入，生成用于执行与此声音输入对应的任务的计划，或者根据此计划的动作的结果。此计划可包括例如用于执行与用户的声音输入对应的任务的多个动作和与这些动作相关的多个概念。此概念可定义向动作执行输入的参数或者动作执行所输出的结果值。此计划可包括动作之间和概念之间的关联信息。
一个实施例的用户终端100可以使用通信接口110接收响应。用户终端100可以使用扬声器130将用户终端100中生成的声音信号输出到外部，或者使用显示器140将用户终端100中生成的图像输出到外部。
图2示出根据某些实施例的用于通过用户终端中的智能应用程序来处理接收到的声音输入的屏幕。
用户终端100可执行智能应用以处理通过智能服务器200的用户输入。
根据一实施例，在屏幕201中，如果识别指定的声音输入(例如，Wake up！)或通过硬件键(例如，专用硬件键)接收输入，则用户终端100可执行智能应用以处理声音输入。用户终端100可在运行日程应用的同时执行例如智能应用。根据一实施例，用户终端100可在显示器140上显示与智能应用相对应的对象(例如，图标)211。根据一实施例，用户终端100可根据用户话语接收声音输入。例如，用户终端100可接收声音输入“What is my schedulefor this week？”。根据一实施例，用户终端100可在显示器140上显示智能应用的用户界面(UI)213(例如，输入窗口)，从而显示接收到的声音输入的文本数据。
根据一实施例，在屏幕202中，用户终端100可在显示器140上显示与接收到的声音输入对应的结果。例如，用户终端100可接收与接收到的用户输入对应的计划，且根据此计划在显示器140上仅显示“schedules for this week”。
图3是示出根据某些实施例的网络环境300中的电子装置301的方框图。
参照图3，网络环境300中的电子装置301可以通过第一网络398(例如，短程无线通信网络)与电子装置302通信，或者通过第二网络399(例如，远程无线通信网络)与电子装置304或服务器308通信。根据一个实施例，电子装置301可以经由服务器308与电子装置304通信。根据一个实施例，电子装置301可以包括处理器320、存储器330、输入装置350、声音输出装置355、显示装置360、音频模块370、传感器模块376、接口377、触觉模块379、相机模块380、电力管理模块388、电池389、通信模块390、用户识别模块(SIM)396或天线模块397。在一些实施例中，可以从电子装置301中省略所述组件中的至少一个(例如，显示装置360或相机模块380)，或者可以在电子装置301中添加一个或多个其它组件。在一些实施例中，一些组件可以实施为单个集成电路。例如，传感器模块376(例如，指纹传感器、虹膜传感器或照度传感器)可以被实施为嵌入在显示装置360(例如，显示器)中。
处理器320可以执行例如软件(例如程序340)来控制电子装置301中与处理器320耦合的至少一个其它组件(例如，硬件或软件组件)，并且可以执行各种数据处理或计算。根据一个实施例，作为数据处理或计算的至少一部分，处理器320可以将从另一组件(例如，传感器模块376或通信模块390)接收的命令或数据加载到易失性存储器332中，处理存储在易失性存储器332中的此命令或数据，并且将结果数据存储在非易失性存储器334中。根据一个实施例，处理器320可以包括主处理器321(例如，中央处理单元(CPU)或应用处理器(AP))以及可独立于主处理器321操作或与主处理器321结合操作的辅助处理器323(例如，图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。附加地或替代地，辅助处理器323可以被适配为比主处理器321消耗更少的功率，或者特定于指定的功能。辅助处理器323可以实施成独立于主处理器321或作为主处理器321的一部分。
辅助处理器323可以在主处理器321处于非活动(例如，睡眠)状态时，替代于主处理器321控制与电子装置301的组件中的至少一个组件(例如，显示装置360、传感器模块376或通信模块390)相关的功能或状态中的至少一些功能或状态，或者在主处理器321处于活动状态(例如，执行应用程序)时，与主处理器321一起控制所述至少一个组件。根据一实施例，辅助处理器323(例如，图像信号处理器或通信处理器)可以被实施成在功能上与辅助处理器323相关的另一组件(例如，相机模块380或通信模块390)的一部分。
存储器330可以存储由电子装置301的至少一个组件(例如，处理器320或传感器模块376)使用的各种数据。所述各种数据可以包括例如软件(例如程序340)以及与其相关的命令的输入数据或输出数据。存储器330可以包括易失性存储器332或非易失性存储器334。
程序340可以作为软件存储在存储器330中，并且可以包括例如操作***(OS)342、中间件344或应用程序346。
输入装置350可以从电子装置301的外部(例如，用户)接收将由电子装置301的其它组件(例如，处理器320)使用的命令或数据。输入装置350可以包括例如麦克风、鼠标、键盘或数字笔(例如，记录笔)。
声音输出装置355可以将声音信号输出到电子装置301的外部。声音输出信息355可以包括例如扬声器或接收器。扬声器可以用于一般用途，例如播放多媒体或播放录音，而接收器可用于来电。根据一个实施例，接收器可以被实施成与扬声器分离或作为扬声器的一部分。
显示装置360可以在视觉上向电子装置301的外部(例如，用户)提供信息。显示装置360可以包括例如显示器、全息设备或投影仪，以及控制电路，用以控制显示器、全息设备和投影仪中的相应一者。根据一个实施例，显示装置360可以包括适于检测触摸的触摸电路，或者适于测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
音频模块370可以将声音转换成电信号，反之亦然。根据一个实施例，音频模块370可以通过输入装置350获得声音，或者通过声音输出装置355或与电子装置301直接(例如，以有线方式)或无线耦合的外部电子装置(例如，电子装置302)的耳机输出声音。
传感器模块376可以检测电子装置301的运行状态(例如，功率或温度))或者电子装置301外部的环境状态(例如，用户的状态)，然后生成与检测到的状态相对应的电信号或数据值。根据一个实施例，传感器模块376可以包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁传感器、加速度传感器、抓握传感器、近程传感器、颜色传感器、红外(IR)传感器、生物识别传感器、温度传感器、湿度传感器或照度传感器。
接口377可以支持用于与外部电子装置(例如，电子装置302)直接(例如，以有线方式)或无线耦合的电子装置301的一种或多种指定协议。根据一个实施例，接口377可以包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端378可以包括连接器，电子装置301可以通过此连接器与外部电子装置(例如，电子装置302)物理连接。根据一个实施例，连接端378可以包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块379可以将电信号转换成可以被用户通过自身触感或运动觉而识别出的机械刺激(例如，振动或运动)或电刺激。根据一个实施例，触觉模块379可以包括例如电动机、压电元件或电刺激器。
相机模块380可以捕捉静止图像或运动图像。根据一个实施例，相机模块380可以包括一个或多个镜头、图像传感器、图像信号处理器或闪光灯。
电力管理模块388可管理提供给电子装置301的电力。根据一实施例，电力管理模块388可被实施成例如电力管理集成电路(PMIC)的至少一部分。
电池389可以向电子装置301的至少一个组件供电。根据一个实施例，电池389可以包括例如不可充电的原电池、可充电的二次电池或燃料电池。
通信模块390可以支持在电子装置301与外部电子装置(例如，电子装置302、电子装置304或服务器308)之间建立直接(例如，有线)通信信道或无线通信信道，并且通过所建立的通信通道进行通信。通信模块390可以包括可独立于处理器320(例如，应用处理器(AP))操作并且支持直接(例如，有线)通信或无线通信的一个或多个通信处理器。根据一个实施例，通信模块390可以包括无线通信模块392(例如，蜂窝通信模块、短程无线通信模块或全球导航卫星***(GNSS)通信模块)或有线通信模块394(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一者可以经由第一网络398(例如，短程通信网络，例如蓝牙、无线保真(Wi-Fi)直接或红外数据协会(IrDA))或第二网络399(例如，远程通信网络，例如蜂窝网络、互联网或计算机网络(例如，LAN或广域网(WAN))与外部电子装置通信。这些各种类型的通信模块可以实施成单个组件(例如，单个芯片)，或者可以实施成彼此分离的多个组件(例如，多芯片)。无线通信模块392可以使用用户识别模块396中存储的用户信息(例如，国际移动订户身份信息(IMSI))来识别和认证通信网络例如第一网络398或第二网络399中的电子装置301。
天线模块397可以向或从电子装置301的外部(例如，外部电子装置)发送或接收信号或电力。根据一个实施例，天线模块397可以包括天线，此天线包括辐射元件，所述辐射元件由形成在衬底(例如，PCB)之中或之上的导电材料或导电图案构成。根据一个实施例，天线模块397可以包括多个天线。在此情况下，例如，可以由通信模块390(例如，无线通信模块392)从多个天线中选择适于用在通信网络诸如第一网络398或第二网络399中的通信方案的至少一个天线。然后可以经由所选择的至少一个天线在通信模块390与外部电子装置之间发送或接收信号或电力。根据一个实施例，除辐射元件之外的其它组件(例如，射频集成电路(RFIC))可以另外形成为天线模块397的一部分。
上述组件中的至少一些组件可以相互耦合并且经由***通信方案(例如，总线、通用输入和输出(GPIO)、串行***接口(SPI)或移动工业处理器接口(MIPI))相互传送信号(例如，命令或数据)。
根据一个实施例，可以经由与第二网络399耦合的服务器308在电子装置301与外部电子装置304之间发送或接收命令或数据。电子装置302和304中的每一者可以是与电子装置301相同类型或不同类型的设备。根据一个实施例，要在电子装置301处执行的所有或一些操作可以在外部电子装置302、304或308中的一者或多者处执行。例如，如果电子装置301应自动，或者响应于来自用户或另一设备的请求而执行功能或服务，则作为此执行功能或服务的替代或附加，电子装置301可以请求一个或多个外部电子装置执行所述功能或服务的至少一部分。接收请求的一个或多个外部电子装置可以执行所请求的功能或服务的至少一部分，或者与请求相关的附加功能或附加服务，并且将执行的结果传送到电子装置301。无论是否对结果进行进一步处理，电子装置301可以提供此结果作为对请求的答复的至少一部分。为此，例如可以使用云计算、分布式计算或客户端-服务器计算技术。
根据某些实施例的电子装置可以是各种类型的电子装置中的一者。电子装置可以包括例如便携式通信设备(例如，智能手机)、计算机设备、便携式多媒体设备、便携式医疗设备、相机、可穿戴设备或家用电器。根据本公开的一个实施例，电子装置不限于上述电子装置。
应理解，本公开的某些实施例以及其中所使用的术语不旨在将本文所阐述的技术特征限制为特定实施例并且包括对应实施例的各种改变、等同物或替换。关于附图的描述，相似的附图标记可用于指代相似或相关的元件。应理解，与某一对象相对应的单数形式的名词可以包括一个或多个此对象，除非相关上下文另有明确指示。本文所用短语例如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C中的至少一个”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”中的每一者可以包括在相应一个短语中一起列举的对象的任何一个或所有可能组合。本文所用术语例如“第1”和“第2”或“第一”和“第二”可以用于简单地将相应的组件彼此区分开，而不是在其它方面(例如重要性或顺序)方面限制组件。应理解，如果元件(例如，第一元件)在有或没有术语“可操作地”或“可通信地”的情况下被称为“耦合于”、“耦合到”、“连接于”或“连接到”另一个元件(例如，第二元件)，则意味着该元件可以直接(例如，以有线方式)、无线地或经由第三元件与另一个元件耦合。
本文所用术语“模块”可以包括以硬件、软件或固件实施的单元，并且可以与其它术语互换使用，例如“逻辑”、“逻辑块”、“部件”或“电路”。模块可以是适于执行一个或多个功能的单个集成组件，或者其最小单元或部分。例如，根据一个实施例，该模块可以以专用集成电路(ASIC)的形式实施。
本文所阐述的某些实施例可以实施成软件(例如，程序340)，其中包括一个或多个指令，这些指令存储在机器(例如，电子装置301)可读的存储介质(例如，内部存储器336或外部存储器338)中。例如，机器(例如，电子装置301)的处理器(例如，处理器320)可以调用存储在存储介质中的一个或多个指令中的至少一个，并且在使用或不使用一个或多个其它组件的情况下，在处理器的控制下执行此指令。这样使得机器能够***作以根据所调用的至少一个指令来执行至少一个功能。一个或多个指令可以包括由编译器生成的代码或可被解释器执行的代码。机器可读存储介质可以以非暂态存储介质的形式提供。其中，术语“非暂态”仅表示存储介质是有形设备，不包括信号(例如电磁波)，但该术语不区分数据半永久性存储在存储介质以及数据临时存储在存储介质中的情况。
根据一个实施例，根据本公开的某些实施例的方法可以被包括并提供在计算机程序产品中。计算机程序产品可以作为卖方与买方之间的产品进行交易。计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(CD-ROM))的形式分发，或者经由应用程序商店(例如，PlayStoreTM)在线分发(例如，下载或上传)，或直接在两个用户设备(例如，智能手机)之间分发。如果在线分发，则计算机程序产品的至少一部分可以临时生成或至少临时存储在机器可读存储介质中，诸如制造商服务器的存储器、应用商店的服务器或中继服务器。
根据某些实施例，上述组件的每个组件(例如，模块或程序)可以包括单个实体或多个实体。根据某些实施例，可以省略上述组件中的一个或多个，或者可以添加一个或多个其它组件。替代地或附加地，多个组件(例如，模块或程序)可以被集成到单个组件中。在此情况下，根据某些实施例，集成组件仍可以以与多个组件中的相应组件在集成之前执行时采用的相同或相似方式来执行所述多个组件中的每一者的一个或多个功能。根据某些实施例，由模块、程序或另一组件执行的操作可以顺序地、并行地、重复地或启发式地执行，或者这些操作中的一个或多个操作可以以不同的顺序执行或省略，或者可以添加一个或多个其它操作。
图4示出根据某些实施例的包括用于提供至少一个视觉对象的电子装置301以及服务器208的***400的结构。
在某些实施例中，电子装置301可以包括支付模块402、视觉模块403、声音支持模块404或视觉对象提供模块405。尽管未描绘，但是处理器320可以控制电子装置301的操作。为控制电子装置301的操作，处理器320可以与电子装置301的其它组件，诸如支付模块402、视觉模块403、声音支持模块404或视觉对象提供模块405操作性地耦合。
根据一个实施例，电子装置301的支付模块402可执行支付。支付模块402可向支付服务器401发送支付请求信号。支付服务器401可从支付模块402接收支付请求信号。根据一个实施例，支付请求信号可包括支付卡信息(例如，***、有效日期、密码)。卡信息可以被加密并且发送到支付服务器401。支付服务器401可以向支付模块402发送支付批准信息。支付模块402可从支付服务器401接收支付批准信息。根据一个实施例，支付服务器401可对应于卡公司服务器或银行服务器。根据一个实施例，支付模块402可将电子装置301的用户卡信息(例如，***信息、会员信息、银行账户信息)或购买信息(例如，价格、物品)发送到服务器308(例如，上下文提供器414)。
根据一个实施例，电子装置301的视觉模块403可以获得用于提供视觉对象的显示顺序信息、显示位置信息或视觉信息。根据一个实施例，显示顺序信息可以根据用户的购买历史或购买时间来确定。例如，如果用户具有特定品牌产品的多个购买历史，则视觉模块403可以首先显示指示特定品牌的视觉对象。例如，视觉模块403可以根据时间确定用于显示视觉对象的位置的优先级。在某些实施例中，视觉模块403可以针对每个所购品牌、所购产品的类型、一天中的时间、星期几等来维护统计数据。
根据一个实施例，视觉模块403可以分析通过相机模块380所采集的图像(例如，预览图像)。视觉模块403可以获取所采集到的图像的视觉信息。视觉信息可以包括图像中至少一个对象的信息。例如，视觉信息可以包括图像中至少一个对象的符号、标志、品牌、文本、徽标或属性。
根据一个实施例，视觉模块403可以基于通过相机模块380采集的图像中的至少一个对象来确定至少一个视觉对象的显示位置。视觉模块403可以获取所确定的显示位置处的视觉信息。根据一个实施例，视觉模块403可以识别是否存在显示位置信息或视觉信息。根据一个实施例，如果存在显示位置或视觉信息，则视觉模块403可以将显示位置信息或视觉信息发送到服务器308(例如，上下文提供器414)。根据一个实施例，如果显示位置或视觉信息不存在，则视觉模块403可以向服务器308(例如，上下文提供器414)发送信息以指示无识别出的显示位置信息或视觉信息。
根据一个实施例，声音支持模块404可以通过输入装置350(例如，麦克风)接收包括用户话语的声音信号。根据一个实施例，声音支持模块404可以将接收到的声音信号发送到服务器308。根据一个实施例，如果电子装置301包括用于声音识别的模块，则声音支持模块404可以不向服务器308发送声音信号。根据一个实施例，电子装置301可以包括服务器308的ASR模块411、NLU模块412或上下文分析模块413中的至少一个。电子装置301可以分析电子装置301的用户的声音信号。基于用户的声音信号，电子装置301可以从用户的声音信号中采集并存储信息。
根据一实施例，声音支持模块404可与电子装置301中的多个应用程序互相配合。例如，声音支持模块404可接收用户订购咖啡的话语。声音支持模块404可执行用于咖啡订购的应用程序并且将咖啡订单信息发送到用于咖啡订购的应用程序。例如，声音支持模块404可接收用户要进行支付的话语。声音支持模块404可执行支付应用程序并且将支付信息发送到支付应用程序。
根据一个实施例，视觉对象提供模块405可以确定至少一个视觉对象的显示位置或显示顺序。例如，基于使用电子装置301的相机模块380采集图像，视觉对象提供模块405可以从服务器308请求至少一个视觉对象。视觉对象提供模块405可以从服务器308接收至少一个视觉对象的信息。视觉对象提供模块405可以从视觉模块403接收显示顺序信息或显示位置信息。视觉对象提供模块405可以根据接收到的显示顺序信息或显示位置信息，最终确定至少一个视觉对象的显示顺序或显示位置。
例如，视觉对象提供模块405可以使用存储在存储器330中的数据来获得至少一个视觉对象的信息。例如，视觉对象提供模块405可以使用存储在存储器330中的数据来获得至少一个视觉对象的信息，而不使用服务器308。视觉对象提供模块405可以根据所获取的至少一个视觉对象信息以及从视觉模块403获取的显示顺序信息或显示位置信息，确定至少一个视觉对象的显示顺序或显示位置。
例如，视觉对象提供模块405可以在使用电子装置301购买物品(或支付)时获取至少一个视觉对象的信息。例如，视觉对象提供模块405可以从服务器308接收至少一个视觉对象信息，或者使用存储在存储器330中的数据获得至少一个视觉对象信息。例如，在某些实施例中，视觉对象提供模块405可以检查紧接在“结帐页面”之前的网页。视觉对象提供模块405可以根据所获取的至少一个视觉对象信息以及从视觉模块403获取的显示顺序信息或显示位置信息，确定至少一个视觉对象的显示顺序或显示位置。
例如，视觉对象提供模块405可以至少基于视觉信息来实时获取至少一个视觉对象信息。视觉对象提供模块405可以基于但不限于所获取的至少一个视觉对象信息以及从视觉模块403获取的显示顺序信息或显示位置信息，确定至少一个视觉对象的显示顺序或显示位置。
在某些实施例中，服务器308可以包括ASR模块411、NLU模块412、上下文分析模块413、上下文提供器414或内容提供器代理420。
根据一实施例，ASR模块411可以接收包括用户话语的声音输入并将其转换成文本数据。根据一个实施例，ASR模块411可以从电子装置301的声音支持模块404接收包括用户话语的声音信号。ASR模块411可以将接收到的声音信号中的用户话语转换为文本。例如，如果从电子装置301的声音支持模块404接收到包括用户话语“Please order iced cafélatte large size from OO coffee shop”的声音信号，则ASR模块411可以将此用户话语转换为文本。根据一实施例，ASR模块411可以将转换为文本的用户话语发送到NLU模块412。
根据一个实施例，NLU模块412可以使用语素或短语的语言特征(例如，语法元素)来获得从用户话语中提取的单词的含义。根据一个实施例，NLU模块412可以从ASR模块411接收转换为文本的用户话语。NLU模块412可以接收已更改为文本的用户话语并且提取至少一个关键词。例如，如果用户的话语已更改为文本“Please order iced cafélatte largesize from OO coffee shop”，则NLU模块412可以提取“OO coffee shop”、“ice cafélatte”或“large size”。根据一个实施例，NLU模块412可以将至少一个关键词发送到上下文分析模块413。
根据一实施例，上下文分析模块413可通过分析从NLU模块412接收的至少一个关键词之间的上下文来识别用户的意图。例如，基于从NLU模块412接收到关键词“OO coffeeshop”、“ice cafélatte”或“large size”，上下文分析模块413可识别用户的咖啡订单。根据一实施例，上下文分析模块413可向上下文提供器414发送至少一个关键词的信息或用户话语中的用户意图。
根据一个实施例，上下文提供器414可以对用户话语中的至少一个关键词进行分类和存储。例如，上下文提供器414可以从内容提供器代理420请求类别信息。例如，响应于来自上下文提供器414的请求，内容提供器代理420可以向上下文提供器414提供基于存储在电子装置301中的数据(例如，如果安装了用于购买或咨询某一产品的应用程序，则此数据为存储在电子装置301中的数据，或者如果安装了与内容提供器服务器相关的应用程序，则此数据为存储在电子装置301中的数据)而获得的类别信息。上下文提供器414可以从内容提供器代理420接收类别信息。
例如，响应于来自上下文提供器414的请求，内容提供器代理420可以向内容提供器服务器(例如，开放市场服务器或咖啡店服务器)请求类别信息，并且从内容提供器接收响应于此请求的类别信息。内容提供器代理420可以向上下文提供器414提供类别信息。上下文提供器414可以从内容提供器代理420接收类别信息。上下文提供器414可以基于接收到的类别信息对从上下文分析模块413接收到的至少一个关键词进行分类和存储。
例如，如果从用户接收到包括关于电子装置101中的物品订单的话语的声音信号，则上下文提供器414可以将物品订单信息分类并存储在各种类别中，诸如情景信息类别、商店类别、订单类别、简档类别和付款类别。例如，上下文提供器414可以将天气、订购时间或访问时间信息存储在情景信息类别中。例如，上下文提供器414可以用户订单的商店位置或品牌信息存储在商店类别中。例如，上下文提供器414可以将用户的订购菜单、食谱和订购尺寸信息存储在订单类别中。例如，上下文提供器414可以将用户的个人信息或者物品购买历史存储在简档类别中。例如，上下文提供器414可以将支付方式、卡信息或支付方法信息存储在支付类别中。
根据一个实施例，上下文提供器414包括但不限于情景信息类别、商店类别、订单类别、简档类别或支付类别。上下文提供器414可以将用户信息分类并存储在各种类别中。
在某些实施例中，上下文提供器414可以检查用户话语并且识别动词、名词和专有名词。上下文提供器414可以认为动词可能是进行购买的命令，而名词可能是购买的物品。可以通过将单词与已知企业或商标等进行比较来检测专有名词。专有名词可以被视为所购物品的分销商、商店或企业。
根据一个实施例，内容提供器代理420可以控制服务器308的操作。为控制服务器308的操作，内容提供器代理420可以与服务器308的其它组件，诸如ASR模块411、NLU模块412、上下文分析模块413或上下文提供器414可操作地耦合。
根据一个实施例，内容提供器代理420可以将从电子装置301的视觉模块403接收的视觉信息分类并存储在上下文提供器414的类别中。例如，内容提供器代理420可以从视觉模块403接收外卖咖啡杯的DD咖啡标志信息。内容提供器代理420可以将DD咖啡存储在上下文提供器414的商店类别中。
根据一实施例，内容提供器代理420可从电子装置301的支付模块402接收用户支付信息，并将用户支付信息分类并存储在上下文提供器414的类别中。内容提供器代理420可基于用户的支付信息对至少一个关键词进行分类并根据类别进行存储。例如，上下文提供器414可从支付模块402接收用户以一百万韩元购买品牌A的监视器的信息。上下文提供器414可将品牌A存储在品牌类别中，将监视器存储在产品类别中，且将一百万韩元存储在价格类别中。
根据一个实施例，内容提供器代理420可以基于通过视觉模块403接收的显示顺序信息或视觉信息来确定至少一个视觉对象的显示顺序或显示位置。内容提供器代理420可以基于上下文提供器414分类的至少一个关键词、显示顺序或显示位置来生成至少一个视觉对象。在某些实施例中，可以基于所确定的显示顺序来提供视觉对象。在某些实施例中，基于以视觉对象为基础更新的视觉信息，可以将视觉对象改变为其它类型。
根据一实施例，内容提供器代理420可将生成的至少一个视觉对象发送到电子装置301的视觉对象提供模块405。内容提供器代理420可根据电子装置301的位置或时间发送至少一个其它视觉对象。例如，电子装置301的用户航班预订信息可存储在上下文提供器414中。若电子装置301位于与飞机登机口不同的位置，则内容提供器代理420可生成用于引导到飞机登机口的视觉对象且将该视觉对象发送到电子装置301的视觉对象提供模块405。
图4分别描述电子装置301和服务器308，但不限于此。电子装置301可包括服务器308的全部或部分功能配置。如果电子装置301包括服务器308的全部或部分功能配置，则电子装置301可执行服务器308的全部或部分操作。
根据某些实施例的电子装置可以包括相机(例如，相机380)，通信电路(例如，通信模块390)，显示器(例如，显示装置360)，与相机、通信电路和显示器可操作地耦合的处理器(例如，处理器320)，以及与处理器可操作地耦合的存储器(例如，存储器330)，其中存储器可以存储指令，所述指令在被执行时，使得处理器：使用通信电路将与电子装置相关的所购买物品的信息发送到服务器；在发送所述物品信息后，在显示器上显示使用相机采集的图像；使用通信电路将所述图像的信息发送到服务器；基于在服务器处识别出所述图像中的至少一个对象与所述物品相对应，使用通信电路从服务器接收至少一个视觉对象信息；并且在显示器上将至少一个视觉对象叠加显示在图像上以将至少一个对象与至少一个视觉对象相关联。
在某些实施例中，可以通过至少部分地叠加至少一个视觉对象来覆盖至少一个对象。
在某些实施例中，指令可以使处理器在接收至少一个视觉对象信息的同时在图像上显示视觉效果以指示图像信息的发送以及至少一个视觉对象信息的接收。
在某些实施例中，指令可使处理器响应于从电子装置的用户接收到与物品订单有关的声音信号而提供用于购买物品的服务，并且基于提供该服务，改变至少一个视觉对象的显示，或将至少一个视觉对象改变为其它视觉对象。在某些实施例中，指令可使处理器将与物品订单相关的声音信号发送到服务器以至少部分地基于与物品订单相关的声音信号来识别至少一个关键词并且将其存储在服务器中。在某些实施例中，可至少部分地基于至少一个关键词、图像中的至少一个对象或者图像的元数据在服务器处生成至少一个视觉对象。
在某些实施例中，指令可以使处理器至少部分地基于图像中的至少一个对象来确定至少一个视觉对象的显示位置或显示顺序。
在某些实施例中，指令可以使处理器至少部分地基于时间、电子装置的地点或连接到电子装置的其它电子装置的信息来改变至少一个视觉对象。
因此，根据某些实施例的电子装置可以包括相机(例如，相机380)、显示器(例如，显示装置360)、与相机和显示器可操作地耦合的处理器(例如，处理器32)、以及与处理器可操作地耦合的存储器(例如，存储器330)，其中存储器可以存储指令，所述指令在被执行时，使得处理器：在存储器中存储与电子装置相关的所购买物品的信息；在存储物品信息后，在显示器上显示使用相机采集的图像作为预览图像；识别图像中与所述物品相对应的至少一个对象；基于识别出所述图像中的至少一个对象与所述物品相对应，获取至少一个视觉对象的信息；并且在显示器上，将至少一个视觉对象叠加地显示在图像上以将至少一个对象与至少一个视觉对象相关联。
在某些实施例中，所购买物品的信息可以包括与所购买物品相关的至少一个关键词的信息。
在某些实施例中，所述至少一个对象可以被至少一个视觉对象覆盖。
在某些实施例中，指令可使处理器基于时间或地点改变至少一个视觉对象。
图5示出根据某些实施例的电子装置301的操作的示例。
参照图5，在操作501，处理器320可将使用电子装置301购买的物品的信息发送到服务器308。根据一实施例，处理器320可从用户接收包括用户话语的声音信号。处理器320可将包括用户话语的声音信号发送到服务器308。服务器308可从电子装置301接收包括用户话语的声音信号。服务器308可识别出用户话语中的至少一个关键词，并且按照类别进行存储。例如，处理器320可从用户接收包括用户话语“Please order iced americano largesize from OO coffee shop”的声音信号。处理器320可以将接收到的声音信号发送到服务器308。服务器308可以根据类别存储用户话语的关键词“OO coffee shop”、“iceamericano”或“large size”。例如，处理器320可以将“OO coffee shop”存储在品牌类别中，将“OO coffee shop”存储在菜单类别中，并且将“large size”存储在订单类别中。
在操作503，在将物品信息发送到服务器308后，处理器320可将使用电子装置301的相机模块380(例如，相机)采集的图像显示在电子装置301的显示装置360(例如显示器)上作为预览图像。根据一实施例，处理器320可在电子装置301的显示装置360上显示所购物品作为预览图像。处理器320可识别指示预览图像的所购物品的至少一个对象。基于至少一个对象，处理器320可通过视觉模块403获得图像信息。根据一实施例，处理器320可基于图像中的至少一个对象来确定用于显示至少一个视觉对象的第一显示顺序或第一显示位置。例如，在包括指示外卖咖啡杯的对象的图像中，处理器320可获得指示外卖咖啡杯的对象、指示品牌的对象或者指示内容的对象的信息。
例如，指示品牌的对象通常朝向杯子的顶部并与纯色背景相对。处理器320可以扫描杯子的表面并且检测像素值的突变以检测可能的徽标。在其它实施例中，处理器320可以存储来自常见品牌的咖啡杯，并且基于杯子的颜色检测不同的品牌。咖啡杯的内容物可能朝向杯子的顶部。通常深棕色可能是可乐饮料，而浅棕色可能是咖啡。较浅的颜色通常指示冰淇淋。
基于所获得的信息，处理器320可以确定与指示外卖咖啡杯的对象对应的视觉对象、与指示品牌的对象对应的视觉对象，或者与指示内容物的对象对应的视觉对象的第一显示顺序或第一显示位置。根据一个实施例，处理器320可以显示指示在图像中识别出至少一个对象的其它视觉对象(例如，点)。
在操作505中，处理器320可以将图像信息或图像的至少一部分发送到服务器308。服务器308可以接收图像信息。根据一个实施例，例如，服务器308的内容提供器代理420可以从电子装置301接收指示外卖咖啡杯的对象、指示品牌的对象或者指示内容的对象的信息。根据一个实施例，处理器320可以接收至少一个视觉对象的第一显示顺序或第一显示位置信息。
在操作507中，基于识别出图像的至少一个对象与服务器308中的物品对应，处理器320可使用通信模块390(例如，通信电路)从服务器308接收至少一个视觉对象信息。根据一实施例，服务器308(例如，内容提供器代理420)可基于接收到的图像信息识别接收到的图像中的至少一个对象是否与接收到的物品对应。根据一实施例，基于存储在上下文提供器414中的物品信息以及接收到的图像信息，内容提供器代理420可识别接收到的图像中的至少一个对象是否与此物品对应。
根据一实施例，响应于与物品对应的至少一个对象，内容提供器代理420可生成至少一个视觉对象。根据一实施例，内容提供器代理420可将至少一个视觉对象生成为一个集合。内容提供器代理420可确定至少一个视觉对象的第二显示顺序或第二显示位置。
根据一实施例，内容提供器代理420可基于存储在上下文提供器414的类别中的关键词生成至少一个视觉对象。例如，如果“OO coffee”被存储在品牌类别中，“icedamericano”被存储在菜单类别中，且“large size”被存储在上下文提供器414的订单类别中，则内容提供器代理420可以生成指示“OO coffee”的视觉对象、指示“iced americano”的视觉对象以及指示“large size”的视觉对象。例如，如果“37℃”/”99°F”存储在天气类别中，“coupon reserved 3times”存储在零售店类别中，“5000won”/”US$4.30”存储在上下文提供器414的支付类别中，则内容提供器代理420可以生成指示“37℃”/”99°F”的视觉对象、指示“coupon reserved 3times”的视觉对象以及指示“5000won”/”US$4.30”的视觉对象。根据一个实施例，内容提供器代理420可以基于与视觉对象相关的上下文的改变来改变或更新指示存储在上下文提供器414的类别中的信息的视觉对象。例如，内容提供器代理420可识别电子装置301的用户在下午1:00订购冰美式咖啡的信息被存储在上下文提供器414中。内容提供器代理420可以基于识别来确定在订购之后已过去一个小时。至少基于此确定，内容提供器代理420可以生成指示冰块融化一半的视觉对象。
根据一个实施例，处理器320可向服务器308(例如，内容提供器代理420)发送用于请求至少一个视觉对象信息的信号。服务器308可从电子装置301接收用于请求至少一个视觉对象信息的信号。根据一实施例，服务器308可向电子装置301发送至少一个视觉对象信息。
在操作507中，处理器320可通过通信模块390从服务器308接收至少一个视觉对象信息。根据一实施例，处理器320可在至少一个视觉对象之前显示指示接收到的至少一个视觉对象信息的另一视觉对象。响应于接收到至少一个视觉对象信息，处理器320可改变且显示具有至少一个视觉对象的另一视觉对象。
在操作509中，处理器320可在显示装置360(例如，显示器)上将至少一个视觉对象显示为叠加在图像上以将至少一个对象与至少一个视觉对象关联。根据一实施例，图像中的至少一个对象可被至少一个视觉对象叠加和覆盖。处理器320可确定至少一个视觉对象的第三显示顺序或第三显示位置。基于在服务器308处确定的第二显示顺序或第二显示位置，处理器320可确定第三显示顺序或第三显示位置。
根据一实施例，第一显示顺序或第三显示位置可基于电子装置301中图像中的至少一个对象来确定。可以基于上下文提供器414中存储的信息以及从电子装置301接收到的第一显示顺序或第三显示位置，在服务器308中确定第二显示顺序或第二显示位置。可基于至少一个视觉对象以及第二显示顺序或第二显示位置，在电子装置301中确定第三显示顺序或第三显示位置。第三显示顺序可以是电子装置301处的最终显示顺序。第三显示位置可以是电子装置301处的最终显示位置。
根据一实施例，基于第三显示位置，处理器320可根据图像中的至少一个对象改变并显示至少一个视觉对象的大小。根据一实施例，处理器320可基于第三显示顺序来显示至少一个视觉对象。例如，如果至少一个视觉对象被叠加并且显示，则可根据至少一个对象的显示顺序来显示此视觉对象。例如，处理器320可在底部显示最大的视觉对象。处理器320可在顶部显示最小的视觉对象。
根据一实施例，处理器320可以各种尺寸或形状显示至少一个视觉对象。至少一个视觉对象可以包括与物品或用户相关的视觉对象。例如，视觉对象可以包括指示所订购物品的形状的对象、指示所订购物品的名称的对象、指示所订购物品的价格的对象以及指示用户的头像。根据一实施例，处理器320可为至少一个视觉对象设置显示效果。例如，处理器320可改变至少一个视觉对象的透明度。例如，处理器320可为至少一个视觉对象设置运动效果。
根据一实施例，处理器320可根据电子装置301的时间或地点以不同方式显示至少一个视觉对象。例如，如果在机票图像中显示至少一个视觉对象，则处理器320可将登机剩余时间显示为至少一个视觉对象。随着当前时间的改变，处理器320可改变并且显示登机的剩余时间。例如，基于航班预订信息，处理器320可在登机时间之前识别电子装置301当前处于与登机口不同的位置。处理器320可显示用于将电子装置301的用户引导到登机口的视觉对象。处理器320可随着电子装置301的位置改变而改变并显示视觉对象。
这样，根据某些实施例的电子装置301可将至少一个视觉对象显示为与通过相机采集的图像中的物品对应的对象相关联，从而提供增强的用户体验。根据某些实施例的电子装置301可以通过显示至少一个视觉对象且然后在不重新识别图像的情况下更新至少一个视觉对象来提供增强的用户体验。
图6示出根据某些实施例的电子装置301的操作的另一示例。电子装置301可以包括服务器308的至少部分功能配置。电子装置301可以执行服务器308的功能。
参照图6，在操作601中，电子装置301的处理器320可存储使用电子装置301购买的物品的信息。根据一实施例，处理器320可从电子装置301的用户接收包括用户话语的声音信号。处理器320可通过分析包括用户话语的声音信号来提取至少一个关键词。处理器320可将提取的至少一个关键词存储在电子装置301的存储器330中。处理器320可基于多个类别对至少一个关键词进行分类和存储。
在操作603中，处理器320可以在显示装置360(例如，显示器)上将使用电子装置301的相机模块380(例如，相机)采集的图像显示为预览图像。根据一个实施例，所采集的图像可以包括用户所购买的物品的形状。
在操作605中，处理器320可识别图像中的至少一个对象与所购买物品对应。根据一实施例，处理器320可识别图像中的至少一个对象与所购买物品对应。处理器320可通过分析图像来识别图像中的至少一个对象。基于所存储的物品信息，处理器320可识别至少一个对象是否与所购买物品对应。
在操作607中，处理器320可获得至少一个视觉对象的信息。根据一实施例，处理器320可获得与所购买物品或电子装置301的用户相关的至少一个视觉对象信息。例如，如果电子装置301的用户在咖啡店购买咖啡，则处理器320可获得指示在咖啡店预订的优惠券数量的视觉对象信息。根据一实施例，处理器320可生成至少一个视觉对象。根据一实施例，处理器320可从服务器308接收至少一个视觉对象。例如，处理器320可向服务器308发送用于请求至少一个视觉对象信息的信号。服务器308可从电子装置301接收用于请求至少一个视觉对象信息的信号。服务器308可将包括至少一个视觉对象信息的信号发送到电子装置301。处理器320可从服务器308接收包括至少一个视觉对象信息的信号。
在操作609，处理器320可将至少一个视觉对象显示为叠加在图像上以将至少一个对象与至少一个视觉对象关联。根据一实施例，处理器320可根据电子装置301的用户输入来移动至少一个视觉对象。根据一实施例，处理器320可根据电子装置301的用户输入来改变尺寸或旋转至少一个视觉对象。
这样，根据某些实施例的电子装置301可以通过基于物品购买历史而显示图像中与此物品相对应的对象相关联的至少一个视觉对象来提供增强的用户体验。例如，用户可以通过至少一个视觉对象执行与此物品相关的动作，而无需切换到其它独立应用程序。
图7A示出根据某些实施例的电子装置的用户界面的一个示例。
参照图7A，电子装置301的处理器320可以从用户接收用于购买物品的声音信号。基于声音信号722，处理器320可以执行用于购买物品的应用程序。处理器320可以在执行的应用程序的用户界面721中输入用户的订单信息。例如，处理器320可以接收“Please ordericed cafélatte large size from OO coffee shop”的用户话语722。处理器320可以基于用户话语722执行用于订购咖啡的应用程序。处理器320可以在用于订购咖啡的应用程序的用户界面721中输入订购信息。处理器320可以基于所输入的订单信息执行支付。
根据一个实施例，处理器320可以将接收到的声音信号发送到服务器308。服务器308可从电子装置301接收声音信号。服务器308的内容提供器代理420可使用ASR模块411、NLU模块412或上下文分析模块713将包括用户话语的声音信号改变为文本并且提取和分析至少一个关键词。例如，处理器320可接收包括用户话语“Please order iced cafélattelarge size from OO coffee shop”的声音信号。处理器320可将包括用户话语的声音信号发送到服务器308。服务器308的内容提供器代理420可分析用户话语并且分类至少一个关键词，将“OO coffee shop”存储在商店类别中，将“iced cafélatte”存储在菜单类别中，以及将“large size”存储在上下文提供器414的订单类别中。
根据一个实施例，处理器320可以向服务器308发送物品支付信息。支付信息可以包括支付方式、支付卡类型、优惠券使用、价格或会员卡类型中的至少一种信息。服务器308可以从电子装置301接收物品支付信息。服务器308的内容提供器代理420可以通过分析支付信息来提取关键词。
根据一个实施例，处理器320可以稍后使用相机模块380显示包括用户订购的物品的图像作为预览图像。处理器320可以在应用程序的用户界面723中显示预览图像。应用程序可以包括相机应用程序或者在增强现实(AR)环境中运行的应用程序。处理器320可以识别图像中的至少一个对象700。
处理器320可以识别图像中的至少一个对象700的视觉信息(例如，品牌徽标、文本或对象形状信息)。处理器320可以在预览图像上显示指示至少一个对象700正在被标识(或识别)的多个对象701。基于至少一个对象700，处理器320可以确定至少一个视觉对象的第一显示顺序或第一显示位置。例如，处理器320可以识别图像中的至少一个对象是外卖咖啡杯。处理器320可以确定将第一视觉对象705完全叠加在外卖咖啡杯上的显示位置。处理器320可以确定将第二视觉对象704叠加在咖啡店品牌徽标上的显示位置。处理器320可以确定第一视觉对象705和第二视觉对象704的显示顺序。例如，处理器320可以确定在第一视觉对象705上显示第二视觉对象704的显示顺序。根据一个实施例，处理器320可以将图像的至少一个对象的视觉信息、第一显示顺序信息或第一显示位置信息发送到服务器308。
根据一个实施例，服务器308可以接收图像的至少一个对象的视觉信息、第一显示顺序信息或第一显示位置信息。服务器308的内容提供器代理420可以从对象的视觉信息中获取至少一个关键词。内容提供器代理420可以将从对象的视觉信息中获得的至少一个关键词分类并存储在上下文提供器414的类别中。例如，内容提供器代理420可以从包括外卖咖啡杯的图像中识别咖啡店品牌或外卖咖啡杯尺寸信息。内容提供器代理420可以识别关键词“OO coffee”或“large size”。内容提供器代理420可以将“OO coffee”或“largesize”分类并存储在上下文提供器414的类别中。根据一个实施例，内容提供器代理420可以不仅从采集自图像中的对象的信息中识别至少一个关键词，而且还可以从图像元数据中的信息中识别至少一个关键词。图像元数据中的信息可以包括当前日期、当前时间、当前天气或当前温度中的至少一种信息。例如，内容提供器代理420可以从图像元数据中的信息识别当前日期“25th May”、当前时间“2:15PM”或当前温度“37℃”/“99℉”。内容提供器代理420可以在上下文提供器414的天气/时间类别中存储关键词“25th May”、“2:15PM”或“37℃”/“99℉”。
根据一个实施例，基于从电子装置301接收的视觉信息，内容提供器代理420可以识别图像中的至少一个对象与电子装置301中的用户所订购物品相对应。例如，内容提供器代理420可以识别电子装置301的用户从OO咖啡店订购大杯冰拿铁咖啡。内容提供器代理420可以识别图像中的对象是电子装置301的用户所订购的咖啡。
根据一个实施例，内容提供器代理420可以基于上下文提供器414中的至少一个关键词来生成至少一个视觉对象。例如，内容提供器代理420可以生成指示冰拿铁咖啡的第一视觉对象705。内容提供器代理420可以生成指示咖啡品牌徽标的第二视觉对象704。基于用户的咖啡购买历史，内容提供器代理420可以生成第三视觉对象703，指示购满五杯咖啡可获赠免费饮品。内容提供器代理420可以识别第一视觉对象705、第二视觉对象704和第三视觉对象703的第二显示顺序或第二显示位置。
根据一个实施例，内容提供器代理420可以向电子装置301发送至少一个生成的视觉对象、第二显示顺序或第二显示位置信息。电子装置301的处理器320可以从服务器308接收至少一个视觉对象、第二显示顺序或第二显示位置的信息。例如，处理器320可以从服务器308接收第一视觉对象705、第二视觉对象704和第三视觉对象703的信息。处理器320可以从服务器308接收第一视觉对象705、第二视觉对象704和第三视觉对象703的第二显示顺序或第二显示位置的信息。
根据一实施例，基于第二显示顺序或第二显示位置，处理器320可确定从服务器308接收的至少一个视觉对象的第三显示顺序或第三显示位置。基于所确定的第三显示顺序或第三显示位置，处理器320可在电子装置301的用户界面中显示视觉对象。例如，处理器320可以在用户界面725中显示第一视觉对象705以叠加在图像的外卖咖啡杯上。处理器320可显示第二视觉对象704以叠加在用户界面725中的第一视觉对象705的中心。处理器320可在用户界面725中显示第三视觉对象703以叠加在第一视觉对象705的左下部分。
这样，基于使用相机采集外部对象的图像，根据某些实施例的电子装置301可以通过在为采集图像而显示的预览图像上提供与外部对象相关的信息来提供增强的用户体验。
图7B示出根据某些实施例的电子装置301的用户界面的另一个示例。
参照图7B，电子装置301的处理器320可从用户接收包括“Please order caramelmacchiato with low-fat milk large size from OO coffee shop”的用户话语730的声音信号。处理器320可将接收到的声音信号发送到服务器308。接下来，处理器320可在电子装置301的用户界面731中显示包括与外卖咖啡杯对应的对象的图像作为预览图像。处理器320可显示指示在图像中识别出与外卖咖啡杯对应的对象732的其它视觉对象707。根据一实施例，处理器320可以在不显示其它视觉对象707的情况下识别图像中与外卖咖啡杯对应的对象732。根据一实施例，处理器320可从服务器308接收第一视觉对象709和第二视觉对象711。第一视觉对象709可指示热咖啡蒸汽。第二视觉对象711可指示焦糖玛奇朵的标签。处理器320可在用户界面733中将第一视觉对象709和第二视觉对象711叠加并显示与外卖咖啡杯对应的对象732上。
根据一实施例，处理器320可存储其中叠加了第一视觉对象709和第二视觉对象711的图像713。处理器320可在日历应用程序的用户界面735中显示所存储的图像713。处理器320可在与当前日期对应的区域中显示所存储的图像713。根据一实施例，处理器320可在对应日期的区域中显示过去存储的图像。根据一实施例，处理器320可以在对应日期的区域中显示与用户所购物品相关的图像。例如，处理器320可以识别用户预订了去丹麦的机票。处理器320可在与出行日期对应的区域中显示指示丹麦国旗的图像。
这样，根据某些实施例的电子装置301可通过在通过相机采集图像的同时在所显示的预览图像上显示至少一个视觉对象，并且将至少一个视觉对象信息提供给其它应用程序来提供增强的用户体验。
图8A示出根据某些实施例对服务器308中的至少一个关键词进行分类的一个示例。
参照图8A，处理器320可接收包括用户话语的声音信号。处理器320可将包括用户话语的声音信号发送到服务器308。例如，处理器320可从用户接收包括“Please ordercaramel macchiato with low-fat milk large size from OO coffee shop”的用户话语801的声音信号。处理器320可将接收到的声音信号发送到服务器308。
根据一实施例，服务器308的内容提供器代理420可以使用ASR模块411将包括用户话语801的声音信号转换为文本数据。内容提供器代理420可以将转换后的文本数据发送到NLU模块412。内容提供器代理420可通过NLU模块412使用语素或短语的语言特征(例如，语法元素)从声音输入中提取单词含义。内容提供器代理420可使用NLU模块412从文本数据中提取至少一个关键词。例如，如果转换为文本数据的用户话语801是“Please ordercaramel macchiato with low-fat milk large size from OO coffee shop”，则内容提供器代理420可以从用户话语801中提取“OO coffee”、“caramel macchiato”或“largesize”。
根据一个实施例，内容提供器代理420可以经由NLU模块412将所提取的至少一个关键词发送到上下文分析模块413。内容提供器代理420可以通过在上下文分析模块413中分析至少一个关键词的上下文来识别用户的意图。例如，基于关键词“OO coffee”、“caramel macchiato”或“large size”，内容提供器代理420可以识别出电子装置301的用户订购咖啡。
根据一个实施例，内容提供器代理420可以将用户话语的至少一个关键词分类并存储在上下文提供器414的类别中。例如，上下文提供器414可以包括菜单类别801、订单类别802、支付类别803或商店类别804。内容提供器代理420可以将“caramel macchiato”存储在菜单类别802中。内容提供器代理420可以将“low-fat milk”和“large size”存储在订单类别802中。内容提供器代理420可以将“OO coffee”存储在商店类别804中。如果从电子装置301的支付模块402接收到用户关于支付方式或支付方式信息(例如，电子支付)的声音信号，则内容提供器代理420可以将支付方式信息存储在支付类别803中。对于其它话语，专有名词可以存储在话语中，可以存储在商店类别804中，并且名词可以存储在订单类别802中。
这样，根据某些实施例的电子装置301可以通过使用与电子装置301相关联的服务器803来获得电子装置301的用户物品偏好信息，从而向用户提供适当的服务。
图8B示出根据某些实施例对服务器308中的至少一个关键词进行分类的另一个示例。
参照图8B，处理器320可以接收包括“Please book a hapimag resort inInterlaken for 3-adults this weekend and make a reservation at the hotel thatprovides airport pick-up service”的话语811的声音信号。处理器320可以将此声音信号发送到服务器308。服务器308的内容提供器代理420可以使用ASR模块411、NLU模块412或上下文分析模块413从包括用户话语811的声音信号中提取至少一个关键词。处理器320可以从用户话语811中提取“pick-up service”、“3-adults”、“this weekend”或“hapimag”。内容提供器代理420可以将关键词分类并存储在上下文提供器414的类别中。上下文提供器414可以包括服务类别805、订单类别806、支付类别807或商店类别808。内容提供器代理420可以将“pick-up service”存储在服务类别805中。内容提供器代理420可以将“3-adults”或“this weekend”存储在订单类别806中。内容提供器代理420可以将“hapimag”存储在商店类别808中。
这样，根据某些实施例的电子装置301可以使用与电子装置301相关联的服务器803来获得电子装置301的用户物品偏好信息，从而向用户提供适当的服务。
图9示出根据某些实施例的多个类别的上下文提供器的一个示例。
参照图9，上下文提供器414可以包括多个类别。上下文提供器414可以包括天气/时间类别901、简档类别902、商店类别903、菜单类别904、套餐类别905、订单类别906、服务类别907或支付类别908。类别不限于图9中所示的类别，并且上下文提供器414可以包括未示出的各种类别。
根据一个实施例，天气/时间类别901可以包括与天气、到访时间、订购时间、接收时间、感测温度、登机时间、预订时间、登记入住时间或温度相关的关键词或信息。根据一个实施例，如果电子装置301的用户订购咖啡，则内容提供器代理420可以将与天气、到访时间、订购时间、接收时间或感测温度相关的关键词存储在天气/时间类别901中。根据一个实施例，如果电子装置301的用户预订机票，则内容提供器代理420可以将与登机时间或预订时间相关的关键词存储在天气/时间类别901中。根据一个实施例，如果电子装置301的用户预订酒店房间，则内容提供器代理420可以将与登机时间或登记入住时间相关的关键词存储在天气/时间类别901中。
根据一个实施例，简档类别902可以存储与性别、年龄、体型、偏好、过敏、朋友、用户账户或登录历史相关的关键词或信息。根据一个实施例，如果电子装置301的用户频繁地订购相同的食物，则内容提供器代理420可以将与偏好相关的关键词存储在简档类别902中。根据一个实施例，内容提供器代理420可以基于存储在简档类别902中的关键词生成至少一个视觉对象。例如，如果电子装置301的用户捕获的菜单包括已知会引起过敏的成分，则内容提供器代理420可以生成指示过敏警报的视觉对象。
根据一实施例，商店类别903可包括与零售商、地点、品牌、奖励、签名或便利设施相关的关键词或信息。根据一实施例，如果电子装置301的用户订购咖啡，则内容提供器代理420可将与零售商、地点、品牌、奖励或签名相关的关键词存储在商店类别903中。例如，如果电子装置301的用户订购作为位于伦敦的DD咖啡店的招牌菜单的芒果拼配咖啡，则内容提供器代理420可将“London”,“DD coffee”或“mango blended”存储在商店类别903中。
根据一个实施例，菜单类别904可以存储与咖啡、茶、饮料、甜点、食物或成分相关的关键词或信息。例如，如果电子装置301的用户订购焦糖玛奇朵，则内容提供器代理420可以将“caramel macchiato”,“caramel syrup”或“milk”存储在菜单类别904中。
根据一个实施例，套餐类别905可以存储与活动计划、登机信息、预订信息、时间表或餐食计划相关的关键字或信息。根据一个实施例，如果电子装置301的用户接收到出行计划信息，则内容提供器代理420可以将基于此出行计划信息生成的至少一个关键词存储在套餐类别905中。
根据一个实施例，订单类别906可以存储与顶盖配料、浓缩咖啡份数、配方、温度或杯型大小相关的关键词或信息。根据一个实施例，如果电子装置301的用户订购两杯大杯冰美式(两份浓缩咖啡)，则内容提供器代理420可以将“large size”,“iced”或“two shots”存储在订单类别906中。
根据一个实施例，服务类别907可以存储与接机服务、客房服务、洗衣服务、家政服务或叫醒服务相关的关键词或信息。
根据一个实施例，支付类别908可以存储与***、账户、合作伙伴关系、服务、货币或折扣相关的关键词或信息。
根据一个实施例，内容提供器代理420可基于存储在上下文提供器414的类别中的至少一个关键词来存储至少一个视觉对象。例如，如果电子装置301的用户在下雨天订购披萨饼，则内容提供器代理420可以基于存储在天气/时间类别901中的“rain”以及存储在菜单类别904中的“pizza”来生成指示雨天的第一视觉对象或者指示披萨饼的第二视觉对象。内容提供器代理420可以通过组合第一视觉对象和第二视觉对象来生成第三视觉对象。
图10A和图10B示出根据某些实施例在电子装置中生成至少一个视觉对象的一个示例。
参照图10A，电子装置301的处理器320可以从电子装置301的用户接收包括“Todayis too hot.Can I have a cold drink at DD coffee shop？”的话语1060的声音信号。响应于用户话语1060(或问题)，处理器320可以通过声音输出装置355输出“I recommendgrapefruit blended as today’s new menu.”的声音(或文本)1061。处理器320可以从用户接收包括“I want grapefruit blended large size from the closest brach.I’llpay with OO pay”的话语1062的声音信号。根据一个实施例，处理器320可以向服务器308发送包括用户订单信息(例如，话语1062)的声音信号的信息。基于接收到的声音信号信息，服务器308的内容提供器代理420可以将至少一个关键词存储在上下文提供器414的类别(例如，天气/时间类别1001、简档类别1002、商店类别1003、菜单类别1004、订单类别1005或支付类别1006)中。例如，内容提供器代理420可将“OO coffee”或“Mangpo branch”存储在商店类别1003中。内容提供器代理420可将“grapefruit blended”存储在菜单类别1004中。内容提供器代理420可将“large size”存储在订单类别1005中。根据一实施例，基于用户之前对电子装置101的订购历史，内容提供器代理420可将“Offer free drink after fivedrinks”存储在商店类别1003中。基于识别出OO咖啡的招牌菜单是葡萄柚拼配咖啡，内容提供器代理420可将“signature menu”存储在菜单类别1004中。
根据一实施例，内容提供器代理420可以基于存储在上下文提供器414的类别中的至少一个关键词来生成至少一个视觉对象。例如，内容提供器代理420可以基于商店类别1003的“OO coffee”或“Mangpo branch”生成指示OO咖啡的品牌徽标的第一视觉对象1025。基于订单类别1005的“large size”或菜单类别1004的“signature menu”或“grapefruitblended”，内容提供器代理420可以生成指示葡萄柚拼配咖啡的第二视觉对象1023。基于商店类别1003的“Offer free drink after five drinks”，内容提供器代理420可以生成第三视觉对象1021，指示购买五杯即可获赠免费饮品。
根据一个实施例，内容提供器代理420可以确定所生成的至少一个视觉对象的显示顺序或显示位置。例如，内容提供器代理420可以确定第一视觉对象1025、第二视觉对象1023或第三视觉对象1021的显示顺序或显示位置。
根据一个实施例，内容提供器代理420可以从电子装置301接收包括指示由电子装置301的用户订购的菜单的项的图像的视觉信息。参照图10B，基于从电子装置301接收的视觉信息或图像的元数据，内容提供器代理420可以将至少一个关键词存储在内容提供器414的类别(例如，天气/时间类别1011、简档类别1012、商店类别1013、菜单类别1014、订单类别1015或支付类别1016)中。例如，内容提供器代理420可以将“receipt 2:00PM”,“current2:15PM”,“sunny”,或“37°”存储在天气/时间类别1011中。
根据一实施例，内容提供器代理420可从电子装置301接收用户的支付信息。基于接收到的支付信息，内容提供器代理420可将至少一个关键词存储在上下文提供器414的类别(例如，天气/时间类别1011、简档类别1012、商店类别1013、菜单类别1014、订单类别1015或支付类别1016)中。例如，内容提供器代理420可将“OO pay”或“4100won”存储在支付类别1016中。
根据一实施例，内容提供器代理420可基于存储在上下文提供器414的类别中的至少一个关键词来生成至少一个视觉对象。例如，内容提供器代理420可基于存储在天气/时间类别1011中的“receipt 2:00PM”,“current 2:15PM”,“sunny”,或“37°”生成指示冰块的第四视觉对象1033。内容提供器代理420可基于存储在简档信息1012中的用户头像信息来生成指示电子装置301的用户的第五视觉对象1034。基于存储在支付类别1016中的支付信息，内容提供器代理420可生成第六视觉对象1035，其指示使用OO支付来支付了4100韩元。
根据一实施例，内容提供器代理420可确定所生成的至少一个视觉对象的显示顺序或显示位置。例如，内容提供器代理420可确定所生成的视觉对象(例如，第一视觉对象1025到第六视觉对象1035)的显示顺序或显示位置。
使用与电子装置301相关联的服务器308，根据某些实施例的电子装置301可以接收由服务器308处理的信息，并且在显示外部对象的同时，基于所接收到的信息而确定至少一个视觉对象的显示顺序和/或位置，从而增强至少一个视觉对象的可见性。
图11A、11B和11C示出根据某些实施例的在电子装置中显示至少一个视觉对象的另一示例。
参照图11A和11B，电子装置301的处理器320可从用户电子装置301接收包括“Iwant to book a hotel room for three adults this weekend on OO site”的话语1161的声音信号。根据一实施例，处理器320可通过声音输出装置355，响应用户话语1161而输出声音1162(或文本)“Today’s recommendation is OO hotel.Price 200EUR.”。根据一实施例，处理器320可在电子装置301的用户界面1101中显示推荐酒店的信息1101-1。根据一实施例，处理器320可从用户接收包括“Please book the OO hotel with airport pick-upservice.I’ll pay with OO pay”的话语1163的声音信号。根据一实施例，处理器320可以向服务器308发送包括用户订单信息(例如，话语1163)的声音信号信息。
根据一实施例，服务器308的内容提供器代理420可从电子装置301接收包括电子装置301的用户话语的声音信号。参照图11B，基于接收到的声音信号，内容提供器代理420可将至少一个关键词存储在上下文提供器414的多个类别(例如，天气/时间类别1111、简档类别1112、商店类别1113、套餐类别1114、服务类别1115或支付类别1116)中。例如，内容提供器代理420可将“this weekend”存储在天气/时间类别1111中。内容提供器代理420可以将“OO hotel”或OO酒店的位置信息存储在商店类别1113中。内容提供器代理420可将“airport pick-up service”存储在服务类别1115中。
根据一实施例，在将酒店预订信息存储在服务器308中后，处理器320可使用电子装置301的相机模块380在用户界面1102中显示包括机票的图像作为预览图像。处理器320可识别图像中指示机票的对象。处理器320可识别图像中指示机票的对象1102-1的视觉信息。根据一实施例，处理器320可叠加并显示至少一个其它对象(例如，多个点1102-2)，其指示识别出图像中指示机票的对象1102-1。根据一实施例，处理器320可识别图像中指示机票的对象1102-1而不显示至少一个其它对象(例如，点1102-2)。根据一实施例，处理器320可将图像中的至少一个对象1102-1的视觉信息或元数据发送到服务器308。例如，处理器320可向服务器308发送视觉信息，其包括飞机登机时间、登机口、出发或到达信息。
根据一实施例，基于从电子装置301接收到的视觉信息或元数据，服务器308的内容提供器代理420可将至少一个关键字存储在上下文提供器414的类别(例如，天气/时间类别1111、简档类别1112、商店类别1113、套餐类别1114、服务类别1115或支付类别1116)中。
根据一实施例，内容提供器代理420可基于存储在上下文提供器414的类别中的至少一个关键词来生成至少一个视觉对象。参照图11C，例如，内容提供器代理420可基于登机口和当前位置的信息生成指示通向登机口的方向的视觉对象1131。内容提供器代理420可基于登机时间和当前时间生成指示登机剩余时间的视觉对象1132。内容提供器代理420可基于计划座位号生成指示座位号的视觉对象1133。内容提供器代理420可基于到达地而生成指示到达国家的旗帜的视觉对象1134。内容提供器代理420可基于酒店预订信息生成指示酒店信息的视觉对象1135。内容提供器代理420可基于酒店预订信息生成指示登记入住时间的视觉对象1136。内容提供器代理420可基于酒店预订信息生成指示从机场到酒店的路线的视觉对象1137。内容提供器代理420可基于当前汇率信息生成指示当前汇率的视觉对象1138。根据一实施例，内容提供器代理420可将生成的至少一个视觉对象(例如，视觉对象1131到视觉对象1138)发送到电子装置301。
根据一个实施例，处理器320可以从服务器308接收至少一个视觉对象(例如，视觉对象1131到视觉对象1138)。参照图11A，处理器320可以在用户界面1103中显示要叠加在包括至少一个对象的图像上的至少一个视觉对象(例如，图11C的视觉对象1131到视觉对象1138)。根据一个实施例，处理器320可以根据电子装置301的时间或地点来改变和显示至少一个视觉对象的一部分。例如，处理器320可以根据电子装置301的当前位置来改变并显示指示通向登机口的方向的视觉对象1131。例如，处理器320可以基于时间改变并显示指示登机剩余时间的视觉对象1132。
根据一个实施例，即使在图像中没有识别出至少一个对象，处理器320也可以显示至少一个视觉对象。例如，处理器320可以识别出电子装置301的当前位置是机场而不是登机口。处理器320可以在用户界面1104中显示用于引导用户到达登机口的视觉对象1104-1(例如，图11C的视觉对象1131)。根据一个实施例，基于识别出电子装置301的当前位置是机场，处理器320可以显示指示飞机和酒店预订信息的视觉对象1104-2。根据一个实施例，处理器320可以基于对视觉对象1112的用户输入来显示飞机和酒店预订信息。
如此，根据某些实施例的电子装置301可以通过将视觉对象与服务器308相关联的外部对象的图像一起显示并且根据用户的当前状态更新此视觉对象来提供适于用户情况的适当服务。
图12示出根据某些实施例的电子装置的用户界面的又一个示例。
参照图12，处理器320可以在使用相机模块380的应用程序的用户界面1201中显示包括指示物联网(IoT)装置的对象1202的图像。在某些实施例中，可以使用电子装置301购买IoT装置。在某些实施例中，IoT装置可以使用与电子装置301的用户账户对应的用户账户在电子装置301或与电子装置301相关的服务器中注册。在某些实施例中，应用程序可以提供IoT服务。在某些实施例中，应用程序可以指示被授权使用相机模块380的应用程序。在某些实施例中，应用程序可以提供IoT装置和电子装置301之间的关联。
在某些实施例中，处理器320可以从图像的对象1202中获取分别与可执行对象1205、1207、1209、1211、1213和1215相关的视觉对象1217、1219、1221、1223、1225和1227的信息。在某些实施例中，视觉对象1217、1219、1221、1223、1225和1227可以分别是可执行对象1205、1207、1209、1211、1213和1215的引导信息。
例如，处理器320可以将图像信息发送到服务器308。基于所述图像信息，服务器308可以从对象1202中提取可执行对象1205、1207、1209、1211、1213和1215。服务器308可以获取与所提取的可执行对象1205、1207、1209、1211、1213和1215相关的视觉对象1217、1219、1221、1223、1225和1227。例如，服务器308可以获取指示可执行对象1205控制IoT装置的电源的视觉对象1217、指示可执行对象1207控制从IoT装置输出的气流的视觉对象1219、指示可执行对象1209激活IoT装置的睡眠模式的视觉对象1221、指示可执行对象1211设置IoT装置的定时器功能的视觉对象1223、指示可执行对象1213激活IoT装置的照明功能的视觉对象1225，以及指示可执行对象1215显示IoT装置的净化空气质量的视觉对象1227。服务器308可以将视觉对象1217、1219、1221、1223、1225和1227的信息发送到电子装置301。
在某些实施例中，基于所接收的信息，处理器320可以将视觉对象1217、1219、1221、1223、1225和1227显示为叠加在所显示的对象1202上。例如，处理器320可以将视觉对象1217显示在可执行对象1205附近以将视觉对象1217与可执行对象1205相关联；将视觉对象1219显示在可执行对象1207附近以将视觉对象1219与可执行对象1207相关联；将视觉对象1221显示在可执行对象1209附近以将视觉对象1221与可执行对象1209相关联；将视觉对象1223显示在可执行对象1211附近以将视觉对象1223与可执行对象1211相关联；将视觉对象1225显示在可执行对象1213附近以将可视对象1225与可执行对象1213相关联；并且将可视对象1227显示在可执行对象1215附近以将可视对象1227与可执行对象1215相关联。
尽管视觉对象1217、1219、1221、1223、1225和1227在图12中是文本，视觉对象1217、1219、1221、1223、1225和1227的至少一部分可以以不同的格式配置。例如，视觉对象1217、1219、1221、1223、1225和1227可以被配置为动画、视频、符号或其组合。
在某些实施例中，电子装置301可以在相机模块380所采集的图像中识别与电子装置301相关的IoT装置并且提供被提取IoT装置的引导信息，从而提供增强的用户体验。
如上所述，根据某些实施例的电子装置的方法可包括：将与电子装置相关的所购买物品的信息发送到服务器；在发送物品信息后，在电子装置的显示器上显示使用电子装置的相机采集的图像；将图像的信息发送到服务器；基于在服务器处识别出图像中的至少一个对象与此物品相对应，使用电子装置的通信电路从服务器接收至少一个视觉对象信息；以及在电子装置的显示器上将至少一个视觉对象显示叠加在图像上以将至少一个对象与至少一个视觉对象相关联。
在某些实施例中，可以通过至少部分地叠加至少一个视觉对象来覆盖至少一个对象。
在某些实施例中，此方法还可以包括：在发送图像信息和接收至少一个视觉对象信息的同时，在预览图像上显示视觉效果以指示图像信息的发送以及至少一个视觉对象信息的接收。
在某些实施例中，此方法还可包括：响应于从电子装置的用户接收到用于订购物品的声音信号而提供用于购买此物品的服务；以及基于提供此服务，改变至少一个视觉对象的显示，或者将至少一个视觉对象改变为其它视觉对象。在某些实施例中，此方法还可包括：将与物品订单相关的声音信号发送到服务器以至少部分地基于物品订单的声音信号在服务器中识别和存储至少一个关键词。在某些实施例中，可至少部分地基于至少一个关键词、图像中的至少一个对象或者图像的元数据在服务器处生成至少一个视觉对象。
在某些实施例中，此方法还可包括，至少部分地基于图像中的至少一个对象，确定至少一个视觉对象的显示位置或显示顺序。
在某些实施例中，此方法还可包括：至少部分地基于时间、电子装置的地点或者连接到电子装置的其它电子装置的信息来改变至少一个视觉对象。
根据某些实施例的电子装置可以提供与图像中的至少一个对象相关的至少一个视觉对象。
尽管已经参照其某些实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等效物限定的本公开的精神和范围的情况下，可以在形式和细节上做出各种改变。

Claims (15)

1.一种电子装置，包括：
相机；
通信电路；
显示器；
处理器，其与所述相机、所述通信电路和所述显示器可操作地耦合；和
存储器，其与所述处理器可操作地耦合，
其中，所述存储器存储指令，所述指令在被执行时，使所述处理器：
使用所述通信电路将利用所述电子装置购买的物品的信息发送到服务器，
在发送所述物品信息后，在所述显示器上显示使用所述相机采集的图像，
使用所述通信电路将所述图像的至少一部分发送到所述服务器，并且
当所述服务器识别出所述图像中的至少一个对象与所购买的物品对应时，在所述显示器上将从所述服务器接收的至少一个视觉对象叠加在所述图像上以将所述至少一个对象与所述至少一个视觉对象关联。
2.根据权利要求1所述的电子装置，其中，所述图像中的所述至少一个对象至少部分地被所述至少一视觉对象覆盖。
3.根据权利要求1所述的电子装置，其中，所述指令使所述处理器：
在接收所述至少一个视觉对象信息的同时，在所述图像上显示视觉效果以指示所述图像的所述至少一部分的发送以及所述至少一个视觉对象信息的接收。
4.根据权利要求1所述的电子装置，其中，所述指令使所述处理器：
响应于从所述电子装置的用户接收到与物品的订购相关的声音信号，打开用于购买所述物品的应用程序，并且
基于所述应用程序，改变所述至少一个视觉对象的所述显示，或将所述至少一个视觉对象改变为另一个视觉对象。
5.根据权利要求4所述的电子装置，其中，所述指令使所述处理器：
向所述服务器发送与所述物品订购相关的声音信号。
6.根据权利要求1所述的电子装置，其中，通过从用户接收声音命令来购买所述物品。
7.根据权利要求1所述的电子装置，其中，所述指令使所述处理器：
至少部分地基于所述图像中的所述至少一个对象，确定所述至少一个视觉对象的显示位置或显示顺序。
8.根据权利要求1所述的电子装置，其中，所述指令使所述处理器：
至少部分地基于时间、所述电子装置的地点或连接到所述电子装置的另一电子装置而改变所述至少一个视觉对象。
9.一种电子装置的方法，所述方法包括：
将使用所述电子装置购买的物品的信息发送到服务器；
在发送所述物品信息后，在所述电子装置的显示器上显示使用所述电子装置的相机采集的图像；
将所述图像的至少一部分发送到所述服务器；以及
在所述电子装置的所述显示器上将从所述服务器接收的至少一个视觉对象叠加在所述图像上以将所述至少一个对象与所述至少一个视觉对象关联。
10.根据权利要求9所述的方法，其中，所述至少一个对象至少部分地被所述至少一个视觉对象覆盖。
11.根据权利要求9所述的方法，还包括：
在发送所述图像信息和接收所述至少一个视觉对象信息的同时，在预览图像上显示视觉效果以指示所述图像的至少一部分的发送以及所述至少一个视觉对象信息的接收。
12.根据权利要求9所述的方法，还包括：
响应于从所述电子装置的用户接收到用于订购所述物品的声音信号，打开用于购买所述物品的应用程序；以及
基于所述应用程序，改变所述至少一个视觉对象的所述显示，或将所述至少一个视觉对象改变为其它视觉对象。
13.根据权利要求12所述的方法，还包括：
将用于所述物品订购的声音信号发送到所述服务器以至少部分地基于用于所述物品订单的所述声音信号在所述服务器中识别和存储至少一个关键词。
14.根据权利要求9所述的方法，还包括：
至少部分地基于所述图像中的所述至少一个对象，确定所述至少一个视觉对象的显示位置或显示顺序。
15.根据权利要求9所述的方法，还包括：
至少部分地基于时间、所述电子装置的地点或者连接到所述电子装置的其它电子装置的信息来改变所述至少一个视觉对象。
CN202080008661.2A 2019-01-10 2020-01-10 用于显示至少一个视觉对象的方法和电子装置 Pending CN113287137A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2019-0003427 2019-01-10
KR1020190003427A KR20200086980A (ko) 2019-01-10 2019-01-10 적어도 하나의 시각적 객체를 표시하기 위한 전자 장치 및 방법
PCT/KR2020/000532 WO2020145757A1 (en) 2019-01-10 2020-01-10 Method and electronic device for displaying at least one visual object

Publications (1)

Publication Number Publication Date
CN113287137A true CN113287137A (zh) 2021-08-20

Family

ID=71516242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080008661.2A Pending CN113287137A (zh) 2019-01-10 2020-01-10 用于显示至少一个视觉对象的方法和电子装置

Country Status (5)

Country Link
US (1) US20200226671A1 (zh)
EP (1) EP3864607A4 (zh)
KR (1) KR20200086980A (zh)
CN (1) CN113287137A (zh)
WO (1) WO2020145757A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114167744A (zh) * 2021-12-23 2022-03-11 四川启睿克科技有限公司 基于ar的家庭智能家电管理方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108600911B (zh) * 2018-03-30 2021-05-18 联想(北京)有限公司 一种输出方法及电子设备
US11409114B2 (en) 2020-03-02 2022-08-09 Samsung Electronics Co., Ltd. Image display device capable of multi-depth expression
CN116508042A (zh) * 2020-10-21 2023-07-28 三星电子株式会社 电子装置及其控制方法
CN113159895B (zh) * 2021-04-27 2023-09-01 维沃移动通信（杭州）有限公司 支付方法及装置
KR20230061901A (ko) * 2021-10-29 2023-05-09 주식회사 사운드그래프 사물인식 인공지능을 활용한 픽업 안내 방법 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120232977A1 (en) * 2011-03-08 2012-09-13 Bank Of America Corporation Real-time video image analysis for providing targeted offers
US20160019618A1 (en) * 2013-05-13 2016-01-21 A9.Com, Inc Augmented reality recommendations
CN107003996A (zh) * 2014-09-16 2017-08-01 声钰科技 语音商务
US20180240259A1 (en) * 2013-03-14 2018-08-23 Paypal, Inc. Using augmented reality for electronic commerce transactions

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4659817B2 (ja) * 2005-02-14 2011-03-30 富士通株式会社 販売支援装置
US8849791B1 (en) * 2011-06-29 2014-09-30 Amazon Technologies, Inc. Assisted shopping
KR20140015697A (ko) * 2012-07-11 2014-02-07 양승호 스마트 폰 인식 이미지를 이용한 연관 동작 수행 시스템 및 방법
US9904946B2 (en) * 2013-07-18 2018-02-27 Paypal, Inc. Reverse showrooming and merchant-customer engagement system
US10776849B2 (en) * 2014-12-04 2020-09-15 Lenovo (Singapore) Pte Ltd Visually identifying products
US11210730B1 (en) * 2018-10-31 2021-12-28 Square, Inc. Computer-implemented methods and system for customized interactive image collection based on customer data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120232977A1 (en) * 2011-03-08 2012-09-13 Bank Of America Corporation Real-time video image analysis for providing targeted offers
US20180240259A1 (en) * 2013-03-14 2018-08-23 Paypal, Inc. Using augmented reality for electronic commerce transactions
US20160019618A1 (en) * 2013-05-13 2016-01-21 A9.Com, Inc Augmented reality recommendations
US20170208256A1 (en) * 2013-05-13 2017-07-20 A9.Com, Inc. Augmented reality recommendations
CN107003996A (zh) * 2014-09-16 2017-08-01 声钰科技 语音商务

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114167744A (zh) * 2021-12-23 2022-03-11 四川启睿克科技有限公司 基于ar的家庭智能家电管理方法

Also Published As

Publication number Publication date
US20200226671A1 (en) 2020-07-16
EP3864607A1 (en) 2021-08-18
KR20200086980A (ko) 2020-07-20
EP3864607A4 (en) 2021-12-01
WO2020145757A1 (en) 2020-07-16

Similar Documents

Publication Publication Date Title
US20200226671A1 (en) Method and electronic device for displaying at least one visual object
EP3479588B1 (en) Augmented reality device and operation thereof
US20190339840A1 (en) Augmented reality device for rendering a list of apps or skills of artificial intelligence system and method of operating the same
US10553032B2 (en) Augmented reality output based on item acquisition limitations
JP2021152931A (ja) ブラウザアプリケーションプログラミングインターフェースを通した暗号通貨支払いの提供
US11037202B2 (en) Contextual data in augmented reality processing for item recommendations
EP3244357A1 (en) Electronic apparatus providing electronic payment and operating method thereof
US20130042261A1 (en) Electronic video media e-wallet application
EP3654268B1 (en) Card registration method for payment service and mobile electronic device implementing the same
US20220398843A1 (en) Tagging objects in augmented reality to track object data
US11538470B2 (en) Electronic device for processing user utterance and controlling method thereof
US11501323B1 (en) Augmented reality store and services orientation gamification
EP3010245A2 (en) Method for providing additional information related to broadcast content and electronic device implementing the same
KR20180057507A (ko) 음성을 이용하여 송금하는 방법 및 장치
KR102315675B1 (ko) 근접 기반 컴퓨팅 장치 간 협상 기법
CN111614924B (zh) 计算机***、资源发送方法、装置、设备及介质
CN113055724B (zh) 直播数据处理方法、装置、服务器、终端、介质及产品
US20220311527A1 (en) Broadcasting contextual information through modification of audio and video interfaces
US11972763B2 (en) Method and apparatus for supporting voice agent in which plurality of users participate
US20170038796A1 (en) Wearable terminal device, display method, program, and service providing system
US10733216B2 (en) Interactive map
KR102642268B1 (ko) 공유 업무 처리 방법 및 장치
JP2024088549A (ja) プログラム、情報処理方法、情報処理装置
JP2024088550A (ja) プログラム、情報処理方法、情報処理装置、サーバ
CN114612110A (zh) 一种特征值转移方法和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination