CN106981000B - 基于增强现实的多人线下交互、点餐方法及*** - Google Patents

基于增强现实的多人线下交互、点餐方法及*** Download PDF

Info

Publication number
CN106981000B
CN106981000B CN201610896495.XA CN201610896495A CN106981000B CN 106981000 B CN106981000 B CN 106981000B CN 201610896495 A CN201610896495 A CN 201610896495A CN 106981000 B CN106981000 B CN 106981000B
Authority
CN
China
Prior art keywords
user
service
offline
users
ordering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610896495.XA
Other languages
English (en)
Other versions
CN106981000A (zh
Inventor
尹欢密
曾晓东
林锋
吴军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201610896495.XA priority Critical patent/CN106981000B/zh
Publication of CN106981000A publication Critical patent/CN106981000A/zh
Priority to TW106126277A priority patent/TWI691865B/zh
Priority to US15/792,594 priority patent/US10303946B2/en
Priority to MX2019004306A priority patent/MX2019004306A/es
Priority to PCT/US2017/058847 priority patent/WO2018071921A1/en
Priority to MYPI2019002035A priority patent/MY202362A/en
Priority to SG11201903275SA priority patent/SG11201903275SA/en
Priority to SG10202101627QA priority patent/SG10202101627QA/en
Priority to JP2019520435A priority patent/JP6869341B2/ja
Priority to BR112019007492-9A priority patent/BR112019007492B1/pt
Priority to RU2019113320A priority patent/RU2744930C2/ru
Priority to EP17860121.7A priority patent/EP3526755A4/en
Priority to CA3040309A priority patent/CA3040309C/en
Priority to AU2017342562A priority patent/AU2017342562B2/en
Priority to KR1020197013681A priority patent/KR102213407B1/ko
Priority to PH12019500805A priority patent/PH12019500805A1/en
Priority to ZA2019/02938A priority patent/ZA201902938B/en
Priority to US16/422,798 priority patent/US10789475B2/en
Application granted granted Critical
Publication of CN106981000B publication Critical patent/CN106981000B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0261Targeted advertisements based on user location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207Discounts or incentives, e.g. coupons or rebates
    • G06Q30/0238Discounts or incentives, e.g. coupons or rebates at point-of-sale [POS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/12Hotels or restaurants
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Telephonic Communication Services (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供一种基于增强现实的多人线下交互方法,包括:扫描目标场所中预设的线下业务标记;其中,所述线下业务标记用于触发多人线下业务交互;向服务端发送第一预设消息;所述第一预设消息携带与所述线下业务标记对应的信息以及用户的标识信息,以由服务端基于与所述线下业务标记对应的信息建立所述用户以及与针对所述预设的线下业务标记执行扫描的其它用户之间的业务关联;接收所述服务端推送的业务数据,并基于所述业务数据在增强现实场景中与所述线下业务标记对应的位置上输出对应的业务交互界面。本申请可以基于增强现实技术将线上的多用户的社交模式与线下业务进行无缝结合,为用户提供了一种全新的线下业务交互模式。

Description

基于增强现实的多人线下交互、点餐方法及***
技术领域
本申请涉及计算机应用领域,尤其涉及一种基于增强现实的多人线下交互、点餐方法及装置。
背景技术
AR(Augmented Reality,增强现实)技术,是一种通过实时计算影像的位置及角度,在影像上叠加相应的图像、视频、3D模型,进而对虚拟世界与现实世界进行融合的技术,面向用户提供一种全新的交互体验。随着AR技术的不断发展,AR技术的应用场景也越来越丰富,因而如何利用AR技术将线上业务与线下业务进行更好的结合,对于提升用户体验将具有十分重要的意义。
发明内容
本申请提出一种基于增强现实的多人线下交互方法,应用于增强现实客户端,所述方法包括:
扫描目标场所中预设的线下业务标记;其中,所述线下业务标记用于触发多人线下业务交互;
向服务端发送第一预设消息;所述第一预设消息携带与所述线下业务标记对应的信息以及用户的标识信息,以由服务端基于与所述线下业务标记对应的信息建立所述用户以及与针对所述预设的线下业务标记执行扫描的其它用户之间的业务关联;
接收所述服务端推送的业务数据,并基于所述业务数据在增强现实场景中与所述线下业务标记对应的位置上输出对应的业务交互界面。
本申请还提出一种基于增强现实的多人线下交互***,应用于增强现实客户端,所述***包括:
第一扫描模块,扫描目标场所中预设的线下业务标记;其中,所述线下业务标记用于触发多人线下业务交互;
第一发送模块,向服务端发送第一预设消息;所述第一预设消息携带与所述线下业务标记对应的信息以及用户的标识信息,以由服务端基于与所述线下业务标记对应的信息建立所述用户以及与针对所述预设的线下业务标记执行图像扫描的其它用户之间的业务关联;
第一输出模块,接收所述服务端推送的业务数据,并基于所述业务数据在增强现实场景中与所述线下业务标记对应的位置上输出对应的业务交互界面。
本申请该提供一种基于增强现实的多人线下点餐方法,应用于增强现实客户端,所述方法包括:
扫描目标餐厅中预设的点餐标记;其中,所述点餐标记用于触发多人线下点餐交互;
向服务端发送第一预设消息;所述第一预设消息携带与所述点餐标记对应的信息以及用户的标识信息,以由服务端基于与所述点餐标记对应的信息建立所述用户以及与针对所述预设的点餐标记执行扫描的其它用户之间的点餐关联;
接收所述服务端推送的菜单数据,并基于所述菜单数据在增强现实场景中与所述点餐标记对应的位置上输出点餐界面。
本申请还提出一种基于增强现实的多人线下点餐***,应用于增强现实客户端,所述***包括:
第二扫描模块,扫描目标餐厅中预设的点餐标记;其中,所述点餐标记用于触发多人线下点餐交互;
第二发送模块,向服务端发送第一预设消息;所述第一预设消息携带与所述点餐标记对应的信息以及用户的标识信息,以由服务端基于与所述点餐标记对应的信息建立所述用户以及与针对所述预设的点餐标记执行扫描的其它用户之间的点餐关联;
第二输出模块,接收所述服务端推送的菜单数据,并基于所述菜单数据在增强现实场景中与所述点餐标记对应的位置上输出点餐界面。
本申请中,提出了一种基于增强现实技术的将线上的多用户社交与线下业务相结合的互动模式,通过在目标场所中预设用于触发多人线下业务交互的线下业务标记,当多个用户在通过增强现实客户端针对该线下业务标记进行图像扫描后,可以触发增强现实客户端输出业务交互界面,使得该多个用户可以在该业务交互界面中共同执行线下业务交互,从而实现了基于增强现实技术将线上的多用户的社交模式与线下业务进行无缝结合,为用户提供了一种全新的线下业务交互模式;
当本申请的技术方案应用于线下点餐的应用场景中时,可以实现基于增强现实技术将线上的多用户的社交模式与线下点餐进行无缝结合,为用户提供了一种全新的线下点餐交互模式。
附图说明
图1是本申请一实施例示出的一种基于增强现实的多人线下交互方法的处理流程图;
图2是本申请一实施例示出的一种基于增强现实的多人线下点餐方法的处理流程图;
图3是本申请一实施例示出的一种用户对线下餐厅进行图像扫描的示意图;
图4是本申请一实施例示出的一种基于AR技术的多人线下点餐的场景示意图;
图5是本申请一实施例示出的另一种基于AR技术的多人线下点餐的场景示意图;
图6是本申请一实施例示出的一种基于增强现实的多人线下交互***的逻辑框图;
图7是本申请一实施例提供的承载所述一种基于增强现实的多人线下交互***的AR客户端所涉及的硬件结构图;
图8是本申请一实施例示出的一种基于增强现实的多人线下点餐***的逻辑框图;
图9是本申请一实施例提供的承载所述一种基于增强现实的多人线下点餐***的AR客户端所涉及的硬件结构图。
具体实施方式
本申请旨在提出一种基于AR技术的将线上的多用户社交与线下业务相结合的互动模式。
通过在目标场所中预设用于触发多人线下业务交互的线下业务标记,当多个用户在通过增强现实客户端针对该线下业务标记进行图像扫描后,可以触发增强现实客户端输出业务交互界面,使得该多个用户可以在该业务交互界面中执行线下业务交互,从而实现了基于增强现实技术将线上的多用户的社交模式与线下业务进行无缝结合,为用户提供了一种全新的线下业务交互模式;
例如,当本申请的技术方案应用于线下点餐的应用场景中时,可以通过在线下餐厅中预设用于触发多人线下点餐交互的点餐标记(比如特定的二维码或者餐厅的标识等),当多个用户在通过AR客户端针对该点餐标记进行图像扫描后,可以触发AR客户端输出基于AR技术的点餐界面,使得该多个用户可以在该点餐界面中执行线下点餐交互,共同的完成点餐,从而实现了基于AR技术将线上的多用户的社交模式与线下点餐业务进行无缝结合,为用户提供了一种全新的线下点餐的交互模式。
下面通过具体实施例并结合具体的应用场景对本申请进行描述。
请参考图1,图1是本申请一实施例提供的一种基于增强现实的多人线下交互方法,应用于AR客户端,所述方法执行以下步骤:
步骤101,扫描目标场所中预设的线下业务标记;其中,所述线下业务标记用于触发多人线下业务交互;
步骤102,向服务端发送第一预设消息;所述第一预设消息携带与所述线下业务标记对应的信息以及用户的标识信息,以由服务端基于与所述线下业务标记对应的信息建立所述用户以及与针对所述预设的线下业务标记执行扫描的其它用户之间的业务关联;
步骤103,接收所述服务端推送的业务数据,并基于所述业务数据在增强现实场景中与所述线下业务标记对应的位置上输出对应的业务交互界面。
上述AR客户端,是指基于AR技术开发的客户端软件,用于对现实场景进行图像扫描,并将扫描得到的图像数据实时传输至后台服务端;以及,通过上述AR客户端前台的AR引擎,对后台服务端推送的虚拟数据进行可视化渲染,将其与扫描到的现实场景的图像进行叠加融合。
上述服务端,包括面向上述AR客户端提供服务的服务器、服务器集群或者基于服务器集群构建的云平台,用于基于后台的AR引擎,对上述AR客户端扫描到的图像进行图像识别;以及,对与线下业务相关的虚拟数据进行内容管理,并基于上述图像识别的结果向上述AR客户端推送相关的虚拟数据。
在实际应用中,用户可以使用佩戴的AR终端(比如AR眼镜或者头盔),或者直接使用安装于移动终端(比如智能手机)上的AR客户端,对现实场景中的特定标识进行图像扫描;当扫描完成后,上述AR客户端可以将扫描到的图像信息上传至后台服务端,由后台服务端基于后台的AR引擎进行图像识别,并在成功识别出上述特定标识后,向上述AR客户端推送与该特定标识相关的虚拟数据。
其中,对上述图像信息的识别过程,也可以由上述AR客户端在本地完成,在本例中不进行特别限定。在这种情况下,当上述AR客户端针对上述特定标识扫描完成后,可以在本地解析扫描到的图像信息,然后对该图像信息进行识别,并将成功识别的出的上述特定标识,上传至后台服务端。
上述AR客户端也可以对用户图像扫描得到的图像中的特定标识进行识别定位,并与后台服务端进行交互,在接收服务端推送的与上述特定标识对应的虚拟数据后,可以通过前台的AR引擎,对该虚拟数据进行可视化渲染,创建AR场景模型,并将该虚拟数据在该AR场景模型中与上述特定标识对应的位置上显示,从而将现实场景与服务端推送的虚拟数据进行叠加融合。
上述目标场所,可以包括任意类型的线下业务场所;例如,可以是线下餐厅等线下消费场所;
上述线下业务标记,可以包括预设于上述目标场所中的,可用于触发多人线下业务交互的图形标识;比如,可以是一个特定的LOGO、二维码或者其它形式的图形标识。
上述业务交互界面,可以是上述AR客户端面向用户提供的用于执行线下业务交互的业务界面。
在实际应用中,当多个用户在来到上述目标场所后,可以通过使用AR客户端,或者使用佩戴的AR终端,对上述线下业务标记进行图像扫描,并由AR客户端或者后台服务端对图像扫描到的图像信息进行识别;当对图像扫描到的图像信息成功识别后,可以由后台服务端基于识别出的与该线下业务标记对应的信息建立该多个用户的业务关联,实现该多个用户在业务数据上的互通,使得该多个用户可以使用各自的AR客户端,或者佩戴的AR终端来执行相同的线下业务;
例如,当上述目标场所为线下餐厅时,上述线下业务标记可以是一个用于触发多人点餐的点餐标记,上述业务交互界面可以是一个用于进行多人点餐交互的点餐界面。当多个用户来到该餐厅后,可以通过使用各自的AR客户端或者各自佩戴的AR终端,针对该点餐标记进行图像扫描,当对该图像扫描到的图像信息成功识别后,后台服务端可以建立该多个用户的点餐关联,实现该多个用户产生的点餐数据上的互通,并通过该多个用户各自使用的AR客户端或者各自佩戴的AR终端,在AR场景中输出一个点餐界面,使得该多个用户可以在输出的点餐界面中共同的完成点餐。
以下通过“目标场所的图像扫描”、“多人线下业务的触发”、“多人线下业务的交互”、“基于多人线下业务的用户社交”等四个阶段,对本申请的技术方案进行详细描述。
1)目标场所的图像扫描
在本例中,上述AR客户端,可以仍然兼容传统的APP应用中的基于LBS(LocationBased Service,基于位置的服务)的目标场所定位以及推荐功能;比如,线下店铺定位以及基于LBS的线下店铺推荐功能。
用户可以通过上述AR客户端中提供的定位服务,主动查找需要前往的目标场所;或者,也可以从上述AR客户端中基于LBS服务推荐的目标场所,选择合适的目标场所。
当用户通过AR客户端中的目标场所定位以及推荐功能,成功到达目标场所后,此时用户可以使用上述AR客户端,或者也可以使用用户佩戴的AR终端,对该目标场所的场所标记进行图像扫描。
其中,上述目标场所的场所标记,可以是目标场所的LOGO,或者其它特定的图像标识。
当用户对上述目标场所的场所标记执行图像扫描后,上述AR客户端可以实时的将图像扫描得到的图像信息,以及该用户的标识信息传输至后台服务端。
其中,该用户的标识信息,具体可以是该用户登录上述AR客户端时,所使用的社交账号,或者其它能够唯一标识该用户的信息(比如手机号)。
在实现时,上述AR客户端可以与后台服务端预先建立一个连接(比如TCP连接),当用户对上述目标场所的场所标记执行图像扫描后,上述AR客户端可以基于该连接向上述后台服务端发送一个预设消息(第二预设消息),并在该预设消息中携带该用户的标识信息,以及图像扫描得到的与上述场所标记对应的图像信息。
当后台服务端接收到上述预设消息后,可以读取该预设消息中携带的上述用户的标识信息,以及与上述场所标记对应的图像信息,并基于后台的AR引擎对该图像信息进行识别。
其中,在上述后台服务端一侧,可以预先维护一个存储了大量线下场所的场所标记,以及与场所标记对应的推送数据的数据库;上述后台服务端在基于后台的AR引擎,对与上述场所标记对应的图像信息进行识别时,可以对该图像信息进行图像扫描,并识别该图像信息中是否包含上述数据库中的存储的场所标记。
如果在该图像信息中识别出上述数据库中的任一场所标记,此时上述场所标记成功识别,上述后台服务端可以将上述业务数据库中存储的与该场所标记对应的推送数据,推送至上述AR客户端。
其中,上述业务数据库中存储的推送数据,在本例中具体可以包括以下几类信息:
第一,上述推送数据,可以包括与上述场所标记对应的标签数据。
其中,该标签数据可以由与上述场所标记对应的线下场所进行自定义,也可以由上述线下场所的访客进行标记,具体可以包括上述场所标记的描述信息、服务特色,价位、优惠信息,以及用户的印象标签,等等;
例如,当上述线下场所为线下餐厅时,上述标签数据,可以包括上述线下餐厅的口味、地域特色、价位、印象标签,优惠信息等等。
其中,需要说明的是,上述优惠信息,可以包括由场所主动提供的优惠信息(比如优惠券),也可以包括由其它用户赠与或者分享给该用户的优惠信息。
当后台服务端从AR客户端上传的图像信息中,成功识别出相应的场所标记后,可以在上述数据库中查找与该场所标记对应的标签数据,然后将查找到的与该场所标记对应的标签数据,推送至上述AR客户端。
与此同时,当用户对上述目标场所的场所标记进行图像扫描后,上述AR客户端也可以对图像扫描得到的图像信息中的场所标记,进行识别定位,并在接收到上述后台服务端推送的与该场所标记对应的标签数据后,可以基于前台的AR引擎,对接收到的该标签数据进行可视化渲染,将其显示在AR场景中,与上述场所标记对应的位置上。
例如,假设上述目标场所为线下餐厅,上述场所标记为线下餐厅的LOGO,用户在针对该线下餐厅的LOGO进行扫描,并且上述AR客户端在收到后台服务端推送的与该线下餐厅对应的标签数据后,可以在AR场景中,与上述线下餐厅的LOGO对应的位置上显示上述标签数据。
第二,上述推送数据,还可以包括与上述用户关联的联系人信息。
其中,与上述用户关联的联系人信息,具体可以是指与上述用户存在社交关系的好友信息。
在实际应用中,与上述用户关联的联系人信息,可以包括与上述用户存在直接的社交关系的好友信息,还可以包括与该用户存在间接的社交关系的好友信息,即与该用户的好友存在社交关系的好友信息;比如,假设用户A为用户B的好友,用户C为用户B的好友,那么用户C可以称之为与用户A存在间接的社交关系的好友。
当后台服务端从AR客户端上传的图像信息中,成功识别出相应的场所标记后,还可以基于该用户的标识信息,在上述目标场所的访客数据库中,查找与该用户关联的联系人信息,然后将查找到的联系人信息推送至上述AR客户端。
例如,上述用户的标识信息具体可以是指用户的社交账号,当后台服务端从AR客户端上传的图像信息中,成功识别出相应的场所标记后,上述后台服务端可以调用与该用户的社交账号关联的社交数据库,基于该用户的社交账号,在上述目标场所的访客数据库中,查找该用户的好友信息,以及与该用户的好友存在社交关系的好友信息,然后将查找到的好友信息推送至上述AR客户端。
与此同时,当上述AR客户端接收到上述后台服务端推送的与该用户关联的联系人信息后,可以基于前台的AR引擎,对接收到的该联系人信息进行可视化渲染,将其显示在AR场景中,与上述场所标记对应的位置上。
例如,假设上述目标场所为线下餐厅,上述场所标记为线下餐厅的LOGO,用户在针对该线下餐厅的LOGO进行图像扫描,并且上述AR客户端在收到后台服务端推送的与该用户关联的联系人后,可以在AR场景中,与上述线下餐厅的LOGO对应的位置上显示上述联系人信息。
第三,上述推送数据,还可以包括其它用户在上述目标场所进行线下业务交互时,为该用户预定的目标对象。
在本例中,为了将多用户的线上社交模式与线下业务交互进行结合,用户通过上述AR客户端,在上述目标场所进行线下业务交互时,用户还可以基于自身的社交关系,为其它用户预定目标对象,并由AR客户端将用户为指定联系人预定的目标对象,以及该指定联系人的标识信息上传至后台服务端,由后台服务端进行存储。
当后台服务端从AR客户端上传的图像信息中,成功识别出相应的场所标记后,还可以基于该用户的标识信息,查询后台服务端上是否存储了由其它用户为该用户预定的目标对象;如果后台服务端上存储了其它用户为该用户预定的目标对象,则后台服务端可以将为该用户预定的目标对象推送至上述AR客户端。
与此同时,上述AR客户端在接收到上述后台服务端推送的由其它用户为该用户预定的目标对象后,可以基于前台的AR引擎,对接收到的由其它用户为该用户预定的目标对象进行可视化渲染,将其显示在AR场景中,与上述场所标记对应的位置上。
例如,假设上述目标场所为线下餐厅,上述场所标记为线下餐厅的LOGO,用户除了可以在线下餐厅进行点餐消费以外,还可以通过AR客户端为指定好友预定相应的菜品。当该指定好友下次抵达该餐厅进行消费,通过AR客户端扫描该餐厅的LOGO后,该AR客户端在接收到后台服务端推送的由其它用户为该用户预定的菜品时,可以在AR场景中,与上述线下餐厅的LOGO对应的位置上显示上述预定的菜品。
可见,通过以上的描述可知,用户在达到目标场所后,通过AR客户端或者佩戴的AR终端实时扫描该目标场所的场所标记,可以触发在AR场景中与该场所标记对应的位置上,实时输出与该场所标记对应的标签数据、访问过该目标场所的与该用户关联的联系人信息、以及其它用户为该用户预定的目标对象;
通过这种方式,可以将目标场所自身的标签数据,与该用户的社交数据进行合并显示,对用户的线上社交与线下业务进行结合,从而可以利用用户的线上社交关系,更好的引导用户对线下的目标场所的访问。
2)多人线下业务的触发
在本例中,上述目标场所中可以预设上述线下业务标记。当多个用户进入上述目标场所后,可以通过AR客户端,或者佩戴的AR终端,针对上述线下业务标记进行图像扫描,来触发多人的线下业务交互。
对于上述多个用户中的任意一个用户来说,当其通过AR客户端,或者佩戴的AR终端,针对上述线下业务标记进行图像扫描后,该AR客户端可以通过与后台服务端之间的连接,向后台服务端发送一个预设消息(第一预设消息),并在该预设消息中携带该用户的标识信息,以及图像扫描得到的与上述线下业务标记对应的图像信息。
当后台服务端接收到上述多个用户的AR客户端发送上述预设消息后,可以分别读取该预设消息中携带的上述用户的标识信息,以及与上述线下业务标记对应的图像信息,然后基于后台的AR引擎对这些图像信息进行识别。
其中,在上述后台服务端一侧,也可以预先维护一个存储了大量线下业务标记,以及与线下业务标记对应的业务数据的数据库。上述后台服务端在基于后台的AR引擎,对接收到的图像信息进行识别时,可以对接收到的图像信息进行图像扫描,并识别该图像信息中是否包含上述数据库中的存储的线下业务标记。
如果在接收到的图像信息中均识别到上述数据库中的同一线下业务标记,此时上述后台服务端可以汇总各用户的标识信息,建立该多个用户之间的业务关联,即当任一用户对上述线下业务标记执行图像扫描后,后台服务端将会在后台建立该用户,与针对上述线下业务标记也同样执行了图像扫描的其它用户之间的业务关联。
当然,以上示出的针对扫描到的上述线下业务标记的图像信息的识别过程,也可以由AR客户端来完成。即由AR客户端在完成图像识别后,将识别结果上传至上述后台服务端,不再赘述。
当上述业务关联建立后,此时后台服务端可以将用于创建业务交互界面的业务数据(比如当上述业务交互界面为点餐界面时,上述业务数据可以是菜单选项等用于创建点餐界面的数据),向建立了业务关联后的各用户所使用的AR客户端分别进行推送。
各AR客户端在收到服务端推送的上述业务数据后,可以基于该业务数据来创建对应的业务交互界面,然后将创建完成的业务交互界面在与上述线下业务标记对应的位置上向各用户输出。后续该多个用户在该业务交互界面中执行同一线下业务交互时,所产生的交互数据,将会在后台实现共享和互通。
例如,在示出的一种实施方式中,当用户扫描上述线下业务标记后,可以在AR场景中输出一个包含若干待选择的目标对象的业务交互界面,用户可以在该业务交互界面中执行线下业务交互,选择对应的目标对象。在这种情况下,上述业务数据则可以是指示用户在执行上述线下业务交互时,所选择的目标对象。
另外,需要说明的是,在实际应用中,上述预设的线下业务标记可以是唯一一个用于触发同一线下业务的线下业务标记,也可以包括多个用于触发同一线下业务的线下业务标记;
例如,以上述目标场所为线下餐厅为例,上述线下业务标识可以是设置于每张餐桌上的点餐标记;目标场所在预设上述点餐标记时,可以在每张餐桌上设置唯一的点餐标记,也可以在每一张餐桌上与用户的落座位置对应的位置上设置多个点餐标记。
其中,在示出的一种实现方式中,当上述预设的线下业务标记包括多个用于触发同一线下业务的线下业务标记时:
一方面,后台服务端可以针对该多个线下业务标记提前建立关联,比如可以将该多个线下业务标识绑定至同一线下业务,从而在成功识别出该多个线下业务标记后,能够正常的建立该多个用户之间的业务关联;
通过这种方式,可以避免由于后台服务端识别出了多个不同的线下业务标识的情况下,无法建立多个用户的业务关联,继而无法触发该多个用户执行同一线下业务的问题。
另一方面,在预设上述多个线下业务标记时,可以将该多个线下业务标记的位置,与用户的实际位置进行关联,即为不同的用户提供位置上互不相同,但可以触发同一线下业务的线下业务标记,从而能够体现出不同的扫描用户在位置上的差异;
通过这种方式,AR终端可以通过对各线下业务标记进行识别定位,在AR场景中,准确识别出不同用户的位置。
例如,仍以上述目标场所为线下餐厅为例,上述线下业务标识可以是设置于每张餐桌上的点餐标记;在实现时,可以在每一张餐桌上与用户的落座位置对应的位置上设置多个点餐标记。每一个用户在落座后,可以分别扫描面前的点餐标记,来实现多人共同点餐。与此同时,当AR客户端在针对各订餐标识进行识别定位时,可以在AR场景中,准确的识别出每一个用户的落座位置,从而后续可以将用户所选择的菜品,与用户的落座位置关联起来。
3)多人线下业务的交互
在本例中,当多个用户分别通过AR客户端,或者佩戴的AR终端,针对上述线下业务标记进行图像扫描,并且后台服务端建立了该多个用户的业务关联后,上述AR客户端可以在AR场景中,针对上述线下业务标记进行识别定位,然后在识别定出的上述线下业务标记的位置上,输出已经创建完成的用于执行线下业务交互的上述业务交互界面。
其中,在上述业务交互界面中,可以包括若干可供用户选择的目标对象;
例如,当上述线下业务为线下点餐业务时,上述业务交互界面可以是一个点餐界面,在该点餐界面中可以包括若干可供用户选择的菜品。
在本例中,AR客户端在输出上述业务交互界面时,可以通过AR客户端所在的移动终端,以及与该AR客户端对接的AR终端同步输出。
在这种情况下,用户可以在安装了上述AR客户端的移动终端上输出的上述业务交互界面中,来完成线下业务交互,选择对应的目标对象;也可以在佩戴的AR终端上述输出的上述业务交互界面中,来完成线下交互业务,选择对应的目标对象。
其中,用户在业务交互界面中选择目标对象的具体方式,在本例中不进行特别限定,可以通过点击,或者诸如拖拽等选定手势来完成目标对象的选定;
例如,当用户在AR终端输出的上述业务交互界面中,来选择目标对象时,上述AR终端可以通过搭载的传感器,实时的识别用户的手势,并对用户指定的用于触发选择目标对象的手势(比如拖拽手势)进行响应,来选中对应的目标对象。
在本例中,对于上述多个用户的任意一个用户来说,该用户在上述业务交互界面中选择了对应的目标对象后,上述AR客户端可以将该用户选定的目标对象上传到后台服务端。
当后台服务端在接收到上述多个用户的AR客户端上传的目标对象后,由于此时该多个用户已经在后台建立了业务关联,因此后台服务端可以将该多个用户各自在上述业务交互界面中选择的目标对象,作为同一线下业务产生的业务数据进行关联保存,从而在后台实现业务数据的共享和互通。
当后台服务端将上述多个用户在上述业务交互页面中选择的目标对象,在后台进行关联保存后,还可以分别向各用户推送上述多个用户中的其它用户在上述业务交互界面中选择的目标对象;例如,后台服务端可以向每一个用户的AR客户端分别发送一个推送消息,将其它用户选择的目标对象也一并推送至各AR客户端。
通过这种方式,使得该多个用户中的任意一个用户来说,能够通过AR客户端获取到,与自己同步执行同一线下业务的其它用户,在上述业务交互界面中所选定的目标对象,从而可以增强用户之间的互动性。
在本例中,当AR客户端,在接收到后台服务端推送的其它用户在上述业务交互界面中选择的目标对象后,可以将本地用户以及上述其它用户在上述业务交互界面中选择的目标对象进行可视化渲染,然后在AR场景中向用户同步输出。
其中,AR客户端在将本地用户以及上述其它用户在上述业务交互界面中选择的目标对象进行可视化渲染,在AR场景中向用户同步输出时,可以通过不同的方式来实现。
在示出的一种实施方式中,假设预设的上述线下业务标记包括多个用于触发同一线下业务的线下业务标记,并且该多个线下业务标记的位置,与用户的实际位置进行了关联。
在这种情况下,当各用户对上述线下业务标记进行图像扫描后,上述AR客户端可以在图像扫描得到的图像信息中,基于预设的目标识别定位算法,对上述多个用户所扫描的线下业务标记,分别进行识别定位,以定位出各用户所扫描的线下业务标记在AR场景画面中的准确位置(比如各线下业务标记在AR场景画面中的坐标信息)。
当然,在实际应用中,以上示出的对上述多个用户所扫描的线下业务标记,分别进行识别定位的过程,也可以由后台服务端来完成,即AR客户端可以将扫描得到的图像信息以流媒体的方式实时的传输至后台服务端,由后台服务端完成上述识别定位过程,然后向AR客户端返回识别定位结果。
当AR客户端通过识别定位,在AR场景画面中准确定位出各用户所扫描的线下业务标记的位置后,可以将定位出的各线下业务标记的位置,与扫描各线下业务标记的用户的标识信息进行关联保存,从而AR客户端在接收到后台服务端推送的其它用户在上述业务交互界面中选择的目标对象后,可以基于各用户的标识信息,来进一步建立各用户选择的目标对象,与各用户扫描的线下业务标记的位置之间的关联。
当AR客户端在接收到上述后台服务端推送的其它用户在上述业务交互界面中选择的目标对象后,可以基于前台的AR引擎,对本地用户以及上述其它用户在上述业务交互界面中选择的目标对象进行可视化渲染,然后显示在AR场景中,与各用户扫描的上述场所标记的位置所对应的位置上。
在示出的另一种实施方式中,假设预设的上述线下业务标记为唯一用于触发同一线下业务的线下业务标记,此时上述多个用户可以通过扫描该唯一的线下业务标记来触发同一线下业务。
在这种情况下,当各用户对上述线下业务标记进行图像扫描后,上述AR客户端可以在图像扫描得到的图像信息中,基于预设的面部识别定位算法,对上述多个用户的面部进行识别定位,以定位出各用户的面部在AR场景画面中的准确位置(比如各用户的面部图像在AR场景画面中的坐标信息)。
当然,在实际应用中,以上示出的对上述多个用户的面部,分别进行识别定位的过程,也可以由后台服务端来完成,不再赘述。
当AR客户端通过面部识别定位,在AR场景画面中准确定位出各用户面部的位置后,可以将定位出的各用户面部的位置,与各用户的标识信息进行关联保存,从而AR客户端在接收到后台服务端推送的其它用户在上述业务交互界面中选择的目标对象后,可以基于各用户的标识信息,来进一步建立各用户选择的目标对象,与各用户面部的位置之间的关联。
当AR客户端在接收到上述后台服务端推送的其它用户在上述业务交互界面中选择的目标对象后,可以基于前台的AR引擎,对本地用户以及上述其它用户在上述业务交互界面中选择的目标对象进行可视化渲染,然后显示在AR场景中,与各用户面部的位置所对应的位置上。
通过以上示出的实施方式可知,由于上述多个线下业务标记均与用户的实际位置进行了关联,因此可以将各用户在上述业务交互界面中所选择的目标对象,与各用户的实际位置进行关联显示;比如,可以在AR场景中,与各用户扫描的线下业务标记对应的位置上,或者与各用户的面部对应的位置上,同步显示各用户在上述业务交互界面中选择的目标对象,从而用户在AR场景中,可以直观的查看到其它用户各自所选择的目标对象,能够提升用户的线下业务交互体验。
4)基于多人线下业务的用户社交
当多个用户通过扫描目标场所中预设的上述线下业务标记,触发AR客户端输出上述业务交互界面,共同的完成了同一线下业务后,为了将多用户的社交模式与线下业务进行结合,提升用户之间的互动性,用户除了可以在AR客户端在AR场景中输出的上述业务交互界面中来选定目标对象,完成线下业务交互以外,用户还可以利用该用户的社交关系数据(比如好友数据),来为指定联系人预定目标对象。
在实现时,上述业务交互界面中还可以输出一个用于选定联系人的下拉选项,在该下拉选项中可以预先加载与该好友存在社交关系的联系人信息,用户除了可以在该业务交互界面中为自己选择目标对象以外,还可以在该下拉选项中指定联系人,为该指定联系人预定目标对象。
例如,以上述线下业务为线下点餐业务,上述业务交互界面为点餐界面为例,用户除了可以在该点餐界面中选定菜品进行正常的线下消费以外,也可以在点餐界面的联系人的下拉选项中,指定好友,为好友预定菜品;比如,用户在线下餐厅消费时,餐厅可以赠送给该用户部分菜品或者优惠券,用户可以将餐厅赠送的菜品或者优惠券,为好友进行预定,转赠给好友;当然,用户也可以提前对部分满意的菜品进行全额支付,或者支付部分额度的费用,然后为好友进行预定,然后转赠给好友。
当用户在上述业务交互界面中为指定联系人预定了目标对象后,AR客户端可以将用户预定的目标对象、该指定联系人的标识信息,以及该目标场所的标识信息,上传至后台服务端,由所述服务端建立该指定联系人的标识信息,为该指定联系人预定的目标对象,以及该目标场所的标识信息之间的关联关系,从而后续后台服务器可以基于建立的该关联关系,向该指定联系人推送通知消息,通知该指定联系人有好友在上述目标场所为其预定了目标对象。
其中,用户在为指定联系人预定目标对象时,还可以为该预定目标对象设置有效时间,如果该指定联系人未在该有效时间内抵达该目标场所对该预定的目标对象进行使用,则该预定的目标对象可以自动失效。
例如,仍以上述线下业务为线下点餐业务,上述业务交互界面为点餐界面为例,用户在该点餐界面中为好友预定菜品后,可以设置一个有效时间,如果该好友未在该有效时间内抵达该线下餐厅对该预定的菜品进行消费,那么该预定的菜品将自动失效。如果此时该用户在预定该菜品时,进行了全额支付,或者支付了部分费用,则该线下餐厅可以将用户支付的费用自动退还。
在本例中,用户除了可以为指定联系人预定目标对象以外,在实际应用中,当其它用户为该用户预定了目标对象,该用户也可以接收到后台服务端推送的通知消息。
在示出的一种实施方式张,上述AR客户端可以实时的定位上述用户的位置,并向后台服务端实时上传该用户的位置。后台服务端在接收到该AR客户端上报的位置后,如果有其它用户为该用户预定了目标对象,后台服务端可以查询已经建立完成的上述关联关系,来确定为该用户预定的目标对象所在的目标场所,然后实时的计算该用户的位置,与该目标场所所在位置之间的距离,并判断该距离是否小于预设阈值;
如果该用户的距离与上述目标场所的距离小于预设阈值(比如100米),此时可以触发后台服务端向上述用户推送通知消息,以提示该用户有其它用户在该目标场所为其预定了目标对象。
其中,需要说明的是,后台服务端在向该用户推送通知消息时,可以以推送消息的形式向该用户的AR客户端进行推送,也可以以短消息的形式,向该用户的移动终端推送,在本例中也不进行特别限定;
例如,以上述目标场所为线下餐厅,上述目标对象为菜品为例,后台服务端可以向该用户的AR客户端或者移动终端,推送一条“你的好友XX在XX餐厅为您预留了XX菜品”的通知消息。
在本例中,当该用户收到上述通知消息后,可以前往上述目标场所。当该用户抵达该目标场所后,可以通过AR客户端,或者佩戴的AR终端扫描该目标场所的场所标记。
在这种情况下,AR场景中与场所标记对应的位置上,将会显示该与场所标记对应的标签数据、访问过该目标场所的与该用户关联的联系人信息、以及其它用户为该用户预定的目标对象等信息,不再赘述。
可见,通过以上示出的实施方式可知,通过在上述线下业务交互的过程中,引入以上示出的目标对象预定分享机制,以及对预定对象的线下通知机制,使得用户可以在线下进行业务交互时,基于线上的社交关系,为指定联系人预定目标对象,同时还可以通过后台服务端在线上对线下的指定联系人发出通知消息,来引导该指定联系人二次抵达该目标场所进行线下业务交互,从而可以利用用户在后台的社交关系等大数据,基于AR技术将多用户的社交模式与线下业务进行无缝结合,可以提升用户之间的互动性,为用户提供了一种全新的线下业务交互模式。
以下结合具体的应用场景对本申请的技术方案进行详细描述。
在本例中,将以多人的线下点餐业务的应用场景为例进行说明。
在该应用场景中,上述目标场所可以是线下餐厅,上述业务交互界面可以是点餐界面,上述目标对象则可以是用户在点餐界面中选定的菜品。
其中,需要指出的是,以多人的线下点餐业务的应用场景为例进行说明,仅为示例性的。
显然,本申请的技术方案,也可以应用在其它类似的线下业务场景;例如,上述目标场所也可以是KTV等消费场所,在这种应用场景下,上述业务交互界面可以是点歌界面,上述目标对象则可以是用户在点歌界面中选定的歌曲。
请参考图2,图2是本申请一实施例提供的一种基于增强现实的多人线下点餐方法,应用于AR客户端,所述方法执行以下步骤:
步骤201,扫描目标餐厅中预设的点餐标记;其中,所述点餐标记用于触发多人线下点餐交互;
步骤202,向服务端发送第一预设消息;所述第一预设消息携带与所述点餐标记对应的信息以及用户的标识信息,以由服务端基于与所述点餐标记对应的信息建立所述用户以及与针对所述预设的点餐标记执行扫描的其它用户之间的点餐关联;
步骤203,接收所述服务端推送的菜单数据,并基于所述菜单数据在增强现实场景中与所述点餐标记对应的位置上输出点餐界面。
在本例中,当用户通过AR客户端中的线下餐厅定位以及推荐功能,与多个好友成功到达线下餐厅后,可以使用上述AR客户端,或者也可以使用用户佩戴的AR终端,对该该线下餐厅的LOGO(即场所标记)进行图像扫描。
请参见图3,图3为本例示出的一种用户对线下餐厅进行图像扫描的示意图。
当用户对上述线下餐厅的LOGO执行图像扫描后,上述AR客户端可以实时的将图像扫描得到的图像信息,以及该用户登录该AR客户端所使用的社交账号(即用户的标识信息)传输至后台服务端。
后台服务端接收到上述图像信息后,可以基于后台的AR引擎对该图像信息进行识别,当成功识别出该线下餐厅的LOGO后,可以将后台的数据库中存储的与该线下餐厅的LOGO对应的推送数据,推送至上述AR客户端。
其中,上述推送数据,可以包括线下餐厅的标签数据(比如该线下餐厅的描述信息、服务特色,价位、优惠信息,以及用户的印象标签等数据)、该访问过该线下餐厅的该用户的好友信息(比如好友头像)、以及其它用户为该用户预定的赠送给该用户的菜品。
上述AR客户端可以在AR场景中识别定位该线下餐厅的LOGO的位置,然后对接收到的由后台服务端推送的上述推送数据进行可视化渲染,并在与该LOGO对应的位置上进行显示,从而将现实场景与后台服务端推送的虚拟数据进行叠加融合。
请参见继续参见图3,当用户扫描名为“港式火锅”的线下餐厅的LOGO后,可以在线下餐厅的LOGO“港式火锅”上方显示“口味:清淡养生”等印象标签,以及“优惠:4人8.5折”的优惠信息,在该线下餐厅的LOGO“港式火锅”下方输出一条“你有N个好友来过此店”的文本提示,并在文本提示下方输出来过该店的该用户的好友的头像信息,以及,还可以在该线下餐厅的LOGO“港式火锅”下方输出一条“你的好友XX赠送给你XX菜品”的交互提醒。
当用户和多个好友进入该点下餐厅落座后,可以分别扫描餐桌上预设的点餐标记(即线下业务标记),当扫描完成后,AR客户端可以将扫描得到的图像信息,以及该用户的社交账号上传至后台服务端。
后台服务端可以在接收该用户以及该用户的多个好友的AR客户端上传的图像信息以及社交账号后,可以基于后台的AR引擎对该图像信息进行识别,当识别出该用户以及该用户的多个好友扫描同一点餐标记,或者各自扫描的多个点餐标记预先进行了绑定,则可以在后台建立该用户以及该用户的多个好友之间的点餐关联,实现点餐数据的互动以及共享。
同时,当用户以及该用户的多个好友对点餐标记进行图像扫描后,AR客户端还可以通过用户的移动终端,以及用户佩戴的AR终端同步输出一个基于AR技术创建的点餐界面,此时用户与好友可以分别在点餐界面中进行点餐。
当用户点餐完成后,AR客户端可以将该用户选择的菜品,以及用户的社交账号,上传至后台服务端。后台服务端在收到该用户以及该用户的好友选择的菜品,以及社交账号后,可以进行关联保存,并将向该用户以及该用户的还有的AR客户端,分别推送其它用户在点餐界面中选择的菜品。
同时,该用户以及该用户的好友的AR客户端,可以在AR场景界面中对各用户扫描的点餐标记,或者对各用户的脸部进行识别定位。当识别定位完成后,AR终端可以将各用户在点餐界面中选择的菜品,在AR场景中,与各自扫描的点餐标记对应的位置上,或者与各自的脸部对应的位置上同步显示。
例如,假设用户A选择的菜品为“鱼香肉丝”,用户B选择的菜品为“烤鸡排”,用户C选择的菜品为“咖啡”,用户D选择的菜品为“宫爆鸡丁”。
请参见图4,在示出的一种实现方式中,假设餐桌上预设了与用户的落座位置对应的多个点餐标记,在这种情况下,用户A的AR客户端,可以在AR场景界面中对各用户扫描的点餐标记进行识别定位,当识别定位完成后,AR终端可以将各用户在点餐界面中选择的菜品,在与各自扫描的点餐标记对应的位置上同步显示。
请参见图5,在示出的另一种实现方式中,假设餐桌上仅预设了唯一的点餐标记,在这种情况下,用户A的AR客户端,可以在AR场景界面中对各用户的面部进行识别定位,当识别定位完成后,AR终端可以将各用户在点餐界面中选择的菜品,在各用户面部对应的位置上同步显示。
可见,通过这种方式,对于该用户以及该用户的好友而言,可以在AR场景中直观的查看到其它好友选择的菜品。
当用户和好友们点餐完成后,该线下餐厅还可以向各用户分别赠送部分菜品,或者优惠券。此时该用户和好友们,可以通过AR客户端,将餐厅赠送的菜品以及优惠券,提前进行预定,通过线上赠送给各自的指定好友。
当然,除了餐厅主动赠送的菜品以外,用户和好友们,也可以对一些自己较为满意的产品,或者餐厅的特色菜品,提前进行全额支付,或者支付部分费用,然后进行预定,赠送给各自的指定好友,并设置预定的该菜品的有效时间段,如果指定好友未在指定时间段内抵达该餐厅进行消费,此时预定的菜品失效,餐厅可以通过线上自动退款。
当预定完成后,AR客户端可以将用户预定的菜品以及优惠券,指定好友的社交账号,以及该餐厅的名称(即目标场所的标识信息)等信息上传至后台服务端,由后台服务端进行关联保存。
当该指定好友路过该餐厅时,该指定好友的AR客户端可以实时向后台服务端上报该指定好友的位置,同时后台服务端可以实时的计算该指定好友的位置,与该餐厅的位置之间的距离,如果二者的距离小于预设距离(比如100米),后台服务端可以向该指定好友的AR客户端,发出一条“您的好友XX在XX餐厅为您预订了XX菜品,请您在XX-XX时间段内抵店消费”的通知消息。该指定好友接收到该通知消息后,可以在指定的时间段内,抵达该餐厅对好友为自己预订的菜品进行消费。
可见,通过这种方式,可以基于AR技术将线上的多用户的社交模式与线下点餐业务进行无缝结合,为用户提供了一种全新的线下点餐的交互模式。
通过以上各实施例可知,本申请提出了一种基于增强现实技术的将线上的多用户社交与线下业务相结合的互动模式,通过在目标场所中预设用于触发多人线下业务交互的线下业务标记,当多个用户在通过增强现实客户端针对该线下业务标记进行图像扫描后,可以触发增强现实客户端输出业务交互界面,使得该多个用户可以在该业务交互界面中执行线下业务交互,并在增强现实场景中同步显示该多个用户在业务交互界面中选定的目标对象,从而实现了基于增强现实技术将线上的多用户的社交模式与线下业务进行无缝结合,为用户提供了一种全新的线下业务交互模式;
当本申请的技术方案应用于线下点餐的应用场景中时,可以实现基于增强现实技术将线上的多用户的社交模式与线下点餐进行无缝结合,为用户提供了一种全新的线下点餐交互模式。
与上述方法实施例相对应,本申请还提供了装置的实施例。
请参见图6,本申请提出一种基于增强现实的多人线下交互***60,应用于AR客户端;请参见图7,作为承载所述基于增强现实的多人线下交互***60的AR客户端所涉及的硬件架构中,通常包括CPU、内存、非易失性存储器、网络接口以及内部总线等;以软件实现为例,所述基于增强现实的多人线下交互***60通常可以理解为加载在内存中的计算机程序,通过CPU运行之后形成的软硬件相结合的逻辑装置,所述***60包括:
第一扫描模块601,扫描目标场所中预设的线下业务标记;其中,所述线下业务标记用于触发多人线下业务交互;
第一发送模块602,向服务端发送第一预设消息;所述第一预设消息携带与所述线下业务标记对应的信息以及用户的标识信息,以由服务端基于与所述线下业务标记对应的信息建立所述用户以及与针对所述预设的线下业务标记执行图像扫描的其它用户之间的业务关联;
第一输出模块603,接收所述服务端推送的业务数据,并基于所述业务数据在增强现实场景中与所述线下业务标记对应的位置上输出对应的业务交互界面。
在本例中,还包括:
第一上传模块604(图6中未示出),将所述用户在所述业务交互界面中执行线下业务交互时选定的目标对象上传至服务端;
第一接收模块605(图6中未示出),接收所述服务端推送的所述其它用户在所述业务交互界面中执行线下业务交互时选定的目标对象;
第一显示模块606(图6中未示出),将所述用户以及所述其它用户在所述业务交互界面中选定的目标对象在增强现实场景中同步显示。
在本例中,还包括:
第一获取模块607(图6中未示出),获取所述用户在所述业务交互界面中为指定联系人预定的目标对象;
所述第一上传模块603进一步:
将所述用户为所述指定联系人预定的目标对象,所述指定联系人的标识信息,以及所述预定的目标对象对应的目标场所的标识信息上传至所述服务端,以由所述服务端建立所述指定联系人的标识信息,为所述指定联系人预定的目标对象,以及所述目标场所的标识信息之间的关联关系。
在本例中,
所述第一上传模块604进一步:
向所述服务端实时上传所述用户的位置;
所述第一接收模块605进一步:
当其它用户在目标场所为所述用户预定了目标对象,并且所述服务端基于所述用户的位置确定出所述用户与所述目标场所的距离小于预设阈值时,接收所述服务端推送的通知消息;
其中,所述通知消息,用于提示其它用户在所述目标场所为所述用户预定了目标对象。
在本例中,所述第一发送模块602进一步:
当用户针对所述目标场所的场所标记执行图像扫描后,向服务端发送第二预设消息;其中,所述第二预设消息携带与所述场所标记对应的图像信息,以由所述服务端针对该图像信息进行识别后查询与所述场所标记对应的标签数据;
所述第一接收模块605进一步:
接收所述服务端推送的与所述场所标记对应的标签数据;
所述第一显示模块606进一步:
在所述增强现实场景中与所述场所标记对应的位置上显示所述标签数据。
在本例中,所述第二预设消息还携带所述用户的标识信息,以由所述服务端基于所述用户的标识信息在所述目标场所的访客数据库中查找与所述用户关联的联系人信息;
所述第一接收模块605进一步:
接收所述服务端推送的与所述用户关联的联系人信息;
所述第一显示模块605进一步:
在所述增强现实场景中与所述场所标记对应的位置上显示与所述用户关联的联系人信息。
在本例中,所述第二预设消息还携带所述用户的标识信息,以由所述服务端基于所述用户的标识查询其它用户为所述用户预定的目标对象;
所述第一接收模块605进一步:
接收所述服务端推送的由其它用户为所述用户预定的目标对象;
所述第一显示模块606进一步:
在所述增强现实场景中与所述场所标记对应的位置上显示由其它用户为所述用户预定的目标对象。
在本例中,所述预设的线下业务标记包括多个用于触发同一线下业务的线下业务标记;
所述第一显示模块606:
在所述增强现实场景中针对所述用户以及所述其它用户执行图像扫描的线下业务标记进行识别定位;
将所述用户以及所述其它用户在所述业务交互界面中选定的目标对象,在所述增强现实场景中与所述用户以及所述其它用户各自执行图像扫描的线下业务标记对应的位置上同步显示。
在本例中,所述第一显示模块606:
在所述增强现实场景中针对所述用户以及所述其它用户进行面部识别定位;
将所述用户以及所述其它用户在所述业务
交互界面中选定的目标对象,在所述增强现实场景中与所述用户以及所述其它用户的面部对应的位置上同步显示。
在本例中,所述线下业务包括线下点餐业务;所述业务交互界面包括点餐界面;所述目标对象包括用户在点餐界面中选定的菜品;所述目标场所包括线下餐厅。
请参见图8,本申请提出一种基于增强现实的多人线下点餐***80,应用于AR客户端;请参见图9,作为承载所述基于增强现实的多人线下点餐***80的AR客户端所涉及的硬件架构中,通常包括CPU、内存、非易失性存储器、网络接口以及内部总线等;以软件实现为例,所述基于增强现实的多人线下点餐***80通常可以理解为加载在内存中的计算机程序,通过CPU运行之后形成的软硬件相结合的逻辑装置,所述***80包括:
第二扫描模块801,扫描目标餐厅中预设的点餐标记;其中,所述点餐标记用于触发多人线下点餐交互;
第二发送模块802,向服务端发送第一预设消息;所述第一预设消息携带与所述点餐标记对应的信息以及用户的标识信息,以由服务端基于与所述点餐标记对应的信息建立所述用户以及与针对所述预设的点餐标记执行扫描的其它用户之间的点餐关联;
第二输出模块803,接收所述服务端推送的菜单数据,并基于所述菜单数据在增强现实场景中与所述点餐标记对应的位置上输出点餐界面。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (20)

1.一种基于增强现实的多人线下交互方法,其特征在于,应用于增强现实客户端,所述方法包括:
扫描目标场所中预设的线下业务标记;其中,所述线下业务标记用于触发多人线下业务交互,所述预设的线下业务标记包括多个用于触发同一线下业务的线下业务标记;
向服务端发送第一预设消息;所述第一预设消息携带与所述线下业务标记对应的信息以及用户的标识信息,以由服务端基于与所述线下业务标记对应的信息建立所述用户以及与针对所述预设的线下业务标记执行扫描的其它用户之间的业务关联;
接收所述服务端推送的业务数据,并基于所述业务数据在增强现实场景中与所述线下业务标记对应的位置上输出对应的业务交互界面;
将所述用户在所述业务交互界面中执行线下业务交互时选定的目标对象上传至服务端,以及接收所述服务端推送的所述其它用户在所述业务交互界面中执行线下业务交互时选定的目标对象;
将所述用户以及所述其它用户在所述业务交互界面中选定的目标对象在增强现实场景中同步显示。
2.根据权利要求1所述的方法,其特征在于,还包括:
获取所述用户在所述业务交互界面中为指定联系人预定的目标对象;
将所述用户为所述指定联系人预定的目标对象,所述指定联系人的标识信息,以及所述预定的目标对象对应的目标场所的标识信息上传至所述服务端,以由所述服务端建立所述指定联系人的标识信息,为所述指定联系人预定的目标对象,以及所述目标场所的标识信息之间的关联关系。
3.根据权利要求2所述的方法,其特征在于,还包括:
向所述服务端实时上传所述用户的位置;
当其它用户在目标场所为所述用户预定了目标对象,并且所述服务端基于所述用户的位置确定出所述用户与所述目标场所的距离小于预设阈值时,接收所述服务端推送的通知消息;
其中,所述通知消息,用于提示其它用户在所述目标场所为所述用户预定了目标对象。
4.根据权利要求2所述的方法,其特征在于,还包括:
当用户针对所述目标场所的场所标记执行图像扫描后,向服务端发送第二预设消息;其中,所述第二预设消息携带与所述场所标记对应的图像信息,以由所述服务端针对该图像信息进行识别后查询与所述场所标记对应的标签数据;
接收所述服务端推送的与所述场所标记对应的标签数据;
在所述增强现实场景中与所述场所标记对应的位置上显示所述标签数据。
5.根据权利要求4所述的方法,其特征在于,所述第二预设消息还携带所述用户的标识信息,以由所述服务端基于所述用户的标识信息在所述目标场所的访客数据库中查找与所述用户关联的联系人信息;
还包括:
接收所述服务端推送的与所述用户关联的联系人信息;
在所述增强现实场景中与所述场所标记对应的位置上显示与所述用户关联的联系人信息。
6.根据权利要求4所述的方法,其特征在于,所述第二预设消息还携带所述用户的标识信息,以由所述服务端基于所述用户的标识查询其它用户为所述用户预定的目标对象;
还包括:
接收所述服务端推送的由其它用户为所述用户预定的目标对象;
在所述增强现实场景中与所述场所标记对应的位置上显示由其它用户为所述用户预定的目标对象。
7.根据权利要求1所述的方法,其特征在于,所述将所述用户以及所述其它用户在所述业务交互界面中选定的目标对象在增强现实场景中同步显示,包括:
在所述增强现实场景中针对所述用户以及所述其它用户执行图像扫描的线下业务标记进行识别定位;
将所述用户以及所述其它用户在所述业务交互界面中选定的目标对象,在所述增强现实场景中与所述用户以及所述其它用户各自执行图像扫描的线下业务标记对应的位置上同步显示。
8.根据权利要求1所述的方法,其特征在于,所述将所述用户以及所述其它用户在所述业务交互界面中选定的目标对象在增强现实场景中同步显示,包括:
在所述增强现实场景中针对所述用户以及所述其它用户进行面部识别定位;
将所述用户以及所述其它用户在所述业务交互界面中选定的目标对象,在所述增强现实场景中与所述用户以及所述其它用户的面部对应的位置上同步显示。
9.根据权利要求2所述的方法,其特征在于,
所述线下业务包括线下点餐业务;
所述业务交互界面包括点餐界面;
所述目标对象包括用户在点餐界面中选定的菜品;
所述目标场所包括线下餐厅。
10.一种基于增强现实的多人线下交互***,其特征在于,应用于增强现实客户端,所述***包括:
第一扫描模块,扫描目标场所中预设的线下业务标记;其中,所述线下业务标记用于触发多人线下业务交互,所述预设的线下业务标记包括多个用于触发同一线下业务的线下业务标记;
第一发送模块,向服务端发送第一预设消息;所述第一预设消息携带与所述线下业务标记对应的信息以及用户的标识信息,以由服务端基于与所述线下业务标记对应的信息建立所述用户以及与针对所述预设的线下业务标记执行图像扫描的其它用户之间的业务关联;
第一输出模块,接收所述服务端推送的业务数据,并基于所述业务数据在增强现实场景中与所述线下业务标记对应的位置上输出对应的业务交互界面;
第一上传模块,将所述用户在所述业务交互界面中执行线下业务交互时选定的目标对象上传至服务端;
第一接收模块,接收所述服务端推送的所述其它用户在所述交互界面中执行线下业务交互时选定的目标对象;
第一显示模块,将所述用户以及所述其它用户在所述交互界面中选定的目标对象在增强现实场景中同步显示。
11.根据权利要求10所述的***,其特征在于,还包括:
第一获取模块,获取所述用户在所述业务交互界面中为指定联系人预定的目标对象;
所述第一上传模块进一步:
将所述用户为所述指定联系人预定的目标对象,所述指定联系人的标识信息,以及所述预定的目标对象对应的目标场所的标识信息上传至所述服务端,以由所述服务端建立所述指定联系人的标识信息,为所述指定联系人预定的目标对象,以及所述目标场所的标识信息之间的关联关系。
12.根据权利要求11所述的***,其特征在于,
所述第一上传模块进一步:
向所述服务端实时上传所述用户的位置;
所述第一接收模块进一步:
当其它用户在目标场所为所述用户预定了目标对象,并且所述服务端基于所述用户的位置确定出所述用户与所述目标场所的距离小于预设阈值时,接收所述服务端推送的通知消息;
其中,所述通知消息,用于提示其它用户在所述目标场所为所述用户预定了目标对象。
13.根据权利要求11所述的***,其特征在于,所述第一发送模块进一步:
当用户针对所述目标场所的场所标记执行图像扫描后,向服务端发送第二预设消息;其中,所述第二预设消息携带与所述场所标记对应的图像信息,以由所述服务端针对该图像信息进行识别后查询与所述场所标记对应的标签数据;
所述第一接收模块进一步:
接收所述服务端推送的与所述场所标记对应的标签数据;
所述第一显示模块进一步:
在所述增强现实场景中与所述场所标记对应的位置上显示所述标签数据。
14.根据权利要求13所述的***,其特征在于,所述第二预设消息还携带所述用户的标识信息,以由所述服务端基于所述用户的标识信息在所述目标场所的访客数据库中查找与所述用户关联的联系人信息;
所述第一接收模块进一步:
接收所述服务端推送的与所述用户关联的联系人信息;
所述第一显示模块进一步:
在所述增强现实场景中与所述场所标记对应的位置上显示与所述用户关联的联系人信息。
15.根据权利要求13所述的***,其特征在于,所述第二预设消息还携带所述用户的标识信息,以由所述服务端基于所述用户的标识查询其它用户为所述用户预定的目标对象;
所述第一接收模块进一步:
接收所述服务端推送的由其它用户为所述用户预定的目标对象;
所述第一显示模块进一步:
在所述增强现实场景中与所述场所标记对应的位置上显示由其它用户为所述用户预定的目标对象。
16.根据权利要求10所述的***,其特征在于,所述第一显示模块:
在所述增强现实场景中针对所述用户以及所述其它用户执行图像扫描的线下业务标记进行识别定位;
将所述用户以及所述其它用户在所述交互界面中选定的目标对象,在所述增强现实场景中与所述用户以及所述其它用户各自执行图像扫描的线下业务标记对应的位置上同步显示。
17.根据权利要求10所述的***,其特征在于,所述第一显示模块:
在所述增强现实场景中针对所述用户以及所述其它用户进行面部识别定位;
将所述用户以及所述其它用户在所述业务交互界面中选定的目标对象,在所述增强现实场景中与所述用户以及所述其它用户的面部对应的位置上同步显示。
18.根据权利要求11所述的***,其特征在于,
所述线下业务包括线下点餐业务;
所述业务交互界面包括点餐界面;
所述目标对象包括用户在点餐界面中选定的菜品;
所述目标场所包括线下餐厅。
19.一种基于增强现实的多人线下点餐方法,其特征在于,应用于增强现实客户端,所述方法包括:
扫描目标餐厅中预设的点餐标记;其中,所述点餐标记用于触发多人线下点餐交互,所述预设的点餐标记包括多个用于触发同一点餐业务的点餐标记;
向服务端发送第一预设消息;所述第一预设消息携带与所述点餐标记对应的信息以及用户的标识信息,以由服务端基于与所述点餐标记对应的信息建立所述用户以及与针对所述预设的点餐标记执行扫描的其它用户之间的点餐关联;
接收所述服务端推送的菜单数据,并基于所述菜单数据在增强现实场景中与所述点餐标记对应的位置上输出点餐界面;
将所述用户在所述点餐界面中执行线下点餐业务交互时选定的目标对象上传至服务端,以及接收所述服务端推送的所述其它用户在所述点餐界面中执行线下点餐业务交互时选定的目标对象;
将所述用户以及所述其它用户在所述点餐界面中选定的目标对象在增强现实场景中同步显示。
20.一种基于增强现实的多人线下点餐***,其特征在于,应用于增强现实客户端,所述***包括:
第二扫描模块,扫描目标餐厅中预设的点餐标记;其中,所述点餐标记用于触发多人线下点餐交互,所述预设的点餐标记包括多个用于触发同一点餐业务的点餐标记;
第二发送模块,向服务端发送第一预设消息;所述第一预设消息携带与所述点餐标记对应的信息以及用户的标识信息,以由服务端基于与所述点餐标记对应的信息建立所述用户以及与针对所述预设的点餐标记执行扫描的其它用户之间的点餐关联;
第二输出模块,接收所述服务端推送的菜单数据,并基于所述菜单数据在增强现实场景中与所述点餐标记对应的位置上输出点餐界面;
第二上传模块,将所述用户在所述点餐界面中执行线下点餐业务交互时选定的目标对象上传至服务端;
第二接收模块,接收所述服务端推送的所述其它用户在所述点餐界面中执行线下点餐业务交互时选定的目标对象;
第二显示模块,将所述用户以及所述其它用户在所述点餐界面中选定的目标对象在增强现实场景中同步显示。
CN201610896495.XA 2016-10-13 2016-10-13 基于增强现实的多人线下交互、点餐方法及*** Active CN106981000B (zh)

Priority Applications (18)

Application Number Priority Date Filing Date Title
CN201610896495.XA CN106981000B (zh) 2016-10-13 2016-10-13 基于增强现实的多人线下交互、点餐方法及***
TW106126277A TWI691865B (zh) 2016-10-13 2017-08-03 基於擴增實境的多人離線互動、點餐方法及系統
US15/792,594 US10303946B2 (en) 2016-10-13 2017-10-24 Offline-service multi-user interaction based on augmented reality
RU2019113320A RU2744930C2 (ru) 2016-10-13 2017-10-27 Многопользовательское взаимодействие в рамках автономной услуги на основе дополненной реальности
CA3040309A CA3040309C (en) 2016-10-13 2017-10-27 Offline-service multi-user interaction based on augmented reality
MYPI2019002035A MY202362A (en) 2016-10-13 2017-10-27 Offline-service multi.user interaction based on augmented reality
SG11201903275SA SG11201903275SA (en) 2016-10-13 2017-10-27 Offline-service multi-user interaction based on augmented reality
SG10202101627QA SG10202101627QA (en) 2016-10-13 2017-10-27 Offline-service multi-user interaction based on augmented reality
JP2019520435A JP6869341B2 (ja) 2016-10-13 2017-10-27 拡張現実に基づくオフラインサービス・マルチユーザ・インタラクション
BR112019007492-9A BR112019007492B1 (pt) 2016-10-13 2017-10-27 Método para interação offiline de múltiplas pessoas com base em realidade aumentada
MX2019004306A MX2019004306A (es) 2016-10-13 2017-10-27 Interaccion multiusuario de servicio sin conexion con base en realidad aumentada.
EP17860121.7A EP3526755A4 (en) 2016-10-13 2017-10-27 OFF-LINE SERVICE MULTI-USER INTERACTION BASED ON INCREASED REALITY
PCT/US2017/058847 WO2018071921A1 (en) 2016-10-13 2017-10-27 Offline-service multi-user interaction based on augmented reality
AU2017342562A AU2017342562B2 (en) 2016-10-13 2017-10-27 Offline-service multi-user interaction based on augmented reality
KR1020197013681A KR102213407B1 (ko) 2016-10-13 2017-10-27 증강 현실에 기초한 오프라인 서비스 다중 사용자 상호작용
PH12019500805A PH12019500805A1 (en) 2016-10-13 2019-04-12 Offline-service multi-user interaction based on augmented reality
ZA2019/02938A ZA201902938B (en) 2016-10-13 2019-05-10 Offline-service multi-user interaction based on augmented reality
US16/422,798 US10789475B2 (en) 2016-10-13 2019-05-24 Offline-service multi-user interaction based on augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610896495.XA CN106981000B (zh) 2016-10-13 2016-10-13 基于增强现实的多人线下交互、点餐方法及***

Publications (2)

Publication Number Publication Date
CN106981000A CN106981000A (zh) 2017-07-25
CN106981000B true CN106981000B (zh) 2020-06-09

Family

ID=59341453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610896495.XA Active CN106981000B (zh) 2016-10-13 2016-10-13 基于增强现实的多人线下交互、点餐方法及***

Country Status (16)

Country Link
US (2) US10303946B2 (zh)
EP (1) EP3526755A4 (zh)
JP (1) JP6869341B2 (zh)
KR (1) KR102213407B1 (zh)
CN (1) CN106981000B (zh)
AU (1) AU2017342562B2 (zh)
BR (1) BR112019007492B1 (zh)
CA (1) CA3040309C (zh)
MX (1) MX2019004306A (zh)
MY (1) MY202362A (zh)
PH (1) PH12019500805A1 (zh)
RU (1) RU2744930C2 (zh)
SG (2) SG11201903275SA (zh)
TW (1) TWI691865B (zh)
WO (1) WO2018071921A1 (zh)
ZA (1) ZA201902938B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106981000B (zh) 2016-10-13 2020-06-09 阿里巴巴集团控股有限公司 基于增强现实的多人线下交互、点餐方法及***
US10802700B2 (en) * 2016-11-25 2020-10-13 Sony Corporation Information processing apparatus and information processing method
CN107492183A (zh) * 2017-07-31 2017-12-19 程昊 一种有纸即开型彩票ar展示方法及***
CN110020340A (zh) * 2017-08-22 2019-07-16 阿里巴巴集团控股有限公司 一种数据处理的方法、装置和客户端
CN110298527B (zh) * 2018-03-23 2023-05-30 阿里巴巴集团控股有限公司 信息输出方法、***及设备
CN108897474A (zh) * 2018-05-29 2018-11-27 高新兴科技集团股份有限公司 一种增强现实摄像机的虚拟标签的管理方法及管理***
CN108846093B (zh) * 2018-06-14 2020-08-14 浙江口碑网络技术有限公司 支持多用户操作的业务处理方法及***
CN109711923A (zh) * 2018-11-14 2019-05-03 浙江口碑网络技术有限公司 点餐信息的处理方法、装置及***
CN111385337B (zh) * 2018-12-29 2023-04-07 阿里巴巴集团控股有限公司 跨空间互动方法、装置、设备、服务端及***
CN110083235A (zh) * 2019-04-08 2019-08-02 聚好看科技股份有限公司 交互***及数据处理方法
CN110286768B (zh) * 2019-06-27 2022-05-17 Oppo广东移动通信有限公司 虚拟物体显示方法、终端设备及计算机可读存储介质
CN111103978A (zh) * 2019-12-11 2020-05-05 上海纪烨物联网科技有限公司 基于动态场景游戏桌的ai特性桌布显示方法及***
CN115803779A (zh) * 2020-06-29 2023-03-14 斯纳普公司 分析增强现实内容使用数据
US11579757B2 (en) * 2020-09-30 2023-02-14 Snap Inc. Analyzing augmented reality content item usage data
CN112529125A (zh) * 2020-11-13 2021-03-19 贵州电网有限责任公司 基于ar的机房作业实现方法
CN114546188B (zh) * 2020-11-25 2023-09-05 腾讯科技(深圳)有限公司 基于互动界面的互动方法、装置、设备及可读存储介质
US11383156B1 (en) 2020-12-29 2022-07-12 Snap Inc. Multi-user AR experience with offline synchronization
CN112733017A (zh) * 2020-12-30 2021-04-30 青岛海尔科技有限公司 一种标签管理方法、装置、存储介质及电子装置
CN113342167B (zh) * 2021-06-07 2022-03-15 深圳市金研微科技有限公司 一种基于多人视角定位空间交互ar实现方法和***
US11886767B2 (en) 2022-06-17 2024-01-30 T-Mobile Usa, Inc. Enable interaction between a user and an agent of a 5G wireless telecommunication network using augmented reality glasses
US11924561B2 (en) * 2022-07-18 2024-03-05 Nant Holdings, LLC Determining a camera control point for virtual production

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102843349A (zh) * 2011-06-24 2012-12-26 中兴通讯股份有限公司 实现移动增强现实业务的方法及***、终端及服务器
CN104835005A (zh) * 2015-05-05 2015-08-12 江苏卡罗卡国际动漫城有限公司 一种基于ar技术的虚拟点菜***
CN104978697A (zh) * 2015-06-24 2015-10-14 西南石油大学 一种基于二维码的协同智能点餐方法与***
CN205040940U (zh) * 2015-07-17 2016-02-24 邳州顺福祥生物制品有限公司 一种基于ar技术的智能餐桌
CN106022873A (zh) * 2016-05-17 2016-10-12 暨南大学 一种基于增强现实的自助点餐***

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005326949A (ja) * 2004-05-12 2005-11-24 Nippon Telegr & Teleph Corp <Ntt> 電子クーポン発行装置
US20080266323A1 (en) 2007-04-25 2008-10-30 Board Of Trustees Of Michigan State University Augmented reality user interaction system
EP2304536A4 (en) * 2008-06-20 2012-08-15 Invensys Sys Inc SYSTEMS AND METHOD FOR IMMERSIBLE INTERACTION WITH ACTUAL AND / OR SIMULATED DEVICES FOR PROCESS, ENVIRONMENTAL AND INDUSTRIAL CONTROL
US9183560B2 (en) * 2010-05-28 2015-11-10 Daniel H. Abelow Reality alternate
US9396421B2 (en) 2010-08-14 2016-07-19 Rujan Entwicklung Und Forschung Gmbh Producing, capturing and using visual identification tags for moving objects
JP5933913B2 (ja) * 2010-08-30 2016-06-15 株式会社エヌ・ティ・ティ・データ 情報サービスシステムおよび情報サービス方法
JP5520754B2 (ja) * 2010-09-03 2014-06-11 エスアイアイ・データサービス株式会社 注文管理システムおよび注文管理方法
US8952983B2 (en) * 2010-11-04 2015-02-10 Nokia Corporation Method and apparatus for annotating point of interest information
KR101763887B1 (ko) * 2011-01-07 2017-08-02 삼성전자주식회사 디바이스간 동기화된 인터랙션을 제공하는 콘텐츠 동기화 장치 및 방법
JP5812628B2 (ja) * 2011-02-25 2015-11-17 任天堂株式会社 情報処理プログラム、情報処理方法、情報処理装置、及び情報処理システム
US9317860B2 (en) * 2011-03-08 2016-04-19 Bank Of America Corporation Collective network of augmented reality users
JP5934966B2 (ja) * 2011-07-29 2016-06-15 インターマン株式会社 位置情報履歴比較方法
US20130218766A1 (en) * 2011-08-18 2013-08-22 Michael Mueller Mobile Transactions and Payments
US20130249947A1 (en) * 2011-08-26 2013-09-26 Reincloud Corporation Communication using augmented reality
WO2014017395A1 (ja) * 2012-07-24 2014-01-30 日本電気株式会社 注文処理携帯端末、そのデータ処理方法、およびプログラム、ならびに、注文システム
US20140108501A1 (en) * 2012-10-17 2014-04-17 Matthew Nicholas Papakipos Presence Granularity with Augmented Reality
TW201329898A (zh) * 2013-01-30 2013-07-16 Sense Digital Co Ltd 具互動服務之商品資訊線上交流方法
KR102077305B1 (ko) * 2013-05-09 2020-02-14 삼성전자 주식회사 증강 현실 정보를 포함하는 콘텐츠 제공 방법 및 장치
KR101600038B1 (ko) * 2013-10-01 2016-03-04 목포대학교산학협력단 소셜 증강현실 서비스 시스템 및 방법
US20150149307A1 (en) * 2013-11-22 2015-05-28 Harsimrat Thukral Location-based ordering
TWM482796U (zh) 2013-12-12 2014-07-21 Univ Nan Kai Technology 多功能擴增實境手工標籤
TWM477649U (zh) * 2014-01-07 2014-05-01 Zun-Hong Cai 地理實境互動系統
US9310205B2 (en) 2014-02-20 2016-04-12 Stubhub, Inc. Interactive venue assistant
US9432421B1 (en) * 2014-03-28 2016-08-30 A9.Com, Inc. Sharing links in an augmented reality environment
US10304248B2 (en) 2014-06-26 2019-05-28 Korea Advanced Institute Of Science And Technology Apparatus and method for providing augmented reality interaction service
TWM499617U (zh) * 2014-11-19 2015-04-21 Nat Taichung University Science & Technology 互動式電子菜單
JP6674620B2 (ja) * 2015-03-31 2020-04-01 日本電気株式会社 情報処理システム、情報処理システムの制御方法、スマートデバイスの制御方法およびスマートデバイスの制御プログラム
CN106981000B (zh) 2016-10-13 2020-06-09 阿里巴巴集团控股有限公司 基于增强现实的多人线下交互、点餐方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102843349A (zh) * 2011-06-24 2012-12-26 中兴通讯股份有限公司 实现移动增强现实业务的方法及***、终端及服务器
CN104835005A (zh) * 2015-05-05 2015-08-12 江苏卡罗卡国际动漫城有限公司 一种基于ar技术的虚拟点菜***
CN104978697A (zh) * 2015-06-24 2015-10-14 西南石油大学 一种基于二维码的协同智能点餐方法与***
CN205040940U (zh) * 2015-07-17 2016-02-24 邳州顺福祥生物制品有限公司 一种基于ar技术的智能餐桌
CN106022873A (zh) * 2016-05-17 2016-10-12 暨南大学 一种基于增强现实的自助点餐***

Also Published As

Publication number Publication date
US20180121727A1 (en) 2018-05-03
MY202362A (en) 2024-04-24
US10303946B2 (en) 2019-05-28
BR112019007492B1 (pt) 2021-10-05
BR112019007492A2 (pt) 2019-07-02
SG10202101627QA (en) 2021-03-30
RU2019113320A (ru) 2020-11-13
EP3526755A1 (en) 2019-08-21
CN106981000A (zh) 2017-07-25
WO2018071921A1 (en) 2018-04-19
TWI691865B (zh) 2020-04-21
TW201814437A (zh) 2018-04-16
AU2017342562A1 (en) 2019-05-02
KR102213407B1 (ko) 2021-02-10
JP2020504852A (ja) 2020-02-13
US20190278997A1 (en) 2019-09-12
JP6869341B2 (ja) 2021-05-12
AU2017342562B2 (en) 2020-10-15
MX2019004306A (es) 2019-10-09
RU2019113320A3 (zh) 2020-11-13
CA3040309A1 (en) 2018-04-19
KR20200027459A (ko) 2020-03-12
SG11201903275SA (en) 2019-05-30
US10789475B2 (en) 2020-09-29
CA3040309C (en) 2021-05-04
RU2744930C2 (ru) 2021-03-17
EP3526755A4 (en) 2019-08-21
PH12019500805A1 (en) 2020-01-20
ZA201902938B (en) 2021-05-26

Similar Documents

Publication Publication Date Title
CN106981000B (zh) 基于增强现实的多人线下交互、点餐方法及***
US11238655B2 (en) Offline shopping guide method and apparatus
US10235810B2 (en) Augmented reality e-commerce for in-store retail
CN106663277B (zh) 基于用户兴趣的交互显示器
CN106982240B (zh) 信息的显示方法和装置
EP3522096A1 (en) Augmented reality-based offline interaction method and device
CN108305317A (zh) 一种图像处理方法、装置及存储介质
US20120195464A1 (en) Augmented reality system and method for remotely sharing augmented reality service
CA3163233A1 (en) Systems for identifying products within audio-visual content
CN105930912A (zh) 一种基于3d全景app的酒店预订***
CN111512119A (zh) 增强现实、计算机视觉和数字售票***
AU2021200588A1 (en) Data processing method, device and system
US11392996B2 (en) Systems and methods for creating a navigable path between pages of a network platform based on linking database entries of the network platform
CN110188903B (zh) 预点单信息的处理方法及装置
CN108694639B (zh) 基于动态影像的物品供应、订货以及交易方法
US9712693B2 (en) Information provision apparatus, information provision method, and non-transitory storage medium
CA2949836A1 (en) System and method for automatic data collection
KR20140015709A (ko) 이미지 매칭 시스템 및 방법
WO2021213457A1 (zh) 数据处理方法、***、空间及设备
KR102134539B1 (ko) 음식 공유경제 플랫폼 제공시스템 및 방법
KR102273604B1 (ko) 음식 공유경제 플랫폼 제공시스템 및 방법
KR20150093263A (ko) 개인 컨텐츠에 기반하여 동영상을 생성하는 컨텐츠 생성 서비스 장치, 개인 컨텐츠에 기반하여 동영상을 생성하는 방법 및 컴퓨터 프로그램이 기록된 기록매체
CN114051168A (zh) 一种显示方法、装置、设备、存储介质及程序产品
KR102342044B1 (ko) 개인 정보 이용 주문 시스템
US20240037641A1 (en) Augmented reality order assistance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1239911

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200924

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200924

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Patentee before: Alibaba Group Holding Ltd.

TR01 Transfer of patent right