CN113450497A - 信息处理方法、装置及电子设备 - Google Patents

信息处理方法、装置及电子设备 Download PDF

Info

Publication number
CN113450497A
CN113450497A CN202010219364.4A CN202010219364A CN113450497A CN 113450497 A CN113450497 A CN 113450497A CN 202010219364 A CN202010219364 A CN 202010219364A CN 113450497 A CN113450497 A CN 113450497A
Authority
CN
China
Prior art keywords
information
module
vending machine
voice
operation instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010219364.4A
Other languages
English (en)
Inventor
杨智慧
付强
吴楠
吴登峰
韩卫生
彭傊
纳跃跃
马骁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202010219364.4A priority Critical patent/CN113450497A/zh
Publication of CN113450497A publication Critical patent/CN113450497A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F9/00Details other than those peculiar to special kinds or types of apparatus
    • G07F9/006Details of the software used for the vending machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F11/00Coin-freed apparatus for dispensing, or the like, discrete articles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Control Of Vending Devices And Auxiliary Devices For Vending Devices (AREA)

Abstract

本申请实施例公开了信息处理方法、装置及电子设备。所述方法应用于售货机,所述售货机包括行人检测模块、声音采集模块、语音播报模块以及处理模块,所述方法包括:所述处理模块获得所述行人检测模块采集的人体感知信息时,通过所述语音播报模块对第一提示信息进行语音播报;如果获得所述声音采集模块采集的语音数据,则从所述语音数据中提取用户的操作指令信息;根据所述操作指令信息执行相关操作。如此方案,既有助于降低实现主动交互功能的成本,又有助于确保用户数据的安全性。

Description

信息处理方法、装置及电子设备
技术领域
本申请涉及自动售货机技术领域,特别是涉及信息处理方法、装置及电子设备,应用程序,主动进行语音交互的电路、电路板及设备,售货机主机。
背景技术
自动售货机(Vending Machine,VEM),是一种能根据投入的钱币自动付货的机器。自动售货机是商业自动化的常用设备,它不受时间、地点的限制,能节省人力、方便交易,是一种全新的商业零售形式,又被称为24小时营业的微型超市。
传统的售货机大多以被动方式进行商品对象的售卖。例如,有购买需求的消费者用户走到设备面前,进行设备唤醒后,可以根据自己的需求选货,售货机的主机获得用户提交的选货信息后,可以提示用户进入支付流程,并在获得支付成功的信息后进行出货处理,将用户所选商品对象送至付货口,完成售卖处理过程。
为了提高售货机的交易量,增强用户购物的趣味性,由售货机主动发起交互,对经过售货机的行人进行购物引导的售卖方式成为一种趋势。该方式下,如何检测设备周边人物的变化情况,成本主动交互的重要前提。
目前主要的做法是通过主机上配置的进行人脸支付的摄像头,采集设备周边的图像,并通过图像分析确定设备周边是否出现行人,进而发起主动交互。如此检测方式可能存在未获得用户授权的情况下采集用户数据的问题,致使用户隐私存在被泄露的风险,例如,基于售货机所在位置对用户进行定位。此外,出于人脸支付需求配置的摄像头,通常都不支持长时间工作,持续的图像采集很容易导致摄像头发热,进而影响摄像头的使用寿命,且摄像头长时间工作还会增大设备耗电量,增加售货机的使用成本。
若对人脸支付的摄像头进行改造,替换为高性能的摄像头,则会大大提高售货机的使用成本,相较于售货机售卖的商品对象来说(饮料、食品等平价商品),如此改造的可行性较差。
发明内容
本申请提供了一种信息处理方法、装置及电子设备,可以通过主动交互的方式进行商品对象的售卖处理,既有助于降低实现主动交互功能的成本,又有助于确保用户数据的安全性。
本申请提供了如下方案:
一种信息处理方法,应用于售货机,所述售货机包括行人检测模块、声音采集模块、语音播报模块以及处理模块,所述方法包括:
所述处理模块获得所述行人检测模块采集的人体感知信息时,通过所述语音播报模块对第一提示信息进行语音播报;
如果获得所述声音采集模块采集的语音数据,则从所述语音数据中提取用户的操作指令信息;
根据所述操作指令信息执行相关操作。
一种应用程序,包括:
第一接口、第二接口、第三接口以及信息处理程序模块;
所述第一接口,用于接受售货机的行人检测模块的调用,获得所述行人检测模块采集的人体感知信息;
所述第二接口,用于调用所述售货机的语音播报模块,将第一提示信息发送至所述语音播报模块进行播报;
所述第三接口,用于接受所述售货机的声音采集模块的调用,获得所述声音采集模块采集的语音数据;
所述信息处理程序模块,用于从所述语音数据中提取用户的操作指令信息,并根据所述操作指令信息执行相关操作。
一种信息处理方法,包括:
售货机加载上述应用程序对应的安装包;
启动所述应用程序,以便在获得人体感知信息时,对经过所述售货机的用户发起主动语音交互。
一种信息处理方法,包括:
售货机关联的第一客户端获得人体感知信息时,通过所述售货机的语音播报模块对第一提示信息进行语音播报,所述人体感知信息由所述售货机的行人检测模块采集;
如果获得所述售货机的声音采集模块采集的语音数据,则从所述语音数据中提取用户的操作指令信息;
将所述操作指令信息转发至所述售货机的主机关联的第二客户端,以便所述第二客户端根据所述操作指令信息执行相关操作。
一种信息处理方法,包括:
售货机的主机关联的第二客户端获得第一客户端发送的用户的操作指令信息,所述操作指令信息为所述第一客户端从所述售货机的声音采集模块采集的语音数据中提取,且所述语音数据在所述第一客户端获得所述售货机的行人检测模块采集的人体感知信息以及所述售货机的语音播报模块对经过所述售货机的行人进行第一提示信息播报后采集;
根据所述操作指令信息执行相关操作。
一种应用程序,包括:
接口模块以及信息处理程序模块;
所述接口模块,用于接受售货机的主机的通信接口的调用,通过所述通信接口获得第一客户端发送的操作指令信息,所述操作指令信息为所述第一客户端从所述售货机的声音采集模块采集的语音数据中提取,且所述语音数据在所述第一客户端获得所述售货机的行人检测模块采集的人体感知信息以及所述售货机的语音播报模块对经过所述售货机的行人进行第一提示信息播报后采集;
所述信息处理程序模块,用于根据所述操作指令信息执行相关操作。
一种信息处理方法,包括:
售货机的主机加载上述应用程序对应的安装包;
启动所述应用程序,以便在获得第一客户端发送的用户的操作指令信息时,根据所述操作指令信息执行相关操作。
一种主动进行语音交互的电路,应用于售货机,包括:
处理模块、行人检测模块、声音采集模块、语音播报模块以及接口模块;
所述处理模块,用于在获得所述行人检测模块采集的人体感知信息时,通过所述语音播报模块对第一提示信息进行语音播报,并从所述声音采集模块采集的语音数据中提取用户的操作指令信息;
所述接口模块,用于将所述处理模块提取的操作指令信息发送至所述售货机的主机,以便所述主机根据所述操作指令信息执行相关操作。
一种主动进行语音交互的电路板,包括:
电路板本体、处理模块、行人检测模块、声音采集模块、语音播报模块以及接口模块;
所述电路板本体包括对应设置的第一表面以及第二表面,所述第一表面布设有所述处理模块、所述语音播报模块以及所述接口模块,所述第二表面布设有所述行人检测模块以及所述声音采集模块;
所述处理模块分别与所述行人检测模块、所述声音采集模块、所述语音播报模块以及所述接口模块电连接。
一种主动进行语音交互的电路板,包括:
第一子电路板以及第二子电路板;
所述第一子电路板包括第一子电路板本体,以及设置于所述第一子电路板本体一侧表面的处理模块、语音播报模块以及接口模块;
所述第二子电路板包括第二子电路板本体,以及设置于所述第二子电路板本体一侧表面的行人检测模块以及声音采集模块;
所述处理模块分别与所述行人检测模块、所述声音采集模块、所述语音播报模块以及所述接口模块电连接。
一种主动进行语音交互的设备,所述设备安装于售货机的箱体上,且与所述售货机的主机进行电连接,所述设备包括:
壳体以及上述主动进行语音交互的电路板;
所述壳体上设置有至少两个开孔,且所述电路板安装于所述壳体内部时,所述电路板上布设的行人检测模块以及声音采集模块分别朝向不同的开孔。
一种售货机主机,包括:
主机壳体、主机处理模块、显示模块以及上述主动进行语音交互的电路板;
所述主机处理模块与所述主动进行语音交互的电路板安装于所述主机壳体内部,且所述主机处理模块与所述电路中的处理模块电连接;
所述主机壳体具有包围所述显示模块的边框,所述边框上设置有与所述电路中的行人检测模块以及声音采集模块相匹配的开孔。
一种信息处理方法,应用于主动进行语音交互的设备,所述设备包括行人检测模块、声音采集模块、语音播报模块以及处理模块,所述方法包括:
所述处理模块获得所述设备关联的实体店铺提供的商品对象的相关信息;
获得所述行人检测模块采集的人体感知信息时,通过所述语音播报模块对第一提示信息进行语音播报;
如果从所述声音采集模块采集的语音数据中提取出用户的操作指令信息,且所述操作指令信息中包括所述用户选中的目标商品对象的标识信息,则生成订单请求提交至履约平台。
一种信息处理装置,应用于售货机,包括:
人体感知信息获得单元,用于获得所述售货机的行人检测模块采集的人体感知信息;
语音播报单元,用于通过所述售货机的语音播报模块对第一提示信息进行语音播报;
操作指令信息提取单元,用于在获得所述售货机的声音采集模块采集的语音数据时,从所述语音数据中提取用户的操作指令信息;
操作执行单元,用于根据所述操作指令信息执行相关操作。
一种信息处理装置,应用于售货机关联的第一客户端,包括:
人体感知信息获得单元,用于获得所述售货机的行人检测模块采集的人体感知信息;
语音播报单元,用于通过所述售货机的语音播报模块对第一提示信息进行语音播报;
操作指令信息提取单元,用于在获得所述售货机的声音采集模块采集的语音数据时,从所述语音数据中提取用户的操作指令信息;
操作指令信息发送单元,用于将所述操作指令信息转发至所述售货机的主机关联的第二客户端,以便所述第二客户端根据所述操作指令信息执行相关操作。
一种信息处理装置,应用于售货机的主机关联的第二客户端,包括:
操作指令信息获得单元,用于获得第一客户端发送的用户的操作指令信息,所述操作指令信息为所述第一客户端从所述售货机的声音采集模块采集的语音数据中提取,且所述语音数据在所述第一客户端获得所述售货机的行人检测模块采集的人体感知信息以及所述售货机的语音播报模块对经过所述售货机的行人进行第一提示信息播报后采集;
操作执行单元,用于根据所述操作指令信息执行相关操作。
一种信息处理装置,应用于主动进行语音交互的设备,包括:
关联信息获得单元,用于获得所述设备关联的实体店铺提供的商品对象的相关信息;
人体感知信息获得单元,用于获得所述设备的行人检测模块采集的人体感知信息;
语音播报单元,用于通过所述设备的语音播报模块对第一提示信息进行语音播报;
操作指令信息提取单元,用于从所述声音采集模块采集的语音数据中提取出用户的操作指令信息,所述操作指令信息中包括所述用户选中的目标商品对象的标识信息;
请求提交单元,用于生成订单请求提交至履约平台。
一种电子设备,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
获得所述设备的行人检测模块采集的人体感知信息时,通过所述设备的语音播报模块对第一提示信息进行语音播报;
如果获得所述设备的声音采集模块采集的语音数据,则从所述语音数据中提取用户的操作指令信息;
根据所述操作指令信息执行相关操作。
一种电子设备,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
获得人体感知信息时,通过所述售货机的语音播报模块对第一提示信息进行语音播报,所述人体感知信息由所述售货机的行人检测模块采集;
如果获得所述售货机的声音采集模块采集的语音数据,则从所述语音数据中提取用户的操作指令信息;
将所述操作指令信息转发至所述售货机的主机关联的第二客户端,以便所述第二客户端根据所述操作指令信息执行相关操作。
一种电子设备,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
获得第一客户端发送的用户的操作指令信息,所述操作指令信息为所述第一客户端从售货机的声音采集模块采集的语音数据中提取,且所述语音数据在所述第一客户端获得所述售货机的行人检测模块采集的人体感知信息以及所述售货机的语音播报模块对经过所述售货机的行人进行第一提示信息播报后采集;
根据所述操作指令信息执行相关操作。
一种电子设备,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
获得所述设备关联的实体店铺提供的商品对象的相关信息;
获得所述设备的行人检测模块采集的人体感知信息时,通过所述设备的语音播报模块对第一提示信息进行语音播报;
如果从所述设备的声音采集模块采集的语音数据中提取出用户的操作指令信息,且所述操作指令信息中包括所述用户选中的目标商品对象的标识信息,则生成订单请求提交至履约平台。
根据本申请提供的具体实施例,本申请公开了以下技术效果:
本申请实施例,可以通过行人检测模块检测售货机周围的人物变化情况,有人经过售货机时可以获得人体感知信息发送至处理模块,触发处理模块进入主动交互流程,通过语音播报模块对第一提示信息进行语音播报,以此对用户进行购物引导。如果用户收听到语音播报模块播报的信息后,与售货机进行语音交互,声音采集模块则可将采集的语音数据发送至处理模块,由处理模块从中提取出用户的操作指令信息,并根据操作指令信息执行相关操作,以及在需要与用户进行下一步交互时,获得相关操作关联的提示信息,通过语音播报模块对相关操作关联的提示信息进行语音播报,实现对用户购物行为的进一步引导。
如此方案,不再单纯的依赖于摄像头采集的图像信息,有助于降低实现主动交互功能的成本,以及提高用户数据的安全性。具体地,对于未配置摄像头的售货机来说,主动交互过程中不会采集在售货机周边过往的行人的图像信息,可避免用户隐私被泄露;对于配置有摄像头的售货机来说,可以在获得用户授权的情况下,按需启动摄像头进行图像信息的采集,如此,既可降低摄像头的工作时长,避免持续工作影响摄像头的使用寿命;又可避免摄像头随便拍摄在售货机周边过往的所有行人的图像信息,提高摄像头的使用安全性。
当然,实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的售货机的示意图;
图2~图8是本申请实施例提供的方法的流程图;
图9~图12是本申请实施例提供的装置的示意图;
图13是本申请实施例提供的电子设备的架构的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例可以提供一种主动进行语音交互的电路,该电路可应用于售货机,用于实现行人检测以及语音交互。具体可包括:处理模块、行人检测模块、声音采集模块以及语音播报模块。作为一种示例,行人检测模块可以体现为人体传感器,声音采集模块可以体现为麦克风,语音播报模块可以体现为扬声器。
在实际应用过程中,处理模块可以与其他各模块相互配合,以语音方式实现对路过售货机的行人的购物引导。具体地,处理模块可以在获得行人检测模块采集的人体感知信息时,获得预先配置的第一提示信息,通过语音播报模块对第一提示信息进行语音播报;语音播报后,如果获得声音采集模块采集的语音数据,则可从中提取出用户的操作指令信息,并根据该操作指令信息执行相关操作,以此向用户提供购物引导服务。
或者,在实际应用过程中,还可以根据使用需求对上述购物引导的实现过程进行功能拆分。作为一种示例,一部分功能可以由主动进行语音交互的电路实现,例如,由电路进行行人检测并主动发起语音交互;一部分功能可以由售货机的主机实现,例如,由主机根据操作指令信息执行相关操作。对应于此,电路还可以包括接口模块,用于实现电路中的处理模块与售货机主机之间的电连接,将处理模块提取的操作指令信息发送至主机,触发主机根据操作指令信息执行相关操作。
该实现方式下,对于电路中各部件的供电来说,可以在电路中设置供电电源;或者,可以通过接口模块与主机电连接后,由主机对电路进行供电,本申请实施例对此可不做具体限定。
本申请实施例中,声音采集模块可以一直处于工作状态,随时采集用户输入的语音数据;或者,声音采集模块可以在处理模块的触发下启动,例如,处理模块确定有行人经过售货机时,可以触发声音采集模块切换为工作状态,开始采集语音数据。
对应于此,本申请实施例可以提供一种主动进行语音交互的电路板。一种方式下,上述主动进行语音交互的电路可以布设在一块电路板上。对应的,电路板本体可以包括对应设置的第一表面以及第二表面,电路各部件可以分别布设于第一表面以及第二表面。例如,可以将处理模块、语音播报模块以及接口模块布设于第一表面,将行人检测模块以及声音采集模块布设于第二表面,且确保处理模块分别与行人检测模块、声音采集模块、语音播报模块以及接口模块电连接。
或者,另一种方式下,以上主动进行语音交互的电路可以布设在至少两块电路板上。以两块电路板为例,可以包括第一子电路板以及第二子电路板。其中,第一子电路板可以包括第一子电路板本体,以及设置于第一子电路板本体一侧表面的处理模块、语音播报模块以及接口模块;第二子电路板可以包括第二子电路板本体,以及设置于第二子电路板本体一侧表面的行人检测模块以及声音采集模块;此外,处理模块可分别与行人检测模块、声音采集模块、语音播报模块以及接口模块电连接。例如,可以通过软排线实现第一子电路板与第二子电路板之间的电连接,进而实现处理模块与行人检测模块以及声音采集模块之间的数据交互。
基于上述电路板,本申请实施例可以提供一种主动进行语音交互的设备(即,电路板可安装于独立于主机之外的设备中),该设备可以包括壳体以及以上任一种电路板。其中,壳体上设置有至少两个开孔,且电路板安装于壳体内部时,电路板上布设的行人检测模块以及声音采集模块分别朝向不同的开孔,其中,开孔的形状与位置与其对应的行人检测模块以及声音采集模块的形状与位置相匹配。如此,行人检测模块可以通过其对应的开孔采集人体感知信息,声音采集模块可以通过其对应的开孔采集用户输入的语音数据。以上主动进行语音交互的设备可安装于售货机的箱体上,且与售货机的主机进行电连接,以便电路板上布设的处理模块可与主机处理模块之间进行数据交互。
或者,基于上述电路板,本申请实施例可以提供一种具有主动语音交互功能的售货机主机(即,电路板可安装于主机内部),该主机可安装于售货机的箱体上,用于实现对售货机周边行人的检测,并在确定有人经过售货机时发起主动交互过程,对用户进行购物引导。具体地,主机可以包括主机壳体、主机处理模块、显示模块以及以上任一种电路板。其中,主机处理模块与电路板可安装于主机壳体内部,且主机处理模块与电路板上布设的处理模块电连接;主机壳体具有包围显示模块的边框,边框上设置有与电路板上布设的行人检测模块以及声音采集模块的形状以及位置相匹配的开孔,便于行人检测模块以及声音采集模块进行信息采集。作为一种示例,显示模块可以体现为显示屏。
或者,在实际应用过程中,可以对被动交互的传统售货机的主机进行软硬件升级,将其改造为本申请实施例具有主动语音交互功能的主机。具体地,可以对传统售货机的主机进行硬件改造,加装本申请实施例提供的主动进行语音交互的电路板,以便在有行人经过售货机时,可以自动进行人体感知并进入主动交互流程,以语音方式对行人进行购物引导。
对于传统售货机的主机来说,可以包括主机壳体、主机处理模块以及显示模块,将主动进行语音交互的电路板加装于主机壳体内部后,可在包围显示模块的边框上开设与声音采集模块以及行人检测模块相匹配的孔,以便二者通过各自对应的开孔进行人体感知以及语音拾取。如图1所举示例中,壳体的上边框设置有摄像头40,故可在壳体的下边框进行开孔。
在进行硬件改造时,可以根据边框的高度信息选用不同的电路板。例如,对于边框高度信息低于预设高度值(可以根据实际使用需求确定预设高度值)的主机来说,可加装电路板的区域有限,故可采用将主动进行语音交互的电路布设在一块电路板的方案,尽量减少电路板占用的空间。将电路板安装于主机壳体内部时,一方面需要确保主机处理模块与电路板上布设的处理模块电连接,另一方面需要确保第二表面朝向边框中的开孔,便于行人检测模块以及声音采集模块进行信息采集。
对于边框高度信息不低于预设高度值的主机来说,可加装电路板的区域相对较大,故可采用将主动进行语音交互的电路布设在不同电路板的方案,同样地,将电路板安装于主机壳体内部时,亦需要满足以上两方面要求。此外,对于边框高度信息不低于预设高度值的主机来说,亦可通过加装以上布设有主动进行语音交互的电路的单块电路板,进行硬件改造。
优选地,为了尽量降低语音播报模块对声音采集模块的拾音干扰,可以使二者空间位置上距离尽量远。以单块电路板为例,可以在第一表面设置与语音播报模块电连接的底座(以上两块电路板的示例中,可以在第一电路板上设置底座),将语音播报模块固定安装在相距声音采集模块较远的位置,并通过电线实现语音播报模块与底座的电连接。如图1所示,可以将主动进行语音交互的电路板安装于下边框对应的区域,并在此区域开设声音采集模块以及行人检测模块对应的孔20;语音播报模块可固定于上边框对应的区域,并在此区域开设对应的孔,便于进行语音播报;或者,除了可在主机上加装语音播报模块之外,还可以将语音播报模块30固定于售货机的其他位置,如图1所举示例,语音播报模块安装于售货机的箱体,既方便用户收听,又不会对声音采集模块拾音造成干扰,还不会影响售货机正常使用。
此外,还可以对传统售货机的主机进行软件改造,通过安装本申请实施例提供的应用程序(具体可参见下文实施例4处所做介绍,此处暂不详述),对主机的售货处理流程进行升级,使其可以与主动进行语音交互的电路相互配合,以主动交互的方式进行售货处理。
下面结合图2所示流程图,对本申请实施例的交互过程进行解释说明。
实施例1
S101:售货机的处理模块获得行人检测模块采集的人体感知信息时,通过语音播报模块对第一提示信息进行语音播报。
作为一种示例,本申请实施例中的行人检测模块可以体现为TOF(Time-of-Flight)激光距离传感器,当检测到有人靠近售货机时,行人检测模块可以向处理模块发出中断信号(本申请实施例中,人体感知信息可以包括是否有人经过售货机,若行人检测模块发出中断信号便可表示有人经过售货机),处理模块获得该信号后,可以发起交互流程,控制语音播报模块播报预先配置的第一提示信息,例如,第一提示信息可以为“您好,想买点什么呢”。
此外,需要说明的是,传感器通常具有一定的覆盖范围,行人进入传感器的覆盖范围时,便可采集到人体感知信息,故本申请实施例的行人检测模块可以包括至少两个人体传感器,以增大传感器的覆盖范围,尽量避免出现因覆盖范围小导致信息采集遗漏的情况。如图1所举示例,主动进行语音交互的电路可以包括在水平方向上设置的2个人体传感器。
可以理解地,除了TOF传感器之外,还可以基于可见光图像、激光雷达、红外图像等技术进行行人检测,具体实现过程可参见相关技术,此处不做详述。
优选地,处理模块可以在获得人体感知信息后,即时向用户发起主动交互;或者,为了提高购物引导的成功率,可以在获得人体感知信息且确定用户可能具有购买意图时,再向用户发起语音交互。
具体地,处理模块可以获得与用户行为相关的信息,根据该与用户行为相关的信息确定用户具有购买意图时,再控制语音播报模块对第一提示信息进行语音播报。
作为一种示例,如果用户在售货机前出现停留行为,或者停留了预设时长(例如,预设时长为2秒,具体可结合实际应用需求确定),可以确定用户可能并不是单纯的路过售货机,可能具有购买意图,处理模块可以针对该用户发起主动交互,对用户进行购物引导,有助于提高商品对象的成交率。
本示例下,可以通过多种方式确定用户是否在售货机前停留。例如,一种方式下,处理模块可以在获得人体感知信息后,控制声音采集模块进行启动,并获得声音采集模块采集的与用户行走相关的声音信息。如果根据声音信息确定用户的行走行为发生变化,例如,脚步声突然消失,可能是用户从行走状态变为停止状态;再例如,脚步声的频率变慢,也可能有停下来的可能,等等变化信息均可确定用户可能在售货机前有停留,据此便可确定用户具有购买意图。
或者,另一种方式下,如果售货机配置有图像采集模块,例如,摄像头,处理模块可以在获得人体感知信息后,控制图像采集模块进行启动,并获得经过售货机的行人的图像信息,通过图像信息确定用户是否在售货机前停留。
除停留行为外,还可以预设表示购买意图的行为动作,若行人在售货机前执行该行为动作,则可确定其并非单纯路过售货机,可以针对该行人发起主动交互。具体地,处理模块可以在获得人体感知信息后,控制图像采集模块进行启动,并获得图像采集模块采集的用户图像信息;如果从图像信息中提取出用户执行的动作信息,且所述动作信息与预设动作信息相符,则确定用户具有购买意图。例如,预设动作可以为点头动作、OK手势等,具体可结合使用需求确定。
S102:处理模块获得声音采集模块采集的语音数据,从语音数据中提取用户的操作指令信息。
本申请实施例中,声音采集模块可以体现为单个麦克风;或者,可以体现为至少两个麦克风组成的麦克风阵列,通过麦克风阵列进行多通道的语音拾取。如图1所举示例,麦克风阵列可以包括4个麦克风,各麦克风之间可在水平方向上等间距分布。本申请实施例对麦克风的数量、排布方式等可不做限定,具体可结合实际应用需求确定。
优选地,为了降低环境噪声对语音识别准确率的影响,且考虑到具有购买意图的用户通常位于售货机正前方的一定区域内,处理模块可基于带指向的降噪算法进行语音识别。即,可以基于预设基准对售货机前方区域进行角度划分,例如,以售货机为基准进行角度划分,将在预设角度范围对应的区域内采集的语音数据确定为目标语音数据,进行语音识别,以及将在预设角度范围对应的区域之外采集的语音数据确定为干扰信息,进行噪声抑制。
作为一种示例,可以售货机的中心为基准,对左右各60°对应的区域内采集的语音数据进行语音识别,即,预设角度范围为-60°~60°。本示例下,处理模块获得麦克风阵列采集的语音数据后,可以确定语音数据对应的采集角度信息,如果与预设角度范围信息相匹配,即,采集角度位于-60°~60°范围内,则可将语音数据确定为目标语音数据进行语音识别,获得用户的操作指令信息。如此,有助于保证在嘈杂环境下的语音识别准确率,进而提高用户的语音交互体验。
作为一种示例,处理模块可以在本地进行语音识别,从目标语音数据中提取出用户的操作指令信息;或者,处理模块可以将目标语音数据提交至云端服务器,由云端服务器进行语音识别,获得用户的操作指令信息下发至处理模块。
S103:处理模块根据操作指令信息执行相关操作。
本申请实施例中的操作指令信息通常为与售卖处理相关的信息,下面结合具体示例,对操作指令信息及其对应的操作过程进行举例说明。
1.操作指令信息可以为查看商品对象信息的指令信息
作为一种示例,用户可以请求查看售货机售卖的全部商品对象。例如,用户收听到扬声器播报的第一提示信息后,可以语音输入“查看全部商品”,麦克风阵列采集到该语音数据后可以发送至处理模块,处理模块获得“查看全部商品对象信息”的操作指令信息。对应的,可以将售货机可售卖的全部商品对象均确定为待查看目标商品对象,获得待查看目标商品对象的相关信息,通过显示屏进行信息展示。具体地,相关信息可以包括待查看目标商品对象的图片信息以及文字信息,其中,文字信息中可以包括待查看目标商品对象的名称、价格、库存数量等。
优选地,处理模块还可以继续与用户进行语音交互,对用户进行购物引导。例如,可以控制扬声器播报预先配置的第二提示信息,其中,第二提示信息可以为“以下是全部商品,需要什么告诉我就好”。具体地,处理模块可以获得查看操作关联的提示信息(本示例中,即第二提示信息),控制扬声器对第二提示信息进行语音播报。
或者,作为另一种示例,用户可能出于不同需求,请求查看售货机售卖的部分商品对象。例如,可以请求查看用户感兴趣的商品对象;或者,可以请求查看有货的商品对象(即,库存数量大于零的商品对象),等等。
以自动饮料售货机为例,用户查看全部商品对象后,想要购买无糖饮料,可以语音输入“查看无糖饮料”,麦克风阵列采集到该语音数据后可以发送至处理模块,处理模块从中提取商品对象的目标特征信息,生成操作指令信息。本示例中,目标特征信息可以为“无糖”,可生成“查看无糖饮料”的操作指令信息。对应的,可以获得各商品对象关联的特征信息,并根据操作指令信息中包括的目标特征信息,确定待查看目标商品对象,进而获得待查看目标商品对象的相关信息,通过显示屏进行信息展示。具体地,相关信息可以包括待查看目标商品对象的图片信息以及文字信息,其中,且文字信息中可以包括待查看目标商品对象的名称、价格、库存数量、特征信息等。
优选地,售货机还可以继续与用户进行语音交互,对用户进行购物引导。例如,处理模块可以获得查看操作关联的提示信息(本示例中,即第三提示信息),控制扬声器对第三提示信息进行语音播报。其中,第三提示信息可以为“以下是无糖饮料,需要什么告诉我就好”。
2.操作指令信息可以为购买操作指令信息
用户查看商品对象的相关信息后,可以通过触控操作的方式,选中待购买目标商品对象;或者,可以通过语音交互的方式确定待购买目标商品对象,该方式下,处理模块可以根据麦克风阵列采集的语音数据,生成购买操作指令,该购买操作指令中可以包括待购买目标商品对象的标识信息。
以自动饮料售货机为例,用户查看商品对象后想要购买可乐,可以语音输入“可乐”,麦克风阵列采集到该语音数据后可以发送至处理模块,处理模块获得“购买可乐”的操作指令信息。对应的,可以将可乐确定为待购买目标商品对象,根据可乐的相关信息生成订单确认界面,通过显示屏对订单确认界面进行展示。其中,订单确认界面中除了可以包括待购买目标商品对象的图片信息、以及待购买目标商品对象的名称价格等文字信息之外,还可以提供进行其他操作的操作按钮,例如,进行下一步支付操作的操作按钮,也就是说,用户可以通过触控该操作按钮的方式进行支付操作。
优选地,售货机还可以继续与用户进行语音交互,对用户进行购物引导。例如,处理模块可以获得购买操作关联的提示信息(本示例中,即第四提示信息),控制扬声器对第四提示信息进行语音播报。其中,第四提示信息可以为“好的,您可以说支付”。
3.操作指令信息可以为与支付操作指令信息
用户收听到扬声器播报的第四提示信息后,可以语音输入“支付”,麦克风阵列采集到该语音数据后可以发送至处理模块,处理模块获得“订单支付”的操作指令信息,进入支付流程。
在实际应用过程中,售货机可能支持不同的支付方式,处理模块对应可通过不同方式进行支付处理。作为一种示例,本申请实施例中的售货机至少可以体现为:可支持人脸支付的售货机,即,售货机配置有摄像头(如图1所举示例,摄像头可以设置于主机壳体10的上边框);以及不支持人脸支付的售货机,即,售货机未配置摄像头,例如,不支持电子支付的售货机、仅支持扫码支付的售货机等。
对于配置有摄像头的售货机来说,如果仅支持人脸支付,处理模块可以在获得支付相关的指令信息后,控制摄像头启动,开始采集用户的人脸图像信息,对应的,处理模块可以获得摄像头采集的人脸图像信息,进行人脸识别并根据人脸识别结果进行支付处理。
如果除了人脸支付之外,售货机还支持其他电子支付方式,处理模块则可通过多种方式进行支付处理。例如,一种方式下,可以通过默认配置的方式,将某种支付方式确定为优先级高的默认支付方式,处理模块获得支付相关的指令信息后,便可按照该默认支付方式进行支付处理。
或者,另一种方式下,处理模块可以根据用户选择的支付方式进行支付处理。具体地,处理模块获得支付相关的指令信息后,可以获得可选支付方式信息,通过显示屏进行展示;同时,还可以获得支付操作关联的提示信息(本示例中,即第五提示信息),控制扬声器对第五提示信息进行语音播报。其中,第五提示信息可以为“请选择支付方式”。
同样地,用户可以通过触控操作的方式,选中目标支付方式;或者,可以通过语音交互的方式确定目标支付方式。例如,用户可以语音输入“扫码支付”,麦克风阵列采集到该语音数据后可以发送至处理模块,处理模块获得“扫码支付”的操作指令信息。对应的,可以根据待购买目标商品对象的价格信息生成收款码,通过显示屏对收款码进行展示,以便用户通过关联的终端设备扫描该收款码,进行支付处理。优选地,处理模块此时可以控制摄像头关闭,即,摄像头处于非工作状态,如此便可避免摄像头在未获得用户授权的情况下(用户未选择人脸支付,相当于未对摄像头进行图像采集的授权)采集用户隐私数据的问题,有助于确保售货机的使用安全性。
对于未配置摄像头的售货机来说,如果售货机支持电子支付,处理模块可以在获得支付相关的指令信息后,根据待购买目标商品对象的相关信息生成收款码,进行扫描支付;如果售货机不支持电子支付,处理模块获得支付相关的指令信息后,可以获得支付操作关联的提示信息(本示例中,即第六提示信息),控制扬声器对第六提示信息进行语音播报。其中,第六提示信息可以为“请在投币口投币”,引导用户以货币方式进行支付。
4.操作指令信息可以为退出交互过程的指令信息
本申请实施例中,用户可以根据实际使用需求,请求退出交互过程,例如,用户可以在交易结束后请求退出;或者,可以在交易过程中随时请求退出交互过程。
以交易结束后退出交互过程为例,处理模块获得支付完成的信息后,可以获得交易操作关联的提示信息(本示例中,即第七提示信息),控制扬声器对第七提示信息进行语音播报。其中,第七提示信息可以为“支付完成,请问还需求什么呢”。用户收听到扬声器播放的第七提示信息后,可以语音输入“退出”,麦克风阵列采集到该语音数据后可以发送至处理模块,处理模块获得“退出交互过程”的操作指令信息,结束本次主动交互过程,并获得预设的主页界面,通过显示屏对所述主页界面进行展示。
作为一种实现方式,处理模块执行相关操作后(可以是本申请实施例所举的任一操作;或者可以是特定操作,例如执行支付操作后),可以启动一个计时器,如果在预设时间段内未获得用户的交互信息(可以是用户以触控方式输入的交互信息;或者,以语音方式输入的交互信息),处理模块亦可结束本次主动交互过程。
此外,为了向用户提供更具个性化的引导服务,本申请实施例还可提供如下优选方案,下面进行举例说明。
优选方案一,可以根据售货机所在位置的天气信息,向用户进行商品对象推荐。
作为一种示例,处理模块确定有人经过售货机时,可以获得售货机所在位置的目标天气信息,并根据天气信息与商品对象之间的关联关系,从目标天气信息关联的商品对象中确定待推荐目标商品对象,向用户进行信息推送。例如,处理模块可以获得待推荐目标商品的相关信息,控制扬声器以语音播报的方式,向用户进行信息推送;或者,处理模块可以获得待推荐目标商品的相关信息,通过显示屏以信息展示的方式,向用户进行信息推送。作为一种示例,处理模块可以将目标天气信息关联的全部商品对象均确定为待推荐目标商品对象,或者可以将其中部分商品对象确定为待推荐商品对象,具体可结合实际应用需求确定。
也就是说,处理模块控制扬声器播报预先配置的第一提示信息时,主机显示屏上便可同时展示待推荐目标商品对象的相关信息,供用户从中选择。在实际应用过程中,用户可以从待推荐目标商品对象中确定待购买商品对象,例如,通过触控操作的方式,或者通过语音交互的方式从中确定待购买商品对象。或者,用户可以通过语音交互的方式,购买待推荐目标商品对象之外的其他商品对象,具体过程可参见上文所做介绍,此处不再举例说明。
本申请实施例中,处理模块可以通过多种方式获得售货机所在位置的目标天气信息。例如,一种方式下,可以获得部署在云端服务器上的服务端下发的售货机所在位置的天气信息(例如,可以每天定时下发当天的天气信息;或者,可以在天气信息出现较大变化时,实时下发变化后的天气信息);或者,如果售货机设置有温度计、湿度计等可进行环境检测的设备,处理模块可以获得环境检测设备采集的天气信息。
优选方案二,可以根据用户的特征信息,向用户进行商品对象推荐。
在实际应用过程中,处理模块可以在用户具有购买意图时(例如,用户在售货机前停留的时间超过预设时长;或者,用户执行了预设行为动作;或者,用户开始与售货机进行语音交互;等等),控制摄像头进行启动采集用户图像信息,如此,处理模块便可从摄像头采集的图像信息中提取用户的目标特征信息,并根据该目标特征信息进行商品对象的个性化推荐。具体地,处理模块可以获得不同特征信息关联的用户类型信息,以及各用户类型信息关联的商品对象,如此,处理模块进行图像处理获得用户的目标特征信息后,便可据此获得用户的目标用户类型信息,进而从目标用户类型信息关联的商品对象中确定待推荐目标商品对象,向用户进行信息推送。作为一种示例,处理模块可以将目标用户类型信息关联的全部商品对象均确定为待推荐目标商品对象,或者可以将其中部分商品对象确定为待推荐商品对象,具体可结合实际应用需求确定。
例如,根据用户的特性信息确定用户为健身爱好者时,可以将矿泉水、无糖饮料等低热量的商品对象确定为待推荐目标商品对象;或者,根据用户的特征信息确定用户为老年人时,可以将矿泉水、牛奶等商品对象确定为待推荐目标商品对象;或者,根据用户的特征信息确定用户消耗大量体力,例如,满头大汗、气喘吁吁等特征,可以将饮料等商品对象确定为待推荐目标商品对象;或者,根据用户的特征信息确定用户状态较为轻松,可以将休闲食品等商品对象确定为待推荐目标商品对象;等等。本申请实施例对用户类型的划分方式、根据特征信息确定用户类型信息的实现过程、用户类型与商品对象的关联关系等,可不做具体限定,具体实现过程可参见相关技术。
由上文介绍可知,摄像头只在需要时才被启动(例如,在进行人脸支付时可以开启摄像头,或者,在个性化推荐需要拍摄用户图像信息时可以开启摄像头),一方面,有助于降低摄像头的工作时长,避免持续处于工作状态影响摄像头的使用寿命;另一方面,摄像头只在获得用户授权的情况下,才被启动进入工作状态,不会随便拍摄在售货机周边过往的所有行人的图像信息,有助于提高摄像头的数据安全性。
优选地,除了在获得用户授权的情况下启动摄像头之外,本申请实施例还可以通过以下实现方式,进一步提高摄像头的数据安全性。例如,一种方式下,可以预设摄像头的采集区域(例如,采集区域的大小可以为0.5m2,采集区域的位置可以为摄像头正前方),处理模块可以在控制摄像头启动时,将采集区域信息下发至摄像头,控制摄像头拍摄该采集区域内的图像信息。如此,便可尽量避免拍摄正在操作售货机的用户的图像信息时,误将过往行人的图像信息摄录进来,可提高周围行人的数据安全性。
或者,另一种方式下,处理模块可以根据具有购买意图的用户与售货机的相对位置,确定图像处理的处理区域信息,也就是说,即使摄像头的采集区域相对较大,会采集部分行人的图像信息,处理模块亦可在进行图像处理时将位于处理区域之外的图像进行剪裁删除,不会留存周围行人的图像信息。
此外,摄像头还可在完成相关信息的采集后退出工作状态,直至下次被启动再进入工作状态,摄像头在此期间均不会进行图像信息的采集。例如,进行个性化推荐时,处理模块获得摄像头采集的用户图像信息后,便可控制摄像头进行关闭,即使用户后续还会有其他操作(例如,从待推荐目标商品对象中确定待购买目标商品对象),摄像头亦可停止图像信息采集。当然,如果后续用户选择人脸支付,处理模块则可控制摄像头进行启动,再次进入工作状态。
可以理解地,本申请实施例的第一客户端以及第二客户端可以是不同的客户端,或者可以是相同客户端中的不同模块,这里仅用于从功能上进行划分,而不应看作是对具体实现方式的限定。
实施例2
与实施例1中的处理模块相对应的,本申请实施例可以提供一种应用程序,用于实现以主动交互的方式进行售卖处理。具体地,应用程序可以包括:第一接口、第二接口、第三接口以及信息处理程序模块。
其中,所述第一接口,用于接受售货机的行人检测模块的调用,获得所述行人检测模块采集的人体感知信息;所述第二接口,用于调用所述售货机的语音播报模块,将第一提示信息发送至所述语音播报模块进行播报;所述第三接口,用于接受所述售货机的声音采集模块的调用,获得所述声音采集模块采集的语音数据;所述信息处理程序模块,用于从所述语音数据中提取用户的操作指令信息,并根据所述操作指令信息执行相关操作,以此对用户进行购物引导。
如此,对于配置有行人检测模块、声音采集模块以及语音播报模块的售货机来说,可以对其处理模块进行软件升级,使售货机可以主动发起语音交互。具体地,售货机加载上述的应用程序对应的安装包;启动所述应用程序,以便在获得人体感知信息时,对经过所述售货机的用户发起主动语音交互。
实施例3
如上文所做介绍,本申请实施例的信息处理过程可以进行功能拆分,下面以第一客户端进行行人检测以及主动发起语音交互,第二客户端根据操作指令信息执行相关操作为例,对购物引导的实现过程进行举例说明,具体可参见图3所示流程图。
S201:第一客户端获得人体感知信息时,通过售货机的语音播报模块对第一提示信息进行语音播报。
本申请实施例中,第一客户端可以部署在售货机上(例如,可以部署在安装于售货机的主机上,或者,可以部署在安装于售货机的主动进行语音交互的设备上),用于实现主动进行语音交互的电路中的处理模块的功能。具体地,第一客户端获得售货机的行人检测模块采集的人体感知信息后,可以获得预先配置的第一提示信息,通过语音播报模块进行语音播报。
S202:第一客户端获得售货机的声音采集模块采集的语音数据,从语音数据中提取用户的操作指令信息。
S203:第一客户端将操作指令信息转发至第二客户端。
S204:第二客户端根据操作指令信息执行相关操作。
本申请实施例中,第二客户端可以部署在售货机主机上,用于实现主机处理模块的功能。具体地,第二客户端获得第一客户端发送的操作指令信息后,可以根据该操作指令信息执行相关操作。
本实施例中为详述的部分,可以参见实施例1中所做介绍,此处不再举例说明。
实施例4
与实施例3中的第二客户端相对应的,本申请实施例可以提供一种应用程序,用于实现以主动交互的方式进行售卖处理。具体地,应用程序可以包括:接口模块以及信息处理程序模块。
其中,所述接口模块,用于接受售货机主机的通信接口的调用,通过所述通信接口获得第一客户端发送的操作指令信息,所述操作指令信息为所述第一客户端从所述售货机的声音采集模块采集的语音数据中提取,且所述语音数据在所述第一客户端获得所述售货机的行人检测模块采集的人体感知信息以及所述售货机的语音播报模块对经过所述售货机的行人进行第一提示信息播报后采集。所述信息处理程序模块,用于根据所述操作指令信息执行相关操作。
此外,如果获得所述相关操作关联的提示信息,接口模块亦可调用售货机主机的通信接口,将相关操作关联的提示信息发送至第一客户端,进而通过语音播报模块对相关操作关联的提示信息进行语音播报,以此对用户进行购物引导。
实际应用过程中,可以利用本实施例提供的应用程序,对传统售货机主机进行软件升级,将其改造为本申请实施例可以主动交互的方式进行售货处理的主机。具体地,售货机的主机加载上述应用程序对应的安装包;启动所述应用程序,以便在获得第一客户端发送的操作指令信息时,根据所述操作指令信息执行相关操作。
实施例5
本申请实施例提供的信息处理方案还可以应用于新零售领域,通过在线下设置可主动进行语音交互的设备,并由设备向用户提供线下下单操作服务,进而将用户订单提交至履约平台。具体地,主动进行语音交互的设备可以包括行人检测模块、声音采集模块、语音播报模块以及处理模块。
下面结合图4所示流程图,对本申请实施例的交互过程进行解释说明。
S301:处理模块获得设备关联的实体店铺提供的商品对象的相关信息。
作为一种示例,设备可以布设于实体店铺关联的区域,例如,实体店铺配送范围内的社区内,可以预先获得设备关联的实体店铺提供的商品对象的相关信息,供用户查看,以便用户从中确定待下单的目标商品对象。例如,可以获得商品对象的图片信息以及文字信息,通过设备的显示模块向用户展示商品对象信息;或者,可以获得商品对象的样品,通过设备的商品对象展示仓位向用户展示商品对象信息。
S302:如果获得行人检测模块采集的人体感知信息,则通过语音播报模块对第一提示信息进行语音播报。
行人经过设备时,行人检测模块可以采集人体感知信息发送至处理模块,触发处理模块主动向用户发起语音交互,通过语音播报模块播报第一提示信息,提示用户进行商品对象选购。具体实现过程可参见S101处所做介绍,此处不再举例说明。
S303:如果从声音采集模块采集的语音数据中提取出用户的操作指令信息,且操作指令信息中包括用户选中的目标商品对象的标识信息,则生成订单请求提交至履约平台。
向用户发起语音交互后,如果声音采集模块获得用户输入的语音数据,可以发送至处理模块进行语音识别,从中提取出操作指令信息。同样地,操作指令信息可以是查看商品对象信息的指令信息,以此请求查看可以通过设备进行线上下单操作的商品对象的相关信息;或者,操作指令信息可以是购买操作指令信息,以此确定待购买目标商品对象,并生成订单请求提交至履约平台,对应的,履约平台可以对实体店铺关联的订单提供履约服务,将用户选中的商品对象配送至指定的地址;或者,操作指令信息可以是与支付操作指令信息,以便在提交线上订单后进行订单支付;或者,操作指令信息可以是退出交互过程的指令信息,以此请求退出语音交互过程。
关于提取操作指令信息的实现过程、根据操作指令信息执行相关操作的实现过程等可参见S102、S103处所做介绍,此处不再举例说明。关于履约平台针对线上订单进行履约服务的实现过程,可参照相关技术实现,此处亦不进行详述。
实施例6
该实施例6是与实施例1相对应的,从售货机的角度,提供了一种信息处理方法,其中,售货机可以包括行人检测模块、声音采集模块、语音播报模块以及处理模块。参见图5,该方法具体可以包括:
S401:所述处理模块获得所述行人检测模块采集的人体感知信息时,通过所述语音播报模块对第一提示信息进行语音播报;
S402:如果获得所述声音采集模块采集的语音数据,则从所述语音数据中提取用户的操作指令信息;
S403:根据所述操作指令信息执行相关操作。
实施例7
该实施例7是与实施例3相对应的,从第一客户端的角度,提供了一种信息处理方法,参见图6,该方法具体可以包括:
S501:售货机关联的第一客户端获得人体感知信息时,通过所述售货机的语音播报模块对第一提示信息进行语音播报,所述人体感知信息由所述售货机的行人检测模块采集;
S502:如果获得所述售货机的声音采集模块采集的语音数据,则从所述语音数据中提取用户的操作指令信息;
S503:将所述操作指令信息转发至所述售货机的主机关联的第二客户端,以便所述第二客户端根据所述操作指令信息执行相关操作。
实施例8
该实施例8是与实施例3相对应的,从第二客户端的角度,提供了一种信息处理方法,参见图7,该方法具体可以包括:
S601:售货机的主机关联的第二客户端获得第一客户端发送的用户的操作指令信息,所述操作指令信息为所述第一客户端从所述售货机的声音采集模块采集的语音数据中提取,且所述语音数据在所述第一客户端获得所述售货机的行人检测模块采集的人体感知信息以及所述售货机的语音播报模块对经过所述售货机的行人进行第一提示信息播报后采集;
S602:根据所述操作指令信息执行相关操作。
实施例9
该实施例9是与实施例5相对应的,从主动进行语音交互的设备的角度,提供了一种信息处理方法,其中,所述设备可以包括行人检测模块、声音采集模块、语音播报模块以及处理模块。参见图8,该方法具体可以包括:
S701:所述处理模块获得所述设备关联的实体店铺提供的商品对象的相关信息;
S702:获得所述行人检测模块采集的人体感知信息时,通过所述语音播报模块对第一提示信息进行语音播报;
S703:如果从所述声音采集模块采集的语音数据中提取出用户的操作指令信息,且所述操作指令信息中包括所述用户选中的目标商品对象的标识信息,则生成订单请求提交至履约平台。
关于前述实施例6至实施例9中的未详述部分,可以参见前述实施例中的记载,这里不再赘述。
与实施例1相对应,本申请实施例还提供了一种信息处理装置,参见图9,该装置应用于售货机,包括:
人体感知信息获得单元801,用于获得所述售货机的行人检测模块采集的人体感知信息;
语音播报单元802,用于通过所述售货机的语音播报模块对第一提示信息进行语音播报;
操作指令信息提取单元803,用于在获得所述售货机的声音采集模块采集的语音数据时,从所述语音数据中提取用户的操作指令信息;
操作执行单元804,用于根据所述操作指令信息执行相关操作。
其中,所述操作指令信息提取单元,具体用于:获得基于预设基准对所述售货机前方区域进行角度划分,确定的预设角度范围信息;确定所述语音数据对应的采集角度信息,如果所述采集角度信息与所述预设角度范围信息相匹配,则对所述语音数据进行语音识别获得所述操作指令信息。
其中,所述装置还包括:
提示信息获得单元,用于获得所述相关操作关联的提示信息,通过所述语音播报模块对所述相关操作关联的提示信息进行语音播报。
其中,所述装置还包括:
提示信息发送单元,用于在所述操作执行单元根据所述操作指令信息执行相关操作后,获得所述相关操作关联的提示信息,发送至所述第一客户端,以便通过所述语音播报模块对所述相关操作关联的提示信息进行语音播报。
其中,所述售货机还包括显示模块,所述装置还包括:
展示信息获得单元,用于获得所述相关操作关联的展示信息,通过所述显示模块进行信息展示。
其中,所述操作指令信息为查看商品对象信息的指令信息,
所述操作执行单元,具体用于:根据所述操作指令信息从所述售货机提供的商品对象中确定待查看目标商品对象;
所述展示信息获得单元,具体用于:获得所述待查看目标商品对象的相关信息,通过所述显示模块进行信息展示。
其中,所述操作指令信息为购买操作指令信息,
所述操作执行单元,具体用于:根据所述操作指令信息从所述售货机提供的商品对象中确定待购买目标商品对象;
所述展示信息获得单元,具体用于:根据所述待购买目标商品对象的相关信息,生成订单确认界面,并通过所述显示模块对所述订单确认界面进行展示。
其中,所述操作指令信息为退出交互过程的指令信息,
所述操作执行单元,具体用于:根据所述操作指令信息结束本次主动交互处理过程;
所述展示信息获得单元,具体用于:获得预设的主页界面,通过所述显示模块对所述主页界面进行展示。
其中,所述售货机还包括图像采集模块,若所述操作指令信息为支付操作指令信息,且支付方式为人脸支付;
所述操作执行单元,具体用于:根据所述操作指令信息控制所述图像采集模块进行启动;从所述图像采集模块采集的人脸图像信息中提取所述用户的人脸信息,并根据所述人脸信息进行支付处理;
所述展示信息获得单元,具体用于:获得所述支付处理的结果信息,通过所述显示模块对所述结果信息进行信息展示。
其中,所述装置还包括:
行为信息获得单元,用于在获得所述人体感知信息后,获得与用户行为相关的信息;
购买意图确定单元,用于根据所述与用户行为相关的信息确定所述用户具有购买意图时,通知所述语音播报单元对所述第一提示信息进行语音播报。
其中,所述行为信息获得单元,具体用于:控制所述声音采集模块进行启动,并获得所述声音采集模块采集的与用户行走相关的声音信息;
所述购买意图确定单元,具体用于:根据所述声音信息确定所述用户的行走行为发生变化,且所述变化信息表示用户在所述售货机前停留,则确定所述用户具有购买意图。
其中,所述售货机还包括图像采集模块,
所述行为信息获得单元,具体用于:控制所述图像采集模块进行启动,并获得所述图像采集模块采集的用户图像信息;
所述购买意图确定单元,具体用于:如果从所述图像信息中提取出用户执行的动作信息,且所述动作信息与预设动作信息相符,则确定所述用户具有购买意图。
其中,所述售货机还包括图像采集模块,所述装置还包括:
关联信息获得单元,用于获得不同特征信息关联的用户类型信息,以及各用户类型信息关联的商品对象;
启动控制单元,用于在确定所述用户具有购买意图时,控制所述图像采集模块进行启动;
特征信息获得单元,用于从所述图像采集模块采集的用户图像信息中提取所述用户的目标特征信息;
商品对象确定单元,用于确定所述目标特征信息关联的目标用户类型信息,并从所述目标用户类型信息关联的商品对象中确定待推荐目标商品对象,向所述用户进行信息推送。
其中,所述装置还包括:
采集区域信息获得单元,用于获得所述图像采集模块关联的采集区域信息;
所述启动控制单元,具体用于:将所述采集区域信息下发至所述图像采集模块,控制所述图像采集模块拍摄所述采集区域内的图像信息。
其中,所述装置还包括:
处理区域信息获得单元,用于获得图像处理的处理区域信息,以便将位于所述处理区域外的图像信息进行删除处理,以及从位于所述处理区域内的图像信息中进行信息提取。
其中,所述装置还包括:
关闭控制单元,用于在获得所述图像采集模块采集的图像信息后,控制所述图像采集模块进行关闭,停止图像信息采集。
其中,所述装置还包括:
商品对象确定单元,用于在获得所述人体感知信息后,获得所述售货机所在位置的目标天气信息,并根据天气信息与商品对象之间的关联关系,从所述目标天气信息关联的商品对象中确定待推荐目标商品对象,向所述用户进行信息推送。
与实施例3相对应,本申请实施例还提供了一种信息处理装置,参见图10,该装置应用于售货机关联的第一客户端,包括:
人体感知信息获得单元901,用于获得所述售货机的行人检测模块采集的人体感知信息;
语音播报单元902,用于通过所述售货机的语音播报模块对第一提示信息进行语音播报;
操作指令信息提取单元903,用于在获得所述售货机的声音采集模块采集的语音数据时,从所述语音数据中提取用户的操作指令信息;
操作指令信息发送单元904,用于将所述操作指令信息转发至所述售货机的主机关联的第二客户端,以便所述第二客户端根据所述操作指令信息执行相关操作。
与实施例3相对应,本申请实施例还提供了一种信息处理装置,参见图11,该装置应用于售货机的主机关联的第二客户端,包括:
操作指令信息获得单元1001,用于获得第一客户端发送的用户的操作指令信息,所述操作指令信息为所述第一客户端从所述售货机的声音采集模块采集的语音数据中提取,且所述语音数据在所述第一客户端获得所述售货机的行人检测模块采集的人体感知信息以及所述售货机的语音播报模块对经过所述售货机的行人进行第一提示信息播报后采集;
操作执行单元1002,用于根据所述操作指令信息执行相关操作。
与实施例5相对应,本申请实施例还提供了一种信息处理装置,参见图12,该装置应用于主动进行语音交互的设备,包括:
关联信息获得单元1101,用于获得所述设备关联的实体店铺提供的商品对象的相关信息;
人体感知信息获得单元1102,用于获得所述设备的行人检测模块采集的人体感知信息;
语音播报单元1103,用于通过所述设备的语音播报模块对第一提示信息进行语音播报;
操作指令信息提取单元1104,用于从所述声音采集模块采集的语音数据中提取出用户的操作指令信息,所述操作指令信息中包括所述用户选中的目标商品对象的标识信息;
请求提交单元1105,用于生成订单请求提交至履约平台。
另外,本申请实施例还提供了一种电子设备,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
获得所述设备的行人检测模块采集的人体感知信息时,通过所述设备的语音播报模块对第一提示信息进行语音播报;
如果获得所述设备的声音采集模块采集的语音数据,则从所述语音数据中提取用户的操作指令信息;
根据所述操作指令信息执行相关操作。
以及一种电子设备,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
获得人体感知信息时,通过所述售货机的语音播报模块对第一提示信息进行语音播报,所述人体感知信息由所述售货机的行人检测模块采集;
如果获得所述售货机的声音采集模块采集的语音数据,则从所述语音数据中提取用户的操作指令信息;
将所述操作指令信息转发至所述售货机的主机关联的第二客户端,以便所述第二客户端根据所述操作指令信息执行相关操作。
以及一种电子设备,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
获得第一客户端发送的用户的操作指令信息,所述操作指令信息为所述第一客户端从售货机的声音采集模块采集的语音数据中提取,且所述语音数据在所述第一客户端获得所述售货机的行人检测模块采集的人体感知信息以及所述售货机的语音播报模块对经过所述售货机的行人进行第一提示信息播报后采集;
根据所述操作指令信息执行相关操作。
以及一种电子设备,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
获得所述设备关联的实体店铺提供的商品对象的相关信息;
获得所述设备的行人检测模块采集的人体感知信息时,通过所述设备的语音播报模块对第一提示信息进行语音播报;
如果从所述设备的声音采集模块采集的语音数据中提取出用户的操作指令信息,且所述操作指令信息中包括所述用户选中的目标商品对象的标识信息,则生成订单请求提交至履约平台。
其中,图13示例性的展示出了电子设备的架构,例如,设备1200可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理,飞行器等。
参照图13,设备1200可以包括以下一个或多个组件:处理组件1202,存储器1204,电源组件1206,多媒体组件1208,音频组件1210,输入/输出(I/O)的接口1212,传感器组件1214,以及通信组件1216。
处理组件1202通常控制设备1200的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理元件1202可以包括一个或多个处理器1220来执行指令,以完成本公开技术方案提供的方法的全部或部分步骤。此外,处理组件1202可以包括一个或多个模块,便于处理组件1202和其他组件之间的交互。例如,处理部件1202可以包括多媒体模块,以方便多媒体组件1208和处理组件1202之间的交互。
存储器1204被配置为存储各种类型的数据以支持在设备1200的操作。这些数据的示例包括用于在设备1200上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器1204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件1206为设备1200的各种组件提供电力。电源组件1206可以包括电源管理***,一个或多个电源,及其他与为设备1200生成、管理和分配电力相关联的组件。
多媒体组件1208包括在设备1200和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件1208包括一个前置摄像头和/或后置摄像头。当设备1200处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件1210被配置为输出和/或输入音频信号。例如,音频组件1210包括一个麦克风(MIC),当设备1200处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1204或经由通信组件1216发送。在一些实施例中,音频组件1210还包括一个扬声器,用于输出音频信号。
I/O接口1212为处理组件1202和***接口模块之间提供接口,上述***接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1214包括一个或多个传感器,用于为设备1200提供各个方面的状态评估。例如,传感器组件1214可以检测到设备1200的打开/关闭状态,组件的相对定位,例如所述组件为设备1200的显示器和小键盘,传感器组件1214还可以检测设备1200或设备1200一个组件的位置改变,用户与设备1200接触的存在或不存在,设备1200方位或加速/减速和设备1200的温度变化。传感器组件1214可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1214还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件1214还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件1216被配置为便于设备1200和其他设备之间有线或无线方式的通信。设备1200可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信部件1216经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,所述通信部件1216还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,设备1200可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器1204,上述指令可由设备1200的处理器1220执行以完成本公开技术方案提供的方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于***或***实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的***及***实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上对本申请所提供的信息处理方法、装置及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本申请的限制。

Claims (36)

1.一种信息处理方法,其特征在于,应用于售货机,所述售货机包括行人检测模块、声音采集模块、语音播报模块以及处理模块,所述方法包括:
所述处理模块获得所述行人检测模块采集的人体感知信息时,通过所述语音播报模块对第一提示信息进行语音播报;
如果获得所述声音采集模块采集的语音数据,则从所述语音数据中提取用户的操作指令信息;
根据所述操作指令信息执行相关操作。
2.根据权利要求1所述的方法,其特征在于,
所述从所述语音数据中提取用户的操作指令信息,包括:
获得基于预设基准对所述售货机前方区域进行角度划分,确定的预设角度范围信息;
确定所述语音数据对应的采集角度信息,如果所述采集角度信息与所述预设角度范围信息相匹配,则对所述语音数据进行语音识别获得所述操作指令信息。
3.根据权利要求1所述的方法,其特征在于,还包括:
获得所述相关操作关联的提示信息,通过所述语音播报模块对所述相关操作关联的提示信息进行语音播报。
4.根据权利要求1所述的方法,其特征在于,所述售货机还包括显示模块,所述方法还包括:
获得所述相关操作关联的展示信息,通过所述显示模块进行信息展示。
5.根据权利要求4所述的方法,其特征在于,所述操作指令信息为查看商品对象信息的指令信息,
所述根据所述操作指令信息执行相关操作,包括:根据所述操作指令信息从所述售货机提供的商品对象中确定待查看目标商品对象;
所述获得所述相关操作关联的展示信息,通过所述显示模块进行信息展示,包括:获得所述待查看目标商品对象的相关信息,通过所述显示模块进行信息展示。
6.根据权利要求4所述的方法,其特征在于,所述操作指令信息为购买操作指令信息,
所述根据所述操作指令信息执行相关操作,包括:根据所述操作指令信息从所述售货机提供的商品对象中确定待购买目标商品对象;
所述获得所述相关操作关联的展示信息,通过所述显示模块进行信息展示,包括:根据所述待购买目标商品对象的相关信息,生成订单确认界面,并通过所述显示模块对所述订单确认界面进行展示。
7.根据权利要求4所述的方法,其特征在于,所述操作指令信息为退出交互过程的指令信息,
所述根据所述操作指令信息执行相关操作,包括:根据所述操作指令信息结束本次主动交互处理过程;
所述获得所述相关操作关联的展示信息,通过所述显示模块进行信息展示,包括:获得预设的主页界面,通过所述显示模块对所述主页界面进行展示。
8.根据权利要求4所述的方法,其特征在于,所述售货机还包括图像采集模块,若所述操作指令信息为支付操作指令信息,且支付方式为人脸支付;
所述根据所述操作指令信息执行相关操作,包括:根据所述操作指令信息控制所述图像采集模块进行启动;从所述图像采集模块采集的人脸图像信息中提取所述用户的人脸信息,并根据所述人脸信息进行支付处理;
所述获得所述相关操作关联的展示信息,通过所述显示模块进行信息展示,包括:获得所述支付处理的结果信息,通过所述显示模块对所述结果信息进行信息展示。
9.根据权利要求1所述的方法,其特征在于,获得所述人体感知信息后,所述方法还包括:
获得与用户行为相关的信息;
所述通过所述语音播报模块对第一提示信息进行语音播报,包括:根据所述与用户行为相关的信息确定所述用户具有购买意图时,对所述第一提示信息进行语音播报。
10.根据权利要求9所述的方法,其特征在于,
所述获得与用户行为相关的信息,包括:控制所述声音采集模块进行启动,并获得所述声音采集模块采集的与用户行走相关的声音信息;
所述根据所述与用户行为相关的信息确定所述用户具有购买意图,包括:根据所述声音信息确定所述用户的行走行为发生变化,且所述变化信息表示用户在所述售货机前停留,则确定所述用户具有购买意图。
11.根据权利要求9所述的方法,其特征在于,所述售货机还包括图像采集模块,
所述获得与用户行为相关的信息,包括:控制所述图像采集模块进行启动,并获得所述图像采集模块采集的用户图像信息;
所述根据所述与用户行为相关的信息确定所述用户具有购买意图,包括:如果从所述图像信息中提取出用户执行的动作信息,且所述动作信息与预设动作信息相符,则确定所述用户具有购买意图。
12.根据权利要求1所述的方法,其特征在于,所述售货机还包括图像采集模块,所述方法还包括:
获得不同特征信息关联的用户类型信息,以及各用户类型信息关联的商品对象;
如果确定所述用户具有购买意图,则控制所述图像采集模块进行启动;
从所述图像采集模块采集的用户图像信息中提取所述用户的目标特征信息;
确定所述目标特征信息关联的目标用户类型信息,并从所述目标用户类型信息关联的商品对象中确定待推荐目标商品对象,向所述用户进行信息推送。
13.根据权利要求8、11或12所述的方法,其特征在于,还包括:
获得所述图像采集模块关联的采集区域信息;
所述控制所述图像采集模块进行启动,包括:
将所述采集区域信息下发至所述图像采集模块,控制所述图像采集模块拍摄所述采集区域内的图像信息。
14.根据权利要求8、11或12所述的方法,其特征在于,还包括:
获得图像处理的处理区域信息,以便将位于所述处理区域外的图像信息进行删除处理,以及从位于所述处理区域内的图像信息中进行信息提取。
15.根据权利要求8、11或12所述的方法,其特征在于,获得所述图像采集模块采集的图像信息后,所述方法还包括:
控制所述图像采集模块进行关闭,停止图像信息采集。
16.根据权利要求1所述的方法,其特征在于,获得所述人体感知信息后,所述方法还包括:
获得所述售货机所在位置的目标天气信息,并根据天气信息与商品对象之间的关联关系,从所述目标天气信息关联的商品对象中确定待推荐目标商品对象,向所述用户进行信息推送。
17.一种应用程序,其特征在于,包括:
第一接口、第二接口、第三接口以及信息处理程序模块;
所述第一接口,用于接受售货机的行人检测模块的调用,获得所述行人检测模块采集的人体感知信息;
所述第二接口,用于调用所述售货机的语音播报模块,将第一提示信息发送至所述语音播报模块进行播报;
所述第三接口,用于接受所述售货机的声音采集模块的调用,获得所述声音采集模块采集的语音数据;
所述信息处理程序模块,用于从所述语音数据中提取用户的操作指令信息,并根据所述操作指令信息执行相关操作。
18.一种信息处理方法,其特征在于,包括:
售货机加载如权利要求17所述的应用程序对应的安装包;
启动所述应用程序,以便在获得人体感知信息时,对经过所述售货机的用户发起主动语音交互。
19.一种信息处理方法,其特征在于,包括:
售货机关联的第一客户端获得人体感知信息时,通过所述售货机的语音播报模块对第一提示信息进行语音播报,所述人体感知信息由所述售货机的行人检测模块采集;
如果获得所述售货机的声音采集模块采集的语音数据,则从所述语音数据中提取用户的操作指令信息;
将所述操作指令信息转发至所述售货机的主机关联的第二客户端,以便所述第二客户端根据所述操作指令信息执行相关操作。
20.一种信息处理方法,其特征在于,包括:
售货机的主机关联的第二客户端获得第一客户端发送的用户的操作指令信息,所述操作指令信息为所述第一客户端从所述售货机的声音采集模块采集的语音数据中提取,且所述语音数据在所述第一客户端获得所述售货机的行人检测模块采集的人体感知信息以及所述售货机的语音播报模块对经过所述售货机的行人进行第一提示信息播报后采集;
根据所述操作指令信息执行相关操作。
21.一种应用程序,其特征在于,包括:
接口模块以及信息处理程序模块;
所述接口模块,用于接受售货机的主机的通信接口的调用,通过所述通信接口获得第一客户端发送的操作指令信息,所述操作指令信息为所述第一客户端从所述售货机的声音采集模块采集的语音数据中提取,且所述语音数据在所述第一客户端获得所述售货机的行人检测模块采集的人体感知信息以及所述售货机的语音播报模块对经过所述售货机的行人进行第一提示信息播报后采集;
所述信息处理程序模块,用于根据所述操作指令信息执行相关操作。
22.一种信息处理方法,其特征在于,包括:
售货机的主机加载如权利要求21所述的应用程序对应的安装包;
启动所述应用程序,以便在获得第一客户端发送的用户的操作指令信息时,根据所述操作指令信息执行相关操作。
23.一种主动进行语音交互的电路,其特征在于,应用于售货机,包括:
处理模块、行人检测模块、声音采集模块、语音播报模块以及接口模块;
所述处理模块,用于在获得所述行人检测模块采集的人体感知信息时,通过所述语音播报模块对第一提示信息进行语音播报,并从所述声音采集模块采集的语音数据中提取用户的操作指令信息;
所述接口模块,用于将所述处理模块提取的操作指令信息发送至所述售货机的主机,以便所述主机根据所述操作指令信息执行相关操作。
24.一种主动进行语音交互的电路板,其特征在于,包括:
电路板本体、处理模块、行人检测模块、声音采集模块、语音播报模块以及接口模块;
所述电路板本体包括对应设置的第一表面以及第二表面,所述第一表面布设有所述处理模块、所述语音播报模块以及所述接口模块,所述第二表面布设有所述行人检测模块以及所述声音采集模块;
所述处理模块分别与所述行人检测模块、所述声音采集模块、所述语音播报模块以及所述接口模块电连接。
25.一种主动进行语音交互的电路板,其特征在于,包括:
第一子电路板以及第二子电路板;
所述第一子电路板包括第一子电路板本体,以及设置于所述第一子电路板本体一侧表面的处理模块、语音播报模块以及接口模块;
所述第二子电路板包括第二子电路板本体,以及设置于所述第二子电路板本体一侧表面的行人检测模块以及声音采集模块;
所述处理模块分别与所述行人检测模块、所述声音采集模块、所述语音播报模块以及所述接口模块电连接。
26.一种主动进行语音交互的设备,其特征在于,所述设备安装于售货机的箱体上,且与所述售货机的主机进行电连接,所述设备包括:
壳体以及如权利要求24或者25所述的主动进行语音交互的电路板;
所述壳体上设置有至少两个开孔,且所述电路板安装于所述壳体内部时,所述电路板上布设的行人检测模块以及声音采集模块分别朝向不同的开孔。
27.一种售货机主机,其特征在于,包括:
主机壳体、主机处理模块、显示模块以及如权利要求24或者25所述的主动进行语音交互的电路板;
所述主机处理模块与所述主动进行语音交互的电路板安装于所述主机壳体内部,且所述主机处理模块与所述电路中的处理模块电连接;
所述主机壳体具有包围所述显示模块的边框,所述边框上设置有与所述电路中的行人检测模块以及声音采集模块相匹配的开孔。
28.一种信息处理方法,其特征在于,应用于主动进行语音交互的设备,所述设备包括行人检测模块、声音采集模块、语音播报模块以及处理模块,所述方法包括:
所述处理模块获得所述设备关联的实体店铺提供的商品对象的相关信息;
获得所述行人检测模块采集的人体感知信息时,通过所述语音播报模块对第一提示信息进行语音播报;
如果从所述声音采集模块采集的语音数据中提取出用户的操作指令信息,且所述操作指令信息中包括所述用户选中的目标商品对象的标识信息,则生成订单请求提交至履约平台。
29.一种信息处理装置,其特征在于,应用于售货机,包括:
人体感知信息获得单元,用于获得所述售货机的行人检测模块采集的人体感知信息;
语音播报单元,用于通过所述售货机的语音播报模块对第一提示信息进行语音播报;
操作指令信息提取单元,用于在获得所述售货机的声音采集模块采集的语音数据时,从所述语音数据中提取用户的操作指令信息;
操作执行单元,用于根据所述操作指令信息执行相关操作。
30.一种信息处理装置,其特征在于,应用于售货机关联的第一客户端,包括:
人体感知信息获得单元,用于获得所述售货机的行人检测模块采集的人体感知信息;
语音播报单元,用于通过所述售货机的语音播报模块对第一提示信息进行语音播报;
操作指令信息提取单元,用于在获得所述售货机的声音采集模块采集的语音数据时,从所述语音数据中提取用户的操作指令信息;
操作指令信息发送单元,用于将所述操作指令信息转发至所述售货机的主机关联的第二客户端,以便所述第二客户端根据所述操作指令信息执行相关操作。
31.一种信息处理装置,其特征在于,应用于售货机的主机关联的第二客户端,包括:
操作指令信息获得单元,用于获得第一客户端发送的用户的操作指令信息,所述操作指令信息为所述第一客户端从所述售货机的声音采集模块采集的语音数据中提取,且所述语音数据在所述第一客户端获得所述售货机的行人检测模块采集的人体感知信息以及所述售货机的语音播报模块对经过所述售货机的行人进行第一提示信息播报后采集;
操作执行单元,用于根据所述操作指令信息执行相关操作。
32.一种信息处理装置,其特征在于,应用于主动进行语音交互的设备,包括:
关联信息获得单元,用于获得所述设备关联的实体店铺提供的商品对象的相关信息;
人体感知信息获得单元,用于获得所述设备的行人检测模块采集的人体感知信息;
语音播报单元,用于通过所述设备的语音播报模块对第一提示信息进行语音播报;
操作指令信息提取单元,用于从所述声音采集模块采集的语音数据中提取出用户的操作指令信息,所述操作指令信息中包括所述用户选中的目标商品对象的标识信息;
请求提交单元,用于生成订单请求提交至履约平台。
33.一种电子设备,其特征在于,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
获得所述设备的行人检测模块采集的人体感知信息时,通过所述设备的语音播报模块对第一提示信息进行语音播报;
如果获得所述设备的声音采集模块采集的语音数据,则从所述语音数据中提取用户的操作指令信息;
根据所述操作指令信息执行相关操作。
34.一种电子设备,其特征在于,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
获得人体感知信息时,通过所述售货机的语音播报模块对第一提示信息进行语音播报,所述人体感知信息由所述售货机的行人检测模块采集;
如果获得所述售货机的声音采集模块采集的语音数据,则从所述语音数据中提取用户的操作指令信息;
将所述操作指令信息转发至所述售货机的主机关联的第二客户端,以便所述第二客户端根据所述操作指令信息执行相关操作。
35.一种电子设备,其特征在于,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
获得第一客户端发送的用户的操作指令信息,所述操作指令信息为所述第一客户端从售货机的声音采集模块采集的语音数据中提取,且所述语音数据在所述第一客户端获得所述售货机的行人检测模块采集的人体感知信息以及所述售货机的语音播报模块对经过所述售货机的行人进行第一提示信息播报后采集;
根据所述操作指令信息执行相关操作。
36.一种电子设备,其特征在于,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
获得所述设备关联的实体店铺提供的商品对象的相关信息;
获得所述设备的行人检测模块采集的人体感知信息时,通过所述设备的语音播报模块对第一提示信息进行语音播报;
如果从所述设备的声音采集模块采集的语音数据中提取出用户的操作指令信息,且所述操作指令信息中包括所述用户选中的目标商品对象的标识信息,则生成订单请求提交至履约平台。
CN202010219364.4A 2020-03-25 2020-03-25 信息处理方法、装置及电子设备 Pending CN113450497A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010219364.4A CN113450497A (zh) 2020-03-25 2020-03-25 信息处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010219364.4A CN113450497A (zh) 2020-03-25 2020-03-25 信息处理方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN113450497A true CN113450497A (zh) 2021-09-28

Family

ID=77807522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010219364.4A Pending CN113450497A (zh) 2020-03-25 2020-03-25 信息处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113450497A (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201206212D0 (en) * 2012-04-06 2012-05-23 Groot Albertus A P De Dedicated wet towel vending machine
CN103280172A (zh) * 2013-06-08 2013-09-04 无锡北斗星通信息科技有限公司 具有省电模式的多媒体广告播放装置
CN105430155A (zh) * 2015-10-21 2016-03-23 惠州Tcl移动通信有限公司 穿戴设备及其基于语音信号的控制方法
CN106157110A (zh) * 2016-06-28 2016-11-23 广东聚联电子商务股份有限公司 一种购物终端机及其操作方法
CN107578537A (zh) * 2017-08-25 2018-01-12 深圳市维冠视界科技股份有限公司 一种自助售货机及自助售货机的数据推送方法
CN107765574A (zh) * 2017-11-20 2018-03-06 上海司羿智能科技有限公司 一种声控安全保护开关***
CN108198338A (zh) * 2018-02-11 2018-06-22 俞伟栋 一种格子铺式自动贩卖机
CN109191669A (zh) * 2018-07-11 2019-01-11 唐建 一种无形商品自动售卖***及售卖方法
CN109343817A (zh) * 2018-09-10 2019-02-15 阿里巴巴集团控股有限公司 自助服务的使用方法及装置和电子设备
CN109410978A (zh) * 2018-11-06 2019-03-01 北京智能管家科技有限公司 一种语音信号分离方法、装置、电子设备及存储介质
CN208569752U (zh) * 2018-08-01 2019-03-01 成都甄识科技有限公司 一种无人售卖柜的智能语音导购***
CN109920443A (zh) * 2019-03-22 2019-06-21 网易有道信息技术(北京)有限公司 一种语音处理机器
CN110875060A (zh) * 2018-08-31 2020-03-10 阿里巴巴集团控股有限公司 语音信号处理方法、装置、***、设备和存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201206212D0 (en) * 2012-04-06 2012-05-23 Groot Albertus A P De Dedicated wet towel vending machine
CN103280172A (zh) * 2013-06-08 2013-09-04 无锡北斗星通信息科技有限公司 具有省电模式的多媒体广告播放装置
CN105430155A (zh) * 2015-10-21 2016-03-23 惠州Tcl移动通信有限公司 穿戴设备及其基于语音信号的控制方法
CN106157110A (zh) * 2016-06-28 2016-11-23 广东聚联电子商务股份有限公司 一种购物终端机及其操作方法
CN107578537A (zh) * 2017-08-25 2018-01-12 深圳市维冠视界科技股份有限公司 一种自助售货机及自助售货机的数据推送方法
CN107765574A (zh) * 2017-11-20 2018-03-06 上海司羿智能科技有限公司 一种声控安全保护开关***
CN108198338A (zh) * 2018-02-11 2018-06-22 俞伟栋 一种格子铺式自动贩卖机
CN109191669A (zh) * 2018-07-11 2019-01-11 唐建 一种无形商品自动售卖***及售卖方法
CN208569752U (zh) * 2018-08-01 2019-03-01 成都甄识科技有限公司 一种无人售卖柜的智能语音导购***
CN110875060A (zh) * 2018-08-31 2020-03-10 阿里巴巴集团控股有限公司 语音信号处理方法、装置、***、设备和存储介质
CN109343817A (zh) * 2018-09-10 2019-02-15 阿里巴巴集团控股有限公司 自助服务的使用方法及装置和电子设备
CN109410978A (zh) * 2018-11-06 2019-03-01 北京智能管家科技有限公司 一种语音信号分离方法、装置、电子设备及存储介质
CN109920443A (zh) * 2019-03-22 2019-06-21 网易有道信息技术(北京)有限公司 一种语音处理机器

Similar Documents

Publication Publication Date Title
CN111079012A (zh) 直播间推荐方法、装置、存储介质及终端
US20100319023A1 (en) Mobile terminal, method of participating in interactive service therein, internet protocol television terminal and communication system including the same
CN110415083B (zh) 物品交易方法、装置、终端、服务器及存储介质
CN112468866A (zh) 直播方法、装置、终端、服务器及介质
CN111866594B (zh) 直播平台互动方法及装置、电子设备、存储介质
CN112188299A (zh) 虚拟资源处理方法、装置、终端及存储介质
CN114610191B (zh) 界面信息提供方法、装置及电子设备
WO2022193606A1 (zh) 直播数据处理方法及装置
CN112258241A (zh) 页面展示方法、装置、终端以及存储介质
CN114125477B (zh) 数据处理方法、装置、计算机设备及介质
CN113891106A (zh) 基于直播间的资源展示方法、装置、终端及存储介质
CN113393290A (zh) 直播数据处理方法、装置、计算机设备及介质
CN113099249A (zh) 直播间对象推荐方法、装置、服务器及电子设备
CA3052186A1 (en) Payment processing method and device, and computer-readable storage medium
US20220148072A1 (en) Method for processing order information, electronic device, and storage medium
CN113055724B (zh) 直播数据处理方法、装置、服务器、终端、介质及产品
CN111667328A (zh) 页面内容展示方法、装置及电子设备
CN112533015A (zh) 直播互动方法、装置、设备及存储介质
CN113643024A (zh) 图形码处理方法、装置及电子设备
TW201928816A (zh) 資料對象資訊處理方法、裝置及系統
CN111382355A (zh) 基于地理对象的直播管理方法、装置、设备及存储介质
CN113596499B (zh) 直播数据处理方法、装置、计算机设备及介质
CN114302160A (zh) 信息显示方法、装置、计算机设备及介质
CN114245166B (zh) 直播数据处理方法、装置、设备以及存储介质
CN113450497A (zh) 信息处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210928