CN110634053A - 一种主动交互式智能售卖***及方法 - Google Patents

Abstract

本发明公开了一种主动交互式智能售卖***及方法，属于智能零售技术领域，解决了现有售卖装置推荐商品针对性不搞、商品购买率低下的问题。一种主动交互式智能售卖***，包括主动信息获取模块、场景化分析模块、表情及姿态识别模块、自适应推荐模块，所述主动信息获取模块，用于获取售卖装置的位置信息和潜在购买人的人物图像信息；所述场景化分析模块，用于得到对应的地域信息和应用场景；所述表情及姿态识别模块，用于对所述人物图像信息进行人脸表情识别及人物姿态识别；所述自适应推荐模块，用于利用人物表情状态识别结果以及人物姿态结果，得到人物性格类型，进行产品推荐。实现增强推荐商品的针对性，提高商品的购买率。

Description

一种主动交互式智能售卖***及方法

技术领域

本发明涉及智能零售技术领域，尤其是涉及一种主动交互式智能售卖***及方法。

背景技术

随着数字化技术的普及和消费者需求的升级，传统零售业开始逐渐展现出弊端；具体表现为业态组合单一，吸客能力弱，商品结构雷同且性价比不高，导致众多消费者的购买能力下降。

为满足消费者个性化要求，在互联网大数据技术的支持下，提出了重服务，低操作，高效率，精准个性化的全新零售方式——AI+新零售模式，在吸引人流的同时，将现有的“人找货”的零售模式转换为“货找人”的全新零售模式，AI+新零售模式的诞生为未来的零售业带来的前所未有的新方向。

目前主流的AI+新零售模式运用到的生物识别技术，仅仅局限在人脸识别技术上，且主要用于捕捉用户信息，缺乏对其他维度的信息捕捉，使得获取的信息维度过于单一，在数据采集的过程中，多采用无感采集，将获取到的用户信息结合历史记录，基于大数据进行分析推荐，整个采集过程缺乏和用户的交互，以及对用户实时意图的挖掘，导致推荐结果不能贴合用户的实时状态。

发明内容

本发明的目的在于至少克服上述一种技术不足，提出一种主动交互式智能售卖***及方法。

一方面，本发明提供一种主动交互式智能售卖***，包括主动信息获取模块、场景化分析模块、表情及姿态识别模块、自适应推荐模块，

所述主动信息获取模块，用于获取售卖装置的位置信息和潜在购买人的人物图像信息；

所述场景化分析模块，用于对所述位置信息进行地域分析，以得到对应的地域信息和应用场景；

所述表情及姿态识别模块，用于对所述人物图像信息进行人脸表情识别及人物姿态识别，分别得到对应的人物表情状态识别结果以及人物姿态识别结果；

所述自适应推荐模块，用于利用人物表情状态识别结果以及人物姿态结果，得到人物性格类型，利用所述对应地域信息、应用场景及人物性格类型进行产品推荐。

进一步地，所述主动信息获取模块还包括主动交互模块，用于在售卖装置空闲状态时主动对话，并在工作状态时进行人文对话。

进一步地，所述表情及姿态识别模块包括表情状态识别单元，所述表情状态识别单元用于对所述人物图像信息进行人脸表情识别，得到对应的人物表情状态识别结果，具体包括，

从人物图像信息中提取a个面部关键点，将利用面部表情模型对所述a个面部关键点进行识别，得到对应的人物表情状态识别结果，其中，50≤a≤150；

所述面部表情模块的生成过程为，采集各种表情状态以及对应面部关键点，生成训练集和验证集并进行机器学习的训练，生成面部表情模型。

进一步地，所述表情及姿态识别模块还包括人物姿态识别单元，所述人物姿态识别单元用于进行人物姿态识别，得到对应的人物姿态结果，具体包括，

从人物姿态中提取b个身体关键点，利用人物姿态模型对人物姿态进行识别，得到对应的人物姿态识别结果，其中，20≤b≤30，

所述人物姿态模型的生成过程为，采集各种人物姿态及对应的身体关键点，生成训练集和验证集并进行机器学习的训练，生成人物姿态模型。

另一方面，提供一种主动交互式智能售卖方法，包括以下步骤：

步骤S1、获取售卖装置的位置信息和潜在购买人的人物图像信息；

步骤S2、对所述位置信息进行地域分析，以得到对应的地域信息和应用场景；

步骤S3、对所述人物图像信息进行人脸表情识别及人物姿态识别，分别得到对应的人物表情状态识别结果以及人物姿态识别结果；

步骤S4、根据得到的人物表情状态识别结果以及人物姿态识别结果，提供主动对话交互；

步骤S5、重新执行步骤S1，并重新对所述人物图像信息进行人脸表情识别及人物姿态识别，再次分别得到对应的人物表情状态识别结果以及人物姿态识别结果；

步骤S6、利用步骤S5所述的人物表情状态识别结果以及人物姿态结果，得到人物性格类型，利用所述对应地域信息、应用场景及人物性格类型进行产品推荐。

进一步地，所述对人物图像信息进行人脸表情识别，得到对应的人物表情状态识别结果，具体包括，

从人物图像信息中提取a个面部关键点，将利用面部表情模型对所述a个面部关键点进行识别，得到对应的人物表情状态识别结果，其中，50≤a≤150；

所述面部表情模块的生成过程为，采集各种表情状态以及对应面部关键点，生成训练集和验证集并进行机器学习的训练，生成面部表情模型。

进一步地，所述对人物图像信息进行人物姿态识别，得到对应的人物姿态结果，具体包括，

从人物姿态中提取b个身体关键点，利用人物姿态模型对人物姿态进行识别，得到对应的人物姿态识别结果，其中，20≤b≤30，

所述人物姿态模型的生成过程为，采集各种人物姿态及对应的身体关键点，生成训练集和验证集并进行机器学习的训练，生成人物姿态模型。

与现有技术相比，本发明的有益效果包括：获取售卖装置的位置信息和购买人的人物图像信息；对所述位置信息进行地域分析，以得到对应的地域信息和应用场景；对所述人物图像信息进行人脸表情识别及人物姿态识别，分别得到对应的人物表情状态识别结果以及人物姿态识别结果；根据得到的人物表情状态识别结果以及人物姿态识别结果，提供主动对话交互；重新获取售卖装置的位置信息及潜在购买人的人物图像信息对所述人物图像信息进行人脸表情识别及人物姿态识别，再次分别得到对应的人物表情状态识别结果以及人物姿态识别结果；利用第二次人物表情状态识别结果以及人物姿态结果，得到人物性格类型，利用所述对应地域信息、应用场景及人物性格类型进行产品推荐；通过获取多维度信息，并与用户进行主动交互，实时挖掘用户意图，切近了用户的实时状态，实现了增强推荐商品的针对性，提高商品的购买率。

附图说明

图1是本发明实施例所述的主动交互式智能售卖***的结构示意图；

图2是本发明实施例所述的面部关键点采集示意图；

图3是本发明实施例所述的身体关键点采集示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

本发明的实施例提供了一种主动交互式智能售卖***，包括主动信息获取模块、场景化分析模块、表情及姿态识别模块、自适应推荐模块，

所述主动信息获取模块，用于获取售卖装置的位置信息和潜在购买人的人物图像信息；

所述场景化分析模块，用于对所述位置信息进行地域分析，以得到对应的地域信息和应用场景；

所述表情及姿态识别模块，用于对所述人物图像信息进行人脸表情识别及人物姿态识别，分别得到对应的人物表情状态识别结果以及人物姿态识别结果；

所述自适应推荐模块，用于利用人物表情状态识别结果以及人物姿态结果，得到人物性格类型，利用所述对应地域信息、应用场景及人物性格类型进行产品推荐。

需要说明的是，所述主动信息获取模块包括内置在售卖装置上的位置传感器以及双目摄像头，分别用于获取售卖装置的位置信息和购买人的人物图像信息；使用位置传感器感受售卖装置所处位置，并将其转换成可用输出信号以供场景化分析模块进行后续的场景化分析；双目摄像头是基于视差原理并由多幅图像获取物体三维几何信息的方法。它在原有摄像头功能上增加了可恢复物体的三维几何信息，重建物体三维轮廓及位置的功能；

优选的，所述主动交互式智能售卖***还包括主动交互模块，用于在售卖装置空闲状态时主动对话，并在工作状态时进行人文对话。

空闲状态时，提供主动对话交互服务，即根据路过人的人物特征信息匹配不同的交互信息与路过人进行交互。识别到相应表情和姿态即后文所述的用户心理状态的时候，就播放一段符合当前人物的对话，例如：识别到漫步且表情为自然时，播放对话“你闻到什么味道了吗？怎么你一出来空气都是甜的了。我想拿铁正适合你，1.5份热牛奶加上0.5份奶泡都和你一样，甜的刚刚好”；识别到驻足且表情为惊讶时，播放对话“听说当脑袋变成白的，就把黑的，倒进肚子里，说不定把意式咖啡装进肚子，就会碰撞出不一样的色彩”；根据售卖装置所处环境优先推荐该地域或者场景购买率最高的商品种类；

工作状态时，提供人文对话交互服务，即售卖装置售卖的过程中，随机推送意境文本，以增加顾客等待过程的乐趣；

具体实施时，售卖装置空闲状态时，根据路过人的人物特征信息匹配不同的交互信息与路过人进行交互，识别到相应表情和姿态的时候，就语音播报设备就播放一段符合当前人物的对话，根据售卖装置所处环境优先推荐该地域或者场景购买率最高的商品种类；

工作状态时，即售卖装置售卖的过程中，随机推送意境文本，以增加顾客等待过程的乐趣；

双目摄像头利用两个摄像头之间形成视差判断物体的距离，视差越小则距离越远，通过双目测距的相似三角算法得到人物与双目摄像头的距离D，根据D的大小，售卖装置自适应调节音响的声音大小；

优选的，所述表情及姿态识别模块包括表情状态识别单元，所述表情状态识别单元用于对所述人物图像信息进行人脸表情识别，得到对应的人物表情状态识别结果，具体包括，

从人物图像信息中提取a个面部关键点，将利用面部表情模型对所述a个面部关键点进行识别，得到对应的人物表情状态识别结果，其中，50≤a≤150；

所述面部表情模块的生成过程为，采集各种表情状态以及对应面部关键点，生成训练集和验证集并进行机器学习的训练，生成面部表情模型。

具体实施时，使用图像超分辨算法对获取到的人物面部信息进行清晰化处理，采集70个面部关键点对面部特征进行识别；然后通过面部表情各个部位的微小变化辨别表情；所述70个面部关键点钟，12个关键点用于识别眉毛，20个关键点用于识别眼睛，7个关键点用于识别鼻子，18个关键点用于识别唇部，其余的关键点用于识别人物面部轮廓；将识别到的人物面部关键点信息输入面部表情模型，得到对应的人物面部表情

在生成面部表情模型时，将表情划分为n种类别，分别用F1、F2…Fn表示，采集n种类别的表情状态及对应的面部关键点，生成训练集和验证集并进行机器学习的训练，生成面部表情模型。

优选的，所述表情及姿态识别模块还包括人物姿态识别单元，所述人物姿态识别单元用于进行人物姿态识别，得到对应的人物姿态结果，具体包括，

从人物姿态中提取b个身体关键点，利用人物姿态模型对人物姿态进行识别，得到对应的人物姿态识别结果，其中，20≤b≤30，

所述人物姿态模型的生成过程为，采集各种人物姿态及对应的身体关键点，生成训练集和验证集并进行机器学习的训练，生成人物姿态模型。

通过视频分析运算通过对摄像头采集的视频进行高斯滤波、前景提取、腐蚀膨胀等处理，突出显示人物姿态信息，经DPM判断人物和姿态信息一致后，输出对应的人物姿态信息；采用25个身体关键点识别，8个关键点用于识别胳膊，8个关键点用于识别腿部，其余的关键点用于识别躯干信息；将识别到的人物身体关键点信息输入人物姿态模型，得到对应的人物姿态；可再基于离线AI模型对人物姿态信息进行分析，得到确切的人物姿态。

在生成人物姿态模型时，收集n种类别的姿态信息生成训练集和验证集进行机器学习的训练，生成人物姿态模型；

离线AI模型将人物姿态划分为n种类别，分别用A1、A2…An表示；所述离线AI模型，将人物姿态信息和相应的人物与售卖装置之间的距离变化进行一一对应，离线AI模型具体的实施方式如下，将通过视频识别到的人物姿态信息和通过双目摄像头识别到的人物与售卖装置之间的距离变化信息导入自有离线AI模型，如果距离变化情况和人物姿态吻合，则直接输出对应的人物姿态信息；如若不吻合，则根据对应的距离变化信息和人物姿态信息通过相应的权重进行判断，得出结果。

所述自适应推荐模块包括性格分析单元和产品推荐单元，所述性格分析单元用于使用根据捕捉到的人物表情和姿态进行性格类型匹配，得到得到人物性格类型，

在进行性格类型匹配之前，按照性格特点标签对性格进行分类，将性格分为n种类型，分别用C1、C2…Cn表示；不同的表情和伴随的动作状态对应显示出人物不同的性格特点，将表情和动作根据对历史数据分析得到的模型连线性格分类表。

产品推荐模块用于，根据应用场景得到购买习惯，根据地域信息、购买习惯的产品种类，根据产品特点与性格类型的联系，对不同性格特点进行产品推荐；不同性格类型的人在产品选择上有一定趋向性，对产品成分进行细化分析，就能对应到不同的性格人群，根据对用户匹配的性格特征，推荐对应的产品。

实施例2

本发明实施例提供了一种主动交互式智能售卖***，以售卖装置为咖啡机的情况为例进行说明，包括主动信息获取模块、场景化分析模块、表情及姿态识别模块、自适应推荐模块；所述主动信息获取模块，用于获取售卖装置的位置信息和潜在购买人的人物图像信息；

所述的场景化分析模块将获取到的售卖装置位置信息分为两个要素，分别进行分析，

第一分析因素为地域信息，基于对各个地域的咖啡购买情况的分析不难发现每个地域的人都有各自的性格特点，根据性格特点的不同，对咖啡的购买习惯也有所不同，综合信息内容生成地域、性格特点、购买习惯的对应关系即地域信息Mn、性格特点Cn、购买习惯Pn。地域、性格特点、购买习惯的对应关系表，如表1所示。

表1

地域	性格特点	购买习惯
			北京	忙碌、拼搏、镇定痴情、坚守、恒定	冰咖啡
上海	开放、包容、公允大气、直爽、率真	多品种
			深圳	活泼、外向、创新认真、讲究、文艺	摩卡
杭州	婉约、含蓄、优雅稳重、谨慎、保守	拿铁
			广州	自律、恬静、平和童真、享乐、自由	茶

第二分析因素为场景信息，基于不同场景对应的咖啡购买的历史大数据的研究发现，场景的不同也影响着消费者对咖啡品种的选择，例如在学校的人群对咖啡品种的选择更加多元化，倾向于层次丰富的咖啡，而在医院的人群对咖啡品种的选择较为单一，倾向于层次较为单一的咖啡，在办公楼的人群对咖啡品种的选择则介于两者之中，倾向于层次稍微简单的咖啡。

场景化分析模块将两个因素的信息综合考虑，对性格特点和购买喜欢进行叠加，以供后续的参考计算；

所述表情及姿态识别模块，用于对所述人物图像信息进行人脸表情识别及人物姿态识别，分别得到对应的人物表情状态识别结果以及人物姿态识别结果；

使用图像超分辨算法对人物面部信息进行分析，采用70个面部关键点的识别，面部关键点采集示意图，如图2所示。

通过面部表情各个部位的微小变化辨别表情，将表情分为F1、F2、F3、F4、F5、F6、F7七种，分别对应自然、生气、厌恶、害怕、开心、难过、惊讶，表情状态和面部器官的关系对照表如表2所示；

表2

使用视频分析运算模块对人物姿态信息进行提取，采用25个身体关键点识别，身体关键点采集示意图，如图3所示。

再基于离线AI模型并结合由双目摄像头提供的距离信息对人物姿态信息进行分析，分辨出A1、A2、A3三种人物姿态，分别对应漫步、行色匆匆、驻足；人物姿态与身体器官状态的对应表，如表3所示

表3

所述自适应推荐算法模块分为性格分析模块和产品推荐模块，具体的，使用将人物表情和姿态对应到相应性格特点的的性格分析模块；

按照性格特点标签对性格进行分类，将性格分为C1、C2、C3、C4、C5、C6六种类型，分别对应A、B、C、D、E、F类性格，其中，A类性格偏向于拼搏、执着、理智、专一；B类性格偏向于阳光、善良、纯真、包容；C类性格偏向于优雅、谨慎、稳重、温婉；D类性格偏向于保守、安静、内敛、规矩；E类性格偏向于创新、活泼、乐观、博爱；F类性格偏向于简约、冷静、知足、休闲；性格特征与性格类型对应关系表，如表4所示；

表4

性格编号	性格类型	性格特征
			C1	A	拼搏、执着、理智、专一
C2	B	阳光、善良、纯真、包容
			C3	C	优雅、谨慎、稳重、温婉
C4	D	保守、安静、内敛、规矩
			C5	E	创新、活泼、乐观、博爱
C6	F	简约、冷静、知足、休闲

不同的表情和伴随的动作状态对应显示出人物不同的性格特点，将表情和动作根据对历史数据分析得到模型连线性格分类表，如表5所示，

表5

F1

F2

F3

F4

F5

F6

F7

A1

C6

C1

C4

C3

C2

C3

C5

A2

C1

C3

C4

C2

C6

C3

C5

A3

C5

C4

C1

C4

C2

C6

C3

其中，F1、F2、F3、F4、F5、F6、F7分别对应自然、生气、厌恶、害怕、开心、难过、惊讶七种面部表情。

A1、A2、A3分别对应漫步、行色匆匆、驻足三种人物姿态。

C1、C2、C3、C4、C5、C6分别对应A、B、C、D、E、F六种类型的性格特征。

使用根据地域购买习惯和产品特点与性格特征的联系，对不同性格特点进行产品推荐的产品推荐模块。

不同性格的人在产品选择上有一定趋向性，对产品成分进行细化分析，就能对应到不同的性格人群。以本实施例提到的咖啡机为例进行说明，性格特征对应着相应的选择偏好，包括诸如浓缩咖啡比例、加料品种和配料种类。浓缩咖啡的含量从高到低对应的性格特征从拼搏、理智到传统、保守再到活泼、简约过渡。咖啡配料选择热牛奶对应优雅、温婉的性格特征，奶泡对应文艺、浪漫的性格特征，巧克力酱、鲜奶油对应创新的性格特征。咖啡成分种类复杂到专一对应的性格特征从多元、创新到传统、保守再到专一、认真过渡。

根据对咖啡成分的分析，可以将性格特征与咖啡品种相匹配，对应关系，如表6所示，

表6

咖啡品种

意大利咖啡

拿铁

摩卡

卡布奇诺

玛奇朵

美式咖啡

性格特征

A

C

E

B

D

F

浓缩咖啡

100％

33％

33％

33％

67％

33％

热牛奶

0％

50％

33％

17％

0％

0％

奶泡

0％

17％

0％

50％

33％

0％

鲜牛奶

0％

0％

17％

0％

0％

0％

巧克力酱

0％

0％

17％

0％

0％

0％

水

0％

0％

0％

0％

0％

67％

根据咖啡的原料配比情况，对应浓缩咖啡比例、加料品种、配料种类的特征得出各自的性格标签，再综合考虑各自的性格标签得到每个咖啡更倾向对应的性格特征，即对应到不同的性格分类，咖啡类型、浓缩咖啡比例、加料品种、配料种类、性格特征的关系对应表，如表7所示；

表7

根据对用户匹配的性格特征(性格类型)，推荐对应的产品。

实施例3

本发明实施例提供了一种主动交互式智能售卖方法，包括以下步骤：

步骤S1、获取售卖装置的位置信息和潜在购买人的人物图像信息；

步骤S2、对所述位置信息进行地域分析，以得到对应的地域信息和应用场景；

步骤S3、对所述人物图像信息进行人脸表情识别及人物姿态识别，分别得到对应的人物表情状态识别结果以及人物姿态识别结果；

步骤S4、根据得到的人物表情状态识别结果以及人物姿态识别结果，提供主动对话交互；

步骤S5、重新执行步骤S1，并重新对所述人物图像信息进行人脸表情识别及人物姿态识别，再次分别得到对应的人物表情状态识别结果以及人物姿态识别结果；

步骤S6、利用步骤S5所述的人物表情状态识别结果以及人物姿态结果，得到人物性格类型，利用所述对应地域信息、应用场景及人物性格类型进行产品推荐。

具体实施时，在售卖装置空闲状态时主动对话，并在工作状态时进行人文对话，工作状态时进行人文对话即提供人文对话交互服务，售卖装置递交个性化产品；

优选的，所述对所述人物图像信息进行人脸表情识别，得到对应的人物表情状态识别结果，具体包括，

从人物图像信息中提取a个面部关键点，将利用面部表情模型对所述a个面部关键点进行识别，得到对应的人物表情状态识别结果，其中，50≤a≤150；

所述面部表情模块的生成过程为，采集各种表情状态以及对应面部关键点，生成训练集和验证集并进行机器学习的训练，生成面部表情模型。

优选的，所述人物姿态识别单元用于进行人物姿态识别，得到对应的人物姿态结果，具体包括，

从人物姿态中提取b个身体关键点，利用人物姿态模型对人物姿态进行识别，得到对应的人物姿态识别结果，其中，20≤b≤30，

所述人物姿态模型的生成过程为，采集各种人物姿态及对应的身体关键点，生成训练集和验证集并进行机器学习的训练，生成人物姿态模型。

以一个顾客(顾客A)购买咖啡的过程为例，对本实施例所述的方法进行说明，当顾客A走过所述咖啡机，咖啡机通过双目摄像头得到的信息识别顾客A的表情特征不属于其他6种表情特征，故判断用户表情为自然(F1)，识别到用户的手臂轻微摆动，***夹角较小且躯干笔直与咖啡机之间的距离缓慢变化判断用户姿态为漫步(A1)，通过位置传感器获得咖啡机处于广州的一所办公楼里，根据广州城市特征得出用户更偏向于自律、恬静、平和、童真、享乐、自由，而根据办公楼人群的特征得出该顾客更偏向于层次稍微简单的咖啡，根据表情和姿态信息，判断用户性格特征更偏向于F型性格特征(简约、冷静、知足、休闲)，根据用户性格特征与顾客A进行相应的交互对话吸引顾客的注意；

顾客A驻足观看，再次对顾客A的表情姿态进行获取，如图所示，捕捉到顾客A眉毛抬起，变高变弯，眼睛睁大，上眼皮抬高，下眼皮下落符合惊讶表情的面部特征，故判断顾客A当前表情为惊讶(F7)，顾客A与咖啡机的距离并未产生变化，且姿态不符合其他2中状态下的姿态特征，判断顾客A姿态为驻足(A3)，查找模型连线性格分类表对应到C类性格标签(C3)，即优雅、谨慎、稳重、温婉。根据得到的顾客A的性格画像对应与之匹配的咖啡，为顾客A推荐拿铁咖啡，在推荐过程中加入预设好的推荐理由；顾客A选择购买咖啡后，咖啡机开始制作咖啡，同时随机推送意境文本以增加等待的乐趣。

需要说明的是，上述实施例1～3未重复描述之处，可以相互借鉴。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

本发明提供了一种主动交互式智能售卖***及方法，在人脸识别基础上，增加了表情识别和姿态识别，表情识别通过获取到的人物面部特征图像，根据各个部位的微小变化辨别并对面部表情进行分类，姿态识别通过获取到的人物运动视频，根据各个身体关键点之间的关联情况辨别并对人物姿态进行分类；

结合用户表情和姿态，叠加用户所处的场景信息综合分析形成用户的表情状态(心理状态)，进而推送个性化交互服务，在交互的基础上，再次对用户的表情和姿态进行捕捉，形成用户的性格类型，对所销售产品进行细化分析，得到各个产品与用户性格类型的对应关系，进而向用户推送个性化的产品，

在信息获取上，本发明信息获取的维度较传统的交互式售卖装置广泛且全面，具体的，本发明采用位置传感器获取用户所处的场景信息，采用双目摄像头结合对应的识别技术获取用户面部表情和姿态信息，采用信息二次获取以增加信息获取的深度和用户信息的完备性，在主动交互上，本发明提高了售卖装置与用户交互的次数，并且在交互的基础上结合用户特征拉近与用户的距离，在产品推荐上，本发明对用户实时状态进行分析，极大的挖掘用户的意图且贴合用户购物习惯，增加了推荐产品的针对性，极大提高商品的购买率。

以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (7)

1.一种主动交互式智能售卖***，其特征在于，包括主动信息获取模块、场景化分析模块、表情及姿态识别模块、自适应推荐模块，

所述主动信息获取模块，用于获取售卖装置的位置信息和潜在购买人的人物图像信息；

所述场景化分析模块，用于对所述位置信息进行地域分析，以得到对应的地域信息和应用场景；

所述表情及姿态识别模块，用于对所述人物图像信息进行人脸表情识别及人物姿态识别，分别得到对应的人物表情状态识别结果以及人物姿态识别结果；

所述自适应推荐模块，用于利用人物表情状态识别结果以及人物姿态结果，得到人物性格类型，利用所述对应地域信息、应用场景及人物性格类型进行产品推荐。

2.根据权利要求1所述的主动交互式智能售卖***，其特征在于，还包括主动交互模块，用于在售卖装置空闲状态时主动对话，并在工作状态时进行人文对话。

3.根据权利要求1所述的主动交互式智能售卖***，其特征在于，所述表情及姿态识别模块包括表情状态识别单元，所述表情状态识别单元用于对所述人物图像信息进行人脸表情识别，得到对应的人物表情状态识别结果，具体包括，

从人物图像信息中提取a个面部关键点，将利用面部表情模型对所述a个面部关键点进行识别，得到对应的人物表情状态识别结果，其中，50≤a≤150；

所述面部表情模块的生成过程为，采集各种表情状态以及对应面部关键点，生成训练集和验证集并进行机器学习的训练，生成面部表情模型。

4.根据权利要求1所述的主动交互式智能售卖***，其特征在于，所述表情及姿态识别模块还包括人物姿态识别单元，所述人物姿态识别单元用于进行人物姿态识别，得到对应的人物姿态结果，具体包括，

从人物姿态中提取b个身体关键点，利用人物姿态模型对人物姿态进行识别，得到对应的人物姿态识别结果，其中，20≤b≤30，

所述人物姿态模型的生成过程为，采集各种人物姿态及对应的身体关键点，生成训练集和验证集并进行机器学习的训练，生成人物姿态模型。

5.一种主动交互式智能售卖方法，其特征在于，包括以下步骤：

步骤S1、获取售卖装置的位置信息和潜在购买人的人物图像信息；

步骤S2、对所述位置信息进行地域分析，以得到对应的地域信息和应用场景；

步骤S3、对所述人物图像信息进行人脸表情识别及人物姿态识别，分别得到对应的人物表情状态识别结果以及人物姿态识别结果；

步骤S4、根据得到的人物表情状态识别结果以及人物姿态识别结果，提供主动对话交互；

步骤S5、重新执行步骤S1，并重新对所述人物图像信息进行人脸表情识别及人物姿态识别，再次分别得到对应的人物表情状态识别结果以及人物姿态识别结果；

步骤S6、利用步骤S5所述的人物表情状态识别结果以及人物姿态结果，得到人物性格类型，利用所述对应地域信息、应用场景及人物性格类型进行产品推荐。

6.根据权利要求5所述的主动交互式智能售卖方法，其特征在于，所述对人物图像信息进行人脸表情识别，得到对应的人物表情状态识别结果，具体包括，

从人物图像信息中提取a个面部关键点，将利用面部表情模型对所述a个面部关键点进行识别，得到对应的人物表情状态识别结果，其中，50≤a≤150；

所述面部表情模块的生成过程为，采集各种表情状态以及对应面部关键点，生成训练集和验证集并进行机器学习的训练，生成面部表情模型。

7.根据权利要求5所述的主动交互式智能售卖方法，其特征在于，所述对人物图像信息进行人物姿态识别，得到对应的人物姿态结果，具体包括，

从人物姿态中提取b个身体关键点，利用人物姿态模型对人物姿态进行识别，得到对应的人物姿态识别结果，其中，20≤b≤30，

所述人物姿态模型的生成过程为，采集各种人物姿态及对应的身体关键点，生成训练集和验证集并进行机器学习的训练，生成人物姿态模型。

Images