CN112578716A - 一种面向鞋服展示的人形机器人控制*** - Google Patents
一种面向鞋服展示的人形机器人控制*** Download PDFInfo
- Publication number
- CN112578716A CN112578716A CN202011536802.6A CN202011536802A CN112578716A CN 112578716 A CN112578716 A CN 112578716A CN 202011536802 A CN202011536802 A CN 202011536802A CN 112578716 A CN112578716 A CN 112578716A
- Authority
- CN
- China
- Prior art keywords
- user
- information
- communicated
- control module
- chassis control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 claims abstract description 52
- 230000002452 interceptive effect Effects 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 31
- 238000004891 communication Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 23
- 238000004458 analytical method Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 10
- 230000003993 interaction Effects 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000007726 management method Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 210000000056 organ Anatomy 0.000 claims description 6
- 230000037237 body shape Effects 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000009286 beneficial effect Effects 0.000 claims description 4
- 238000012512 characterization method Methods 0.000 claims description 4
- 210000002364 input neuron Anatomy 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000008520 organization Effects 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 238000009826 distribution Methods 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 238000011423 initialization method Methods 0.000 claims description 2
- 210000002569 neuron Anatomy 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011664 nicotinic acid Substances 0.000 description 2
- 238000012356 Product development Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002567 autonomic effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
- G05B19/0423—Input/output
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/24—Pc safety
- G05B2219/24215—Scada supervisory control and data acquisition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
Abstract
本发明公开一种面向鞋服展示的人形机器人控制***，包括电源模块、底盘控制模块、网络控制模块、模特运动控制模块、视觉语音模块和PC端软件***；电源模块包括供电电源和电源电量显示装置；底盘控制模块包括工控机、底盘控制板、激光雷达、灯带控制器、库仑计、防撞开关、急停开关、超声波、IR接收器、电机驱动器和电机；网络控制模块包括交换机和路由器；视觉语音控制模块包括摄像头、核心板、四麦底板、麦克风陈列、功放板、喇叭、滤波器；模特运动控制模块包括控制器、步进电机驱动器和步进电机。该***能够实现机器人的自主导航、规划路径、避障等，能够实现动态、可人机交互的鞋服展示、推广等。
Description
技术领域
本发明涉及机器人控制***领域，特别是涉及应用于鞋服展示的人形机器人的控制***。
背景技术
鞋服领域一直是一个产品迭代更新速度极快的行业领域，客户的体型、喜好、审美、潮流等诸多因素都直接影响新产品的推出的市场反馈效果。故对于鞋服行业领域，新产品研发前的市场调研以及大批量生产前的样品展示极为重要。为了获取客户的详细信息，推动鞋服新产品成为市场风向标，鞋服企业会投入大量资金去完成市场调研和样品展示工作，甚至投入重金聘请专业模特或参加时装秀。而现代化大型商场的调研和展示，更是鞋服企业大数据收集和样品展示的必争地之一。从本世纪开始,伴随着集成芯片和微型计算机技术的发展，机器人科学与技术得到了迅猛发展，成为了高新技术的代表领域之一。其中，人形机器人是一种的高阶、非线性、强耦合性、非完整约束的模仿人体的结构和功能的仿生机器人***，集成了机电工程、材料科学、传感器应用、控制技术、人工智能等多种学科，是仿生机器人技术领域最热门的方向之一，它为服务型、展示型机器人的发展开辟了新的空间。
目前，应用于鞋服展示的人体模特道具普遍采用静止的人体模型，这种静止的展示道具无法完全将鞋服的设计特点、材质属性以及动作感官舒适度充分的展示出来，而且给客户构成了审美疲劳感，客户自身也无法通过静态人形模特或调查问卷来如实表达自己的喜好与需求。因此，现有的大型商场鞋服调研和展示方式已逐渐失去了预期效果，寻求一种新颖的、直观的、有吸引力的调研和展示方式极为重要。
发明内容
本发明的目的在于提供一种面向鞋服展示的人形机器人控制***，该***能够实现机器人的自主导航、规划路径、避障等，能够实现动态、可人机交互的鞋服展示、推广等。
为实现上述目的，本发明的技术方案是：一种面向鞋服展示的人形机器人控制***，其特征在于，包括电源模块、底盘控制模块、网络控制模块、模特运动控制模块和视觉语音模块，还包括有PC端软件***；所述电源模块包括供电电源和电源电量显示装置；所述底盘控制模块包括工控机、底盘控制板、激光雷达、灯带控制器、库仑计、防撞开关、急停开关、超声波、IR接收器、电机驱动器和电机；所述网络控制模块包括交换机和路由器；所述视觉语音控制模块包括摄像头、核心板、四麦底板、麦克风陈列、功放板、喇叭和滤波器；所述模特运动控制模块包括控制器、步进电机驱动器和步进电机；所述底盘控制板和核心板通过路由器与PC端软件***连接通信。
所述供电电源给各模块提供电能，所述电源电量显示装置通过库仑计与底盘控制板连接通信，所述工控机与底盘控制板和激光雷达分别连接通信，所述灯带控制器、防撞开关、急停开关、超声波、IR接收器和电机驱动器分别与底盘控制板连接通信，所述电机连接电机驱动器由其驱动，所述交换机分别与工控机、路由器和底盘控制板连接通信，所述摄像头和核心板分别与路由器连接通信，所述四麦底板和功放板分别与核心板连接通信，所述滤波器和喇叭与功放板连接，所述麦克风陈列与四麦底板连接，所述步进电机驱动器与控制器连接，所述步进电机与步进电机驱动器连接，所述控制器与底盘控制板连接通信。
所述底盘控制板为采用STM32底盘控制板，和/或，所述核心板为采用RK3288核心板。
所述库仑计和灯带控制器与底盘控制板之间通过RS485串口连接通信；所述工控机通过网口设备与激光雷达、交换机连接通信；所述路由器通过网口设备与核心板、PC端软件***连接通信；所述工控机通过USB接口与摄像头连接通信；所述底盘控制板通过GPIO口与防撞开关、急停开关和控制器连接通信；所述工控机通过CAN与底盘控制板连接通信；所述超声波通过TTL与底盘控制板连接通信；所述电机驱动器通过CAN与底盘控制板连接通信；所述核心板通过音频口和USB接口与四麦底板连接通信；和/或；所述核心板通过音频口与功放板连接通信。
所述人形机器人控制***的作业模式包括导航模式和业务模式，模式的切换由PC端软件***控制；在导航模式下，所述底盘控制模块工作实现人形机器人的自主导航、规划路径、避障，所述模特运动控制模块工作实现模特的动态展示，所述视觉语音模块工作实现产品的语音宣传推广；在业务模式下，所述视觉语音模块工作实现视觉数据采集和人机语音交互沟通；所述PC端软件***包括有用户UI界面和数据库管理，所述用户UI界面的主要功能包括建图、导航列队、地图及位置信息显示、模特运动控制以及业务模式点配置及显示，所述数据库管理的主要功能包括视觉识别信息显示、导航点和业务模式点。
所述视觉语音模块中实现人机语音交互沟通的方法是这样的，
1)、用户语音输出后，视觉语音模块获取用户语音，获取用户语音时通过噪声抑制、回声消除、声源定位和远场拾音技术，获得质量较高的输入语音；
2)、视觉语音模块进行用户语音的关键词分析得出语言关键词和/或用户相关关键词；
3)、将语言关键词进行交互语言处理，具体是通过获取预建立存储的自然语言语义模板的知识库进行交互语言处理得出应答语句内容一，该知识库采用人工采集、整理、存储数据以及采用机器主动学习的方法，接受用户训练，收集组织有用的信息来丰富知识库；
将用户相关关键词进行用户分析，具体是通过获取预建立的用户库的信息进行用户分析得出用户信息，将用户信息增加至用户库内并将用户信息整理得出应答语句内容二；
同时，视觉语音模块的服务***通过关键词分析得出结果进行产品检索，具体是通过获取预建立的产品库和用户库的信息进行产品检索得出产品检索结果并整理得出应答语句内容三；
4)、视觉语音模块将应答语句内容一、应答语句内容二和应答语句内容三进行语句合成处理成完整应答语句；
5)、输出完整应答语句。
所述视觉语音模块中视觉数据采集用于用户的外貌体型的估计分析，具体是通过视觉语音模块中的人脸识别***和体型识别***进行估计分析，得出包括用户人脸信息、用户性别信息和用户身型信息的用户信息，并将用户信息增加至预建立的用户库和/或供给人机语音交互沟通时的用户分析；所述人脸识别***分为四个步骤，依次为人脸图像采集及人脸检测、人脸图像预处理、人脸图像特征提取以及人脸图像匹配与识别。
所述人脸图像采集及人脸检测中的人脸检测采用Adaboost学习算法；所述人脸图像特征提取采用基于知识的表征方法，根据人脸器官的形状描述以及他们之间的距离特性来获得有助于人脸分类的特征数据；所述人脸图像匹配与识别通过设定一个阈值，将待识别的人脸特征与预建立的用户库中已得到的人脸特征模板进行比较，当相似度超过设定这一个阈值则输出匹配结果，根据匹配结果估计得出被识别人员的性别信息与年龄信息。
所述视觉语音模块中采用卷积神经网络模型，进行性别预测分类和年龄预测分类，所述性别预测分类中把性别预测作为一个分类问题，将摄像头检测到的人脸作为性别预测网络的输入，利用CNN网络提取特征，性别预测网络的输出层为softmax类型，有2个节点表示男性和女性两个类别作为输出；所述年龄预测分别中将年龄预测问题定义为一个分类问题，将0-100岁分为N个年龄段类，年龄预测网络在softmax的最后一层对应有N个节点表示所述的年龄范围。
所述体型识别***将人体体型分为瘦体型Y、较瘦体型YA、普通型A、稍胖型AB和胖型B这五个等级，根据人体站立的特征，提取多种图像信息特征，通过构建BP-Adaboost模型进行体型识别，把BP神经网络作为弱分类器，反复训练BP神经网络预测样本输出，通过Adaboost算法得到多个BP神经网络弱分类器组成的强分类器，最后通过阈值设置，进行体型评分和分级。
计算方法是经摄像头获取的图像处理后，提取身高信息和体宽信息，通过下面计算评分对比判断得出对应的人体体型等级，
其中，H表示图像处理后得到的体型高度，W表示图像处理后得到的体型宽度；α1、α2、α3、α4表示不同体型等级下的不同阈值。
通过采用上述技术方案，本发明的有益效果是：本发明的人形机器人控制***包括电源模块、底盘控制模块、网络控制模块、模特运动控制模块和视觉语音模块，还包括有PC端软件***，通过上述各模块的各设备器件的应用以及各设备期间之间的连接通信结构设置，其能够实现多种作业模式，所述底盘控制模块工作实现人形机器人的自主导航、规划路径、避障，所述模特运动控制模块工作实现模特的动态展示，所述视觉语音模块工作实现产品的语音宣传推广、实现视觉数据采集进行人脸识别和体型识别估计分析和人机语音交互沟通；所述PC端软件***包括有用户UI界面和数据库管理，PC端软件***可进行机器人的参数调整、控制、作业模式改变等等操作。综上，本发明的控制***结构能够使得机器人达到更为人性化的移动、互动、宣传推广的高自动化、高智能化的应用，可应用于大数据收集、市场调研、产品展示推广，应用表现良好，从而更好的实现本发明的上述目的效果。
附图说明
图1是本发明涉及的一种面向鞋服展示的人形机器人控制***的模块结构框图；
图2是本发明涉及的一种面向鞋服展示的人形机器人控制***的结构框图；
图3是本发明涉及的模特运动控制模块的结构框图；
图4是本发明涉及的一种面向鞋服展示的人形机器人控制***的作业模式结构框图；
图5是本发明涉及的PC端软件***结构框图；
图6是本发明涉及的视觉语音模块中人机语音交互沟通的流程图；
图7是本发明涉及的卷积神经网络结构示意图。
具体实施方式
为了进一步解释本发明的技术方案，下面通过具体实施例来对本发明进行详细阐述。
本实施例公开的一种面向鞋服展示的人形机器人控制***，如图1所示，包括电源模块1、底盘控制模块2、网络控制模块3、模特运动控制模块4和视觉语音模块5，还包括有PC端软件***6，所述供电电源1给各模块提供电能，所述底盘控制模块2工作实现人形机器人的自主导航、规划路径、避障，所述模特运动控制模块3工作实现模特的动态展示，所述视觉语音模块5工作实现产品的语音宣传推广以及实现视觉数据采集进行人脸识别和体型识别估计分析和人机语音交互沟通，下面结合附图2详细描述一下各模块包含的设备器件结构布局和连接关系。
如图2所示，所述电源模块1包括供电电源和电源电量显示装置；所述底盘控制模块2包括工控机、底盘控制板(本实施例采用的是STM32底盘控制板)、激光雷达、灯带控制器、库仑计、防撞开关、急停开关、超声波(布设4个)、IR接收器、电机驱动器和电机(本实施例中为电机驱动器和电机分别为2个，机器人底盘采用独立悬挂和驱动的行走轮，配合万向轮工作)；所述网络控制模块3包括交换机和路由器；所述视觉语音控制模块5包括摄像头、核心板(本实施例中采用的是RK3288核心板)、四麦底板、麦克风陈列、功放板、喇叭(布设2个)和滤波器，上述供电电源根据工作情况需要来配置适应电量的供电电源；所述模特运动控制模块4包括控制器、步进电机驱动器和步进电机。
本实施例中个设备器件的连接通信关系具体如下：所述底盘控制板和核心板通过路由器与PC端软件***连接通信。所述电源电量显示装置通过库仑计与底盘控制板连接通信，所述工控机与底盘控制板和激光雷达分别连接通信，所述灯带控制器、防撞开关、急停开关、超声波、IR接收器和电机驱动器分别与底盘控制板连接通信，所述电机连接电机驱动器由其驱动，所述交换机分别与工控机、路由器和底盘控制板连接通信，所述摄像头和核心板分别与路由器连接通信，所述四麦底板和功放板分别与核心板连接通信，所述滤波器和喇叭与功放板连接，所述麦克风陈列与四麦底板连接，所述步进电机驱动器与控制器连接，所述步进电机与步进电机驱动器连接，所述控制器与底盘控制板连接通信。本实施例中所述库仑计和灯带控制器与底盘控制板之间通过RS485串口连接通信；所述工控机通过网口设备与激光雷达、交换机连接通信；所述路由器通过网口设备与核心板、PC端软件***连接通信；所述工控机通过USB接口与摄像头连接通信；所述底盘控制板通过GPIO口与防撞开关、急停开关和控制器连接通信；所述工控机通过CAN与底盘控制板连接通信；所述超声波通过TTL与底盘控制板连接通信；所述电机驱动器通过CAN与底盘控制板连接通信；所述核心板通过音频口和USB接口与四麦底板连接通信；所述核心板通过音频口与功放板连接通信。所述模特运动控制模块4中控制器与驱动器连接方式如下所示；步进电机驱动器的PUL+(脉冲+)、DIR+(方向+)端子接+5V，PUL-(脉冲-)端子接控制器的PUL-(脉冲-)、DIR-(方向-)端子接控制器的DIR-(方向-)。步进电机驱动器电源VCC(电源正极)接电源正极，GND(电源负极)接电源负极，如图3所示。
本发明上述的控制***结构能够使得机器人达到更为人性化的移动、互动、宣传推广的高自动化、高智能化的应用。
本实施例中公开一种本发明的人形机器人控制***的作业模式，其包括导航模式和业务模式，如图4和图5所示，模式的切换由PC端软件***6控制，机器人也可通过PC端软件***控制其运动和停止运动，停止运动也可手动控制；在导航模式下，所述底盘控制模块工作实现人形机器人的自主导航、规划路径、避障，所述模特运动控制模块工作实现模特的动态展示，所述视觉语音模块工作实现产品的语音宣传推广；在业务模式下，所述视觉语音模块工作实现视觉数据采集和人机语音交互沟通并根据客户的需求提供推广产品的定向引导；所述PC端软件***包括有用户UI界面和数据库管理，所述用户UI界面的主要功能包括建图、导航列队、地图及位置信息显示、模特运动控制以及业务模式点配置及显示，所述数据库管理的主要功能包括视觉识别信息显示、导航点和业务模式点，即包含视觉识别信息的存储，数据分类、数据展示等功能。PC端软件***进行总体指令的下发，与底盘控制板之间通过zmq通讯，与视觉识别***、语音识别***通过TCP通讯。
上述自主导航功能是鞋服展示人形机器人在室内环境中运行的核心技术之一，实现感知环境信息和自身状态，实现自主避障的自主运动。将激光雷达、传感等所提供的信息进行集成处理，形成对外部环境的统一表示，多种信息的融合能够起到互补的作用，在保证信息的实时性、冗余性后，反映环境特征，从而做出正确的判断和决策，利用扩展卡尔曼滤波算法融合激光和其他传感器数据对机器人进行精定位，通过搭载的激光雷达进行环境信息的数据采集与处理生成局部地图并开启地图服务更新在全局地图中，在环境中循环移动不断扫描与更新，直至局部信息的每次更新信息都被包含在全局地图中，完成地图构建。
导航分为全局导航和局部导航，全局导航中采用的算法有A*算法与迪杰斯特拉算法，它负责起始位置到目标位置的轨迹规划。当全局路径确定后，鞋服展示人形机器人采用轨迹展开法或者动态窗口法在实时导航过程中，采用本地路径规划，本地路径规划即局部路径规划，负责具体的速度下发、障碍物的避开。
所述视觉语音模块中实现人机语音交互沟通的方法是这样的，如图6所示，
1)、用户语音输出后，视觉语音模块获取用户语音，获取用户语音时通过噪声抑制、回声消除、声源定位和远场拾音技术，获得质量较高的输入语音；
2)、视觉语音模块进行用户语音的关键词分析得出语言关键词和/或用户相关关键词；
3)、将语言关键词进行交互语言处理，具体是通过获取预建立存储的自然语言语义模板的知识库进行交互语言处理得出应答语句内容一，该知识库采用人工采集、整理、存储数据以及采用机器主动学习的方法，接受用户训练，收集组织有用的信息来丰富知识库；
将用户相关关键词进行用户分析，具体是通过获取预建立的用户库的信息进行用户分析得出用户信息，将用户信息增加至用户库内并将用户信息整理得出应答语句内容二；
同时，视觉语音模块的服务***通过关键词分析得出结果进行产品检索，具体是通过获取预建立的产品库和用户库的信息进行产品检索得出产品检索结果并整理得出应答语句内容三；
4)、视觉语音模块将应答语句内容一、应答语句内容二和应答语句内容三进行语句合成处理成完整应答语句；
5)、输出完整应答语句。
所述视觉语音模块中视觉数据采集用于用户的外貌体型的估计分析，具体是通过视觉语音模块中的人脸识别***和体型识别***进行估计分析，得出包括用户人脸信息、用户性别信息和用户身型信息的用户信息，并将用户信息增加至预建立的用户库和/或供给人机语音交互沟通时的用户分析；所述人脸识别***分为四个步骤，依次为人脸图像采集及人脸检测、人脸图像预处理、人脸图像特征提取以及人脸图像匹配与识别。综上，视觉识别的作用为采集顾客人脸信息、性别信息以及身形信息，实现对顾客基本信息的估计以及因人而异完成相应鞋服产品推荐。
所述人脸图像采集及人脸检测中的人脸检测采用Adaboost学习算法，它是一种用来分类的方法，该算法挑选出一些最能代表人脸的矩形特征(弱分类器)，按照加权投票的方式将弱分类器构造为一个强分类器，再将训练得到的若干强分类器串联组成一个级联结构的层叠分类器；所述人脸图像预处理是基于人脸检测结果对图像进行处理并最终服务于特征提取的过程，***获取的原始图像由于受到各种条件的限制和随机干扰，进行灰度校正、噪声过滤等图像预处理；所述人脸图像特征提取，也称人脸表征，它是对人脸进行特征建模的过程，采用基于知识的表征方法，根据人脸器官的形状描述以及他们之间的距离特性来获得有助于人脸分类的特征数据；所述人脸图像匹配与识别通过设定一个阈值，将待识别的人脸特征与预建立的用户库中已得到的人脸特征模板进行比较，当相似度超过设定这一个阈值则输出匹配结果，根据匹配结果估计得出被识别人员的性别信息与年龄信息。
所述视觉语音模块中采用卷积神经网络模型，进行性别预测分类和年龄预测分类，所述性别预测分类中把性别预测作为一个分类问题，将摄像头检测到的人脸作为性别预测网络的输入，利用CNN网络提取特征，性别预测网络的输出层为softmax类型，有2个节点表示“男性”和“女性”两个类别作为输出；所述年龄预测分别中将年龄预测问题定义为一个分类问题，将0-100岁分为N个年龄段类，如年龄在0-2之间是一个类，4-6是另一个类，依此类推。[(0-2)，(4-6)，(8-12)，(15-20)，(25-32)，(38-43)，(48-53)，(60-100)]，年龄预测网络在softmax的最后一层对应有N个(8个)节点表示所述的年龄范围。下面具体公开本实施例采用卷积神经网络模型进行性别预测分类和年龄预测分类的方法和方法中的各参数设置，其能够达到应用于面向鞋服展示的人形机器人控制***的一种较佳的年龄预测和体型预测的功能效果。
首先输入过程将给定的图像缩放至M*M比例，然后进行3通道彩色图像处理，若图像不符合尺寸，需要对多余边框进行剪裁，剪裁过程为图片中心至四边进行剪裁。具体的所述卷积神经网络处理进行，本发明针对采用3个卷积层和2个全连接层进行说明，如图7所示。
第一个卷积层：采用96个卷积核，每个卷积核参数个数为3*7*7，激活函数采用ReLU，池化采用最大重叠池化，池化的size选择3*3，strides选择2，卷积步长为4。然后接着对局部响应归一化层。
其中α表示卷积层后的输出结果，即一个四维数
[batch,height,width,channel]，batch表示批次数，height表示图片高度，width表示图片宽度，channel就是通道数可。
表示在这个输出结构中的一个位置[a,b,c,d]，即第a张图的第d个通道下的高度为b宽度为c的点。
第二个卷积层：第二层的输入对处理后的单通道图片再次处理，选择256个滤波器，滤波器大小为5^2，卷积步长为1。
第三个卷积层：滤波器个数选择384，卷积核大小为3^2。
对于全连接层：每一层的神经元个数选择2^9。
输出层：对于性别来说是二分类，输入神经元个数为2；对于年龄来说是8分类，输入神经元个数为8。
训练过程：
(1)初始化参数：权重初始化方法采用标准差为0.01，均值为0的高斯正太分布。
(2)网络训练：采用dropout，来限制过拟合。Drop out比例采用0.5，还有就是数据扩充，数据扩充是通过输入M*M的图片，然后进行裁剪。
(3)训练方法采用，随机梯度下降法，min-batch大小选择50，学习率大小0.001，然后当迭代到10000次以后，把学习率调为0.0001。
(4)结果预测：预测方法采用输入一张256*256的图片，然后多次处理，最后对预测结果进行平均。
所述体型识别***将人体体型分为瘦体型Y、较瘦体型YA、普通型A、稍胖型AB和胖型B这五个等级，根据人体站立的特征，提取多种图像信息特征，通过构建BP-Adaboost模型进行体型识别，把BP神经网络作为弱分类器，反复训练BP神经网络预测样本输出，通过Adaboost算法得到多个BP神经网络弱分类器组成的强分类器，最后通过阈值设置，进行体型评分和分级。
计算方法是经摄像头获取的图像处理后，提取身高信息和体宽信息，通过下面计算评分对比判断得出对应的人体体型等级，
其中，H表示图像处理后得到的体型高度，W表示图像处理后得到的体型宽度；α1、α2、α3、α4表示不同体型等级下的不同阈值。
上述实施例和图式并非限定本发明的产品形态和式样，任何所属技术领域的普通技术人员对其所做的适当变化或修饰，皆应视为不脱离本发明的专利范畴。
Claims (10)
1.一种面向鞋服展示的人形机器人控制***，其特征在于，包括电源模块、底盘控制模块、网络控制模块、模特运动控制模块和视觉语音模块，还包括有PC端软件***；所述电源模块包括供电电源和电源电量显示装置；所述底盘控制模块包括工控机、底盘控制板、激光雷达、灯带控制器、库仑计、防撞开关、急停开关、超声波、IR接收器、电机驱动器和电机；所述网络控制模块包括交换机和路由器；所述视觉语音控制模块包括摄像头、核心板、四麦底板、麦克风陈列、功放板、喇叭和滤波器；所述模特运动控制模块包括控制器、步进电机驱动器和步进电机；所述底盘控制板和核心板通过路由器与PC端软件***连接通信；
所述供电电源给各模块提供电能，所述电源电量显示装置通过库仑计与底盘控制板连接通信，所述工控机与底盘控制板和激光雷达分别连接通信，所述灯带控制器、防撞开关、急停开关、超声波、IR接收器和电机驱动器分别与底盘控制板连接通信，所述电机连接电机驱动器由其驱动，所述交换机分别与工控机、路由器和底盘控制板连接通信，所述摄像头和核心板分别与路由器连接通信，所述四麦底板和功放板分别与核心板连接通信，所述滤波器和喇叭与功放板连接，所述麦克风陈列与四麦底板连接，所述步进电机驱动器与控制器连接，所述步进电机与步进电机驱动器连接，所述控制器与底盘控制板连接通信。
2.如权利要求1所述的一种面向鞋服展示的人形机器人控制***，其特征在于，所述底盘控制板为采用STM32底盘控制板，和/或，所述核心板为采用RK3288核心板；所述库仑计和灯带控制器与底盘控制板之间通过RS485串口连接通信；所述工控机通过网口设备与激光雷达、交换机连接通信；所述路由器通过网口设备与核心板、PC端软件***连接通信；所述工控机通过USB接口与摄像头连接通信；所述底盘控制板通过GPIO口与防撞开关、急停开关和控制器连接通信；所述工控机通过CAN与底盘控制板连接通信；所述超声波通过TTL与底盘控制板连接通信；所述电机驱动器通过CAN与底盘控制板连接通信；所述核心板通过音频口和USB接口与四麦底板连接通信；和/或；所述核心板通过音频口与功放板连接通信。
3.如权利要求1所述的一种面向鞋服展示的人形机器人控制***，其特征在于，所述人形机器人控制***的作业模式包括导航模式和业务模式，模式的切换由PC端软件***控制；在导航模式下，所述底盘控制模块工作实现人形机器人的自主导航、规划路径、避障，所述模特运动控制模块工作实现模特的动态展示，所述视觉语音模块工作实现产品的语音宣传推广；在业务模式下，所述视觉语音模块工作实现视觉数据采集和人机语音交互沟通；所述PC端软件***包括有用户UI界面和数据库管理，所述用户UI界面的主要功能包括建图、导航列队、地图及位置信息显示、模特运动控制以及业务模式点配置及显示，所述数据库管理的主要功能包括视觉识别信息显示、导航点和业务模式点。
4.如权利要求3所述的一种面向鞋服展示的人形机器人控制***，其特征在于，所述视觉语音模块中实现人机语音交互沟通的方法是这样的，
1)、用户语音输出后，视觉语音模块获取用户语音，获取用户语音时通过噪声抑制、回声消除、声源定位和远场拾音技术，获得质量较高的输入语音；
2)、视觉语音模块进行用户语音的关键词分析得出语言关键词和/或用户相关关键词；
3)、将语言关键词进行交互语言处理，具体是通过获取预建立存储的自然语言语义模板的知识库进行交互语言处理得出应答语句内容一，该知识库采用人工采集、整理、存储数据以及采用机器主动学习的方法，接受用户训练，收集组织有用的信息来丰富知识库；
将用户相关关键词进行用户分析，具体是通过获取预建立的用户库的信息进行用户分析得出用户信息，将用户信息增加至用户库内并将用户信息整理得出应答语句内容二；
同时，视觉语音模块的服务***通过关键词分析得出结果进行产品检索，具体是通过获取预建立的产品库和用户库的信息进行产品检索得出产品检索结果并整理得出应答语句内容三；
4)、视觉语音模块将应答语句内容一、应答语句内容二和应答语句内容三进行语句合成处理成完整应答语句；
5)、输出完整应答语句。
5.如权利要求3或4所述的一种面向鞋服展示的人形机器人控制***，其特征在于，所述视觉语音模块中视觉数据采集用于用户的外貌体型的估计分析，具体是通过视觉语音模块中的人脸识别***和体型识别***进行估计分析，得出包括用户人脸信息、用户性别信息和用户身型信息的用户信息，并将用户信息增加至预建立的用户库和/或供给人机语音交互沟通时的用户分析；所述人脸识别***分为四个步骤，依次为人脸图像采集及人脸检测、人脸图像预处理、人脸图像特征提取以及人脸图像匹配与识别。
6.如权利要求5所述的一种面向鞋服展示的人形机器人控制***，其特征在于，所述人脸图像采集及人脸检测中的人脸检测采用Adaboost学习算法；所述人脸图像特征提取采用基于知识的表征方法，根据人脸器官的形状描述以及他们之间的距离特性来获得有助于人脸分类的特征数据；所述人脸图像匹配与识别通过设定一个阈值，将待识别的人脸特征与预建立的用户库中已得到的人脸特征模板进行比较，当相似度超过设定这一个阈值则输出匹配结果，根据匹配结果估计得出被识别人员的性别信息与年龄信息。
7.如权利要求6所述的一种面向鞋服展示的人形机器人控制***，其特征在于，所述视觉语音模块中采用卷积神经网络模型，进行性别预测分类和年龄预测分类，所述性别预测分类中把性别预测作为一个分类问题，将摄像头检测到的人脸作为性别预测网络的输入，利用CNN网络提取特征，性别预测网络的输出层为softmax类型，有2个节点表示男性和女性两个类别作为输出；所述年龄预测分别中将年龄预测问题定义为一个分类问题，将0-100岁分为N个年龄段类，年龄预测网络在softmax的最后一层对应有N个节点表示所述的年龄范围。
8.如权利要求5所述的一种面向鞋服展示的人形机器人控制***，其特征在于，所述体型识别***将人体体型分为瘦体型Y、较瘦体型YA、普通型A、稍胖型AB和胖型B这五个等级，根据人体站立的特征，提取多种图像信息特征，通过构建BP-Adaboost模型进行体型识别，把BP神经网络作为弱分类器，反复训练BP神经网络预测样本输出，通过Adaboost算法得到多个BP神经网络弱分类器组成的强分类器，最后通过阈值设置，进行体型评分和分级。
9.如权利要求8所述的一种面向鞋服展示的人形机器人控制***，其特征在于，计算方法是经摄像头获取的图像处理后，提取身高信息和体宽信息，通过下面计算评分对比判断得出对应的人体体型等级，
其中，H表示图像处理后得到的体型高度，W表示图像处理后得到的体型宽度；α1、α2、α3、α4表示不同体型等级下的不同阈值。
10.如权利要求7所述的一种面向鞋服展示的人形机器人控制***，其特征在于，将0-100岁分为8个年龄段类；采用卷积神经网络模型进行性别预测分类和年龄预测分类中，采用3个卷积层和2个全连接层进行，首先输入过程将给定的图像缩放至M*M比例，然后进行3通道彩色图像处理，若图像不符合尺寸，需要对多余边框进行剪裁，剪裁过程为图片中心至四边进行剪裁；
第一个卷积层：采用96个卷积核，每个卷积核参数个数为3*7*7，激活函数采用ReLU，池化采用最大重叠池化，池化的size选择3*3，strides选择2，卷积步长为4，然后接着对局部响应归一化层，
其中α表示卷积层后的输出结果，
表示在这个输出结构中的一个位置[a,b,c,d]，即第a张图的第d个通道下的高度为b宽度为c的点；
第二个卷积层：第二层的输入对处理后的单通道图片再次处理，选择256个滤波器，滤波器大小为5^2，卷积步长为1；
第三个卷积层：滤波器个数选择384，卷积核大小为3^2；
对于全连接层：每一层的神经元个数选择2^9；
输出层：对于性别预测来说是二分类，输入神经元个数为2；对于年龄预测来说是8分类，输入神经元个数为8；
模型训练过程，首先，初始化参数，权重初始化方法采用标准差为0.01，均值为0的高斯正太分布；然后，进行网络训练，采用dropout，来限制过拟合，Drop out比例采用0.5，数据扩充是通过输入M*M的图片，然后进行裁剪，训练方法采用随机梯度下降法，min-batch大小选择50，学***均。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011536802.6A CN112578716B (zh) | 2020-12-23 | 2020-12-23 | 一种面向鞋服展示的人形机器人控制*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011536802.6A CN112578716B (zh) | 2020-12-23 | 2020-12-23 | 一种面向鞋服展示的人形机器人控制*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112578716A true CN112578716A (zh) | 2021-03-30 |
| CN112578716B CN112578716B (zh) | 2024-07-02 |
Family
ID=75139431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011536802.6A Active CN112578716B (zh) | 2020-12-23 | 2020-12-23 | 一种面向鞋服展示的人形机器人控制*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112578716B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201105467A (en) * | 2009-08-04 | 2011-02-16 | Mirle Automation Corp | Robotic fashion model |
| CN106346487A (zh) * | 2016-08-25 | 2017-01-25 | 威仔软件科技（苏州）有限公司 | 交互式vr沙盘展示机器人 |
| CN206085055U (zh) * | 2016-09-28 | 2017-04-12 | 深圳维周机器人科技有限公司 | 模特机器人智能控制*** |
| CN110403409A (zh) * | 2019-07-18 | 2019-11-05 | 王东 | 一种机器人及商品展示方法 |
| CN211137173U (zh) * | 2019-12-19 | 2020-07-31 | 大连雨林信息***有限公司 | 一种用于服装展示的机器人 |
| CN213843825U (zh) * | 2020-12-23 | 2021-07-30 | 福建（泉州）哈工大工程技术研究院 | 一种面向鞋服展示的人形机器人控制*** |
-
2020
- 2020-12-23 CN CN202011536802.6A patent/CN112578716B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201105467A (en) * | 2009-08-04 | 2011-02-16 | Mirle Automation Corp | Robotic fashion model |
| CN106346487A (zh) * | 2016-08-25 | 2017-01-25 | 威仔软件科技（苏州）有限公司 | 交互式vr沙盘展示机器人 |
| CN206085055U (zh) * | 2016-09-28 | 2017-04-12 | 深圳维周机器人科技有限公司 | 模特机器人智能控制*** |
| CN110403409A (zh) * | 2019-07-18 | 2019-11-05 | 王东 | 一种机器人及商品展示方法 |
| CN211137173U (zh) * | 2019-12-19 | 2020-07-31 | 大连雨林信息***有限公司 | 一种用于服装展示的机器人 |
| CN213843825U (zh) * | 2020-12-23 | 2021-07-30 | 福建（泉州）哈工大工程技术研究院 | 一种面向鞋服展示的人形机器人控制*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112578716B (zh) | 2024-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1406135B1 (en) | Man-machine interface unit control method; robot apparatus; and its action control method | |
| Mao et al. | Learning salient features for speech emotion recognition using convolutional neural networks | |
| US7379568B2 (en) | Weak hypothesis generation apparatus and method, learning apparatus and method, detection apparatus and method, facial expression learning apparatus and method, facial expression recognition apparatus and method, and robot apparatus | |
| US6353814B1 (en) | Developmental learning machine and method | |
| JP3529049B2 (ja) | 学習装置及び学習方法並びにロボット装置 | |
| Chen et al. | Adaptive feature selection-based AdaBoost-KNN with direct optimization for dynamic emotion recognition in human–robot interaction | |
| CN103413113A (zh) | 一种服务机器人智能情感交互的方法 | |
| CN104463191A (zh) | 一种基于注意机制的机器人视觉处理方法 | |
| CN110781829A (zh) | 一种轻量级深度学习的智慧营业厅人脸识别方法 | |
| CN111199202B (zh) | 基于循环注意力网络的人体动作识别方法及识别装置 | |
| CN112068555A (zh) | 一种基于语义slam方法的语音控制型移动机器人 | |
| CN114724224A (zh) | 一种用于医疗护理机器人的多模态情感识别方法 | |
| CN213843825U (zh) | 一种面向鞋服展示的人形机器人控制*** | |
| CN110533107B (zh) | 梯度增强型Softmax分类器***、训练信号产生方法及其应用 | |
| Chen et al. | Emotion recognition and understanding for emotional human-robot interaction systems | |
| Tang et al. | Facial expression recognition using AAM and local facial features | |
| CN112070010A (zh) | 一种联合多损失动态训练策略增强局部特征学习的行人重识别方法 | |
| CN114202792A (zh) | 一种基于端到端卷积神经网络的人脸动态表情识别方法 | |
| Wu et al. | From members to teams to committee-a robust approach to gestural and multimodal recognition | |
| CN112578716A (zh) | 一种面向鞋服展示的人形机器人控制*** | |
| Lombardi | A survey of automatic lip reading approaches | |
| Kim et al. | Facial emotional expression recognition with soft computing techniques | |
| Weng et al. | The developmental approach to artificial intelligence: Concepts, developmental algorithms and experimental results | |
| Lu et al. | Deep neural networks for head pose classification | |
| CN113537335B (zh) | 一种人手装配技能解析的方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: 362000 Building 9, software park, Fengze District, Quanzhou City, Fujian Province Applicant after: Fujian (Quanzhou) Advanced Manufacturing Technology Research Institute Address before: 362000 Building 9, software park, Fengze District, Quanzhou City, Fujian Province Applicant before: FUJIAN (QUANZHOU) HIT Research Institute OF ENGINEERING AND TECHNOLOGY Country or region before: China |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant |