CN111390919A - 一种陪伴机器人智能图像识别行为分析*** - Google Patents

一种陪伴机器人智能图像识别行为分析*** Download PDF

Info

Publication number
CN111390919A
CN111390919A CN202010155972.3A CN202010155972A CN111390919A CN 111390919 A CN111390919 A CN 111390919A CN 202010155972 A CN202010155972 A CN 202010155972A CN 111390919 A CN111390919 A CN 111390919A
Authority
CN
China
Prior art keywords
module
robot
base
image recognition
analysis system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010155972.3A
Other languages
English (en)
Inventor
金坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Xiankun Information Technology Co ltd
Original Assignee
Hefei Xiankun Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Xiankun Information Technology Co ltd filed Critical Hefei Xiankun Information Technology Co ltd
Priority to CN202010155972.3A priority Critical patent/CN111390919A/zh
Publication of CN111390919A publication Critical patent/CN111390919A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Toys (AREA)

Abstract

本发明公开了一种陪伴机器人智能图像识别行为分析***，包括底座，所述底座的侧壁开设有第一储物槽和第二储物槽，所述第一储物槽和第二储物槽内均安装有用于将第一储物槽和第二储物槽内的物品推出的推动机构，所述底座的侧壁还设置有电池仓，所述电池仓内设置有蓄电池，所述底座的上端固定连接有身体。本发明以儿童陪伴机器人为核心，通过云平台和家长终端，实现远程教育、多媒体播放、设备管理、即时通信等功能，将机器人技术、互联网技术运用于学龄前儿童的教育看管，既节省了家长的精力时间，又可以提高陪伴目标的使用兴趣。

Description

一种陪伴机器人智能图像识别行为分析***
技术领域
本发明涉及智能设备技术领域，尤其涉及一种陪伴机器人智能图像识别行为分析***。
背景技术
学龄前的儿童由于智力和身体的发育尚不完全，需要成年人长期陪伴看管。而且儿童阶段还是运动、语言等能力发展最快的敏感期，其重要性不言而喻。这就需要家长付出大量的精力和成本。
然而现有技术中的早教***，功能单一，主要具备音频、视频的播放功能，有些早教***可以通过语音或触控的方式进行简单的交互，远远不能达到陪伴的要求，且现有的智能机器人大多基于语音控制，需要大人或小孩自主出控制机器人动作，机器人不能自主自发的依据陪伴目标对象的情绪状态智能的实现触发工作，来对陪伴目标进行更高级别的个性化陪伴。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的一种陪伴机器人智能图像识别行为分析***，本发明以儿童陪伴机器人为核心，通过云平台和家长终端，实现远程教育、多媒体播放、设备管理、即时通信等功能，将机器人技术、互联网技术运用于学龄前儿童的教育看管，既节省了家长的精力时间，又可以提高陪伴目标的使用兴趣，实现了对陪伴对象的人脸表情的检测以及分类识别，基于机器视觉获取陪伴对象的人脸表情图像，通过预处理以及阀值分割等一系列处理得到含有表情特征的特征区域，进而对表情特征进行提取，采用机器学习算法依据提取到的特征向量对表情类别进行识别，所述***用于实时在线的检测陪伴对象的人脸表情，且根据识别出来的人脸表情，陪伴机器人选择合适的基于用户个性的互动模式以及互动内容。
为了实现上述目的，本发明采用了如下技术方案：
一种陪伴机器人智能图像识别行为分析***，包括底座，所述底座的侧壁开设有第一储物槽和第二储物槽，所述第一储物槽和第二储物槽内均安装有用于将第一储物槽和第二储物槽内的物品推出的推动机构，所述底座的侧壁还设置有电池仓，所述电池仓内设置有蓄电池，所述底座的上端固定连接有身体，所述身体采用软质橡胶材料制成，所述身体的两侧通过手臂安装有显示屏，所述底座的上端靠近显示屏的一侧安装有触摸板，所述身体的上端通过支撑杆转动连接有头部，所述头部的前侧设置有表情识别装置，所述身体内还安装有主控模块。
优选地，所述底座的下端安装有行走轮，所述行走轮前安装有路障识别装置。
优选地，所述头部的后侧还设置有WiFi天线，所述WiFi天线的表面包裹一层软质橡胶。
优选地，所述主控模块电连接有语音信息储存模块、音频输出模块、录音模块、表情识别模块、操作模块、音频输出模块、供电模块和WiFi模块，所述语音信息储存模块用于储存父母语音，所述录音模块用于录取父母语音并传输到语音信息储存模块中进行储存，所述表情识别模块用于识别儿童的表情状况，所述操作模块用于该设备的操作。
优选地，所述音频输出模块用于根据儿童表情进行音乐播放或播放父母声音，所述供电模块用于对陪伴机器人中的各部件进行供电，所述WiFi模块用于该陪伴机器人与手机连接。
优选地，还包括远程终端，该远程终端可通过WiFi模块与该陪伴机器人连接，实现视频互动。
本发明具有以下有益效果：
1、以儿童陪伴机器人为核心，通过云平台和家长终端，实现远程教育、多媒体播放、设备管理、即时通信等功能，将机器人技术、互联网技术运用于学龄前儿童的教育看管，既节省了家长的精力时间，又可以提高陪伴目标的使用兴趣。
2、实现了对陪伴对象的人脸表情的检测以及分类识别，基于机器视觉获取陪伴对象的人脸表情图像，通过预处理以及阀值分割等一系列处理得到含有表情特征的特征区域，进而对表情特征进行提取，采用机器学习算法依据提取到的特征向量对表情类别进行识别，所述***用于实时在线的检测陪伴对象的人脸表情，且根据识别出来的人脸表情，陪伴机器人选择合适的基于用户个性的互动模式以及互动内容。
附图说明
图1为本发明提出的一种陪伴机器人智能图像识别行为分析***的结构示意图；
图2为本发明提出的一种陪伴机器人智能图像识别行为分析***的***框图。
图中：1WiFi天线、2电池仓、3蓄电池、4行走轮、5第一储物槽、6第二储物槽、7显示屏、8触摸板、9支撑杆、10头部、11身体、12底座、13表情识别装置。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
参照图1-2，一种陪伴机器人智能图像识别行为分析***，包括底座12，底座12的下端安装有行走轮4，行走轮4前安装有路障识别装置，底座12的侧壁开设有第一储物槽5和第二储物槽6，第一储物槽5和第二储物槽6内均安装有用于将第一储物槽5和第二储物槽6内的物品推出的推动机构，底座12的侧壁还设置有电池仓2，电池仓2内设置有蓄电池3，底座12的上端固定连接有身体11，身体11采用软质橡胶材料制成，身体11的两侧通过手臂安装有显示屏7，底座1的上端靠近显示屏7的一侧安装有触摸板8，身体11的上端通过支撑杆9转动连接有头部10，头部10的前侧设置有表情识别装置13，身体11内还安装有主控模块。
头部10的后侧还设置有WiFi天线1，WiFi天线1的表面包裹一层软质橡胶。
主控模块电连接有语音信息储存模块、音频输出模块、录音模块、表情识别模块、操作模块、音频输出模块、供电模块和WiFi模块，语音信息储存模块用于储存父母语音，录音模块用于录取父母语音并传输到语音信息储存模块中进行储存，表情识别模块用于识别儿童的表情状况，操作模块用于该设备的操作。
音频输出模块用于根据儿童表情进行音乐播放或播放父母声音，供电模块用于对陪伴机器人中的各部件进行供电，WiFi模块用于该陪伴机器人与手机连接。
还包括远程终端，该远程终端可通过WiFi模块与该陪伴机器人连接，实现视频互动。
本发明以儿童陪伴机器人为核心，通过云平台和家长终端，实现远程教育、多媒体播放、设备管理、即时通信等功能，将机器人技术、互联网技术运用于学龄前儿童的教育看管，既节省了家长的精力时间，又可以提高陪伴目标的使用兴趣，实现了对陪伴对象的人脸表情的检测以及分类识别，基于机器视觉获取陪伴对象的人脸表情图像，通过预处理以及阀值分割等一系列处理得到含有表情特征的特征区域，进而对表情特征进行提取，采用机器学习算法依据提取到的特征向量对表情类别进行识别，所述***用于实时在线的检测陪伴对象的人脸表情，且根据识别出来的人脸表情，陪伴机器人选择合适的基于用户个性的互动模式以及互动内容。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种陪伴机器人智能图像识别行为分析***，包括底座(12)，其特征在于，所述底座(12)的侧壁开设有第一储物槽(5)和第二储物槽(6)，所述第一储物槽(5)和第二储物槽(6)内均安装有用于将第一储物槽(5)和第二储物槽(6)内的物品推出的推动机构，所述底座(12)的侧壁还设置有电池仓(2)，所述电池仓(2)内设置有蓄电池(3)，所述底座(12)的上端固定连接有身体(11)，所述身体(11)采用软质橡胶材料制成，所述身体(11)的两侧通过手臂安装有显示屏(7)，所述底座(1)的上端靠近显示屏(7)的一侧安装有触摸板(8)，所述身体(11)的上端通过支撑杆(9)转动连接有头部(10)，所述头部(10)的前侧设置有表情识别装置(13)，所述身体(11)内还安装有主控模块。
2.根据权利要求1所述的一种陪伴机器人智能图像识别行为分析***，其特征在于，所述底座(12)的下端安装有行走轮(4)，所述行走轮(4)前安装有路障识别装置。
3.根据权利要求1所述的一种陪伴机器人智能图像识别行为分析***，其特征在于，所述头部(10)的后侧还设置有WiFi天线(1)，所述WiFi天线(1)的表面包裹一层软质橡胶。
4.根据权利要求1所述的一种陪伴机器人智能图像识别行为分析***，其特征在于，所述主控模块电连接有语音信息储存模块、音频输出模块、录音模块、表情识别模块、操作模块、音频输出模块、供电模块和WiFi模块，所述语音信息储存模块用于储存父母语音，所述录音模块用于录取父母语音并传输到语音信息储存模块中进行储存，所述表情识别模块用于识别儿童的表情状况，所述操作模块用于该设备的操作。
5.根据权利要求4所述的一种陪伴机器人智能图像识别行为分析***，其特征在于，所述音频输出模块用于根据儿童表情进行音乐播放或播放父母声音，所述供电模块用于对陪伴机器人中的各部件进行供电，所述WiFi模块用于该陪伴机器人与手机连接。
6.根据权利要求4所述的一种陪伴机器人智能图像识别行为分析***，其特征在于，还包括远程终端，该远程终端可通过WiFi模块与该陪伴机器人连接，实现视频互动。
CN202010155972.3A 2020-03-09 2020-03-09 一种陪伴机器人智能图像识别行为分析*** Pending CN111390919A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010155972.3A CN111390919A (zh) 2020-03-09 2020-03-09 一种陪伴机器人智能图像识别行为分析***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010155972.3A CN111390919A (zh) 2020-03-09 2020-03-09 一种陪伴机器人智能图像识别行为分析***

Publications (1)

Publication Number Publication Date
CN111390919A true CN111390919A (zh) 2020-07-10

Family

ID=71424675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010155972.3A Pending CN111390919A (zh) 2020-03-09 2020-03-09 一种陪伴机器人智能图像识别行为分析***

Country Status (1)

Country Link
CN (1) CN111390919A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634684A (zh) * 2020-12-11 2021-04-09 深圳市木愚科技有限公司 智能教学方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106851216A (zh) * 2017-03-10 2017-06-13 山东师范大学 一种基于人脸和语音识别的课堂行为监控***及方法
CN107283389A (zh) * 2017-08-31 2017-10-24 李景龙 用于辅助治疗自闭症的机器人
CN107888620A (zh) * 2017-12-11 2018-04-06 大连高马艺术设计工程有限公司 一种远程传达表情、语音、图像的角色扮演玩具***
CN109159129A (zh) * 2018-08-03 2019-01-08 深圳市益鑫智能科技有限公司 一种基于人脸表情识别的智能陪伴机器人
CN109684949A (zh) * 2018-12-12 2019-04-26 嘉兴极点科技有限公司 一种基于人工智能的在线教育人机交互方法与***
CN109703647A (zh) * 2019-02-14 2019-05-03 江门市国彬机器人有限公司 直立行走机器人
US10482886B2 (en) * 2017-08-05 2019-11-19 Fu Tai Hua Industry (Shenzhen) Co., Ltd. Interactive robot and human-robot interaction method
CN110524555A (zh) * 2019-08-28 2019-12-03 南京市晨枭软件技术有限公司 一种车站机器人服务***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106851216A (zh) * 2017-03-10 2017-06-13 山东师范大学 一种基于人脸和语音识别的课堂行为监控***及方法
US10482886B2 (en) * 2017-08-05 2019-11-19 Fu Tai Hua Industry (Shenzhen) Co., Ltd. Interactive robot and human-robot interaction method
CN107283389A (zh) * 2017-08-31 2017-10-24 李景龙 用于辅助治疗自闭症的机器人
CN107888620A (zh) * 2017-12-11 2018-04-06 大连高马艺术设计工程有限公司 一种远程传达表情、语音、图像的角色扮演玩具***
CN109159129A (zh) * 2018-08-03 2019-01-08 深圳市益鑫智能科技有限公司 一种基于人脸表情识别的智能陪伴机器人
CN109684949A (zh) * 2018-12-12 2019-04-26 嘉兴极点科技有限公司 一种基于人工智能的在线教育人机交互方法与***
CN109703647A (zh) * 2019-02-14 2019-05-03 江门市国彬机器人有限公司 直立行走机器人
CN110524555A (zh) * 2019-08-28 2019-12-03 南京市晨枭软件技术有限公司 一种车站机器人服务***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634684A (zh) * 2020-12-11 2021-04-09 深圳市木愚科技有限公司 智能教学方法和装置

Similar Documents

Publication Publication Date Title
US11858118B2 (en) Robot, server, and human-machine interaction method
JP6816925B2 (ja) 育児ロボットのデータ処理方法及び装置
CN103745235B (zh) 人脸识别方法、装置及终端设备
CN108320742A (zh) 语音交互方法、智能设备及存储介质
CN202315292U (zh) 一种基于智能手机交互的综合型迎宾机器人
CN107682536A (zh) 一种语音控制方法、终端和计算机可读存储介质
CN102500113A (zh) 基于智能手机交互的综合型迎宾机器人
Huahu et al. Application of speech emotion recognition in intelligent household robot
CN104493827A (zh) 智能认知机器人及其认知***
CN205817875U (zh) 互动情感机器人
CN108572764A (zh) 一种文字输入控制方法、设备及计算机可读存储介质
CN204650422U (zh) 一种基于语言交互操控的移动智能玩具
CN108711430A (zh) 语音识别方法、智能设备及存储介质
CN207139820U (zh) 一种智能机器人
CN206584114U (zh) 一种低功耗智能ar装置及智能ar眼镜
CN107766403A (zh) 一种相册处理方法、移动终端以及计算机可读存储介质
CN106707512B (zh) 一种低功耗智能ar***及智能ar眼镜
CN108073112A (zh) 一种具有角色扮演的智能服务型机器人
CN111515970B (zh) 一种互动方法、拟态机器人和相关装置
CN106826851A (zh) 一种基于多传感器融合技术的智能早教机器人
CN111390919A (zh) 一种陪伴机器人智能图像识别行为分析***
CN110516113A (zh) 一种视频分类的方法、视频分类模型训练的方法及装置
CN204791614U (zh) 智能少年学习机器人
CN109391842A (zh) 一种配音方法、移动终端
CN206481399U (zh) 一种儿童陪伴机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200710