CN109166365A - 多目机器人语言教学的方法及*** - Google Patents

多目机器人语言教学的方法及*** Download PDF

Info

Publication number
CN109166365A
CN109166365A CN201811109873.0A CN201811109873A CN109166365A CN 109166365 A CN109166365 A CN 109166365A CN 201811109873 A CN201811109873 A CN 201811109873A CN 109166365 A CN109166365 A CN 109166365A
Authority
CN
China
Prior art keywords
information
target user
video
video information
mesh
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811109873.0A
Other languages
English (en)
Inventor
袁晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Comexe Ikang Science And Technology Co Ltd
Original Assignee
Shenzhen Comexe Ikang Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Comexe Ikang Science And Technology Co Ltd filed Critical Shenzhen Comexe Ikang Science And Technology Co Ltd
Priority to CN201811109873.0A priority Critical patent/CN109166365A/zh
Publication of CN109166365A publication Critical patent/CN109166365A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明揭示了一种多目机器人语言教学的方法,包括步骤:获取目标用户学习过程中多个角度的视频信息;将所述多个角度的视频信息进行重叠计算,得到所述目标用户的特征信息,所述特征信息包括所述目标用户的语音特征、肢体特征和面部表情特征;根据所述特征信息在***预设信息中查找对应的认知结果,其中所述***预设信息中包括各种特征信息,以及与各种特征信息分别对应的认知结果;执行所述认知结果相对应的指令。不仅能够同时获取多个目标用户的视频信息,还能使同一目标用户的特征信息更加真实准确,进而能够及时指导目标用户进行学习,提高机器人的教学效率。

Description

多目机器人语言教学的方法及***
技术领域
本发明涉及人工智能技术领域,尤其涉及一种多目机器人语言教学的方法及***。
背景技术
依据视觉传感器的数量和特性,目前主流的移动机器人视觉***有单目视觉、双目立体视觉、多目视觉和全景视觉等。
单目视觉***在成像过程中从三维客观世界投影到N维图像上,损失了深度信息。
双目视觉***由两个摄像机组成,利用三角测量原理获得场景的深度信息,并且可以重建周围景物的三维形状和位置,类似人眼的体视功能,原理简单。双目视觉***需要精确地知道两个摄像机之间的空间位置关系,而且场景环境的3D信息需要两个摄像机从不同角度,同时拍摄同一场景的两幅图像,并进行复杂的匹配,才能准确得到立体视觉***能够比较准确地恢复视觉场景的三维信息,在移动机器人定位导航、避障和地图构建等方面得到了广泛的应用。然而,立体视觉***对应点匹配存在较大的问题。
现有教学机器人***中,存在无法在同一时间观察到两位及两位以上学生的即时反应,对学生的信息数据采集不准确,从而不能及时发现某一位或者多位学生所表现出的学习困惑,进而导致教学效率比较低下。
因此,需要一种能够能够精确的获取多个目标用户及准确的信息数据的多目机器人。
发明内容
本发明的主要目的为提供一种能够精确的获取多个目标用户及准确的信息数据的多目机器人语言教学的方法及***。
本发明提出一种多目机器人语言教学的方法,包括步骤:
获取目标用户学习过程中多个角度的视频信息;
将所述多个角度的视频信息进行重叠计算,得到所述目标用户的特征信息,所述特征信息包括所述目标用户的语音特征、肢体特征和面部表情特征;
根据所述特征信息在***预设信息中查找对应的认知结果,其中所述***预设信息中包括各种特征信息,以及与各种特征信息分别对应的认知结果;
执行所述认知结果相对应的指令。
进一步地,所述获取目标用户学习过程中多个角度的视频信息的步骤,包括:
分别获取多个目标用户学习过程中的视频信息,其中所述视频信息包括不同角度的视频;
将含有同一目标用户的不同角度的视频储存在同一储存器中,形成所述目标用户学习过程中多个角度的视频信息。
进一步地,所述执行所述认知结果相对应的指令的步骤,包括:
识别所述认知结果对应的指令类别;
若为第一指令,则控制***进入下一教学环节;
若为第二指令,则重复该教学环节,并发出提示语音信息。
进一步地,所述特征信息中还包括所述目标用户的位置信息,所述重复该教学环节,并发出提示语音信息的步骤,包括:
根据所述位置信息得到所述目标用户的定位信息;
根据所述定位信息指向性地发出提示语音信息。
进一步地,所述机器人包括手眼摄像装置,所述手眼摄像装置通过无线连接的方式与多目机器人本体建立通讯连接,所述获取目标用户学习过程中多个角度的视频信息的步骤,还包括:
通过手眼摄像装置获取位于第二区域的目标用户学习过程中的远程视频信息,其中所述第二区域为所述多目机器人本体所在区域之外的区域;
将所述远程视频信息储存在远程储存器中,形成远程目标用户的视频信息。
本发明提出一种多目机器人语言教学的***,包括:
摄像模块,用于获取目标用户学习过程中多个角度的视频信息;
处理模块,用于将所述多个角度的视频信息进行重叠计算,得到所述目标用户的特征信息,所述特征信息包括目标用户的语音特征、肢体特征和面部表情特征;
服务模块,根据所述特征信息在***预设信息中查找对应的认知结果,其中所述***预设信息中包括各种特征信息,以及与各种特征信息分别对应的认知结果;
执行模块,用于执行所述认知结果相对应的指令。
进一步地,所述摄像模块包括:
第一摄像单元,用于分别获取多个目标用户学习过程中的视频信息,其中所述视频信息包括不同角度的视频;
第一存储单元,将含有同一目标用户的不同角度的视频储存在同一储存器中,形成所述目标用户学习过程中多个角度的视频信息。
进一步地,所述执行模块包括:
第一教学单元,用于识别所述认知结果对应的指令类别;
第一执行单元,若为第一指令,则控制***进入下一教学环节;
第二执行单元,若为第二指令,则重复该教学环节,并发出提示语音信息。
进一步地,所述第二执行单元包括:
定位子单元,用于根据所述位置信息得到所述目标用户的定位信息;
提示子单元,用于根据所述定位信息指向性地发出提示语音信息。
进一步地,所述摄像模块还包括:
第二摄像单元,用于通过手眼摄像装置获取位于第二区域的目标用户学习过程中的远程视频信息,其中所述第二区域为所述多目机器人本体所在区域之外的区域;
第二存储单元,用于将所述远程视频信息储存在远程储存器中,形成远程目标用户的视频信息。
本发明一种多目机器人语言教学的方法及***的有益效果为,通过获取多个角度的视频信息,经过图像重叠计算处理,不仅能够同时获取多个目标用户的视频信息,还能使同一目标用户的特征信息更加真实准确,进而能够及时指导目标用户进行学习,提高机器人的教学效率。
附图说明
图1是本发明一实施例多目机器人语言教学的方法的步骤示意图;
图2是本发明一实施例多目机器人语言教学的方法的另一步骤示意图;
图3是本发明一实施例多目机器人语言教学的***结构示意图;
图4是本发明一实施例摄像模块的结构示意图;
图5是本发明另一实施例摄像模块的结构示意图;
图6是本发明另一实施例多目机器人的***结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”“上述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件、单元、模块和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、单元、模块、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
如图1-2所示,提出本发明一优选实施例的一种多目机器人语言教学的方法,包括步骤:
S1,获取目标用户学习过程中多个角度的视频信息;
本实施例通过在机器人身上不同方位安装多个个摄像设备,用于采集目标用户的视频信息,在一实施例中,具体为五个摄像设备,分别为第一摄像机、第二摄像机、第三摄像机、第四摄像机和第五摄像机,第一摄像机设置于机器人的正面,第二摄像机设置于机器人的背面,第三摄像机设置于机器人的左侧,第四摄像机设置于机器人的右侧,第五摄像机设置于机器人的顶部,通过在机器人的不同方位安装摄像机,能够获取同一个空间内的所有角度的视频信息,该第一摄像机、第二摄像机、第三摄像机、第四摄像机和第五摄像机可以设置为广角摄像机也可设置为普通相机,可以依据不同需求设置。该视频信息包含了图像信息和语音信息。图像信息包含了机器人在教学过程中,目标用户的肢体动作和面部表情,语音信息包含了机器人在教学过程中,目标用户的语音信息,该面部信息包括眼部信息和眼球信息。
S2,将多个角度的视频信息进行重叠计算,得到目标用户的特征信息,特征信息包括目标用户的语音特征、肢体特征和面部表情特征;
在本实施例将多个摄像机采集到的视频信息进行重叠计算,该重叠计算是指采集在同一区域内多个个学生的视频信息,根据不同的视频信息之间对相同的目标用户建立正确的对应关系,对多个摄像机所观测到的相同目标用户使用同一个标号来表示,建立对应的目标交接过程。能够获取同一个目标用户的不同角度的视频信息,对各个摄像机采集到的视频信息进行重叠计算后,根据灰阶差进行识别处理,得到该目标用户的特征信息,本实施例中的特征信息为目标用户的面部信息中的眼部信息,再根据眼部信息提取目标用户的眼球信息,该面部区域的特征信息可选择表情特征,既判断该目标用户的面部区域是否存在发呆等表情,在一实施例中为提取该目标用户面部区域在预设时间范围内的眼球特征,采用眼球特征能够较为准确的提取目标用户的特征信息,该特征信息能够更为精确的表现出目标用户在教学过程中的状态,便于教学机器人能够及时更具目标用户的反馈信息,指导目标用户进行学习,提高机器人的教学效率。
S3,根据特征信息在***预设信息中查找对应的认知结果,其中***预设信息中包括各种特征信息,以及与各种特征信息分别对应的认知结果;
在本实施例中,为了便于判断所述学生的注意力是否集中,可预先建立一个预设特信息征集,也就是说,该预设信息中包括若干能够反映注意力集中的眼部特征,通过特征匹配的方式来判断所述学生的注意力是否集中或对教学信息的认知情况,将摄像机采集到的视频信息进行数据分析,将相应的参数与***预设的参数范围进行比较,得到目标用户的认知结果,该***预设参数包含肢体信息、面部表情和语音信息,通过对视频信息进行图像识别,在语言教学过程中,通过显示教学信息,让目标用户进行识字,判断目标用户的肢体动作是点头还是摇头,或是判断目标用户是否表现出认识该文字的行为动作或语音信息,目标用户的语言信息中出现“不知道”等不识字性质的信息时,同样也能判别出目标用户对该文字的认知情况,在一实施例中通过将预设时间范围内的眼球特征与预设特征进行匹配,在预设匹配结构均为不匹配成功时,认定该目标用户的注意力不集中,学生注意力集中时,瞳孔通常是盯着教育机器人的,因此,眼球特征可为瞳孔朝向信息,当然,眼球特征也可采用其他信息,本实施例对此不加以限制。
应理解的是,由于学生可能存在眨眼的现象,如果在学生眨眼时进行匹配,会导致错误匹配的情况出现,为避免该问题,本实施例中,还可用于提取面部区域在预设时间范围内的眼球特征,将预设时间范围内的眼球特征与预设特征集进行匹配,在匹配结果均为匹配不成功时,认定学生的注意力不集中。
S4,执行认知结果相对应的指令。
在本实施例***内预先存有不同情况对应的特征信息,该预设特征信息包含语音信息、肢体信息和面部信息,利用重叠计算及图像处理得出的目标用户的特征信息与***预设的特征信息进行对比,查找出相应特征信息所对应的认知情况,便可根据相应的认知情况执行相应的指令,在本实施例判断出目标用户的肢体动作为摇头或无肢体动作,则重复显示当前的教学信息,并发出教学语言信息知道目标用户进行识字。在一实施例中目标用户的语音信息为“不知道”,***重复显示当前的教学信息,并发出教学语言信息知道目标用户进行识字。若目标用户所反馈的特征信息为认识该环节的教学信息,则***自动跳转至下一教学环节,该教学可以是下一个文字的识别环节,也可以是换一种方式的教学形式。
在一实施例中,在所述学生的注意力不集中时,可预先判断学习时间是否超过预设时间长度,若未超过预设时间长度,则可向所述提醒部件发送提醒指令,若超过预设时间长度,则说明学生可能处于疲劳期,可提示目标用户进行休息,使目标用户暂停学习。
需要说明的是,为了便于在目标用户注意力不集中的情况下,对其进行提醒,需要发出提醒信息,但在具体实现中可采用播放音乐和色彩转换的方式来进行提醒,从而刺激目标用户的学习兴趣,也就是说,可以通过音乐播放或色彩转化等方式进行提醒,在具体实现中,所述音乐可为令人放松的音乐,例如:轻快的纯音乐等。可理解的是,机器人在工作时通常会发光(例如:当前发光色彩为白色,即发出白光),从而提示目标用户其处于工作状态,所述色彩转换模块50可对当前发光色彩进行转换,例如:将当前发光色彩从白色转换为天蓝色。
当然,在具体实现中,还可采用其他方式进行提醒,例如:散发香味(如花香)、机器人变形、远程人员视频交流等方式加以实现,本实施例对此不加以限制。
在本实施例中,获取目标用户学习过程中多个角度的视频信息的步骤,包括:
S101,分别获取多个目标用户学习过程中的视频信息,其中视频信息包括不同角度的视频;
在本实施例中,通过设置多个摄像机,能够采集到同一个空间内全方位的视频信息,便可以同时检测教学机器人对多个目标用户的教学情况,进而及时对教学情况的反馈作出相应的指令,进而能够及时指导目标用户进行学习,提高机器人的教学效率。
S102,将含有同一目标用户的不同角度的视频储存在同一储存器中,形成目标用户学习过程中多个角度的视频信息。
在本实施例中,根据不同摄像机采集到的视频信息,进行图像识别,将同一个目标用户的视频信息存储在同一个储存器中,将含有同一目标用户的视频信息进行重叠计算,便可准确地获得每一个目标用户特征信息。
在本实施例中,执行认知结果相对应的指令的步骤,包括:
S41,识别认知结果对应的指令类别;
在本实施例通过多个摄像机对目标用户采集视频信息,再对多个视频信息进行重叠计算,得到相应的目标用户的特征信息,将该用户的特征信息与***预设特征信息进行比较,得到相应的执行指令。目标用户的特征信息中含有“不知道”、“不会”相关性质的否定词或摇头等信息时,则判断目标用户的认知结果为为不认识,目标用户的特征信息中含有“我知道”、点头或发出该教学信息的语音信息相关性质的肯定信息时,则判断目标用户的认知结果为认识。在判断目标用户的认知结果后,便可根据该认知结果执行其对应的指令。
S42,若为第一指令,则控制***进入下一教学环节;
在本实施中,若该认知结果对应的性质为认识该教学信息,该对应的第二指令为跳转至下一教学环节,***屏幕显示下一个语言文字使目标用户进行识别,并通过语音信息辅助目标用户进行学习。
S43,若为第二指令,则重复该教学环节,并发出提示语音信息。
在本实施中,若该认知结果对应的性质为不认识该教学信息,该对应的第一指令为重复显示该教学信息,并通过语音提示方式辅助目标用户进行教学信息的学习。
在本实施中,特征信息中还包括目标用户的位置信息,重复该教学环节,并发出提示语音信息的步骤,包括:
S431,根据位置信息得到目标用户的定位信息;
S432,根据定位信息指向性地发出提示语音信息。
通过获取目标用户不同角度的视频信息后,对不同角度的视频信息进行图像特征匹配,得出该目标用户与教学机器人的相对位置关系,以目标机器人为原点,获取目标用户的相对坐标值,教学机器人在对不认识相应教学信息的目标用户进行提示语音信息辅助学习时,可以采用相应方位的音响输出设备输出该提示语音信息,能够达到提醒相应的目标用户的功能。
在本实施例中,机器人包括手眼摄像装置,手眼摄像装置通过无线连接的方式与多目机器人本体建立通讯连接,获取目标用户学习过程中多个角度的视频信息的步骤,还包括:
S111,通过手眼摄像装置获取位于第二区域的目标用户学习过程中的远程视频信息,其中第二区域为多目机器人本体所在区域之外的区域;
S112,将远程视频信息储存在远程储存器中,形成远程目标用户的视频信息。
在一实施例中,设有手眼摄像装置,该手眼摄像装置可以获取不同区域内的目标用户的教学视频信息,手眼摄像装置将采集到的视频信息通过无线传输方式传送到控制***内,该无线传输方式包含WiFi和蓝牙两种方式。在将该手眼摄像装置采集到的视频信息进行信息处理,得到不同区域目标用户的特征信息,从而可以能够极大范围的对目标用户的学习情况进行检测。
如图3-5所示,提出本发明一优选实施例的多目机器人语言教学的***包括:
摄像模块1,用于获取目标用户学习过程中多个角度的视频信息;
处理模块2,用于将多个角度的视频信息进行重叠计算,得到目标用户的特征信息,特征信息包括目标用户的语音特征、肢体特征和面部表情特征;
服务模块3,根据特征信息在***预设信息中查找对应的认知结果,其中***预设信息中包括各种特征信息,以及与各种特征信息分别对应的认知结果;
执行模块4,用于执行认知结果相对应的指令。
在本实施例中,摄像模块1包括:
第一摄像单元11,用于分别获取多个目标用户学习过程中的视频信息,其中视频信息包括不同角度的视频;
第一存储单元12,将含有同一目标用户的不同角度的视频储存在同一储存器中,形成目标用户学习过程中多个角度的视频信息。
在本实施例中,执行模块4包括:
第一教学单元,用于识别认知结果对应的指令类别;
第一执行单元,若为第一指令,则控制***进入下一教学环节;
第二执行单元,若为第二指令,则重复该教学环节,并发出提示语音信息。
在本实施例中,第二执行单元包括:
定位子单元,用于根据位置信息得到目标用户的定位信息;
提示子单元,用于根据定位信息指向性地发出提示语音信息。
在本实施例中,摄像模块1还包括:
第二摄像单元13,用于通过手眼摄像装置获取位于第二区域的目标用户学习过程中的远程视频信息,其中第二区域为多目机器人本体所在区域之外的区域;
第二存储单元14,用于将远程视频信息储存在远程储存器中,形成远程目标用户的视频信息。
为便于进行资源共享,另一实施例中,多目机器人还包括:远程连接模块;
远程连接模块,用于与其他机器人进行远程连接,以组成区块链网络。
需要说明的是,区块链网络对于机器人所处地域没有限制,也就是说,不仅可以使处于相同地区的若干机器人组成区块链网络,还可使处于不同地区的若干机器人组成区块链网络。
为实现视频画面的共享,本实施例中,所述教育机器人还可包括:数据传输模块和人机接口模块;
所述数据传输模块,用于获取目标机器人正在播放的第一多媒体信息,并将第一多媒体信息发送至处理模块2,目标机器人为与多目机器人属于同一区块链的机器人;处理模块2还用于将第一多媒体信息转发至人机接口模块;
人机接口模块,用于播放该多媒体信息。
需要说明的是,人机接口模块即为机器人与目标用户进行互动的模块,其可为显示器和键盘的组合,也可为触摸屏,当然,还可为其他部件,本实施例对此不加以限制。
为便于根据目标用户的需求进行多媒体信息的查找,本实施例中,多目机器人还包括:数据存储模块;
人机接口模块,还用于接收用户输入的关键词,并将所述关键词传输至处理模块2;
在具体实现中,关键词可通过键盘进行输入,当然,也可采用语音等方式进行输入,本实施例对此不加以限制。
需要说明的是,该目标用户可为学生,当然,也可为老师,本实施例对此不加以限制。
处理模块2,还用于查找数据存储模块中与关键词对应的第二多媒体信息,并将第二多媒体信息反馈至人机接口模块。
由于一个机器人的数据存储模块的存储空间有限,为保证区块链中的资源尽可能的多,可在数据存储模块中存储不同的多媒体信息,也就是说,处理模块2,还用于将关键词转发至数据传输模块;
数据传输模块,还用于查找目标机器人中与关键词对应的第三多媒体信息,并将第三多媒体信息发送至处理模块2;
处理模块2,还用于将第三多媒体信息转发至人机接口模块。
为便于实现远程语音交流,本实施例中,多目机器人还包括:与处理模块2连接的语音模块。
为便于实现移动,本实施例中,多目机器人还包括:与处理模块2连接的移动模块和视觉模块。
可理解的是,为便于对电源进行管理,本实施例中,还可设置与处理模块2相连的电源管理模块。
如图6所示,在一实施例中,多目机器人设有顶视摄像机、测试摄像机、前视摄像机和手眼摄像机,该顶式摄像机固定设置于多目机器人的顶部,该侧视摄像机固定设置于多目机器人的侧部,该前视摄像机设置于多目机器人的正部,该多目机器人设有与手眼摄像机适配的凹槽,该手眼摄像机安装于该凹槽内,手眼摄像机与该多目机器人通过无线连接,对应于顶式摄像机设有相应的顶视图像处理器,对应于侧视摄像机设有与其对应的侧视图像处理器,对应于前视摄像机设有相应的前视图像处理器,对应于手眼摄像机设有与其对应的手眼视觉制导处理器。各个处理器均电性连接主服务器。还包括环境识别、环境定位和机器人控制器,该环境识别用于对采集到的视频信息进行环境的识别,将识别到的信息传输至主服务器,环境定位用于检测视频信息中的各个参照物之间的相对位置关系,从而对目标用户及环境进行定位,机器人控制器用于在匹配到相应的指令时,依据相应的指令执行相应的动作。本实施例同时考察两位学生的识字情况,在多目机器人的显示器上不断变动地呈现不同的汉字,例如:天、地、人、道、花等等,两位学生聚精会神的盯着上述出现的汉字,以“点头”或“摇头”表示是否认识所看见的汉字,在此过程中,多目机器人调动其“顶视摄像机”对准两位学生中的学生甲、调动其“前视摄像机”对准两位学生中的学生乙,顶视摄像机将采集到的甲同学的视频信息传输到顶视图像处理器,顶视图像处理器对该视频进行处理,并提取甲同学的面部区域区域信息,前视摄像机将采集到的乙同学的视频信息传输到前视图像处理器,再根据前视图像处理器提取出乙同学的面部区域特征信息。将该特征信息传输至主服务器,主服务器中存有预设的特征集,该特征集包括若干能够反映学生对汉字识字情况的特征信息,通过将处理器提取出的面部区域信息与预设的特征集进行匹配,便可得出甲同学和乙同学对汉字的识字情况,当多目机器人观察到其中一位同学在“迟疑一定时间之后”再“点头”,表示认识所看见的汉字时,其内置处理器把相关汉字重新呈现一次,用以进一步确认两位学生是否真正的认识相关汉字,考察结束后,多目机器人通过主服务器将考察的结构按预设表格输出一份考察报告,该预设的表格标注有两台摄像机所观察到的学生的“迟疑情况”。
本发明一种多目机器人语言教学的方法及***,通过获取多个角度的视频信息,经过图像重叠计算处理,不仅能够同时获取多个目标用户的视频信息,还能使同一目标用户的特征信息更加真实准确,进而能够及时指导目标用户进行学习,提高机器人的教学效率。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种多目机器人语言教学的方法,其特征在于,包括步骤:
获取目标用户学习过程中多个角度的视频信息;
将所述多个角度的视频信息进行重叠计算,得到所述目标用户的特征信息,所述特征信息包括所述目标用户的语音特征、肢体特征和面部表情特征;
根据所述特征信息在***预设信息中查找对应的认知结果,其中所述***预设信息中包括各种特征信息,以及与各种特征信息分别对应的认知结果;
执行所述认知结果相对应的指令。
2.根据权利要求1所述的多目机器人语言教学的方法,其特征在于,所述获取目标用户学习过程中多个角度的视频信息的步骤,包括:
分别获取多个目标用户学习过程中的视频信息,其中所述视频信息包括不同角度的视频;
将含有同一目标用户的不同角度的视频储存在同一储存器中,形成所述目标用户学习过程中多个角度的视频信息。
3.根据权利要求1所述的多目机器人语言教学的方法,其特征在于,所述执行所述认知结果相对应的指令的步骤,包括:
识别所述认知结果对应的指令类别;
若为第一指令,则控制***进入下一教学环节;
若为第二指令,则重复该教学环节,并发出提示语音信息。
4.根据权利要求3所述的多目机器人语言教学的方法,其特征在于,所述特征信息中还包括所述目标用户的位置信息,所述重复该教学环节,并发出提示语音信息的步骤,包括:
根据所述位置信息得到所述目标用户的定位信息;
根据所述定位信息指向性地发出提示语音信息。
5.根据权利要求1所述的多目机器人语言教学的方法,其特征在于,所述机器人包括手眼摄像装置,所述手眼摄像装置通过无线连接的方式与多目机器人本体建立通讯连接,所述获取目标用户学习过程中多个角度的视频信息的步骤,还包括:
通过手眼摄像装置获取位于第二区域的目标用户学习过程中的远程视频信息,其中所述第二区域为所述多目机器人本体所在区域之外的区域;
将所述远程视频信息储存在远程储存器中,形成远程目标用户的视频信息。
6.一种多目机器人语言教学的***,其特征在于,包括:
摄像模块,用于获取目标用户学习过程中多个角度的视频信息;
处理模块,用于将所述多个角度的视频信息进行重叠计算,得到所述目标用户的特征信息,所述特征信息包括目标用户的语音特征、肢体特征和面部表情特征;
服务模块,根据所述特征信息在***预设信息中查找对应的认知结果,其中所述***预设信息中包括各种特征信息,以及与各种特征信息分别对应的认知结果;
执行模块,用于执行所述认知结果相对应的指令。
7.根据权利要求6所述的多目机器人语言教学的***,其特征在于,所述摄像模块包括:
第一摄像单元,用于分别获取多个目标用户学习过程中的视频信息,其中所述视频信息包括不同角度的视频;
第一存储单元,将含有同一目标用户的不同角度的视频储存在同一储存器中,形成所述目标用户学习过程中多个角度的视频信息。
8.根据权利要求6所述的多目机器人语言教学的***,其特征在于,所述执行模块包括:
第一教学单元,用于识别所述认知结果对应的指令类别;
第一执行单元,若为第一指令,则控制***进入下一教学环节;
第二执行单元,若为第二指令,则重复该教学环节,并发出提示语音信息。
9.根据权利要求8所述的多目机器人语言教学的***,其特征在于,所述第二执行单元包括:
定位子单元,用于根据所述位置信息得到所述目标用户的定位信息;
提示子单元,用于根据所述定位信息指向性地发出提示语音信息。
10.根据权利要求6所述的多目机器人语言教学的***,其特征在于,所述摄像模块还包括:
第二摄像单元,用于通过手眼摄像装置获取位于第二区域的目标用户学习过程中的远程视频信息,其中所述第二区域为所述多目机器人本体所在区域之外的区域;
第二存储单元,用于将所述远程视频信息储存在远程储存器中,形成远程目标用户的视频信息。
CN201811109873.0A 2018-09-21 2018-09-21 多目机器人语言教学的方法及*** Pending CN109166365A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811109873.0A CN109166365A (zh) 2018-09-21 2018-09-21 多目机器人语言教学的方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811109873.0A CN109166365A (zh) 2018-09-21 2018-09-21 多目机器人语言教学的方法及***

Publications (1)

Publication Number Publication Date
CN109166365A true CN109166365A (zh) 2019-01-08

Family

ID=64879968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811109873.0A Pending CN109166365A (zh) 2018-09-21 2018-09-21 多目机器人语言教学的方法及***

Country Status (1)

Country Link
CN (1) CN109166365A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009941A (zh) * 2019-04-12 2019-07-12 广东小天才科技有限公司 一种机器人辅助学习的方法及***
CN111093113A (zh) * 2019-04-22 2020-05-01 广东小天才科技有限公司 一种视频内容的输出方法及电子设备
CN111243353A (zh) * 2020-02-10 2020-06-05 南通大学 一种智能阅读方法
CN111273558A (zh) * 2020-02-10 2020-06-12 南通大学 一种智能阅读***
CN112306832A (zh) * 2020-10-27 2021-02-02 北京字节跳动网络技术有限公司 用户状态响应方法、装置、电子设备及存储介质
CN112330998A (zh) * 2020-11-18 2021-02-05 托普爱英(北京)科技有限公司 辅助学习方法和辅助学习装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201304244Y (zh) * 2008-11-14 2009-09-09 成都绿芽科技发展有限公司 多功能机器人
CN102446428A (zh) * 2010-09-27 2012-05-09 北京紫光优蓝机器人技术有限公司 基于机器人的交互式学习***及其交互方法
CN102905094A (zh) * 2012-10-26 2013-01-30 鸿富锦精密工业(深圳)有限公司 声控电视机及其提高语音接收效果的方法
CN105205455A (zh) * 2015-08-31 2015-12-30 李岩 一种移动平台上人脸识别的活体检测方法及***
CN107203953A (zh) * 2017-07-14 2017-09-26 深圳极速汉语网络教育有限公司 一种基于互联网、表情识别和语音识别的教学***及其实现方法
CN107293236A (zh) * 2017-07-27 2017-10-24 耿凯 自适应不同用户的智能显示装置
CN107369341A (zh) * 2017-06-08 2017-11-21 深圳市科迈爱康科技有限公司 教育机器人
CN107544266A (zh) * 2016-06-28 2018-01-05 广州零号软件科技有限公司 家庭健康服务机器人
CN108537321A (zh) * 2018-03-20 2018-09-14 北京智能管家科技有限公司 一种机器人教学方法、装置、服务器和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201304244Y (zh) * 2008-11-14 2009-09-09 成都绿芽科技发展有限公司 多功能机器人
CN102446428A (zh) * 2010-09-27 2012-05-09 北京紫光优蓝机器人技术有限公司 基于机器人的交互式学习***及其交互方法
CN102905094A (zh) * 2012-10-26 2013-01-30 鸿富锦精密工业(深圳)有限公司 声控电视机及其提高语音接收效果的方法
CN105205455A (zh) * 2015-08-31 2015-12-30 李岩 一种移动平台上人脸识别的活体检测方法及***
CN107544266A (zh) * 2016-06-28 2018-01-05 广州零号软件科技有限公司 家庭健康服务机器人
CN107369341A (zh) * 2017-06-08 2017-11-21 深圳市科迈爱康科技有限公司 教育机器人
CN107203953A (zh) * 2017-07-14 2017-09-26 深圳极速汉语网络教育有限公司 一种基于互联网、表情识别和语音识别的教学***及其实现方法
CN107293236A (zh) * 2017-07-27 2017-10-24 耿凯 自适应不同用户的智能显示装置
CN108537321A (zh) * 2018-03-20 2018-09-14 北京智能管家科技有限公司 一种机器人教学方法、装置、服务器和存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009941A (zh) * 2019-04-12 2019-07-12 广东小天才科技有限公司 一种机器人辅助学习的方法及***
CN111093113A (zh) * 2019-04-22 2020-05-01 广东小天才科技有限公司 一种视频内容的输出方法及电子设备
CN111243353A (zh) * 2020-02-10 2020-06-05 南通大学 一种智能阅读方法
CN111273558A (zh) * 2020-02-10 2020-06-12 南通大学 一种智能阅读***
CN112306832A (zh) * 2020-10-27 2021-02-02 北京字节跳动网络技术有限公司 用户状态响应方法、装置、电子设备及存储介质
CN112330998A (zh) * 2020-11-18 2021-02-05 托普爱英(北京)科技有限公司 辅助学习方法和辅助学习装置

Similar Documents

Publication Publication Date Title
CN109166365A (zh) 多目机器人语言教学的方法及***
US20200380594A1 (en) Virtual try-on system, virtual try-on method, computer program product, and information processing device
CN110349667B (zh) 结合调查问卷及多模态范式行为数据分析的孤独症评估***
CN103460256B (zh) 在扩增现实***中将虚拟图像锚定到真实世界表面
CN108427910B (zh) 深层神经网络ar手语翻译学习方法、客户端及服务器
Breazeal et al. Challenges in building robots that imitate people
US11132845B2 (en) Real-world object recognition for computing device
US20050255434A1 (en) Interactive virtual characters for training including medical diagnosis training
CN106462242A (zh) 使用视线跟踪的用户界面控制
JP6722786B1 (ja) 空間情報管理装置
JP6094131B2 (ja) 教育現場改善支援システム、教育現場改善支援方法、情報処理装置、通信端末およびその制御方法と制御プログラム
CN107656505A (zh) 使用增强现实设备控制人机协作的方法、装置和***
CN106363637A (zh) 一种机器人快速示教方法及装置
CN107369341A (zh) 教育机器人
CN106652590A (zh) 教学方法、教学识别体及教学***
US20120251995A1 (en) Apparatus and method for tutoring in convergence space of real and virtual environment
CN109376737A (zh) 一种协助用户解决学习问题的方法和***
KR102585311B1 (ko) 360도 영상과 hmd를 활용하고, 메타버스 공간 내에서 진행되는 비대면 실시간 교육 방법
CN109300528B (zh) 一种认知康复训练***及方法
CN106409033A (zh) 远程教学辅助***及该***用远程教学方法和设备
US10955911B2 (en) Gazed virtual object identification module, a system for implementing gaze translucency, and a related method
CN115933868A (zh) 翻转讲台的立体综合教学场***及其工作方法
CN110841266A (zh) 一种辅助训练***及方法
CN112748800B (zh) 一种基于智能手套的实验场景感知交互方法
CN112489138A (zh) 一种基于可穿戴式装备的目标态势信息智能获取***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190108