CN101808047A - 即时通讯伴侣机器人及具有通讯伴侣的即时通讯方法 - Google Patents

即时通讯伴侣机器人及具有通讯伴侣的即时通讯方法 Download PDF

Info

Publication number
CN101808047A
CN101808047A CN 201010113117 CN201010113117A CN101808047A CN 101808047 A CN101808047 A CN 101808047A CN 201010113117 CN201010113117 CN 201010113117 CN 201010113117 A CN201010113117 A CN 201010113117A CN 101808047 A CN101808047 A CN 101808047A
Authority
CN
China
Prior art keywords
local
information
instant messaging
robot
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN 201010113117
Other languages
English (en)
Inventor
毕亚雷
胡晓伟
程俊
刘伟
沈玲玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN 201010113117 priority Critical patent/CN101808047A/zh
Publication of CN101808047A publication Critical patent/CN101808047A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)

Abstract

一种即时通讯伴侣机器人,包括承载机器人各个部件的机器人实体;信息输入装置,用于输入用户的本地行为信息;信息处理模块,用于对所述本地行为信息进行处理得到本地行为指令和/或本地通讯信息,对远程通讯信息进行处理得到本地行为指令;行为表达装置,用于根据所述本地行为指令进行相应的本地行为表达;以及即时通讯模块,用于接收来自通讯终端的远程通讯信息并将所述远程通讯信息传递给信息处理模块,获取本地通讯信息并通过通信终端发出。以外还涉及一种利用上述机器人的即时通讯方法。本发明可实现现实行为虚拟化,虚拟行为现实化以及个性化即时通讯服务,提升了用户体验,为即时通讯增值。

Description

即时通讯伴侣机器人及具有通讯伴侣的即时通讯方法
【技术领域】
本发明涉及一种通讯装置,尤其是一种即时通讯装置。
本发明还涉及一种通讯方法,尤其是一种即时通讯方法。
【背景技术】
即时通讯(Instant Messenger,简称IM),是指两人或多人使用网络即时的传递文字讯息、档案、语音与视频交流。现有的常用即时通讯软件有:MSN Messenger、AOL Instant Messenger、GoCom、UcSTAR、calling、Yahoo!Messenger、NET Messenger Service、Jabber、ICQ与QQ、imo:互联网办公室、juyouchina、Gmail Talk、飞信、大蚂蚁bigant、奥博即时通讯、千瓦即时通信***等等。即时通讯利用网络来实现文字、语音、视频、文件的信息的即时交流与互动,有效节省了沟通双方的时间与经济成本,不但成为人们的沟通工具,还成为了人们进行电子商务、工作、学***台。
现有的即时通讯的发展一直局限在不断地提高即时通讯本身的扩展功能,如提供语音/视频聊天、传送文件、发送Email、多人聊天、在线感知等等,这些只是丰富了在线聊天的形式,并没有从操作端的角度考虑IM用户的需求。
【发明内容】
本发明的目的在于,提供一种可作为即时通讯伴侣的机器人,一方面实现现实行为虚拟化,辅助用户进行即时通信交互,将用户发送的信息同时实现本地演绎和远程传输,另一方面实现虚拟行为现实化,接收远程的多媒体信息流并演绎相应信息。
本发明的另一目的在于提供一种具有本地伴侣的即时通讯方法。
为了实现上述的目的,本发明的技术方案如下:
本发明提供了一种即时通讯伴侣机器人,包括承载机器人各个部件的机器人实体,还包括:信息输入装置,用于输入用户的本地行为信息;信息处理模块,用于对所述本地行为信息进行处理得到本地行为指令和/或本地通讯信息,对远程通讯信息进行处理得到本地行为指令;行为表达装置,用于根据所述本地行为指令进行相应的本地行为表达;以及即时通讯模块,用于接收来自通讯终端的远程通讯信息并将所述远程通讯信息传递给信息处理模块,接收本地通讯信息并通过通信终端发出。
优选地,所述的行为表达装置根据所述的本地行为指令进行相应的本地行为表达以及即时通讯模块将本地通讯信息通过通信终端发出是同步进行的。
优选地,所述即时通讯模块为所述的即时通讯伴侣机器人内置的或外置的。
优选地,所述的通讯终端是即时通讯工具。
优选地,所述信息输入装置包括图像输入设备、声音输入设备以及文字输入设备中的一种以上。
优选地,所述图像输入设备包括以下设备中的一种以上:摄像装置,用于捕捉用户的面部表情图像或人体动作图像;以及存储设备,用于保存包含图像的文件,作为图像输入源。
优选地,所述声音输入设备包括以下设备中的一种以上:麦克风,用于获取语音或音乐;电话通讯装置,用于获取电话语音;以及存储设备,用于保存包含声音的文件,作为声音输入源。
优选地,所述文字输入设备包括以下设备中的一种以上:键盘或手写输入设备,用于输入文字;转换设备,用于根据语音获取文字并输入文字;以及存储设备,用于保存包含文字的文件,作为文字输入源。
优选地,所述信息处理模块包括图像处理单元、声音处理单元以及文字处理单元中的一种以上。
优选地,所述图像处理单元包括以下处理单元中的一种以上:人脸识别单元,用于识别用户的面部表情,得到表情相关的本地行为指令和/或本地通讯信息;动作识别单元,用于识别用户的人体动作,得到动作相关的本地行为指令和/或本地通讯信息;图片处理单元,用于分析图片内容,得到图片内容相关的本地行为指令和/或本地通讯信息;以及虚拟表情处理单元,用于处理虚拟表情,得到表情相关的本地行为指令和/或本地通讯信息。
优选地,所述信息处理模块包括转换模块,用于将用户的面部表情图像或人体动作图像转换为虚拟表情。
优选地,所述声音处理单元包括以下处理单元中的一种以上:声音识别单元,用于识别用户的语音;语音处理单元,用于分析语音内容,得到语音内容相关的本地行为指令和/或本地通讯信息;以及音乐播放单元,用于解析音乐文件并播放。
优选地,所述文字处理单元包括以下处理单元中的一种以上:语义识别单元,用于分析文字的语义信息,得到文字相关的行为指令和/或本地通讯信息;以及语音合成单元,用于将文字转换成语音,供机器人播放。
优选地,所述行为表达装置包括机械运动组件、发光组件、声音输出组件以及显示装置中的一种以上。
优选地,所述机械运动组件包括:设于机器人头部可开合的眼帘和嘴巴、设于眼帘内可转动的眼球、可挥动的四肢以及可旋转的底座中一种以上。
优选地,所述发光组件包括可闪烁以及亮度可调节的LED灯。
优选地,所述声音输出组件为音箱或耳机。
优选地,即时通讯伴侣机器人还包括学习模块,用于在用户使用过程中收集用户信息,得到更适合用户使用习惯的行为表达模式和远程通讯信息模式。
本发明还提供了一种具有通讯伴侣的即时通讯方法,包括:信息输入步骤,输入用户的本地行为信息;信息处理步骤,对所述本地行为信息进行处理得到本地行为指令和/或本地通讯信息,对远程通讯信息进行处理得到本地行为指令;行为表达步骤,根据所述本地行为指令在本地进行相应的行为表达;以及即时通讯步骤,接收来自通讯终端的远程通讯信息,接收本地通讯信息并通过通信终端发出。
优选地,所述的行为表达步骤中根据所述的本地行为指令在本地进行相关的行为表达以及即时通讯步骤中将本地通讯信息通过通信终端发出是同步进行的。
优选地,所述的通讯终端是即时通讯工具。
优选地,所述信息输入步骤中输入的本地行为信息包括图像、声音和/或文字,所述的图像包括用户的面部表情图像、人体动作图像和/或虚拟表情,所述的声音包括用户语音、电话语音和/或音乐。
优选地,所述信息处理步骤包括转换步骤,将用户的面部表情图像或人体动作图像转换为虚拟表情。
优选地,所述本地行为表达包括机械运动、发光、声音输出和/或显示。
优选地,具有通讯伴侣的即时通讯方法还包括学习步骤,在用户使用过程中收集用户信息,得到更适合用户使用习惯的行为表达模式和远程通讯信息模式。
由于采用上述的技术方案,本发明的有益效果包括:
本发明为即时通讯提供了通讯伴侣,一方面实现现实行为虚拟化,辅助用户进行即时通信交互,将用户发送的信息同时实现本地演绎和远程传输,另一方面实现虚拟行为现实化,接收远程的多媒体信息流并演绎相应信息,并通过机器人自主学习实现个性化网络信息服务,从而,提升了用户体验,为即时通讯增值。
本发明为即时通讯提供了本地至本地、本地至远程以及远程至本地的多通道的人机对话的智能平台,开拓了即时通讯的多种用户端的功能,包括但不限于聊天机器人、机器人宠物、机器人提醒等等。
通过不同信息流的转换,如语音到文字、文字到语音等,增加了机器人通讯伴侣使用的便捷性。
此外,通过伴侣机器人自身的学习,在使用过程中不断收集用户信息,如用户的语音、语言习惯、动作习惯等,使机器人的服务更加贴近用户的使用方式,增强了用户体验。
【附图说明】
下面结合附图,通过对本发明的较佳实施例的详细描述,将使本发明的技术方案及其他有益效果显而易见。
附图中,
图1为本发明的即时通讯伴侣机器人的原理框图;
图2为本发明的即时通讯伴侣机器人的更为详细的原理框图;
图3为本发明的具有通讯伴侣的即时通讯方法流程图。
【具体实施方式】
为更进一步阐述本发明为达成预定目的所采取的技术手段及功效,请参阅以下有关本发明的详细说明与附图,相信本发明的目的、特征与特点,应当可以由此得到深入且具体的了解,然而附图和实施方式仅提供参考与说明用,并非用来对本发明加以限制。
本发明中的“本地”是指用户所在的位置,“远程”是指用户通过即时通讯进行交流的异地对象所在的位置。
如图1所示,本发明的即时通讯伴侣机器人包括承载机器人各个部件的机器人实体,还包括信息输入装置10、信息处理模块20、行为表达装置30以及即时通讯模块40。
信息输入装置10用于输入用户的本地行为信息;信息处理模块20对本地行为信息进行处理得到本地行为指令和本地通讯信息,对远程通讯信息进行处理得到本地行为指令;行为表达装置30根据本地行为指令进行相应的行为表达;即时通讯模块40接收来自通信终端的远程通讯信息并传递给信息处理模块,将本地通讯信息通过通信终端发出的;行为表达装置根据本地行为指令进行本地行为表达和即时通讯模块将本地通讯信息通过通信终端发出是同步进行的;通讯模块40可以内置或外置;通讯终端则包括MSN、QQ等即时通讯工具。
一方面,实现了现实行为虚拟化,机器人辅助用户进行即时通信交互,将用户发送的信息同时实现本地演绎和远程传输,也就是,机器人采集用户在本地发生的行为即本地行为信息,机器人再将本地行为信息转换为本地行为指令在本地实施行为表达,同时机器人还将本地行为信息转换成本地通讯信息通过通讯终端发送出去;另一方面实现虚拟行为现实化,机器人接收远程的多媒体信息流并演绎相应信息,也就是,机器人从通讯终端接收到远程通讯信息,转换为本地行为指令在本地实施行为表达。
本地行为信息包含图像、声音或文字。信息输入装置10包括图像输入设备102、声音输入设备104以及文字输入设备106中的一种以上。
图像输入设备102包括摄像设备和存储设备中的一种以上。摄像设备用于捕捉用户的面部表情图像或人体动作图像。存储设备中保存有包含图像的文件,如图片、视频等,作为图像输入源,提供给信息处理模块,比如笑脸图片、舞蹈视频等。
声音输入设备104包括麦克风、电话通讯装置以及存储设备中的一种以上。麦克风用于获取语音或音乐,如用户说的话或者舞蹈伴奏音乐;电话通讯装置用于获取电话语音,即该机器人可用于电话通讯,并在电话通讯过程中获取语音;存储设备中保存有包含声音的文件,作为声音输入源,如用户录音或音乐,用户录音可以是用户为了保证指令输入的一致性做的录音存档。
文字输入设备106包括键盘或手写输入设备、转换设备以及存储设备中的一种以上。键盘或手写输入设备是常规的输入文字的手段;转换设备是一种利用语音到文字(speech to text)技术的输入文字的设备,可将用户的语音转换成文字;存储设备中保存有包含图像的文件,该文件可作为文字输入源。
上述的图像、声音或文字除了用于本地表达之外,还经过信息处理模块20的处理形成本地通讯信息,通过即时通讯模块发送到远端。
图像、声音或文字可以是单独出现,也可以一起出现。本地行为信息包含在图像、声音或文字中,信息处理模块20用于对图像、声音或文字进行处理获取指示机器人实施指定行为的本地行为指令以及机器人通过通讯终端向远程发送的本地通讯信息。信息处理模块20包括图像处理单元202、声音处理单元204以及文字处理单元206中的一种以上。
图像处理单元202包括人脸识别单元、动作识别单元、图片处理单元以及虚拟表情处理单元中的一种以上。人脸识别单元用于识别人的面部表情,得到使机器人作出相应表情的本地行为指令和将向远程发送的本地通讯信息,如用户的笑脸被摄像头捕捉,就可将其转换为机器人实现笑脸和发出笑声的动作指令,同时将笑脸相关图像(包括实际图像和虚拟图像)通过即时通讯终端发送。动作识别单元用于识别人体动作,得到使机器人作出相应动作的指令,比如用户做出挥手动作被摄像头捕捉,经过动作识别模块识别为挥手,就可将其转换为机器人的挥手指令,同时将挥手动作相关图像(包括实际图像和虚拟图像)通过即时通讯终端发送。图片处理单元用于分析图片内容,图片可以是静态或动态的图像,如用户照片或GIF动画等,得到使机器人的本地行为指令和向远程发送的本地通讯信息。虚拟表情处理单元用于处理虚拟表情,得到使机器人做出相应表情的指令,同时将表情相关图像通过即时通讯终端发送,虚拟表情被广泛地用在网络上,可以代替较多的文字表达,形象生动。
声音处理单元204包括声音识别单元和音乐播放单元中的一种以上。声音识别单元用于识别用户;语音处理单元,用于分析语音内容,得到使机器人做出与语音内容相关的本地行为指令,同时将相关信息通过即时通讯终端发送;音乐播放单元用于解析音乐文件播放音乐。
文字处理单元206包括语义识别单元和语音合成单元中的一种以上。语义识别单元用于分析文字的语义信息,得到使机器人做出相应行为的指令,同时将相关信息通过即时通讯终端发送;语音合成单元,采用文字到语音(text tospeech)技术将文字转换成语音,供机器人朗读。
此外,还包括转换模块208,用于将用户的面部表情图像或人体动作图像转换为虚拟表情。
机器人的行为表达可通过动作或声光效果来表现。比如挥手、转动、嘴巴开合、眼睛发光闪烁以及发声等。如图2所示,机器人的行为表达组件30安装于机器人体上的机械运动组件302、发光组件304、声音输出组件306以及显示装置308中的一种以上。
机械运动组件302包括设于机器人头部可开合的眼帘和嘴巴、设于眼帘内可转动的眼球、可挥动的四肢以及可旋转的底座。眼帘的开合可以实现眨眼、嘴巴的开合可配合机器人朗读。
发光组件304包括可闪烁以及亮度可调节的LED灯。LED灯可安装于机器人的眼睛上,并且通过亮度调节以及闪烁效果使机器人的表情效果更生动。
声音输出组件306为音箱或耳机。
显示装置308为显示器,可用于显示虚拟表情、文字、图像等。
本发明的机器人还可以实现诸多功能,如独立聊天、机器人宠物等。独立聊天就是用户与机器人之间的交互,用户向机器人输入语音或文字,甚至动作等本地行为信息,这些本地行为信息被处理后由机器人表达,达到交互的目的。而机器人的行为表达装置根据用户的输入的本地信息以及接收到的远程通讯信息来做出丰富的表情、动作及发声等,使其可以作为宠物。
通过连接到网络,该机器人可以实现多种远程信息的演绎功能,如邮件提醒,网络传输到机器人的信息通过触发声音或动作、发光等,实现提醒功能。
进一步地,机器人还包括学习模块50,用于在用户使用过程中收集用户信息,得到更适合用户使用习惯的行为表达模式,远程信息通讯模式和个性化的网络信息服务。
如图3所示,为本发明的具有通讯伴侣的即时通讯方法流程图。该方法包括如下步骤:
S10:信息输入,输入用户的本地行为信息。本地行为信息包含图像、声音或文字。图像如摄像设备捕捉到的用户的面部表情图像或人体动作图像或存储设备中保存的包含图像的文件,如图片、视频等。声音如麦克风获取的语音或音乐,用户说的话或者舞蹈伴奏音乐;电话通讯装置获取的电话语音,;存储设备中保存的包含声音的文件,如用户录音或音乐,用户录音可以是用户为了保证指令输入的一致性做的录音存档。文字如文档,邮件等。
S20:信息处理,对所述本地行为信息进行处理得到本地行为指令和/或本地通讯信息,对远程通讯信息进行处理得到本地行为指令。信息处理涉及对图像、声音以及文字等的处理生成指令,以及生成用于发送到远端的本地通讯信息。具体包括人脸识别、动作识别、虚拟表情生成、图片处理等。
S30:行为表达,根据所述本地行为指令在本地进行相应的行为表达。机器人的行为表达可通过动作或声光效果来表现。比如挥手、转动、嘴巴开合、眼睛发光闪烁以及发声等。通过驱动机械组件、发光组件、发声组件以及显示装置等来实现。
S40:即时通讯,接收来自通讯终端的远程通讯信息,接收本地通讯信息并通过通信终端发出。
优选地,步骤S30中根据所述的本地行为指令在本地进行相关的行为表达以及步骤S40中将本地通讯信息通过通信终端发出是同步进行的。
S40中所用的通讯终端是即时通讯工具,如MSN、QQ等。
步骤S10中输入的本地行为信息包括图像、声音和/或文字,所述的图像包括用户的面部表情图像、人体动作图像和/或虚拟表情,所述的声音包括用户语音、电话语音和/或音乐。
步骤20进一步包括转换步骤,将用户的面部表情图像或人体动作图像转换为虚拟表情。
本地行为表达包括机械运动、发光、声音输出和/或显示。
进一步地,还包括S50:学习步骤,在用户使用过程中收集用户信息,得到更适合用户使用习惯的行为表达模式,远程通讯信息模式和个性化的网络信息服务。
实施例1:
本地和远程的即时通讯娱乐机器人既是输入端,也是输出端,产生、传递和表达相应的信息。本地端即时通讯娱乐机器人通过智能摄像头获得人脸图像,图像在数据处理模块中被进行分析并生成情绪信号,然后同时向本地和远程的机器人发生行为指令。本地和远程的机器人通过动作、声音、灯光的组合表达出相应的情绪和表情。比如使用者在使用QQ进行聊天的时候,本地使用者做了一个非常生气的表情,一方面,本地机器人就会识别出表情,眼帘突然打开,眼睛的LED等会突然增亮并闪烁,嘴巴张开并发出“嗯”的声音;同时,本地机器人通过QQ向对方发过去一个虚拟的生气表情在远程屏幕上显示,而且远程的机器人在扑捉到生气的表情信息后会做出生气的表情和动作。
实施例2:
远程用户通过即时通讯工具向本地发送一个大笑虚拟表情信号,本地机器人会自动捕捉该虚拟表情信号,眼帘微合,眼睛的LED不停闪烁,嘴巴张开并发出“哈、哈”的笑声。
实施例3:
在使用即时通讯工具的时候,本地用户向远程发送一个伤心的虚拟表情。远程用户的机器人在捕捉到该虚拟表情后,眼帘会慢慢闭上,眼睛LED亮度减弱,嘴巴发出“呜呜”的声音。
实施例4:
当用户对机器人说“登录QQ聊天”时,机器人通过语音识别产生行为指令。同时摄像头进行拍摄并进行人脸识别。如果确定使用者为主人,通过人脸信息与身份信息捆绑,机器人将自动为主人登录上QQ聊天室,而不需要通过键盘输入用户的号码和密码。通过人脸识别和身份信息捆绑,机器人还可以帮助主人进行其他的登录操作,比如登录邮箱。
实施例5:
用户在outlook中设定事件的时间和内容。机器人会提取事件的时间和内容,并及时提醒用户。比如事件设定为2009年6月6号为主人的生日,当天,机器人就会自动的为主人唱祝你生日快乐的歌曲,并伴有表情和舞蹈动作。
与特定的情景结合,比如QQ的开心农场,机器人会定时提醒主人去摘菜。会经预先设定,在特定的时间段帮主人种菜、收菜、偷菜等。再比如,当接收到新的邮件时,机器人会通过Text-to-speech技术读出新邮件的地址和主题内容,还可以通过Speech-to-text技术,实现通过语音撰写邮件的功能。
实施例6:
通过机器人学习技术,该机器人通过收集、存储、分析用户的使用信息,学习用户的操作习惯,并自动提供一些相关的服务。以客户网上购物为例,该机器人可以记录主人的购物历史,并将之发送到服务器,服务器进行超算和云计算,并能针对计算出的客户行为习惯,自动进行相关搜索,成为主人的购物顾问。再以语音输入为例,即使用户的发音不标准,比如湖南方言,机器人通过学习也能识别出相应的语义,并能做出湖南方言的发音。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (25)

1.一种即时通讯伴侣机器人,包括承载机器人各个部件的机器人实体,其特征在于,还包括:
信息输入装置,用于输入用户的本地行为信息;
信息处理模块,用于对所述本地行为信息进行处理得到本地行为指令和/或本地通讯信息,对远程通讯信息进行处理得到本地行为指令;
行为表达装置,用于根据所述本地行为指令进行相应的本地行为表达;以及
即时通讯模块,用于接收来自通讯终端的远程通讯信息并将所述远程通讯信息传递给信息处理模块,获取本地通讯信息并通过通信终端发出。
2.如权利要求1所述的即时通讯伴侣机器人,其特征在于,所述的行为表达装置根据所述的本地行为指令进行相应的本地行为表达以及即时通讯模块将本地通讯信息通过通信终端发出是同步进行的。
3.如权利要求1或2所述的即时通讯伴侣机器人,其特征在于,所述即时通讯模块为所述的即时通讯伴侣机器人内置的或外置的。
4.如权利要求1或2所述的即时通讯伴侣机器人,其特征在于,所述的通讯终端是即时通讯工具。
5.如权利要求1或2所述的即时通讯伴侣机器人,其特征在于,所述信息输入装置包括图像输入设备、声音输入设备以及文字输入设备中的一种以上。
6.如权利要求5所述的即时通讯伴侣机器人,其特征在于,所述图像输入设备包括以下设备中的一种以上:
摄像装置,用于捕捉用户的面部表情图像或人体动作图像;以及
存储设备,用于保存包含图像的文件,作为图像输入源。
7.如权利要求5所述的即时通讯伴侣机器人,其特征在于,所述声音输入设备包括以下设备中的一种以上:
麦克风,用于获取语音或音乐;
电话通讯装置,用于获取电话语音;以及
存储设备,用于保存包含声音的文件,作为声音输入源。
8.如权利要求5所述的即时通讯伴侣机器人,其特征在于,所述文字输入设备包括以下设备中的一种以上:
键盘或手写输入设备,用于输入文字;
转换设备,用于根据语音获取文字并输入文字;以及
存储设备,用于保存包含文字的文件,作为文字输入源。
9.如权利要求1或2所述的即时通讯伴侣机器人,其特征在于,所述信息处理模块包括图像处理单元、声音处理单元以及文字处理单元中的一种以上。
10.如权利要求9所述的即时通讯伴侣机器人,其特征在于,所述图像处理单元包括以下处理单元中的一种以上:
人脸识别单元,用于识别用户的面部表情,得到表情相关的本地行为指令和/或本地通讯信息;
动作识别单元,用于识别用户的人体动作,得到动作相关的本地行为指令和/或本地通讯信息;
图片处理单元,用于分析图片内容,得到图片内容相关的本地行为指令和/或本地通讯信息;以及
虚拟表情处理单元,用于处理虚拟表情,得到表情相关的本地行为指令和/或本地通讯信息。
11.如权利要求1或2所述的即时通讯伴侣机器人,其特征在于,所述信息处理模块包括转换模块,用于将用户的面部表情图像或人体动作图像转换为虚拟表情。
12.如权利要求9所述的即时通讯伴侣机器人,其特征在于,所述声音处理单元包括以下处理单元中的一种以上:
声音识别单元,用于识别用户的语音;
语音处理单元,用于分析语音内容,得到语音内容相关的本地行为指令和/或本地通讯信息;以及
音乐播放单元,用于解析音乐文件并播放。
13.如权利要求9所述的即时通讯伴侣机器人,其特征在于,所述文字处理单元包括以下处理单元中的一种以上:
语义识别单元,用于分析文字的语义信息,得到文字相关的行为指令和/或本地通讯信息;以及
语音合成单元,用于将文字转换成语音,供机器人播放。
14.如权利要求1或2所述的即时通讯伴侣机器人,其特征在于,所述行为表达装置包括机械运动组件、发光组件、声音输出组件以及显示装置中的一种以上。
15.如权利要求14所述的即时通讯伴侣机器人,其特征在于,所述机械运动组件包括:
设于机器人头部可开合的眼帘和嘴巴、设于眼帘内可转动的眼球、可挥动的四肢以及可旋转的底座中一种以上。
16.如权利要求14所述的即时通讯伴侣机器人,其特征在于,所述发光组件包括可闪烁以及亮度可调节的LED灯。
17.如权利要求14所述的即时通讯伴侣机器人,其特征在于,所述声音输出组件为音箱或耳机。
18.如权利要求1或2所述的即时通讯伴侣机器人,其特征在于,还包括学习模块,用于在用户使用过程中收集用户信息,得到更适合用户使用习惯的行为表达模式,远程通讯信息模式和个性化的网络信息服务。
19.一种具有通讯伴侣的即时通讯方法,包括:
信息输入步骤,输入用户的本地行为信息;
信息处理步骤,对所述本地行为信息进行处理得到本地行为指令和/或本地通讯信息;对远程通讯信息进行处理得到本地行为指令;
行为表达步骤,根据所述本地行为指令在本地进行相应的行为表达;以及
即时通讯步骤,接收来自通讯终端的远程通讯信息;接收本地通讯信息并通过通信终端发出。
20.如权利要求19所述的具有通讯伴侣的即时通讯方法,其特征在于,所述的行为表达步骤中根据所述的本地行为指令在本地进行相关的行为表达以及即时通讯步骤中将本地通讯信息通过通信终端发出是同步进行的。
21.如权利要求19或20所述的具有通讯伴侣的即时通讯方法,其特征在于,所述的通讯终端是即时通讯工具。
22.如权利要求19或20所述的具有通讯伴侣的即时通讯方法,其特征在于,所述信息输入步骤中输入的本地行为信息包括图像、声音和/或文字,所述的图像包括用户的面部表情图像、人体动作图像和/或虚拟表情,所述的声音包括用户语音、电话语音和/或音乐。
23.如权利要求22所述的具有通讯伴侣的即时通讯方法,其特征在于,所述信息处理步骤包括转换步骤,将用户的面部表情图像或人体动作图像转换为虚拟表情。
24.如权利要求19或20所述的具有通讯伴侣的即时通讯方法,其特征在于,所述本地行为表达包括机械运动、发光、声音输出和/或显示。
25.如权利要求19或20所述的具有通讯伴侣的即时通讯方法,其特征在于,还包括学习步骤,在用户使用过程中收集用户信息,得到更适合用户使用习惯的行为表达模式,远程通讯信息模式和个性化的网络信息服务。
CN 201010113117 2010-02-10 2010-02-10 即时通讯伴侣机器人及具有通讯伴侣的即时通讯方法 Pending CN101808047A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201010113117 CN101808047A (zh) 2010-02-10 2010-02-10 即时通讯伴侣机器人及具有通讯伴侣的即时通讯方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010113117 CN101808047A (zh) 2010-02-10 2010-02-10 即时通讯伴侣机器人及具有通讯伴侣的即时通讯方法

Publications (1)

Publication Number Publication Date
CN101808047A true CN101808047A (zh) 2010-08-18

Family

ID=42609669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010113117 Pending CN101808047A (zh) 2010-02-10 2010-02-10 即时通讯伴侣机器人及具有通讯伴侣的即时通讯方法

Country Status (1)

Country Link
CN (1) CN101808047A (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102779144A (zh) * 2012-03-20 2012-11-14 北京捷通华声语音技术有限公司 一种手写控制、查询的方法和装置
CN103763179A (zh) * 2014-01-07 2014-04-30 深圳市中科睿成智能科技有限公司 一种微互动装置、微互动***及微互动方法
CN103914005A (zh) * 2012-12-31 2014-07-09 北京新媒传信科技有限公司 机器人控制方法及终端
CN103986857A (zh) * 2014-04-24 2014-08-13 华国洋 一种无线摄像头
CN104994013A (zh) * 2015-08-11 2015-10-21 苏州乐聚一堂电子科技有限公司 聊天机器人与聊天***
CN105005614A (zh) * 2015-07-17 2015-10-28 深圳狗尾草智能科技有限公司 一种机器人情侣社交***及其交互方法
CN105024922A (zh) * 2015-07-22 2015-11-04 苏州乐聚一堂电子科技有限公司 聊天机器人与聊天***
CN105072143A (zh) * 2015-07-02 2015-11-18 百度在线网络技术(北京)有限公司 基于人工智能的智能机器人与客户端的交互***
CN105126355A (zh) * 2015-08-06 2015-12-09 上海元趣信息技术有限公司 儿童陪伴机器人与儿童陪伴***
CN105187768A (zh) * 2015-07-29 2015-12-23 苏州乐聚一堂电子科技有限公司 聊天机器人与聊天***
CN105656954A (zh) * 2014-11-11 2016-06-08 沈阳新松机器人自动化股份有限公司 一种基于互联网和机器人的智能社区***
CN105874405A (zh) * 2013-12-11 2016-08-17 Lg电子株式会社 智能家用电器、其操作方法及使用智能家用电器的语音识别***
CN106227347A (zh) * 2016-07-26 2016-12-14 北京光年无限科技有限公司 面向智能机器人的通讯方法、设备及通讯***
CN106453228A (zh) * 2016-08-02 2017-02-22 北京光年无限科技有限公司 一种用于智能机器人的用户登录方法以及***
CN106919251A (zh) * 2017-01-09 2017-07-04 重庆邮电大学 一种基于多模态情感识别的虚拟学习环境自然交互方法
CN106933354A (zh) * 2017-02-16 2017-07-07 落地创意(武汉)科技有限公司 一种3d打印互动墙互动方法及***
CN107316516A (zh) * 2017-07-12 2017-11-03 马永怡 一种电子学***台
CN107731227A (zh) * 2017-10-27 2018-02-23 国网天津市电力公司 一种基于大数据云计算的信息交互***及其信息交互方法
CN108260045A (zh) * 2017-12-18 2018-07-06 佛山市创思特音响有限公司 一种记录用户使用习惯的音响***
CN108809808A (zh) * 2018-06-06 2018-11-13 出门问问信息科技有限公司 信息处理方法、装置、设备及存储介质
CN109623837A (zh) * 2018-12-20 2019-04-16 北京子歌人工智能科技有限公司 一种基于人工智能的伴侣机器人
CN109761126A (zh) * 2019-01-31 2019-05-17 深圳桥通物联科技有限公司 电梯轿厢内乘客对话的语音识别及内容显示的方法
CN110213062A (zh) * 2019-05-24 2019-09-06 北京小米移动软件有限公司 处理消息的方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1461464A (zh) * 2001-04-20 2003-12-10 索尼公司 语言处理装置
CN1516078A (zh) * 2003-01-09 2004-07-28 春水堂科技娱乐股份有限公司 虚拟肖像产生***
CN1835828A (zh) * 2003-08-12 2006-09-20 株式会社国际电气通信基础技术研究所 用于通信机器人的控制***
JP4276624B2 (ja) * 2002-12-10 2009-06-10 本田技研工業株式会社 ロボット制御装置、ロボット制御方法、及びロボット制御プログラム
CN101474481A (zh) * 2009-01-12 2009-07-08 北京科技大学 情感机器人***
CN101527688A (zh) * 2008-03-05 2009-09-09 吴迪 网络聊天宠物、***及实现方法
CN201304244Y (zh) * 2008-11-14 2009-09-09 成都绿芽科技发展有限公司 多功能机器人

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1461464A (zh) * 2001-04-20 2003-12-10 索尼公司 语言处理装置
JP4276624B2 (ja) * 2002-12-10 2009-06-10 本田技研工業株式会社 ロボット制御装置、ロボット制御方法、及びロボット制御プログラム
CN1516078A (zh) * 2003-01-09 2004-07-28 春水堂科技娱乐股份有限公司 虚拟肖像产生***
CN1835828A (zh) * 2003-08-12 2006-09-20 株式会社国际电气通信基础技术研究所 用于通信机器人的控制***
CN101527688A (zh) * 2008-03-05 2009-09-09 吴迪 网络聊天宠物、***及实现方法
CN201304244Y (zh) * 2008-11-14 2009-09-09 成都绿芽科技发展有限公司 多功能机器人
CN101474481A (zh) * 2009-01-12 2009-07-08 北京科技大学 情感机器人***

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102779144A (zh) * 2012-03-20 2012-11-14 北京捷通华声语音技术有限公司 一种手写控制、查询的方法和装置
CN103914005A (zh) * 2012-12-31 2014-07-09 北京新媒传信科技有限公司 机器人控制方法及终端
US10269344B2 (en) 2013-12-11 2019-04-23 Lg Electronics Inc. Smart home appliances, operating method of thereof, and voice recognition system using the smart home appliances
CN105874405A (zh) * 2013-12-11 2016-08-17 Lg电子株式会社 智能家用电器、其操作方法及使用智能家用电器的语音识别***
CN103763179A (zh) * 2014-01-07 2014-04-30 深圳市中科睿成智能科技有限公司 一种微互动装置、微互动***及微互动方法
CN103986857A (zh) * 2014-04-24 2014-08-13 华国洋 一种无线摄像头
CN105656954A (zh) * 2014-11-11 2016-06-08 沈阳新松机器人自动化股份有限公司 一种基于互联网和机器人的智能社区***
CN105072143B (zh) * 2015-07-02 2018-11-20 百度在线网络技术(北京)有限公司 基于人工智能的智能机器人与客户端的交互***
CN105072143A (zh) * 2015-07-02 2015-11-18 百度在线网络技术(北京)有限公司 基于人工智能的智能机器人与客户端的交互***
CN105005614A (zh) * 2015-07-17 2015-10-28 深圳狗尾草智能科技有限公司 一种机器人情侣社交***及其交互方法
CN105024922A (zh) * 2015-07-22 2015-11-04 苏州乐聚一堂电子科技有限公司 聊天机器人与聊天***
CN105187768A (zh) * 2015-07-29 2015-12-23 苏州乐聚一堂电子科技有限公司 聊天机器人与聊天***
CN105126355A (zh) * 2015-08-06 2015-12-09 上海元趣信息技术有限公司 儿童陪伴机器人与儿童陪伴***
CN104994013A (zh) * 2015-08-11 2015-10-21 苏州乐聚一堂电子科技有限公司 聊天机器人与聊天***
CN106227347A (zh) * 2016-07-26 2016-12-14 北京光年无限科技有限公司 面向智能机器人的通讯方法、设备及通讯***
CN106227347B (zh) * 2016-07-26 2019-05-21 北京光年无限科技有限公司 面向智能机器人的通讯方法、设备及通讯***
CN106453228A (zh) * 2016-08-02 2017-02-22 北京光年无限科技有限公司 一种用于智能机器人的用户登录方法以及***
CN106453228B (zh) * 2016-08-02 2019-12-24 北京光年无限科技有限公司 一种用于智能机器人的用户登录方法以及***
CN106919251A (zh) * 2017-01-09 2017-07-04 重庆邮电大学 一种基于多模态情感识别的虚拟学习环境自然交互方法
CN106933354A (zh) * 2017-02-16 2017-07-07 落地创意(武汉)科技有限公司 一种3d打印互动墙互动方法及***
CN107316516A (zh) * 2017-07-12 2017-11-03 马永怡 一种电子学***台
CN107731227A (zh) * 2017-10-27 2018-02-23 国网天津市电力公司 一种基于大数据云计算的信息交互***及其信息交互方法
CN108260045A (zh) * 2017-12-18 2018-07-06 佛山市创思特音响有限公司 一种记录用户使用习惯的音响***
CN108809808A (zh) * 2018-06-06 2018-11-13 出门问问信息科技有限公司 信息处理方法、装置、设备及存储介质
CN109623837A (zh) * 2018-12-20 2019-04-16 北京子歌人工智能科技有限公司 一种基于人工智能的伴侣机器人
CN109761126A (zh) * 2019-01-31 2019-05-17 深圳桥通物联科技有限公司 电梯轿厢内乘客对话的语音识别及内容显示的方法
CN110213062A (zh) * 2019-05-24 2019-09-06 北京小米移动软件有限公司 处理消息的方法及装置

Similar Documents

Publication Publication Date Title
CN101808047A (zh) 即时通讯伴侣机器人及具有通讯伴侣的即时通讯方法
CN201611889U (zh) 即时通讯伴侣机器人
CN111833418B (zh) 动画交互方法、装置、设备以及存储介质
TWI430189B (zh) 訊息擬真處理系統、裝置及方法
CN105917404B (zh) 用于实现数字个人助理的方法、设备和***
US11468894B2 (en) System and method for personalizing dialogue based on user's appearances
CN105224073B (zh) 一种基于语音控制的点读手表及其点读方法
CN110413841A (zh) 多态交互方法、装置、***、电子设备及存储介质
CN110188177A (zh) 对话生成方法及装置
JP2020034895A (ja) 応答方法及び装置
CN102568023A (zh) 用于富于表情的化身的实时动画
JP6400445B2 (ja) 会話分析装置、会話分析システム、会話分析方法及び会話分析プログラム
CN105446953A (zh) 一种智能机器人与虚拟3d的交互***及方法
CN1427626A (zh) 虚拟电视通话装置
WO2020228208A1 (zh) 用户智能设备及其情绪图符处理方法
KR20100129122A (ko) 텍스트 기반 데이터를 애니메이션으로 재생하는 애니메이션 시스템
KR101738142B1 (ko) 감성 기반의 대화가 가능한 디지털 생명체 생성 시스템 및 그 제어방법
CN117523088A (zh) 一种个性化的三维数字人全息互动形成***及方法
CN112382287A (zh) 语音交互方法、装置、电子设备和存储介质
CN116311456A (zh) 基于多模态交互信息的虚拟人表情个性化生成方法
KR20170135598A (ko) 특정인의 합성된 가상 음성을 이용한 음성 대화 시스템 및 방법
CN110910898B (zh) 一种语音信息处理的方法和装置
CN114882861A (zh) 语音生成方法、装置、设备、介质及产品
JP2021086415A (ja) 仮想人物対話システム、映像生成方法、映像生成プログラム
CN112492400B (zh) 互动方法、装置、设备以及通信方法、拍摄方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20100818