CN110363278B - 一种亲子互动方法、机器人、服务器及亲子互动*** - Google Patents
一种亲子互动方法、机器人、服务器及亲子互动*** Download PDFInfo
- Publication number
- CN110363278B CN110363278B CN201910668358.4A CN201910668358A CN110363278B CN 110363278 B CN110363278 B CN 110363278B CN 201910668358 A CN201910668358 A CN 201910668358A CN 110363278 B CN110363278 B CN 110363278B
- Authority
- CN
- China
- Prior art keywords
- information
- child
- image information
- parent
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000008921 facial expression Effects 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims description 22
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000008451 emotion Effects 0.000 description 20
- 230000006399 behavior Effects 0.000 description 18
- 230000002996 emotional effect Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 8
- 208000019901 Anxiety disease Diseases 0.000 description 6
- 230000036506 anxiety Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 206010013954 Dysphoria Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000003028 Stuttering Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Robotics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Manipulator (AREA)
- Toys (AREA)
Abstract
本发明属于机器人领域,公开了一种亲子互动方法、机器人、服务器及亲子互动***,其方法包括:机器人每间隔预设时长采集儿童的图像信息,图像信息包含儿童的面部表情信息和当前环境信息;机器人将所述图像信息发送至服务器;服务器根据图像信息识别得到儿童的当前状态信息;服务器根据所述当前状态信息,判断儿童是否需要帮助,若是,则将图像信息和当前状态信息发送至家长的智能终端,并接收智能终端返回的回复信息;机器人接收所述服务器发送的所述回复信息,并开启亲子互动模式。本发明不仅可在儿童需要帮助时,帮助儿童和家长进行亲子互动,以帮助儿童解决问题,并且可节省家长观看监控的时间。
Description
技术领域
本发明属于机器人技术领域,特别涉及一种亲子互动方法、机器人、服务器及亲子互动***。
背景技术
如今不少家长工作越来越繁忙,使得家长在孩子的幼儿教育和成长过程中长时间处于缺席状态,如何给予孩子们高质量的陪伴和关爱一直是困扰家长的难题。
而随着人工智能和机器人行业的快速发展,AI儿童机器人的出现,很大程度上弥补了家长们对孩子无法陪伴的遗憾,让家长们能以另一种方式“陪伴”在孩子身侧。
目前,市面上的儿童机器人的功能还比较单一,只能与儿童进行日常聊天、播放绘本故事、古诗、儿歌和动画片等;还无法在儿童需要帮助时,将儿童的信息反馈给家长,由家长针对性的与儿童进行互动交流,以帮助儿童解决问题。
发明内容
本发明的目的是提供一种亲子互动方法、机器人、服务器及亲子互动***,不仅可在儿童需要帮助时,帮助儿童和家长进行亲子互动,以帮助儿童解决问题,并且可节省家长观看监控的时间。
本发明提供的技术方案如下:
一方面,提供一种亲子互动方法,包括机器人和服务器;
所述机器人每间隔预设时长采集儿童的图像信息,所述图像信息包含所述儿童的面部表情信息和当前环境信息;
所述机器人将所述图像信息发送至所述服务器;
所述服务器根据所述图像信息识别得到所述儿童的当前状态信息;
所述服务器根据所述当前状态信息,判断所述儿童是否需要帮助,若是,则将所述图像信息和所述当前状态信息发送至家长的智能终端,并接收所述智能终端返回的回复信息;
所述机器人接收所述服务器发送的所述回复信息,并开启亲子互动模式。
进一步优选地,所述服务器根据所述图像信息识别得到所述儿童的当前状态信息具体包括:
将所述图像信息输入到预设的识别模型中;
若所述识别模型可识别所述图像信息,则输出当前状态信息;
若所述识别模型未识别出所述图像信息,则计算所述图像信息的特征值;
根据所述特征值在预设的特征库中查找到匹配的当前状态信息。
进一步优选地,所述特征库的创建方法为:
收集大量不同的图像信息,所述图像信息包含所述儿童的面部表情信息和当前环境信息;
获取所述图像信息对应的状态信息;
提取出各图像信息中的特征;
计算所述特征的特征值,所述特征值为预设位数的字母和数据组合而成;
建立所述特征值与所述状态信息之间的对应关系;
根据所述特征值、所述状态信息以及所述特征值与所述状态信息之间的对应关系,创建所述特征库。
进一步优选地,所述若所述识别模型未识别出所述图像信息,则计算所述图像信息的特征值具体包括:
若所述识别模型未识别出所述图像信息,则提取出所述图像信息中的目标图像;
计算所述目标图像对应的特征值;
所述根据所述特征值在预设的特征库中查找到对应的当前状态信息具体包括:
在预设的所述特征库中查找到与所述特征值匹配的目标特征值;
根据所述目标特征值对应的状态信息,得到所述图像信息对应的当前状态信息。
进一步优选地,所述机器人接收所述服务器返回的回复信息,并开启亲子互动模式具体包括:
接收所述服务器返回的回复信息,判断所述回复信息是否包含视频聊天请求;
若是,则接受所述视频聊天请求;
若否,则将所述回复信息转换为家长的语音信息并进行播放,然后采集所述儿童的语音信息,将所述儿童的语音信息发送至所述智能终端,并接收所述智能终端再次返回的回复信息,并进行语音转换和播放。
另一方面,还提供一种机器人,包括:
图像采集模块,用于每间隔预设时长采集儿童的图像信息,所述图像信息包含所述儿童的面部表情信息和当前环境信息;
图像发送模块,用于将所述图像信息发送至服务器,使所述服务器根据所述图像信息识别得到所述儿童的当前状态信息,并根据所述当前状态信息,判断所述儿童是否需要帮助,若是,则将所述图像信息和所述当前状态信息发送至家长的智能终端,然后接收所述智能终端返回的回复信息;
处理模块,用于接收所述服务器发送的所述回复信息,并开启亲子互动模式。
进一步优选地,所述处理模块包括:
信息接收单元,用于接收所述智能终端返回的回复信息;
判断单元,用于判断所述回复信息是否包含视频聊天请求;
处理单元,用于当所述回复信息中包含视频聊天请求时,接受所述视频聊天请求;
所述处理单元,还用于当所述回复信息中不包含视频聊天请求时,将所述回复信息转换为家长的语音信息并进行播放,然后采集所述儿童的语音信息,将所述儿童的语音信息发送至所述智能终端,并接收所述智能终端再次返回的回复信息,并进行语音转换和播放。
又一方面,还提供一种服务器,包括:
图像接收模块,用于接收机器人采集并发送的儿童的图像信息,所述图像信息包括所述儿童的面部表情信息和当前环境信息;
识别模块,用于根据所述图像信息识别得到所述儿童的当前状态信息;
判断模块,用于根据所述当前状态信息,判断所述儿童是否需要帮助
收发模块,用于当所述儿童需要帮助时,将所述图像信息和所述当前状态信息发送至家长的智能终端,并接收所述智能终端返回的回复信息;
所述收发模块,还用于将所述回复信息发送至所述机器人,使机器人接收到回复信息后,开启亲子互动模式。
进一步优选地,所述识别模块包括:
模型识别单元,用于将所述图像信息输入到预设的识别模型中。若所述识别模型可识别所述图像信息,则输出当前状态信息;
特征值匹配单元,用于若所述识别模型未识别出所述图像信息,则计算所述图像信息的特征值;并根据所述特征值在预设的特征库中查找到匹配的当前状态信息。
再一方面,还提供一种亲子互动***,包括机器人和服务器;
所述机器人,用于每间隔预设时长采集儿童的图像信息,所述图像信息包含所述儿童的面部表情信息和当前环境信息;
所述机器人,用于将所述图像信息发送至服务器;
所述服务器,用于根据所述图像信息识别得到所述儿童的当前状态信息;
所述服务器,用于根据所述当前状态信息,判断所述儿童是否需要帮助,若是,则将所述图像信息和所述当前状态信息发送至家长的智能终端,并接收所述智能终端返回的回复信息;
所述机器人,用于接收所述服务器发送的所述回复信息,并开启亲子互动模式。
与现有技术相比,本发明提供的一种亲子互动方法、机器人、服务器及亲子互动***具有以下有益效果:本发明通过识别儿童的面部表情和环境信息,得到儿童的当前状态信息,并通过当前状态信息判断儿童是否需要帮助或分享,并只在儿童需要家长帮助或分享时,自动将儿童的当前信息发送给家长,以使家长了解儿童的状态,并与儿童建立亲子互动,帮助儿童解决问题,使得儿童需要家长时,实现家长对儿童的陪伴,本发明无需家长时刻盯着视频监控即可知晓儿童是否需要帮助,进而节省家长的时间,并且可避免儿童想问题想的比较烦躁时,忘记通过机器人与家长进行互动;此外,还可在识别出儿童可能存在危险时,发送提示信息给家长,使家长可及时帮助儿童,以防止儿童出现危险事故。
附图说明
下面将以明确易懂的方式,结合附图说明优选实施方式,对一种亲子互动方法、机器人、服务器及亲子互动***的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明一种亲子互动方法的第一实施例的流程示意图;
图2是本发明一种亲子互动方法的第二实施例的流程示意图;
图3是本发明一种机器人的一个实施例的结构示意框图;
图4是本发明一种服务器的一个实施例的结构示意框图;
图5是本发明一种亲子互动***的一个实施例的结构示意框图。
附图标号说明
100、机器人; 110、图像采集模块;
120、图像发送模块; 130、处理模块;
131、信息接收单元; 132、判断单元;
133、处理单元; 200、服务器;
210、图像接收模块; 220、识别模块;
221、模型识别单元; 222、特征值匹配单元;
230、判断模块; 240、收发模块;
250、创建模块; 251、收集单元;
252、获取单元; 253、提取单元;
254、特征值计算单元; 255、关系建立单元;
256、创建单元。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对照附图说明本发明的具体实施方式。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,并获得其他的实施方式。
应当理解,当在本说明书中使用时,术语“包括”指示所述描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其他特征、整体、步骤、操作、元素、组件和/或集合的存在或添加。
为使图面简洁,各图中只示意性地表示出了与本发明相关的部分,它们并不代表其作为产品的实际结构。另外,以使图面简洁便于理解,在有些图中具有相同结构或功能的部件,仅示意性地绘示了其中的一个,或仅标出了其中的一个。在本文中,“一个”不仅表示“仅此一个”,也可以表示“多于一个”的情形。
根据本发明提供的第一实施例,如图1所示,一种亲子互动方法包括机器人和服务器;
S100所述机器人每间隔预设时长采集儿童的图像信息,所述图像信息包含所述儿童的面部表情信息和当前环境信息;
S200所述机器人将所述图像信息发送至服务器,
S300所述服务器根据所述图像信息识别得到所述儿童的当前状态信息;
S400所述服务器根据所述当前状态信息,判断所述儿童是否需要帮助,若是,则将所述图像信息和所述当前状态信息发送至家长的智能终端,并接收所述智能终端返回的回复信息;
S500所述机器人接收所述服务器发送的所述回复信息,并开启亲子互动模式。
具体地,机器人可与家长的智能终端进行绑定,智能终端可远程控制机器人的开启和关闭,在智能终端上还可查看机器人的开启和关闭状态。当儿童独自在家中时,家长可开启机器人,由机器人陪伴儿童,并当儿童需要帮助时,由机器人反馈相应的信息至智能终端,使家长可在儿童需要帮助的时候与儿童进行亲子互动,以帮助儿童解决问题,并对儿童的烦躁或焦虑情绪进行疏导。
机器人上设置有摄像头和红外探测模块。机器人可通过设置的红外探测模块探测儿童的大概位置。当间隔时长达到预设时长,机器人需要采集儿童的图像信息时,红外探测模块感测儿童的位置,然后根据探测到的位置,使机器人移动到儿童身边,并通过机器人上设置的摄像头采集儿童的图像信息。即机器人每间隔一段时间采集一次儿童的图像信息。采集到的该图像信息包括儿童的面部表情信息和当前环境信息,例如,采集儿童在玩耍时的图像信息、在学习时的图像信息或在思考时的图像信息等。儿童的面部表情信息可反映出儿童的情绪,当前环境信息可反映出儿童当前正在干的事,如是在学习还是在玩玩具。
机器人上还可设置声音定位模块,当红外探测模块无法探测到儿童所在位置时,声音定位模块可通过儿童发出的声音定位儿童所在的位置。若未检测到儿童发出声音,机器人可发出语音引导信息,引导儿童发出声音,并根据儿童发出的声音定位儿童的位置,若发出多次引导信息后,仍未检测到儿童的声音,则认为家中没人,并发送家中没人的反馈信息至家长的智能终端,以便家长知晓,并通过其他途径进一步确认儿童的动向。
机器人采集到儿童的图像信息后,将该图像信息发送至服务器,服务器识别该图像信息,得到儿童的当前状态信息。当前状态信息包括儿童的情绪信息和行为信息(即正在干什么事);情绪信息包括焦虑、难过、开心、烦躁等;行为信息包括玩玩具、做作业、拿着笔思考、发呆等。根据情绪信息可了解儿童当前的情绪状态,根据行为信息可知道儿童是在什么场景下产生地该情绪状态,以便家长知晓产生该情绪状态的原因。
服务器得到儿童的情绪信息和行为信息后,根据该情绪信息和行为信息判断儿童是否需要帮助。在什么情况下儿童需要帮助,可由家长预先在机器人上进行设置,如儿童在烦躁、疑惑、难过、不开心或思考时需要帮助,或者在特定场景下需要与家长进行分享,例如,完成了一件家长布置的任务等。机器人将家长预先设置的信息发送至服务器,服务器即可根据家长预先设置的信息和儿童的当前状态信息判断儿童是否需要帮助。若判断出儿童需要帮助,则将图像信息和当前状态信息发送至家长的智能终端。
家长的智能终端在接收到服务器发送的图像信息和当前状态信息后,家长可根据接收到的信息了解到孩子的一些情况,然后通过智能终端发送回复信息至服务器,服务器再将回复信息发送至机器人,机器人接收到回复信息后,开启亲子互动模式,使孩子通过机器人与家长进行互动,使家长引导孩子说成疑惑点或疑惑,并解答孩子的疑问。
优选地,为了方便家长较全面地了解孩子的当前状况,服务器还可在判断出儿童需要帮助时,在预设数据库中查找与该当前状态信息对应的提示信息,并将获取的图像图像信息、当前状态信息和提示信息发送至与机器人绑定的智能终端。提示信息是对儿童的当前状态信息进行补充说明的信息,以使家长获得更多的信息,进而更全面地了解儿童的状态。
预设数据库中分类存储有各情绪信息和行为信息对应的提示信息。在预设数据库中可先按情绪信息进行分类,生成多个情绪子数据库,然后在每个情绪子数据库中,存储每个行为信息对应的提示信息。
例如,根据情绪信息可分为焦虑子数据库、难过子数据库、烦躁子数据库、思考子数据库等。而在思考子数据库中又包括多个行为信息,如拿着笔思考和做作业时抓头等。不同的行为信息对应的提示信息不同,如拿着笔思考时对应的提示信息可以为“孩子学习遇到困难了,现在正在思考,可能会需要帮助”;在做作业抓头时对应的提示信息可以为“孩子现在想问题想的比较烦躁,急需帮助”。即服务器根据当前状态信息中的情绪信息和行为信息,对儿童的当前状态进行了更全面地分析,并区分出了紧急程度,有利于家长根据紧急程度判断是马上与儿童进行亲子互动,或是忙完手上比较紧急地事情后再与儿童进行亲子互动。
其中,S500接收服务器返回的回复信息,并开启亲子互动模式具体包括:
接收服务器返回的回复信息,判断所述回复信息是否包含视频聊天请求;
若是,则接受所述视频聊天请求;
若否,则将所述回复信息转换为家长的语音信息并进行播放,然后采集所述儿童的语音信息,将所述儿童的语音信息发送至所述智能终端,并接收所述智能终端再次返回的回复信息,并进行语音转换和播放。
具体地,当回复信息中包含视频聊天请求时,即说明家长希望与儿童进行视频聊天,此时接受视频聊天请求,通过视频聊天模式让家长与儿童进行亲子互动。若不包含视频聊天请求时,则将该回复信息转换为家长的语音信息进行播放,使儿童针对家长的回复信息进行回复,回复信息可以是引导儿童说成疑惑点的相关信息,儿童回复后,将儿童的回复信息通过服务器发送至智能终端,让家长接收到儿童的回复后,再给出相应的回复,并通过服务器发送给机器人,通过家长与儿童之间的多次对话,以实现家长与儿童之间的亲子互动,进而帮助儿童解决问题。
本发明通过识别儿童的面部表情和环境信息,得到儿童的当前状态信息,并通过当前状态信息判断儿童是否需要帮助或分享,并只在儿童需要家长帮助或分享时,自动将儿童的当前信息发送给家长,以使家长了解儿童的状态,并与儿童建立亲子互动,帮助儿童解决问题,使得儿童需要家长时,实现家长对儿童的陪伴,本发明无需家长时刻盯着视频监控即可知晓儿童是否需要帮助,进而节省家长的时间,并且可避免儿童想问题想的比较烦躁时,忘记通过机器人与家长进行互动;此外,还可在识别出儿童可能存在危险时,发送提示信息给家长,使家长可及时帮助儿童,以防止儿童出现危险事故。
根据本发明提供的第二实施例,如图2所示,在上述第一实施例中,步骤S300服务器根据所述图像信息识别得到所述儿童的当前状态信息具体包括:
S310将所述图像信息输入到预设的识别模型中;
S320若所述识别模型可识别所述图像信息,则输出当前状态信息;
S330若所述识别模型未识别出所述图像信息,则计算所述图像信息的特征值;
S340根据所述特征值在预设的特征库中查找到匹配的当前状态信息。
具体地,服务器上存储有预先训练好的识别模型,服务器在接收到机器人发送的图像信息后,将该图像信息输入到识别模型中进行识别,若识别模型可识别出该图像信息,则输出识别结果(儿童的当前状态信息),若识别模型识别不了该图像信息,则计算图像信息的特征值,然后根据特征值在预设的特征库中查找到匹配的当前状态信息。
识别模型是一些开源的模型算法,其通过输入大量已标注的图像信息(即每张图像上标注了对应的状态信息)经过训练得到,识别模型的训练过程为现有技术,在此不再赘述。通过大量已标注的图像信息对识别模型进行训练后,识别模型中的权重参数即可确定,因此,可通过训练好的识别模型识别图像信息。
但是,由于目前的模型算法智能度有限,并不能识别出所有的图像,因此,当识别模型无法识别该图像信息时,则采用特征值匹配的方法在特征库中匹配对应的当前状态信息。在实际使用过程中,也会存在机器人采集到的图像清晰度较低,此时根据该清晰度较低的图像计算出的特征值较小,用该特征值在数据库中进行匹配时,可能存在无法匹配到当前状态信息的情况,因此,也不能完全依靠特征值匹配来得到当前状态信息,需要将识别模型和特征值匹配的方法进行结合来得到儿童的当前状态信息,以提高识别率,进而防止出现识别不出的情况。
其中,特征库的创建方法为:
收集大量不同的图像信息,所述图像信息包含所述儿童的面部表情信息和当前环境信息;
获取所述图像信息对应的状态信息;
提取出各图像信息中的特征;
计算所述特征的特征值,所述特征值为预设位数的字母和数据组合而成;
建立所述特征值与所述状态信息之间的对应关系;
根据所述特征值、所述状态信息以及所述特征值与所述状态信息之间的对应关系,创建所述特征库。
具体地,先收集大量不同用户处于不同环境下的图像信息,同样的,图像信息包含用户的面部表情信息和当前环境信息。然后获取每个图像信息对应的状态信息,状态信息可由人工输入。再通过python语言提取出图像信息中的特征,然后将提取出的特征以预设位数的字母和数据形成进行存储,该预设位数的字母和数据即为该特征的特征值。本方案中,将特征以192位字母和数据的形式存储在ES搜索引擎的数据库(特征库)中,并建立特征值与状态信息之间的关系,再根据建立的关系,将状态信息存储在上述特征库中,以完成特征库的创建。
在实际识别过程中,当识别模型未识别出图像信息时,则通过Yolo算法对图像信息进行裁剪,提取出图像信息中的目标图像,即将不需要的背景图像去掉,然后计算目标图像对应的特征值。再根据该特征值,在ES里搜索,以匹配到目标特征值,然后根据目标特征值对应的状态信息,得到图像信息对应的当前状态信息。
本方案中,通过提取各图像的特征,并以特征值的形式进行存储,并在搜索匹配的过程中也通过特征值的方式进行搜索,可提高搜索准确率。
应理解,在上述各实施例中,各步骤序号的大小并不意味着执行顺序的先后,各步骤的执行顺序应以功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
根据本发明提供的第三实施例,如图3所示,一种机器人,包括:
图像采集模块110,用于每间隔预设时长采集儿童的图像信息,所述图像信息包含所述儿童的面部表情信息和当前环境信息;
图像发送模块120,用于将所述图像信息发送至服务器,使所述服务器根据所述图像信息识别得到所述儿童的当前状态信息,并根据所述当前状态信息,判断所述儿童是否需要帮助,若是,则将所述图像信息和所述当前状态信息发送至家长的智能终端,然后接收所述智能终端返回的回复信息;
处理模块130,用于接收所述服务器发送的所述回复信息,并开启亲子互动模式。
优选地,所述处理模块130包括:
信息接收单元131,用于接收所述智能终端返回的回复信息;
判断单元132,用于判断所述回复信息是否包含视频聊天请求;
处理单元133,用于当所述回复信息中包含视频聊天请求时,接受所述视频聊天请求;
处理单元133,还用于当所述回复信息中不包含视频聊天请求时,将所述回复信息转换为家长的语音信息并进行播放,然后采集所述儿童的语音信息,将所述儿童的语音信息发送至所述智能终端,并接收所述智能终端再次返回的回复信息,并进行语音转换和播放。
本实施例中的各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
根据本发明提供的第四实施例,如图4所示,一种服务器,包括:
图像接收模块210,用于接收机器人间隔预设时长采集并发送的儿童的图像信息,所述图像信息包括所述儿童的面部表情信息和当前环境信息;
识别模块220,用于根据所述图像信息识别得到所述儿童的当前状态信息;
判断模块230,用于根据所述当前状态信息,判断所述儿童是否需要帮助
收发模块240,用于当所述儿童需要帮助时,将所述图像信息和所述当前状态信息发送至家长的智能终端,并接收所述智能终端返回的回复信息;
收发模块240,还用于将所述回复信息发送至所述机器人,使机器人接收到回复信息后,开启亲子互动模式。
优选地,识别模块220包括:
模型识别单元221,用于将所述图像信息输入到预设的识别模型中。若所述识别模型可识别所述图像信息,则输出当前状态信息;
特征值匹配单元222,用于若所述识别模型未识别出所述图像信息,则计算所述图像信息的特征值;并根据所述特征值在预设的特征库中查找到匹配的当前状态信息。
优选地,还包括创建模块250,该创建模块250包括:
收集单元251,用于收集大量不同的图像信息,所述图像信息包含所述儿童的面部表情信息和当前环境信息;
获取单元252,用于获取所述图像信息对应的状态信息;
提取单元253,用于提取出各图像信息中的特征;
特征值计算单元254,用于计算所述特征的特征值,所述特征值为预设位数的字母和数据组合而成;
关系建立单元255,用于建立所述特征值与所述状态信息之间的对应关系;
创建单元256,用于根据所述特征值、所述状态信息以及所述特征值与所述状态信息之间的对应关系,创建所述特征库。
优选地,特征值匹配单元222,还用于若所述识别模型未识别出所述图像信息,则提取出所述图像信息中的目标图像;计算所述目标图像对应的特征值;在预设的所述特征库中查找到与所述特征值匹配的目标特征值;根据所述目标特征值对应的状态信息,得到所述图像信息对应的当前状态信息。
本实施例中的各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
根据本发明提供的第五实施例,如图5所示,一种亲子互动***,包括机器人100和服务器200;
机器人100,用于每间隔预设时长采集儿童的图像信息,所述图像信息包含所述儿童的面部表情信息和当前环境信息;
机器人100,用于将所述图像信息发送至服务器;
服务器200,用于根据所述图像信息识别得到所述儿童的当前状态信息;
服务器200,用于根据所述当前状态信息,判断所述儿童是否需要帮助,若是,则将所述图像信息和所述当前状态信息发送至家长的智能终端,并接收所述智能终端返回的回复信息;
机器人100,用于接收所述服务器发送的所述回复信息,并开启亲子互动模式。
具体地,机器人可与家长的智能终端进行绑定,智能终端可远程控制机器人的开启和关闭,在智能终端上还可查看机器人的开启和关闭状态。当儿童独自在家中时,家长可开启机器人,由机器人陪伴儿童,并当儿童需要帮助时,由机器人反馈相应的信息至智能终端,使家长可在儿童需要帮助的时候与儿童进行亲子互动,以帮助儿童解决问题,并对儿童的烦躁或焦虑情绪进行疏导。
机器人上设置有摄像头和红外探测模块。机器人可通过设置的红外探测模块探测儿童的大概位置。当间隔时长达到预设时长,机器人需要采集儿童的图像信息时,红外探测模块感测儿童的位置,然后根据探测到的位置,使机器人移动到儿童身边,并通过机器人上设置的摄像头采集儿童的图像信息。即机器人每间隔一段时间采集一次儿童的图像信息。采集到的该图像信息包括儿童的面部表情信息和当前环境信息,例如,采集儿童在玩耍时的图像信息、在学习时的图像信息或在思考时的图像信息等。儿童的面部表情信息可反映出儿童的情绪,当前环境信息可反映出儿童当前正在干的事,如是在学习还是在玩玩具。
机器人上还可设置声音定位模块,当红外探测模块无法探测到儿童所在位置时,声音定位模块可通过儿童发出的声音定位儿童所在的位置。若未检测到儿童发出声音,机器人可发出语音引导信息,引导儿童发出声音,并根据儿童发出的声音定位儿童的位置,若发出多次引导信息后,仍未检测到儿童的声音,则认为家中没人,并发送家中没人的反馈信息至家长的智能终端,以便家长知晓,并通过其他途径进一步确认儿童的动向。
机器人采集到儿童的图像信息后,将该图像信息发送至服务器,使服务器识别该图像信息,得到儿童的当前状态信息。当前状态信息包括儿童的情绪信息和行为信息(即正在干什么事);情绪信息包括焦虑、难过、开心、烦躁等;行为信息包括玩玩具、做作业、拿着笔思考、发呆等。根据情绪信息可了解儿童当前的情绪状态,根据行为信息可知道儿童是在什么场景下产生地该情绪状态,以便家长知晓产生该情绪状态的原因。
服务器得到儿童的情绪信息和行为信息后,根据该情绪信息和行为信息判断儿童是否需要帮助。在什么情况下儿童需要帮助,可由家长预先在机器人上进行设置,如儿童在烦躁、疑惑、难过、不开心或思考时需要帮助,或者在特定场景下需要与家长进行分享,例如,完成了一件家长布置的任务等。机器人将家长预先设置的信息发送至服务器,服务器即可根据家长预先设置的信息和儿童的当前状态信息判断儿童是否需要帮助。若判断出儿童需要帮助,则将图像信息和当前状态信息发送至家长的智能终端。
家长在接收到服务器发送的图像信息和当前状态信息后,根据接收到的信息了解到孩子的一些情况,然后通过智能终端发送回复信息至服务器,服务器再将回复信息发送至机器人,机器人接收到回复信息后,开启亲子互动模式,使孩子通过机器人与家长进行互动,使家长引导孩子说成疑惑点或疑惑,并解答孩子的疑问。
优选地,为了方便家长较全面地了解孩子的当前状况,服务器还可在判断出儿童需要帮助时,在预设数据库中查找与该当前状态信息对应的提示信息,并将获取的图像图像信息、当前状态信息和提示信息发送至与机器人绑定的智能终端。提示信息是对儿童的当前状态信息进行补充说明的信息,以使家长获得更多的信息,进而更全面地了解儿童的状态。
预设数据库中分类存储有各情绪信息和行为信息对应的提示信息。在预设数据库中可先按情绪信息进行分类,生成多个情绪子数据库,然后在每个情绪子数据库中,存储每个行为信息对应的提示信息。
例如,根据情绪信息可分为焦虑子数据库、难过子数据库、烦躁子数据库、思考子数据库等。而在思考子数据库中又包括多个行为信息,如拿着笔思考和做作业时抓头等。不同的行为信息对应的提示信息不同,如拿着笔思考时对应的提示信息可以为“孩子学习遇到困难了,现在正在思考,可能会需要帮助”;在做作业抓头时对应的提示信息可以为“孩子现在想问题想的比较烦躁,急需帮助”。即服务器根据当前状态信息中的情绪信息和行为信息,对儿童的当前状态进行了更全面地分析,并区分出了紧急程度,有利于家长根据紧急程度判断是马上与儿童进行亲子互动,或是忙完手上比较紧急地事情后再与儿童进行亲子互动。
本发明通过识别儿童的面部表情和环境信息,得到儿童的当前状态信息,并通过当前状态信息判断儿童是否需要帮助或分享,并只在儿童需要家长帮助或分享时,自动将儿童的当前信息发送给家长,以使家长了解儿童的状态,并与儿童建立亲子互动,帮助儿童解决问题,使得儿童需要家长时,实现家长对儿童的陪伴,本发明无需家长时刻盯着视频监控即可知晓儿童是否需要帮助,进而节省家长的时间,并且可避免儿童想问题想的比较烦躁时,忘记通过机器人与家长进行互动;此外,还可在识别出儿童可能存在危险时,发送提示信息给家长,使家长可及时帮助儿童,以防止儿童出现危险事故。
优选地,服务器200包括识别模块220,识别模块220包括:
模型识别单元221,用于将所述图像信息输入到预设的识别模型中。若所述识别模型可识别所述图像信息,则输出当前状态信息;
特征值匹配单元222,用于若所述识别模型未识别出所述图像信息,则计算所述图像信息的特征值;并根据所述特征值在预设的特征库中查找到匹配的当前状态信息。
优选地,服务器200还包括创建模块250,创建模块250包括:
收集单元251,用于收集大量不同的图像信息,所述图像信息包含所述儿童的面部表情信息和当前环境信息;
获取单元252,用于获取所述图像信息对应的状态信息;
提取单元253,用于提取出各图像信息中的特征;
特征值计算单元254,用于计算所述特征的特征值,所述特征值为预设位数的字母和数据组合而成;
关系建立单元255,用于建立所述特征值与所述状态信息之间的对应关系;
创建单元256,用于根据所述特征值、所述状态信息以及所述特征值与所述状态信息之间的对应关系,创建所述特征库。
优选地,特征值匹配单元254,还用于若所述识别模型未识别出所述图像信息,则提取出所述图像信息中的目标图像;计算所述目标图像对应的特征值;在预设的所述特征库中查找到与所述特征值匹配的目标特征值;根据所述目标特征值对应的状态信息,得到所述图像信息对应的当前状态信息。
优选地,机器人100包括处理模块130,处理模块130包括:
信息接收单元131,用于接收所述智能终端返回的回复信息;
判断单元132,用于判断所述回复信息是否包含视频聊天请求;
处理单元133,用于当所述回复信息中包含视频聊天请求时,接受所述视频聊天请求;
处理单元133,还用于当所述回复信息中不包含视频聊天请求时,将所述回复信息转换为家长的语音信息并进行播放,然后采集所述儿童的语音信息,将所述儿童的语音信息发送至所述智能终端,并接收所述智能终端再次返回的回复信息,并进行语音转换和播放。
本实施例中的各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
应当说明的是,上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (6)
1.一种亲子互动方法,其特征在于,包括机器人和服务器;
所述机器人每间隔预设时长采集儿童的图像信息,所述图像信息包含所述儿童的面部表情信息和当前环境信息;
所述机器人将所述图像信息发送至所述服务器;
所述服务器根据所述图像信息识别得到所述儿童的当前状态信息;
所述服务器根据所述当前状态信息,判断所述儿童是否需要帮助,若是,则将所述图像信息和所述当前状态信息发送至家长的智能终端,并接收所述智能终端返回的回复信息;
所述机器人接收所述服务器发送的所述回复信息,并开启亲子互动模式;
其中,所述服务器根据所述图像信息识别得到所述儿童的当前状态信息具体包括:
将所述图像信息输入到预设的识别模型中;
若所述识别模型可识别所述图像信息,则输出当前状态信息;
若所述识别模型未识别出所述图像信息,则计算所述图像信息的特征值;
根据所述特征值在预设的特征库中查找到匹配的当前状态信息;
所述机器人接收所述服务器返回的回复信息,并开启亲子互动模式具体包括:
接收所述服务器返回的回复信息,判断所述回复信息是否包含视频聊天请求;
若是,则接受所述视频聊天请求;
若否,则将所述回复信息转换为家长的语音信息并进行播放,然后采集所述儿童的语音信息,将所述儿童的语音信息发送至所述智能终端,并接收所述智能终端再次返回的回复信息,并进行语音转换和播放。
2.根据权利要求1所述的一种亲子互动方法,其特征在于,所述特征库的创建方法为:
收集大量不同的图像信息,所述图像信息包含所述儿童的面部表情信息和当前环境信息;
获取所述图像信息对应的状态信息;
提取出各图像信息中的特征;
计算所述特征的特征值,所述特征值为预设位数的字母和数据组合而成;
建立所述特征值与所述状态信息之间的对应关系;
根据所述特征值、所述状态信息以及所述特征值与所述状态信息之间的对应关系,创建所述特征库。
3.根据权利要求2所述的一种亲子互动方法,其特征在于,所述若所述识别模型未识别出所述图像信息,则计算所述图像信息的特征值具体包括:
若所述识别模型未识别出所述图像信息,则提取出所述图像信息中的目标图像;
计算所述目标图像对应的特征值;
所述根据所述特征值在预设的特征库中查找到对应的当前状态信息具体包括:
在预设的所述特征库中查找到与所述特征值匹配的目标特征值;
根据所述目标特征值对应的状态信息,得到所述图像信息对应的当前状态信息。
4.一种机器人,其特征在于,包括:
图像采集模块,用于每间隔预设时长采集儿童的图像信息,所述图像信息包含所述儿童的面部表情信息和当前环境信息;
图像发送模块,用于将所述图像信息发送至服务器,使所述服务器根据所述图像信息识别得到所述儿童的当前状态信息,并根据所述当前状态信息,判断所述儿童是否需要帮助,若是,则将所述图像信息和所述当前状态信息发送至家长的智能终端,然后接收所述智能终端返回的回复信息;
处理模块,用于接收所述服务器发送的所述回复信息,并开启亲子互动模式;
所述处理模块包括:
信息接收单元,用于接收所述智能终端返回的回复信息;
判断单元,用于判断所述回复信息是否包含视频聊天请求;
处理单元,用于当所述回复信息中包含视频聊天请求时,接受所述视频聊天请求;
所述处理单元,还用于当所述回复信息中不包含视频聊天请求时,将所述回复信息转换为家长的语音信息并进行播放,然后采集所述儿童的语音信息,将所述儿童的语音信息发送至所述智能终端,并接收所述智能终端再次返回的回复信息,并进行语音转换和播放。
5.一种服务器,其特征在于,包括:
图像接收模块,用于接收机器人间隔预设时长采集并发送的儿童的图像信息,所述图像信息包括所述儿童的面部表情信息和当前环境信息;
识别模块,用于根据所述图像信息识别得到所述儿童的当前状态信息;
判断模块,用于根据所述当前状态信息,判断所述儿童是否需要帮助
收发模块,用于当所述儿童需要帮助时,将所述图像信息和所述当前状态信息发送至家长的智能终端,并接收所述智能终端返回的回复信息;
所述收发模块,还用于将所述回复信息发送至所述机器人,使机器人接收到回复信息后,开启亲子互动模式;
所述识别模块包括:
模型识别单元,用于将所述图像信息输入到预设的识别模型中;若所述识别模型可识别所述图像信息,则输出当前状态信息;
特征值匹配单元,用于若所述识别模型未识别出所述图像信息,则计算所述图像信息的特征值;并根据所述特征值在预设的特征库中查找到匹配的当前状态信息。
6.一种亲子互动***,其特征在于,包括机器人和服务器;
所述机器人,用于每间隔预设时长采集儿童的图像信息,所述图像信息包含所述儿童的面部表情信息和当前环境信息;
所述机器人,用于将所述图像信息发送至服务器;
所述服务器,用于根据所述图像信息识别得到所述儿童的当前状态信息;
所述服务器,用于根据所述当前状态信息,判断所述儿童是否需要帮助,若是,则将所述图像信息和所述当前状态信息发送至家长的智能终端,并接收所述智能终端返回的回复信息;
所述机器人,用于接收所述服务器发送的所述回复信息,并开启亲子互动模式;
所述服务器包括识别模块,所述识别模块包括:
模型识别单元,用于将所述图像信息输入到预设的识别模型中;若所述识别模型可识别所述图像信息,则输出当前状态信息;
特征值匹配单元,用于若所述识别模型未识别出所述图像信息,则计算所述图像信息的特征值;并根据所述特征值在预设的特征库中查找到匹配的当前状态信息;
所述机器人包括处理模块,所述处理模块包括:
信息接收单元,用于接收所述智能终端返回的回复信息;
判断单元,用于判断所述回复信息是否包含视频聊天请求;
处理单元,用于当所述回复信息中包含视频聊天请求时,接受所述视频聊天请求;
处理单元,还用于当所述回复信息中不包含视频聊天请求时,将所述回复信息转换为家长的语音信息并进行播放,然后采集所述儿童的语音信息,将所述儿童的语音信息发送至所述智能终端,并接收所述智能终端再次返回的回复信息,并进行语音转换和播放。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910668358.4A CN110363278B (zh) | 2019-07-23 | 2019-07-23 | 一种亲子互动方法、机器人、服务器及亲子互动*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910668358.4A CN110363278B (zh) | 2019-07-23 | 2019-07-23 | 一种亲子互动方法、机器人、服务器及亲子互动*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110363278A CN110363278A (zh) | 2019-10-22 |
CN110363278B true CN110363278B (zh) | 2023-01-17 |
Family
ID=68219952
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910668358.4A Expired - Fee Related CN110363278B (zh) | 2019-07-23 | 2019-07-23 | 一种亲子互动方法、机器人、服务器及亲子互动*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110363278B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111352501A (zh) * | 2019-12-09 | 2020-06-30 | 华为技术有限公司 | 业务交互方法及装置 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002056079A (ja) * | 2000-08-10 | 2002-02-20 | Konica Corp | 画像サービスシステム |
KR20020037137A (ko) * | 2000-11-13 | 2002-05-18 | 김철수 | 인터넷을 통한 자녀의 수업상태 모니터링 장치 및 그 방법 |
CN105208056B (zh) * | 2014-06-18 | 2020-07-07 | 腾讯科技(深圳)有限公司 | 信息交互的方法及终端 |
CN105141503A (zh) * | 2015-08-13 | 2015-12-09 | 北京北信源软件股份有限公司 | 一种全新的即时通信智能机器人 |
CN106557034B (zh) * | 2015-09-29 | 2020-05-01 | 北京北信源软件股份有限公司 | 一种基于即时通信的智能家居控制方法 |
US9921574B1 (en) * | 2016-03-03 | 2018-03-20 | Sprint Communications Company L.P. | Dynamic interactive robot dialogue creation incorporating disparate information sources and collective feedback analysis |
WO2017189559A1 (en) * | 2016-04-26 | 2017-11-02 | Taechyon Robotics Corporation | Multiple interactive personalities robot |
CN107511832A (zh) * | 2016-06-15 | 2017-12-26 | 深圳光启合众科技有限公司 | 云端互动***及其多感知型智能机器人和感知互动方法 |
CN106790054A (zh) * | 2016-12-20 | 2017-05-31 | 四川长虹电器股份有限公司 | 基于人脸识别和声纹识别的交互式认证***及方法 |
CN107221332A (zh) * | 2017-06-28 | 2017-09-29 | 上海与德通讯技术有限公司 | 机器人的交互方法及*** |
CN107908709A (zh) * | 2017-11-09 | 2018-04-13 | 广东小天才科技有限公司 | 亲子语聊互动方法、装置及*** |
CN108109622A (zh) * | 2017-12-28 | 2018-06-01 | 武汉蛋玩科技有限公司 | 一种早教机器人语音互动教育***及方法 |
CN108549481B (zh) * | 2018-03-29 | 2021-06-22 | 东方梦幻虚拟现实科技有限公司 | 一种互动方法及*** |
CN108564036A (zh) * | 2018-04-13 | 2018-09-21 | 上海思依暄机器人科技股份有限公司 | 一种基于人脸识别的身份判定方法、装置和云服务器 |
CN108985667A (zh) * | 2018-10-25 | 2018-12-11 | 重庆鲁班机器人技术研究院有限公司 | 家庭教育辅助机器人及家庭教育辅助*** |
-
2019
- 2019-07-23 CN CN201910668358.4A patent/CN110363278B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN110363278A (zh) | 2019-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108000526B (zh) | 用于智能机器人的对话交互方法及*** | |
CN105843381B (zh) | 用于实现多模态交互的数据处理方法及多模态交互*** | |
JP7122038B2 (ja) | 車載機及び車両 | |
CN109710748B (zh) | 一种面向智能机器人的绘本阅读交互方法和*** | |
KR101887637B1 (ko) | 로봇 시스템 | |
CN105690385A (zh) | 基于智能机器人的应用调用方法与装置 | |
CN113067953A (zh) | 客户服务方法、***、装置、服务器及存储介质 | |
CN107515900B (zh) | 智能机器人及其事件备忘***和方法 | |
CN113901189A (zh) | 一种数字人交互方法、装置、电子设备及存储介质 | |
CN111508491A (zh) | 一种基于深度学习的智能语音交互设备 | |
CN113703585A (zh) | 交互方法、装置、电子设备及存储介质 | |
CN110377574A (zh) | 图片的协作处理方法及装置、存储介质、电子装置 | |
CN110379234A (zh) | 一种学习辅导方法及装置 | |
CN109271503A (zh) | 智能问答方法、装置、设备及存储介质 | |
CN110363278B (zh) | 一种亲子互动方法、机器人、服务器及亲子互动*** | |
CN116737883A (zh) | 人机交互方法、装置、设备及存储介质 | |
CN111611365A (zh) | 一种对话***的流程控制方法、装置、设备及存储介质 | |
CN114974253A (zh) | 一种基于人物画像的自然语言解释方法、装置及存储介质 | |
US20210166685A1 (en) | Speech processing apparatus and speech processing method | |
CN110517672B (zh) | 用户意图识别方法、用户指令执行方法、***及设备 | |
CN107622300B (zh) | 多模态虚拟机器人的认知决策方法和*** | |
CN111241256A (zh) | 一种用于优化机器人对话质量的*** | |
JP2017191531A (ja) | コミュニケーションシステム、サーバ及びコミュニケーション方法 | |
CN113709364B (zh) | 识物相机设备及识物方法 | |
JP2020077272A (ja) | 会話システムおよび会話プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20230117 |