CN109887349B - 一种听写辅助方法及装置 - Google Patents
一种听写辅助方法及装置 Download PDFInfo
- Publication number
- CN109887349B CN109887349B CN201910295760.2A CN201910295760A CN109887349B CN 109887349 B CN109887349 B CN 109887349B CN 201910295760 A CN201910295760 A CN 201910295760A CN 109887349 B CN109887349 B CN 109887349B
- Authority
- CN
- China
- Prior art keywords
- dictation
- user
- time
- scoring
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012544 monitoring process Methods 0.000 claims abstract description 73
- 230000008569 process Effects 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims description 10
- 230000010354 integration Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 239000002131 composite material Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种听写辅助方法,包括:获取待听写的目标图片;识别目标图片,并从目标图片中提取待听写的文字信息;根据提取的文字信息,生成听写内容;播放听写内容;实时监测用户听写情况,并根据监测到的用户听写情况,调整听写内容的播放进度;获取用户完成听写的最终图片,结合听写过程中监测到的用户听写情况,对用户此次听写进行评分。此外,本发明还公开了一种听写辅助装置,该听写辅助装置能够自动识别图片中的内容信息,从而生成对应的听写内容,然后进一步辅助用户完成对该听写内容的听写,并对用户的听写过程实行监测,以及对听写结果进行评分,满足用户在各种场景下的使用需求,帮助用户提高听写能力和掌握更多的生字词语。
Description
技术领域
本发明涉及学习设备领域,尤其涉及一种听写辅助方法及装置。
背景技术
在语言类课程中,学生们有一项家庭作业称为听写。所谓听写,基本上是在一篇课文或一个单元的后面有一些生字或新词,比如小学生的语文书本的每一个单元后面都有一个内容叫“读读写写”,是老师常常布置需要学生听写的家庭作业。听写,就必须有一个人读。所以家长常常需要扮演这个“读”的角色,而对于工作很忙或无文化的家长,就难以扮演好这一角色。
虽然现在市面上针对学生听写提供了各式各样的听写应用程序(Application,APP),通常而言,听写APP会对应课文的生字词语来设置听写内容,学生在课后可以基于听写APP进行课文的生字词语的听写练习,以提高听写能力和帮助学生尽快掌握课文中的生字词语。但在实际教学场景中,老师往往在课文的生字词语的基础上额外拓展一些词汇,并要求学生也能够掌握,对于老师拓展的这部分词汇,学生却不能通过听写APP来辅助练习。此外,对于老师要求学生从课文中圈出来的字词回家进行听写,也无法通过APP来辅助练习,可见,听写APP的使用范围比较局限,无法满足学生的各种听写需求。
此外,学生听写完毕后,还是需要家长来进行检查,目前现有的听写APP无法监测学生听写情况,检查学生听写后的结果是否正确。
发明内容
为了解决上述技术缺陷,本发明提供一种听写辅助方法及装置,具体的技术方案如下:
一方面,本发明公开了一种听写辅助方法,包括:
获取待听写的目标图片;
识别所述目标图片,并从所述目标图片中提取识别待听写的文字信息;
根据所述提取的文字信息,生成听写内容;
播放所述听写内容;
实时监测用户听写情况,并根据监测到的用户听写情况,调整听写内容的播放进度;
获取用户完成听写的最终图片,结合听写过程中监测到的用户听写情况,对用户此次听写进行评分。
优选地,所述识别所述目标图片,并从所述目标图片中提取识别待听写的文字信息包括:
识别所述目标图片中的所有圈定标记;
根据每个圈定标记在所述目标图片中确定对应的目标区域;
识别每个圈定标记对应的目标区域内的文字信息,
整合所有目标区域内的文字信息,作为待听写的文字信息。
优选地,所述听写内容包含若干听写单元;每个听写单元包含一个汉字或者一组词语;所述实时监测用户听写情况,并根据监测到的用户听写情况,调整听写内容的播放进度包括:
每播报一个听写单元后,实时监测用户是否在预定时间内完成当前听写单元的书写;
当监测到所述用户完成当前听写单元的书写后,播放下一听写单元的内容;
当监测到所述用户未在预定时间内完成当前听写单元的书写时,再次播放当前听写单元,直至所述当前听写单元循环次数达到预设次数或监测到所述用户完成当前听写单元的书写后,播放下一听写单元的内容。
优选地,所述实时监测用户的听写情况包括监测所述用户进行听写时书写每个字的笔画顺序;所述获取用户完成听写的最终图片,结合听写过程中监测到的用户听写情况,对用户此次听写进行评分包括:
获取用户完成听写的最终图片,识别所述最终图片中的文字信息;
根据所述最终图片中的文字信息与所述听写内容进行比对,判断用户听写的文字的是否准确;
根据上述比对结果获得所述用户此次听写的书面评分;
判断监测到的所述用户进行听写时书写的每个字的笔画顺序是否准确,并根据所述判断结果获得所述用户此次听写的书写评分。
优选地,所述实时监测用户的听写情况还包括监测所述用户完成听写所用的时间;所述获取用户完成听写的最终图片,结合听写过程中监测到的用户听写情况,对用户此次听写进行评分还包括:
根据监测到的所述用户完成听写所用的时间,对所述用户此次听写进行时间评分;
查找所述书面评分、书写评分、时间评分各自的权值,并根据所述用户此次听写的书面评分、书写评分、及时间评分,计算出所述用户此次听写的综合得分。
另一方面,本发明还公开了一种听写辅助装置,包括:
图像获取模块,用于获取待听写的目标图片;还用于获取用户完成听写的最终图片;
识别提取模块,用于识别所述目标图片,并从所述目标图片中提取识别待听写的文字信息;
文件生成模块,用于根据所述提取的文字信息,生成听写内容;
语音播放模块,用于播放所述听写内容;
实时监测模块,用于实时监测用户听写情况,
进度控制模块,用于根据监测到的用户听写情况,调整听写内容的播放进度;
听写评分模块,用于根据用户完成听写的最终图片,结合听写过程中监测到的用户听写情况,对用户此次听写进行评分。
优选地,所述识别提取模块包括:
标记识别子模块,用于识别所述目标图片中的所有圈定标记;
区域确定子模块,用于根据每个圈定标记在所述目标图片中确定对应的目标区域;
文字识别子模块,用于识别每个圈定标记对应的目标区域内的文字信息,
信息整合子模块,用于整合所有目标区域内的文字信息,作为待听写的文字信息。
优选地,所述实时监测模块包括:
书写监测子模块,用于每播报一个听写单元后,实时监测用户是否在预定时间内完成当前听写单元的书写;
所述进度控制模块,具体用于用于当监测到所述用户完成当前听写单元的书写后,控制所述语音播放模块播放下一听写单元的内容;还用于当监测到所述用户未在预定时间内完成当前听写单元的书写时,控制所述语音播放模块再次播放当前听写单元,直至所述当前听写单元循环次数达到预设次数或通过所述书写监测子模块监测到所述用户完成当前听写单元的书写后,控制所述语音播放模块播放下一听写单元的内容。
优选地,所述实时监测模块还包括:
笔画监测子模块,用于监测所述用户进行听写时书写的每个字的笔画顺序;
所述识别提取模块,还用于识别所述最终图片中的文字信息;
所述评分判断模块包括:
听写比较子模块,用于将所述最终图片中的文字信息与所述听写内容进行比对,判断用户听写的文字是否准确;
书面评分子模块,用于根据听写比较子模块的比对结果获得所述用户此次听写的书面评分;
笔画判断子模块,用于判断监测到的所述用户进行听写时书写的每个字的笔画顺序是否准确;
书写评分子模块,用于根据所述笔画判断子模块的判断结果获得所述用户此次听写的书写评分。
优选地,所述实时监测模块还包括:
时间监测子模块,用于监测所述用户完成听写所用的时间;
所述评分模块还包括:
时间评分子模块,用于根据监测到的所述用户完成听写所用的时间,对所述用户此次听写进行时间评分;
综合评分子模块,用于查找所述书面评分、书写评分、时间评分各自的权值,并根据所述用户此次听写的书面评分、书写评分、及时间评分,计算出所述用户此次听写的综合得分。
本发明至少包括以下一项技术效果:
(1)本发明的听写辅助装置,能够自动识别待听写的目标图片中的内容信息,从而生成对应的听写内容,然后进一步辅助用户完成对该听写内容的听写练习,以实现较为灵活的听写辅助功能,满足用户在各种场景下的使用需求,使用范围较广,帮助用户提高听写能力和掌握更多的生字词语。
(2)本发明的听写辅助装置可以在用户进行听写过程中对用户的听写情况进行实时监测,根据用户听写的实际情况及时调整听写内容的播放进度,满足不同用户的听写需求,提高了用户体验度。
(3)本发明的听写辅助装置可以识别出目标图片中的的圈定标记,进而确定目标区域,识别目标区域中的文字信息,这些目标区域中的文字信息即为需要听写的文字信息,而对于目标区域外的内容则可以不予理会,如此,用户可以不用再手动抄写一遍需要听写的内容,只需在现有书面基础上对需要听写的内容进行圈定标记(听写辅助装置中预设有该听写标记样式),比如用户在一篇课文中对听写内容进行圈定标记,也可以自动识别出哪些是需要听写的,听写内容呈现形式的多样化,满足用户不同情况下的听写需求。
(4)本发明的听写辅助装置,在用户听写完成后,还可以检测用户的听写结果,结合监测到的用户的听写情况进行评分,可以完整的辅助用户完成整个听写过程,增强了听写效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种听写辅助方法的实施例的流程图;
图2为本发明一种听写辅助方法的另一实施例的流程图;
图3为本发明一种听写辅助方法的另一实施例的流程图;
图4为本发明一种听写辅助方法的另一实施例的流程图;
图5为本发明一种听写辅助方法的另一实施例的流程图;
图6为本发明一种听写辅助装置的实施例的框图;
图7为本发明一种听写辅助装置的另一实施例的框图;
图8为本发明一种听写辅助装置的另一实施例的框图。
附图标记:
100--图像获取模块;200--识别提取模块;300--文件生成模块;400--语音播放模块;500--实时监测模块;600--进度控制模块;700--听写评分模块;210--标记识别子模块;220--区域确定子模块;230--文字识别子模块;240--信息整合子模块;510--书写监测子模块;520--笔画监测子模块;530--时间监测子模块;710--听写比较子模块;720--书面评分子模块;730--笔画判断子模块;740--书写评分子模块;750--时间评分子模块;760--综合评分子模块。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部份实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明提供一种听写辅助方法,实施例如图1所示,包括:
S101,获取待听写的目标图片;
具体的,比如某学习机具备本发明的听写辅助功能,该学习机上设置有摄像头,如果老师额外布置了听写的词汇或生字,学生只需要利用学习机上的摄像头拍摄包含该需要听写的词汇或生字的图片即可。
S102,识别所述目标图片,并从所述目标图片中提取识别待听写的文字信息;
获取到目标图片后,再通过图像识别技术,识别出目标图片中需要听写的文字信息。
S103,根据所述提取的文字信息,生成听写内容;
获得需要听写的文字信息后,再根据这些文字信息生成用于语音播放的听写内容;比如获得需要听写的文字信息有:成功、勇气、诚实、失败、高兴。获取到这些需要听写的词汇后,再对这些词汇进行排列,生成听写内容,排列的方式可以是随机或者预设的方式,比如按照词汇的首字母顺序排列,又比如随机排列生成:“勇气、诚实、高兴、失败、成功”。
S104,播放所述听写内容;
具体的,在获得用于语音播放的听写内容后,再通过麦克风或其它语音设备即可播放上述的听写内容。
S105,实时监测用户听写情况,并根据监测到的用户听写情况,调整听写内容的播放进度;
具体的,在播放听写内容的过程中,还要实时监测用户的听写情况,并根据监测到的情况及时调整听写内容的播放进度。比如,在播放完听写词汇“花朵”一词后,如果监测到用户还没有写完,那么便可以调整下播放进度,延长预设的时间之后再播放下一听写词汇。当然,如果监测到用户在预设的听写时间内提前几秒完成了该词的听写,那么也可以立即播放下一听写词汇,加快听写进度。
S106,获取用户完成听写的最终图片,结合听写过程中监测到的用户听写情况,对用户此次听写进行评分。
具体的,用户完成听写后,通过摄像头可以拍摄到用户完成后的最终图片,再结合听写过程中监测到的情况,对用户此处听写进行评分。比如,监测到用户在预定的时间内完成了听写,且根据获取到最终图片识别出用户听写的10个词汇中,有两个写错了,从而给用户此次听写评分80分,并指出听写错误的地方输出显示给用户。
采用本实施例方法,可以代替人工报听写,实现了单独完成听写的任务,还可以对听写结果进行检测评分,提高了用户体验。
本发明方法的另一实施例,在上述实施例的基础上,对步骤S102的实现方式进行了详细阐述(下述步骤中的S202--S205)。具体的,如图2所示,本发明的听写辅助方法包括:
S201,获取待听写的目标图片;
S202,识别所述目标图片中的所有圈定标记;
具体的,比如老师要求学生回家听写的词汇是某篇课文中的指定词汇,学生在课文中将需要听写的词汇用圆圈圈出来。这里的圈定听写词汇的圆圈就可以视为圈定标记,当然,也可以是其它标记,只要可以用来识别听写内容的标记即可作为圈定标记,当然,这个圈定标记要提前设置好,这样后面才可以从目标图片中进行识别。
S203,根据每个圈定标记在所述目标图片中确定对应的目标区域;
具体的,识别出目标图片中的圈定标记后,由于每个圈定标记对应了一个目标区域,因此,锁定好圈定标记,便可确定好对应的目标区域。
S204,识别每个圈定标记对应的目标区域内的文字信息,
S205,整合所有目标区域内的文字信息,作为待听写的文字信息;
具体的,获取到所有目标区域后,再去识别每个目标区域内的文字信息,识别出的所有文字信息进行整合后便是后面需要进行听写的听写内容。
S206,根据所述待听写的文字信息,生成听写内容;
S207,播放所述听写内容;
S208,实时监测用户听写情况,并根据监测到的用户听写情况,调整听写内容的播放进度;
S209,获取用户完成听写的最终图片,结合听写过程中监测到的用户听写情况,对用户此次听写进行评分。
例如,老师给学生布置家庭作业,让学生记录如下生字及词汇:
欢迎、鼓励、科技、墨、师、期刊、燕、海、晴、柳条。
老师要求学生将上述的的词汇均抄写五遍,且其中的“鼓励、科技、期刊、海、晴”需要回去进行听写。学生A记录时便可将其中需要听写的词汇进行标记,后续便可进行听写,比如,预设的圈定标记是下划线,学生A标记如下:
欢迎、鼓励、科技、墨、师、期刊、燕、海、晴、柳条。
回家后,学生A便可拿出之前记录的文本,然后通过家教机的摄像头拍摄记录页面,获得目标图片。获取到目标图片后,再对该图片进行识别,识别出圈定标记“__”,然后再根据该圈定标记确定目标区域,即该下划线“__”上方预设范围内的区域,获得目标区域后,再识别目标区域内的文字信息即可获得该目标区域对应的听写文字,最后将获得的所有听写文字进行排序,获得待听写的文字信息,进而生成听写内容。然后再播放该听写内容,并在听写过程中对用户实行实时监测,用户听写完成后再根据听写结果进行打分。
本发明方法的另一实施例,在上述任一实施例的基础上,对实时监测用户听写情况及播放进度进行调整的步骤进行了细化(下述步骤S305--S307)。
具体的,本实施例中的所述听写内容包含若干听写单元;每个听写单元包含一个汉字或者一组词语;本实施例的听写辅助方法如图3所示,包括:
S301,获取待听写的目标图片;
S302,识别所述目标图片,并从所述目标图片中提取识别待听写的文字信息;
S303,根据所述提取的文字信息,生成听写内容;
S304,播放所述听写内容;
S305,每播报一个听写单元后,实时监测用户是否在预定时间内完成当前听写单元的书写;若是,进入步骤S306,否则,进入步骤S307;
S306,播放下一听写单元的内容;
S307,再次播放当前听写单元,直至所述当前听写单元循环次数达到预设次数或监测到所述用户完成当前听写单元的书写后,播放下一听写单元的内容。
S308,获取用户完成听写的最终图片,结合听写过程中监测到的用户听写情况,对用户此次听写进行评分。
本实施例中,在辅助用户听写过程中,实时监测用户的听写情况,然后根据用户的听写情况调整听写进度。具体的,每播报完一个听写单元(一个生字或一组词汇)后,再看用户在预定时间内是否书写完成,一旦在预定时间内监测到用户完成了,则会播报下一听写单元的内容。如果达到了预定时间,用户还没有完成该听写单元内容的书写,那么就会再播报一次该听写单元的内容,比如预设的循环次数是三次,如果播报了三次后用户依然没能完成该听写单元的内容的书写,那么就视为用户不知道该听写单元的书写,因此,再播报下一听写单元。如此,可根据用户具体的听写情况,对听写播报进度进行调整,从而大大提高了用户体验。
本发明方法的另一实施例,在上述任一实施例的基础上,对用户完成听写后,如何进行评分进行了详细阐述,且所述实时监测用户的听写情况包括监测所述用户进行听写时书写每个字的笔画顺序。具体的,如图4所示,包括:
S401,获取待听写的目标图片;
S402,识别所述目标图片,并从所述目标图片中提取识别待听写的文字信息;
S403,根据所述提取的文字信息,生成听写内容;
S404,播放所述听写内容;
S405,实时监测用户听写情况,并根据监测到的用户听写情况,调整听写内容的播放进度;
具体的,本实施例中监测用户听写情况主要包括监测用户是否在预定时间内完成当前听写单元的听写,以便据此调整听写内容的播放进行;以及监测用户进行听写时书写每个字的笔画顺序,以便后续判断其书写的笔画顺序是否正确。
S406,获取用户完成听写的最终图片,识别所述最终图片中的文字信息;
具体的,获取到用户完成听写的最终图片后,再识别出图片中的文字信息。比如,可以采用OCR文字识别软件,识别图片中的文字信息。当然也可以采用其它现有的图像识别方法,识别出图片中的文字信息。
S407,根据所述最终图片中的文字信息与所述听写内容进行比对,判断用户听写的文字的是否准确;
具体的,在识别出听写完成后的最终图片中的文字信息后,再与之前的听写内容里的文字信息进行比较,判断该用户此次听写的各文字是否准确。
S408,根据上述比对结果获得所述用户此次听写的书面评分;
具体的,通过步骤S407比对出用户此次听写各文字的准确性后,则可以根据最终的比对结果进行书面评分了。比如此次听写内容一共有20个听写单元,即包含20组生字/词汇,其中,有2组生字/词汇用户写错了,那么根据用户此次听写的准确率(90%),可以给出书面评分:90分。
S409,判断监测到的所述用户进行听写时书写的每个字的笔画顺序是否准确;
S410,根据上述笔画顺序的判断结果获得所述用户此次听写的书写评分。
本实施例,除了对用户完成的最终结果给出评分外,还可以根据监测到的用户书写每个字的笔画顺序来进行评分。具体的,在步骤S405中,还监测到用户听写每个字时的笔画顺序,然后再获取该听写的字的正确笔画顺序,二者进行比对,判断用户书写该字的笔画顺序是否出错。比如,用户书写“王”字,如果监测到用户书写的笔画顺序是“一、一、一、丨”,而“王”字正确的笔画顺序是“一、一、丨、一”,因此,一比对就会发现用户书写“王”字的笔画顺序是错误的。比对完用户听写的所有文字信息后,再根据所有文字的笔画顺序比对结果对用户此次听写进行书写评分。
本发明的另一实施例,在上述实施例的基础上,所述实时监测用户的听写情况还包括监测所述用户完成听写所用的时间;具体的,如图5所示,包括如下步骤:
S501,获取待听写的目标图片;
S502,识别所述目标图片,并从所述目标图片中提取识别待听写的文字信息;
S503,根据所述提取的文字信息,生成听写内容;
S504,播放所述听写内容;
S505,实时监测用户听写情况,并根据监测到的用户听写情况,调整听写内容的播放进度;
S506,获取用户完成听写的最终图片,识别所述最终图片中的文字信息;
S507,根据所述最终图片中的文字信息与所述听写内容进行比对,判断用户听写的文字的是否准确;
S508,根据上述比对结果获得所述用户此次听写的书面评分;
S509,判断监测到的所述用户进行听写时书写的每个字的笔画顺序是否准确;
S510,根据上述笔画顺序的判断结果获得所述用户此次听写的书写评分。
S511,根据监测到的所述用户完成听写所用的时间,对所述用户此次听写进行时间评分;
具体的,每个听写单元都会设置一个预设的听写时间,每次听写内容包含的听写单元数量不同,则对应的总的听写时长也不同。当然,还要设置一套时间评分规则,比如在总的预设时长内完成,则评100分,每超过总时长的10%,则相应的扣掉10分,如果用户完成此次听写所用的时间在总的预设时长的2倍及以上则时间评分为0分。比如某次听写内容包含10个听写单元,每个听写单元的预设时间为30秒,那么,10个听写单元总的预设时长为5分钟。如果用户完成此次听写所用的时间是12分钟,按照预设的时间评分规则,用户此次听写的时间评分为:98分。
S512,查找所述书面评分、书写评分、时间评分各自的权值,并根据所述用户此次听写的书面评分、书写评分、及时间评分,计算出所述用户此次听写的综合得分。
具体的,本实施例是针对书面评分、书写评分和时间评分这三个方面来综合考虑该用户的综合评分。每项评分项可设置相同或不同的权值比重。比如设置书面评分权值为0.5、书写评分为0.3、时间评分为0.2;如果用户某次完成某次听写后的书面评分为80分、书写评分为60分、时间评分为100分。那么该用户此次听写的综合得分为:80*0.5+60*0.3+100*0.2=76分。从各个方面对用户此次听写进行考量,可以分析反映出该用户各方面的表现情况。
基于相同的技术构思,本发明还公开了一种听写辅助装置,该听写辅助装置可以采用本发明上述的任一听写辅助方法来进行听写辅助。具体的,本发明的听写辅助装置,如图6所示,包括:
图像获取模块100,用于获取待听写的目标图片;还用于获取用户完成听写的最终图片;具体的,图像获取模块100可通过摄像头来实现,通过摄像头来拍摄用于听写的图片,以及用户完成听写后,拍摄听写结果的最终图片。
识别提取模块200,用于识别所述目标图片,并从所述目标图片中提取识别待听写的文字信息;识别提取模块可采用现有的图像识别技术,识别出目标图片中需要听写的文字信息。
文件生成模块300,用于根据所述提取的文字信息,生成听写内容;
语音播放模块400,用于播放所述听写内容;
实时监测模块500,用于实时监测用户听写情况,
进度控制模块600,用于根据监测到的用户听写情况,调整听写内容的播放进度;
听写评分模块700,用于根据用户完成听写的最终图片,结合听写过程中监测到的用户听写情况,对用户此次听写进行评分。
具体的,比如本实施例的听写辅助装置通过拍照上传用户书本上在课堂上做的笔记,识别出老师课堂上额外补充的需要学生掌握的字词,自己生成听写内容并进行播报,从而可以代替人工报听写,实现了单独完成听写的任务,还可以对听写结果进行检测评分,提高了用户体验。
本发明装置的另一实施例,如图7所示,在上述装置实施例的基础上,所述识别提取模块200包括:
标记识别子模块210,用于识别所述目标图片中的所有圈定标记;比如老师要求学生回家听写的词汇是某篇课文中的指定词汇,学生在课文中将需要听写的词汇用圆圈圈出来。这里的圈定听写词汇的圆圈就可以视为圈定标记,当然,也可以是其它标记,只要可以用来识别听写内容的标记即可作为圈定标记,当然,这个圈定标记要提前设置好,这样后面才可以从目标图片中进行识别。本装置的标记识别子模块可以采用现有的图像识别技术,用户可提前设置圈定标记的形状,然后再通过图像识别技术从目标图片中识别出所有的圈定标记。
区域确定子模块220,用于根据每个圈定标记在所述目标图片中确定对应的目标区域;比如,圈定标记为圆圈,那么该圆圈对应的目标区域则为圆圈内的区域。
文字识别子模块230,用于识别每个圈定标记对应的目标区域内的文字信息,具体的,区域确定子模块220确定好了目标区域后,则再识别出目标区域内的文字信息即可,非目标区域的信息则可以不用识别。
信息整合子模块240,用于整合所有目标区域内的文字信息,作为待听写的文字信息。信息整合子模块240将文字识别子模块获得的所有目标区域内的文字信息按照预设的规则进行排序,获得后续用于听写的文字信息。
本发明听写辅助装置的另一实施例,如图8所示,在上述任一实施例的基础上,所述实时监测模块500包括:
书写监测子模块510,用于每播报一个听写单元后,实时监测用户是否在预定时间内完成当前听写单元的书写;
所述进度控制模块600,具体用于当监测到所述用户完成当前听写单元的书写后,控制所述语音播放模块400播放下一听写单元的内容;还用于当监测到所述用户未在预定时间内完成当前听写单元的书写时,控制所述语音播放模块400再次播放当前听写单元,直至所述当前听写单元循环次数达到预设次数或通过所述书写监测子模块510监测到所述用户完成当前听写单元的书写后,控制所述语音播放模块400播放下一听写单元的内容。
本实施例的听写辅助装置在辅助用户听写过程中,书写监测子模块510实时监测用户的听写情况,然后进度控制模块600根据用户的听写情况调整听写进度。具体的,语音播放模块400每播报完一个听写单元(一个生字或一组词汇)后,书写监测子模块500再看用户在预定时间内是否书写完成,一旦在预定时间内监测到用户完成了,则进度控制模块600会控制语音播放模块400播报下一听写单元的内容。如果达到了预定时间,书写监测子模块510监测到用户还没有完成该听写单元内容的书写,那么进度控制模块600就会控制语音播放模块400再播报一次该听写单元的内容,比如预设的循环次数是三次,如果语音播放模块400播报了三次后用户依然没能完成该听写单元的内容的书写,那么就视为用户不知道该听写单元的书写,因此,进度控制模块600再控制语音播放模块400播报下一听写单元。如此,可根据用户具体的听写情况,对听写播报进度进行调整,从而大大提高了用户体验。
较佳的,所述实时监测模块500还包括:
笔画监测子模块520,用于监测所述用户进行听写时书写的每个字的笔画顺序;
所述识别提取模块200,还用于识别所述最终图片中的文字信息;
所述评分判断模块700包括:
听写比较子模块710,用于将所述最终图片中的文字信息与所述听写内容进行比对,判断用户听写的文字是否准确;
书面评分子模块720,用于根据听写比较子模块的比对结果获得所述用户此次听写的书面评分;
笔画判断子模块730,用于判断监测到的所述用户进行听写时书写的每个字的笔画顺序是否准确;
书写评分子模块740,用于根据所述笔画判断子模块的判断结果获得所述用户此次听写的书写评分。
本实施例在上述任一装置实施例的基础上,实时监测模块500还包含了笔画监测子模块520,从而对用户进行听写时书写的每个字的笔画顺序进行监测。由于学生写字时虽然最终写出的字是对的,但是书写的笔画顺序可能出错,如果家长或老师没有在旁边仔细看该学生的书写过程的话,往往难以发现,久而久之,该学生以后书写该字也会一直使用错误的笔画顺序而不自知。而本听写辅助装置的笔画监测子模块520还可以对用户书写生字时的笔画顺序进行监控,从而在后续对该学生进行提醒与纠正,从而让该学生及时改正。
较佳的,所述实时监测模块500还包括:
时间监测子模块530,用于监测所述用户完成听写所用的时间;
所述评分模块700还包括:
时间评分子模块750,用于根据监测到的所述用户完成听写所用的时间,对所述用户此次听写进行时间评分;
综合评分子模块760,用于查找所述书面评分、书写评分、时间评分各自的权值,并根据所述用户此次听写的书面评分、书写评分、及时间评分,计算出所述用户此次听写的综合得分。
具体的,本实施例是针对书面评分、书写评分和时间评分这三个方面来综合考虑该用户的综合评分。每项评分项可设置相同或不同的权值比重。比如设置书面评分权值为0.6、书写评分为0.3、时间评分为0.1;如果用户某次完成某次听写后的书面评分为90分、书写评分为80分、时间评分为70分。那么该用户此次听写的综合得分为:90*0.6+80*0.3+70*0.1=85分。本实施例的听写辅助装置从各个方面对用户此次听写进行考量评分,可以分析反映出该用户各方面的表现情况。
本发明的装置实施例与本发明的方法实施例相对应,本发明的方法实施例的技术细节同样适用于本发明的装置实施例,为减少重复,不再赘述。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种听写辅助方法,其特征在于,包括:
获取待听写的目标图片;
识别所述目标图片,并从所述目标图片中提取识别待听写的文字信息;
根据所述提取的文字信息,生成听写内容;
播放所述听写内容;
实时监测用户听写情况,并根据监测到的用户听写情况,调整听写内容的播放进度;
获取用户完成听写的最终图片,结合听写过程中监测到的用户听写情况,对用户此次听写进行评分;
其中,上述步骤识别所述目标图片,并从所述目标图片中提取识别待听写的文字信息包括:
识别所述目标图片中的所有圈定标记;
根据每个圈定标记在所述目标图片中确定对应的目标区域;
识别每个圈定标记对应的目标区域内的文字信息,
整合所有目标区域内的文字信息,作为待听写的文字信息。
2.根据权利要求1所述的一种听写辅助方法,其特征在于,所述听写内容包含若干听写单元;每个听写单元包含一个汉字或者一组词语;
所述实时监测用户听写情况,并根据监测到的用户听写情况,调整听写内容的播放进度包括:
每播报一个听写单元后,实时监测用户是否在预定时间内完成当前听写单元的书写;
当监测到所述用户完成当前听写单元的书写后,播放下一听写单元的内容;
当监测到所述用户未在预定时间内完成当前听写单元的书写时,再次播放当前听写单元,直至所述当前听写单元循环次数达到预设次数或监测到所述用户完成当前听写单元的书写后,播放下一听写单元的内容。
3.根据权利要求1-2任一项所述的一种听写辅助方法,其特征在于,所述实时监测用户的听写情况包括监测所述用户进行听写时书写每个字的笔画顺序;
所述获取用户完成听写的最终图片,结合听写过程中监测到的用户听写情况,对用户此次听写进行评分包括:
获取用户完成听写的最终图片,识别所述最终图片中的文字信息;
根据所述最终图片中的文字信息与所述听写内容进行比对,判断用户听写的文字的是否准确;
根据上述比对结果获得所述用户此次听写的书面评分;
判断监测到的所述用户进行听写时书写的每个字的笔画顺序是否准确,并根据所述判断结果获得所述用户此次听写的书写评分。
4.根据权利要求3所述的一种听写辅助方法,其特征在于,所述实时监测用户的听写情况还包括监测所述用户完成听写所用的时间;
所述获取用户完成听写的最终图片,结合听写过程中监测到的用户听写情况,对用户此次听写进行评分还包括:
根据监测到的所述用户完成听写所用的时间,对所述用户此次听写进行时间评分;
查找所述书面评分、书写评分、时间评分各自的权值,并根据所述用户此次听写的书面评分、书写评分、及时间评分,计算出所述用户此次听写的综合得分。
5.一种听写辅助装置,其特征在于,包括:
图像获取模块,用于获取待听写的目标图片;还用于获取用户完成听写的最终图片;
识别提取模块,用于识别所述目标图片,并从所述目标图片中提取识别待听写的文字信息;
文件生成模块,用于根据所述提取的文字信息,生成听写内容;
语音播放模块,用于播放所述听写内容;
实时监测模块,用于实时监测用户听写情况,
进度控制模块,用于根据监测到的用户听写情况,调整听写内容的播放进度;
听写评分模块,用于根据用户完成听写的最终图片,结合听写过程中监测到的用户听写情况,对用户此次听写进行评分;
其中,所述识别提取模块包括:
标记识别子模块,用于识别所述目标图片中的所有圈定标记;
区域确定子模块,用于根据每个圈定标记在所述目标图片中确定对应的目标区域;
文字识别子模块,用于识别每个圈定标记对应的目标区域内的文字信息,
信息整合子模块,用于整合所有目标区域内的文字信息,作为待听写的文字信息。
6.根据权利要求5所述的一种听写辅助装置,其特征在于,所述实时监测模块包括:
书写监测子模块,用于每播报一个听写单元后,实时监测用户是否在预定时间内完成当前听写单元的书写;
所述进度控制模块,具体用于当监测到所述用户完成当前听写单元的书写后,控制所述语音播放模块播放下一听写单元的内容;还用于当监测到所述用户未在预定时间内完成当前听写单元的书写时,控制所述语音播放模块再次播放当前听写单元,直至所述当前听写单元循环次数达到预设次数或通过所述书写监测子模块监测到所述用户完成当前听写单元的书写后,控制所述语音播放模块播放下一听写单元的内容。
7.根据权利要求5-6 任一项所述的一种听写辅助装置,其特征在于,
所述实时监测模块还包括:
笔画监测子模块,用于监测所述用户进行听写时书写的每个字的笔画顺序;
所述识别提取模块,还用于识别所述最终图片中的文字信息;
所述评分判断模块包括:
听写比较子模块,用于将所述最终图片中的文字信息与所述听写内容进行比对,判断用户听写的文字是否准确;
书面评分子模块,用于根据听写比较子模块的比对结果获得所述用户此次听写的书面评分;
笔画判断子模块,用于判断监测到的所述用户进行听写时书写的每个字的笔画顺序是否准确;
书写评分子模块,用于根据所述笔画判断子模块的判断结果获得所述用户此次听写的书写评分。
8.根据权利要求7所述的一种听写辅助装置,其特征在于,所述实时监测模块还包括:
时间监测子模块,用于监测所述用户完成听写所用的时间;
所述评分模块还包括:
时间评分子模块,用于根据监测到的所述用户完成听写所用的时间,对所述用户此次听写进行时间评分;
综合评分子模块,用于查找所述书面评分、书写评分、时间评分各自的权值,并根据所述用户此次听写的书面评分、书写评分、及时间评分,计算出所述用户此次听写的综合得分。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910295760.2A CN109887349B (zh) | 2019-04-12 | 2019-04-12 | 一种听写辅助方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910295760.2A CN109887349B (zh) | 2019-04-12 | 2019-04-12 | 一种听写辅助方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109887349A CN109887349A (zh) | 2019-06-14 |
CN109887349B true CN109887349B (zh) | 2021-05-11 |
Family
ID=66937168
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910295760.2A Active CN109887349B (zh) | 2019-04-12 | 2019-04-12 | 一种听写辅助方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109887349B (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111081082B (zh) * | 2019-07-11 | 2022-04-29 | 广东小天才科技有限公司 | 一种基于用户意图的听写智能控制方法及电子设备 |
CN111081084B (zh) * | 2019-07-11 | 2021-11-26 | 广东小天才科技有限公司 | 一种听写内容的播报方法及电子设备 |
CN111081085B (zh) * | 2019-07-17 | 2022-05-27 | 广东小天才科技有限公司 | 一种听写的控制方法及终端设备 |
CN112242133A (zh) * | 2019-07-18 | 2021-01-19 | 北京字节跳动网络技术有限公司 | 一种语音播放方法、装置、设备及存储介质 |
CN111079729B (zh) * | 2019-07-29 | 2023-09-26 | 广东小天才科技有限公司 | 一种听写检测方法及电子设备、计算机可读存储介质 |
CN111090473A (zh) * | 2019-07-29 | 2020-05-01 | 广东小天才科技有限公司 | 一种基于电子设备的听写启动方法及电子设备 |
CN111081227B (zh) * | 2019-07-29 | 2022-12-27 | 广东小天才科技有限公司 | 一种听写内容的识别方法及电子设备 |
CN111078890B (zh) * | 2019-08-02 | 2024-03-19 | 广东小天才科技有限公司 | 一种生字词的收集方法及电子设备 |
CN110490780A (zh) * | 2019-08-27 | 2019-11-22 | 北京赢裕科技有限公司 | 一种辅助语文学习的方法及*** |
CN112309180A (zh) * | 2019-08-30 | 2021-02-02 | 北京字节跳动网络技术有限公司 | 文本处理方法、装置、设备及介质 |
CN110956138B (zh) * | 2019-12-02 | 2024-02-20 | 广东小天才科技有限公司 | 一种基于家教设备的辅助学习方法及家教设备 |
CN110992739B (zh) * | 2019-12-26 | 2021-06-01 | 上海松鼠课堂人工智能科技有限公司 | 学生在线听写*** |
CN111369998B (zh) * | 2020-02-28 | 2023-07-21 | 联想(北京)有限公司 | 一种数据处理方法及电子设备 |
CN111415537A (zh) * | 2020-04-03 | 2020-07-14 | 南京晓庄学院 | 一种基于符号标注的中小学生听词*** |
CN112001394A (zh) * | 2020-07-13 | 2020-11-27 | 上海翎腾智能科技有限公司 | 基于ai视觉下的听写交互方法、***、装置 |
CN113436474A (zh) * | 2021-06-22 | 2021-09-24 | 读书郎教育科技有限公司 | 一种课堂听写检查的装置及方法 |
CN115035763A (zh) * | 2022-06-22 | 2022-09-09 | 深圳市沃特沃德信息有限公司 | 听写优化方法、装置、计算机设备和存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7310772B2 (en) * | 2003-10-24 | 2007-12-18 | Henry Whitfield | Linking method for printed telephone numbers identified by a non-indicia graphic delimiter |
CN101667251B (zh) * | 2008-09-05 | 2014-07-23 | 三星电子株式会社 | 具备辅助定位功能的ocr识别方法和装置 |
JP2014102669A (ja) * | 2012-11-20 | 2014-06-05 | Toshiba Corp | 情報処理装置、情報処理方法およびプログラム |
CN109300347B (zh) * | 2018-12-12 | 2021-01-26 | 广东小天才科技有限公司 | 一种基于图像识别的听写辅助方法及家教设备 |
CN109460209B (zh) * | 2018-12-20 | 2022-03-01 | 广东小天才科技有限公司 | 一种听写报读进度的控制方法及电子设备 |
-
2019
- 2019-04-12 CN CN201910295760.2A patent/CN109887349B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109887349A (zh) | 2019-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109887349B (zh) | 一种听写辅助方法及装置 | |
CN109697976B (zh) | 一种发音识别方法及装置 | |
CN111462553B (zh) | 一种基于视频配音和纠音训练的语言学习方法及*** | |
CN105845134A (zh) | 自由朗读题型的口语评测方法及*** | |
CN109409234A (zh) | 一种协助学生进行问题定位学习的方法及*** | |
CN106328146A (zh) | 一种视频的字幕生成方法及装置 | |
CN111415537A (zh) | 一种基于符号标注的中小学生听词*** | |
US8221126B2 (en) | System and method for performing programmatic language learning tests and evaluations | |
Li et al. | Multi-stream deep learning framework for automated presentation assessment | |
CN113065757A (zh) | 线上课程授课质量的评价方法及装置 | |
CN111079501B (zh) | 一种文字识别方法及电子设备 | |
CN101739852B (zh) | 基于语音识别的实现自动口译训练的方法和装置 | |
CN111026786A (zh) | 一种听写列表生成方法及家教设备 | |
CN111078010B (zh) | 一种人机交互方法、装置、终端设备及可读存储介质 | |
KR20190068841A (ko) | 인공지능 음성인식 api를 활용한 영어 발음 훈련 및 평가 시스템 | |
CN111079504A (zh) | 一种文字识别方法及电子设备 | |
CN111933131B (zh) | 一种语音识别方法以及装置 | |
Cho | An analysis of listening errors by Korean EFL learners from self-paced passage dictation | |
CN114972716A (zh) | 上课内容记录方法、相关装置和介质 | |
KR20140107067A (ko) | 이미지 데이터와 원어민 발음 데이터를 이용한 단어 학습장치 및 방법 | |
WO2006057896A2 (en) | System and method for assisting language learning | |
CN111081227B (zh) | 一种听写内容的识别方法及电子设备 | |
WO2012152290A1 (en) | A mobile device for literacy teaching | |
CN114520003B (zh) | 语音交互方法、装置、电子设备和存储介质 | |
TW202103119A (zh) | 知識點標記生成系統及其方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |