CN104715253A - 一种获取试题解析信息的方法及服务器 - Google Patents

一种获取试题解析信息的方法及服务器 Download PDF

Info

Publication number
CN104715253A
CN104715253A CN201510155055.4A CN201510155055A CN104715253A CN 104715253 A CN104715253 A CN 104715253A CN 201510155055 A CN201510155055 A CN 201510155055A CN 104715253 A CN104715253 A CN 104715253A
Authority
CN
China
Prior art keywords
gray
image
examination question
recognition result
external frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510155055.4A
Other languages
English (en)
Inventor
邓澍军
陈孟阳
柳景明
尹绪旺
朱珊珊
李云锦
夏龙
唐巧
郭常圳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING ZHENGUANYU TECHNOLOGY Co Ltd
Original Assignee
BEIJING ZHENGUANYU TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING ZHENGUANYU TECHNOLOGY Co Ltd filed Critical BEIJING ZHENGUANYU TECHNOLOGY Co Ltd
Priority to CN201510155055.4A priority Critical patent/CN104715253A/zh
Publication of CN104715253A publication Critical patent/CN104715253A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种获取试题解析信息的方法,用于提高获取试题解析信息的效率。本发明实施例方法包括:服务器从移动终端获取试题的图像;所述服务器对所述图像中的试题进行识别,得到识别结果;所述服务器根据所述识别结果,查找所述试题对应的解析信息;所述服务器向所述移动终端返回所述解析信息。本发明实施例还提供一种获取试题解析信息的服务器,用于提高获取试题解析信息的效率。

Description

一种获取试题解析信息的方法及服务器
技术领域
本发明涉及数据处理领域,尤其涉及一种获取试题解析信息的方法及服务器。
背景技术
在日常的学习当中,通常采用做试题的方式巩固学习的知识,随着互联网技术的发展,当遇到不会解答的试题时,可通过互联网获取与试题对应的解析信息。
现有技术中,为了通过互联网获取与试题对应的解析信息,采用如下两种方案:
1、利用手机将试题拍摄成图片,然后将图片通过互联网上传至论坛进行问答。
2、输入与试题中的关键词,然利用互联网搜索与关键词匹配的试题相关的信息。
然而,在上述的两个方案中,方案1需要等待人工处理,由于人工效应慢,无法及时获取试题解析信息,方案2需要人工输入试题信息进行搜索,由于人工输入效率低,也将导致无法及时获取试题解析信息,效率低。
发明内容
本发明提供了一种获取试题解析信息的方法及服务器,能够解决现有技术中在采用互联网获取试题对应解析信息时,人工输入效率低,无法及时获取试题解析信息的问题。
本发明第一方面提供了一种获取试题解析信息的方法,包括:
服务器从移动终端获取试题的图像;
所述服务器对所述图像中的试题进行识别,得到识别结果;
所述服务器根据所述识别结果,查找所述试题对应的解析信息;
所述服务器向所述移动终端返回所述解析信息。
结合本发明实施例的第一方面,在本发明第一方面的第一种实现方式中,在对所述图像中试题进行识别,得到识别结果之前,还包括:
当确定所述图像模糊时,从所述移动终端重新获取图像;
和/或,
当确定所述图像发生了旋转时,将所述图像调整为正向;
和/或,
当确定所述图像对应的灰度图像需要进行灰度反转时,对所述灰度图像进行灰度反转。
结合本发明实施例的第一方面的第一种实现方式,在本发明第一方面的第二种实现方式中,确定所述图像模糊包括:
通过梯度算子确定出所述图像中的第一文字边缘;
检测所述第一文字边缘的数量;
当所述第一文字边缘的像素点数量小于阈值时,确定所述图像模糊;
或者,
通过梯度算子确定出所述图像中的第一文字边缘;
检测出第一像素点的第一灰度值和第一数量,所述第一像素点为第一文字边缘的像素点;
根据所述第一灰度值确定第二灰度值,所述第一灰度值与所述第二灰度值之间的差值在第一阈值范围内;
确定所述第二灰度值对应的第二像素点,和所述第二像素点的第二数量,所述第二像素点构成第二文字边缘;
当所述第一数量与第二数量的比值在第二阈值范围内时,确定所述图像模糊。
结合本发明实施例的第一方面的第一种实现方式,在本发明第一方面的第三种实现方式中,所述确定所述图像发生了旋转包括:
确定所述图像上的外接框,所述外接框用于外接所述试题对应的字符;
确定所述外接框横向成组的组数和纵向成组的组数,所述横向成组的组数中的相邻外接框之间的横向偏移量不大于所述外接框高度的一半,所述纵向成组的组数中的相邻外接框的之间的纵向偏移量不大于所述外接框高度的一半;
当所述横向成组的组数与所述纵向成组的组数的差值在第三阈值范围内时,确定所述图像发生了旋转。
结合本发明实施例的第一方面的第一种实现方式,在本发明第一方面的第四种实现方式中,所述确定所述图像对应的灰度图需要进行灰度反转包括:
将所述灰度图进行灰度反转得到反转后的灰度图;
确定所述灰度图和反转后的灰度图的外接框数量,所述外接框用于外接所述试题对应的字符;
当反转后的灰度图上外接框的数量大于所述灰度图上外接框的数量时,确定所述图像对应的灰度图需要进行灰度反转。
结合本发明实施例的第一方面或第一方面的第一种实现方式,在本发明第一方面的第五种实现方式中,在对所述图像中试题进行识别,得到识别结果之前,还包括:
对所述图像上试题对应的字符进行分割。
结合本发明实施例的第一方面,在本发明第一方面的第六种实现方式中,所述对所述图像中的试题进行识别,得到识别结果包括:
采用卷积神经网络或递归神经网络对所述试题识别,得到识别结果。
结合本发明实施例的第一方面或第一方面的第一种实现方式或第一方面的第二种实现方式或第一方面的第三种实现方式或第一方面的第四种实现方式或第一方面的五种实现方式或第一方面的第六种实现方式,在本发明第一方面的第七种实现方式中,在对所述图像中的试题进行识别,得到识别结果之后,根据所述识别结果,查找所述试题对应的解析信息之前,还包括:
确定所述识别结果满足自然语言模型。
结合本发明实施例的第一方面,在本发明第一方面的第八种实现方式中,所述根据所述识别结果,查找所述试题对应的解析信息包括:
确定所述识别结果中的关键词,所述关键词用于查找所述试题对应的解析信息,所述关键词包括相邻词对和/或相邻词团;
利用所述关键词查找所述试题对应的解析信息。
结合本发明实施例的第一方面,在本发明第一方面的第九种实现方式中,所述确定所述识别结果中的关键词包括:
获取所述识别结果中每一个分词的评分;
确定评分最高的分词为所述关键词。
本发明实施例第二方面提供了一种获取试题解析信息的服务器,包括:
获取单元,用于从移动终端获取试题的图像;
识别单元,用于对所述图像中的试题进行识别,得到识别结果;
查找单元,用于根据所述识别结果,查找所述试题对应的解析信息;
处理单元,用于向所述移动终端返回所述解析信息。
结合本发明实施例的第二方面,在本发明第二面的第一种实现方式中,在对所述图像中试题进行识别,得到识别结果之前,所述处理单元还用于:
当确定所述图像模糊时,从所述移动终端重新获取图像;
和/或,
当确定所述图像发生了旋转时,将所述图像调整为正向;
和/或,
当确定所述图像对应的灰度图像需要进行灰度反转时,对所述灰度图像进行灰度反转。
结合本发明实施例的第二方面的第一种实现方式,在本发明第二面的第二种实现方式中,所述处理单元还用于:
通过梯度算子确定出所述图像中的第一文字边缘;
检测所述第一文字边缘的数量;
当所述第一文字边缘的像素点数量小于阈值时,确定所述图像模糊;
或者,
通过梯度算子确定出所述图像中的第一文字边缘;
检测出第一像素点的第一灰度值和第一数量,所述第一像素点为第一文字边缘的像素点;
根据所述第一灰度值确定第二灰度值,所述第一灰度值与所述第二灰度值之间的差值在第一阈值范围内;
确定所述第二灰度值对应的第二像素点,和所述第二像素点的第二数量,所述第二像素点构成第二文字边缘;
当所述第一数量与第二数量的比值在第二阈值范围内时,确定所述图像模糊。
结合本发明实施例的第二方面的第一种实现方式,在本发明第二面的第三种实现方式中,所述处理单元具体用于:
确定所述图像上的外接框,所述外接框用于外接所述试题对应的字符;
确定所述外接框横向成组的组数和纵向成组的组数,所述横向成组的组数中的相邻外接框之间的横向偏移量不大于所述外接框高度的一半,所述纵向成组的组数中的相邻外接框的之间的纵向偏移量不大于所述外接框高度的一半;
当所述横向成组的组数与所述纵向成组的组数的差值在第三阈值范围内时,确定所述图像发生了旋转。
结合本发明实施例的第二方面的第一种实现方式,在本发明第二面的第四种实现方式中,所述处理单元具体用于:
将所述灰度图进行灰度反转得到反转后的灰度图;
确定所述灰度图和反转后的灰度图的外接框数量,所述外接框用于外接所述试题对应的字符;
当反转后的灰度图上外接框的数量大于所述灰度图上外接框的数量时,确定所述图像对应的灰度图需要进行灰度反转。
结合本发明实施例的第二方面的第一种实现方式或第二方面的第二种实现方式,在本发明第二面的第五种实现方式中,在对所述图像中试题进行识别,得到识别结果之前,所述处理单元还用于:
对所述图像的灰度进行均衡化处理;
将所述图像进行二值化处理,以对所述图像上试题对应的字符进行分割。
结合本发明实施例的第二方面,在本发明第二面的第六种实现方式中,所述识别单元具体用于采用卷积神经网络或递归神经网络对所述试题识别,得到识别结果。
结合本发明实施例的第二方面或第二方面的第一种实现方式或第二方面的第二种实现方式或第二方面的第三种实现方式或第二方面的第四种实现方式或第二方面的五种实现方式或第二方面的第六种实现方式,在本发明第二方面的第七种实现方式中,在对所述图像中的试题进行识别,得到识别结果之后,根据所述识别结果,查找所述试题对应的解析信息之前,所述处理单元还用于确定所述识别结果满足自然语言模型。
结合本发明实施例的第二方面,在本发明第二面的第八种实现方式中,所述查找单元具体用于:
确定所述识别结果中的关键词,所述关键词用于查找所述试题对应的解析信息,所述关键词包括相邻词对和/或相邻词团;
利用所述关键词查找所述试题对应的解析信息。
结合本发明实施例的第二方面,在本发明第二面的第九种实现方式中,所述查找单元具体用于:
获取所述识别结果中每一个分词的评分;
确定评分最高的分词为所述关键词。
应用本发明实施例具有如下有益效果:
服务器通过对识别从移动端获取到的图像,得到识别结果,利用识别结果从试题库中查找试题对应的解析信息,然后将解析信息返回至移动端,相对有现有技术,无需等待人工处理,也无需人工输入试题信息,即可获取试题解析信息,从而提升效率。
附图说明
图1为本发明实施例中一种获取试题解析信息方法的一个实施例示意图;
图2为本发明实施例中一种获取试题解析信息方法的另一实施例示意图;
图3为本发明实施例中一种获取试题解析信息服务器的一个实施例示意图。
具体实施方式
本发明实施例提供了一种获取试题解析信息的方法及相关装置,用于提高获取试题解析信息的效率。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例中,所说的移动终端可以为具有拍照和上网功能的智能手机或平板电脑等。
请参阅图1,本发明实施例中一种获取试题解析信息的一个实施例包括:
101、服务器从移动终端获取试题的图像。
可以理解的是,移动终端可以使用拍照功能将试题拍摄成图像,并存入到手机端的存储设备中,服务器可以主动从手机中获取该图像,也可以由手机将图像上传至服务器中。
102、所述服务器对所述图像中的试题进行识别,得到识别结果。
其中,服务器可以采用光学识别技术对图像中的试题进行识别,从而得到识别结果,该识别结果中可以包含试题对应的文字文本信息或插图信息。
103、所述服务器根据所述识别结果,查找所述试题对应的解析信息。
可以理解的是,服务器中设置储存试题解析信息的数据库,当服务器经过对图像的识别得到识别结果之后,可以利用该识别结果从数据库中,查找试题对应的解析信息。
104、所述服务器向所述移动终端返回所述解析信息。
可以理解的是,服务器在查找出该试题对应的解析信息之后,可以将该解析信息返回给移动终端。
本发明实施例中,服务器通过对识别从移动端获取到的图像,得到识别结果,利用识别结果从试题库中查找试题对应的解析信息,然后将解析信息返回至移动端,相对有现有技术,无需等待人工处理,也无需人工输入试题信息,即可获取试题解析信息,从而提升效率。
下面结合图2对本发明实施例中,一种获取试题解析信息的方法的另一实施例进行描述,具体包括:
201、服务器从移动终端获取试题的图像。
本实施例中的步骤201的具体执行方法可以参考图1实施例中的步骤101,此处不再赘述。
可选地,服务器在对图像中的试题进行识别,得到识别结果之前,可以对该图像进行预处理。
202、对图像进行预处理。
为了使服务器可以更快、更准确地对图像进行识别,可以对图像进行预处理,其中对图像进行预处理的方式包括至少如下一种:
一、当确定所述图像模糊时,从所述移动终端重新获取图像。
可以理解的是,可以通过图像中文字边缘的像素点的数目,确定图像是否模糊,可选地,可通过如下步骤确定图像模糊:
a、通过梯度算子确定出所述图像中的第一文字边缘;
其中,梯度算子可以为拉普拉斯算子(Laplacian derivatives),利用拉普拉斯算子检测图像中局部梯度值,将梯度值第一阈值的部分为文字边缘。
b、检测所述第一文字边缘的数量。
c、当所述第一文字边缘的像素点数量小于阈值时,确定所述图像模糊。
可选地,也可通过如下步骤确定图像模糊:
a、通过梯度算子确定出所述图像中的第一文字边缘。
b、检测出第一像素点的第一灰度值和第一数量,所述第一像素点为第一文字边缘的像素点。
c、根据所述第一灰度值确定第二灰度值,所述第一灰度值与所述第二灰度值之间的差值在第一阈值范围内。
d、确定所述第二灰度值对应的第二像素点,和所述第二像素点的第二数量,所述第二像素点构成第二文字边缘。
e、当所述第一数量与第二数量的比值在第二阈值范围内时,确定所述图像模糊。
二、当确定所述图像发生了旋转时,将所述图像调整为正向。
主要检测的是图像是否发生九十度旋转或一百八十度旋转。其中,可以通过如下步骤确定图像发生了旋转:
a、确定所述图像上的外接框,所述外接框用于外接所述试题对应的字符。
其中,可以先对图像做二值化处理,图像的二值化,就是设定阈值,将图像中的像素点的灰度值转化为0或255;由于字符为前景,故将灰度值小于阈值的转为255,而灰度值大于阈值的像素变为0。对于前景字符,可以提取像素值为255的区域,该区域为连通区域,从而可以确定出用于外接该连通区域的外接框,然后通过连通区域外接框的长宽比和面积,从连通区域外接框中确定出用于外接字符的外接框。
b、确定所述外接框横向成组的组数和纵向成组的组数,所述横向成组的组数中的相邻外接框之间的横向偏移量不大于所述外接框高度的一半,所述纵向成组的组数中的相邻外接框的之间的纵向偏移量不大于所述外接框高度的一半。
以字符外接框的左上角为原点,横向向右为x轴,纵向向下为y轴。先将外接框按y坐标聚成行,逐行按顺序检查相邻外接框,若相邻外接框偏移量大于外接框高度的一半,则认为原先的行已经结束,由此外接框开始新的一组。这样可以得到所有外接框横向成组的组数。
同理,将外接框按x坐标聚成列,逐列按序检查相邻外接框,若偏移量大于外接框宽度的一半,则认为原列已结束,新列开始。由此得到所有外接框纵向成组的组数。
c、当所述横向成组的组数与所述纵向成组的组数的差值在第三阈值范围内时,确定所述图像发生了旋转。
将横向成组的组数与纵向成组的组数进行比较,得到横向成组的组数与所述纵向成组的组数的差值,当该差值在第三阈值范围内时,则确定所述图像发生了旋转。
三、当确定所述图像对应的灰度图像需要进行灰度反转时,对所述灰度图像进行灰度反转。
可以理解的是,灰度图像上,文字一般是深色,而背景为浅色。但是在特殊情况下,比如拍摄黑板上的题目时,文字是白色的,而背景是深色的。因此需要检测字体的颜色,必要时反转灰度图像,其中,可以通过如下步骤确定图像对应的灰度图像需要进行灰度反转:
a、将所述灰度图进行灰度反转得到反转后的灰度图。
其中,灰度图可以由图像进行二值化处理后得到,灰度图为呈现黑白效果的图像,所述的反转即将灰度图中的像素点的灰度值进行对换。
b、确定所述灰度图和反转后的灰度图的外接框数量,所述外接框用于外接所述试题对应的字符。
对原图灰度图像和转后的灰度图像进行前景的连通域的外接框检测,得到灰度图上外接框的数量和反转后的灰度图上外接框的数量。
c、当反转后的灰度图上外接框的数量大于所述灰度图上外接框的数量时,确定所述图像对应的灰度图需要进行灰度反转。
将得到的灰度图上外接框的数量和反转后的灰度图上外接框的数量进行比较,由于有正常字体颜色的灰度图会检测出更多字符外接框,按照这个逻辑,当反转后的灰度图上外接框的数量大于所述灰度图上外接框的数量时,则确定所述图像对应的灰度图需要进行灰度反转。
可选地,本实施中,在步骤202之后还可以包括步骤203。
203、对所述图像上试题对应的字符进行分割。
经过图片预处理之后,可以开始进行图片的字符切分了,字符的切分是正确识别的基础,字符切分需要在更为准确的图像二值化的基础上,找到连通域作为初始切分结果,然后将连通域排列成行,再利用行的信息进行切分的修正,即可得到最终的切分结果,具体的步骤如下:
a、对图像中像素点的灰度值进行均衡化处理。
局部灰度均衡化可以使图像进行更为准确的二值化,局部均衡化的公式为:
f ( p ) = ( p - p min ) * ( 255 - p min ) p max - p min + p min
将原图中像素值的分布区域由[pmin,pmax]转换到[pmin,255],局部的均衡化利用了局部的像素值统计信息来均衡局部的灰度分布,避免了光照不均匀时全局分布和局部分布不一致而造成的错误的均衡结果,对于有些局部区域过小,而有太集中的像素值分布(如一块纯背景或纯字符部分),我们会借用它周围区域的分布来代替,避免其因统计不足而造成的分布偏颇,多层次局部灰度均衡化会对原图由粗到细、一层层划分更小的局部区域,对每块局部区域都进行局部灰度均衡化后,再平均所有的结果得到最终的均衡化结果。
b、根据灰度均衡化的结果,对图像进行二值化处理。
在进行均衡化处理后,用拉普拉斯算子得到初始字符种子。从这些种子中,字符的平均像素值得以估计计算。从剩余的背景区域中,我们可以同样估算出背景的平均像素值。从这两个值可以计算出阈值,用于在字符种子周围一定范围内的搜索区域分割出新的字符。更新后的字符分割结果会更加准确而完全地得到字符部分。经过几轮更新后,最终的字符分割结果将收敛到真实的字符位置上,二值化得以完成。
对于中文字符和数学符号还要进一步按照它们各自的规则进行修正。下面我们会逐一介绍具体的方法。
c、利用二值化的结果进行字符分割。
可以理解的是,对图像中的字符进行切割的顺序为:首先对文本行的字符进行切割、然后对文本行中的中文字符进行切割、最后对文本行中的公式进行切割。
下面分别对每一步切割进行介绍。
1、对文本行的字符进行切割。
二值化的结果可以初步给出各字符的连通域,基于连通域,各字符可以被初步分割;初步分割得到文本行会出现错误的字符粘连现象,因此可以将初始分割的字符先组成文本行,再利用文本行优化分割。
获得文本行后,通过过切分来解决粘连的问题。过切分可以更加均匀地分割各个文本行。一般来说,当分割块的长度与高度的比例较大时,则确定产生了粘连的现象。对于这样的情况,当前文本行会重新检查可能的切分点。切分点的评分是基于垂直投影的像素数目、垂直方向上字符上下轮廓的靠近程度以及距离前后切分点的距离。在最可能的切分点进行再次切分,可以解决粘连问题。
2、对中文字符的切割。
由于大部分中文字符都由多个连通域构成,并且中文字符具有方块字的特点,根据中文字符的特点,可以用于合并这些中文字符片段成为完整的单个字符,具体地,我们通过动态规划算法搜索这种最优字符片段进行组合。
3、对公式的进行切割。
公式包含复杂的结构,例如上标、下标、分式结构、包含等结构,而且可能跨行。公式分割不仅要得到各符号,而且也要构建出符号之间的结构关系。各符号可基于其连通域获得。而结构的构建,则要复杂得多。我们构建的方法是不断地横向和纵向投影。公式首先被纵向投影,根据结果可以分割为具有横向相邻关系的各部分。然后,再进行横向投影,进一步识别多连通域的部分的内在结构。以等号和根号举例来说,在横向投影中,等号可识别出上下两部分,然而其不符合分式的上中下结构,所以不予进一步分割。而根号和其下的连通域在横向投影中也是不可分割,由此可判断其为“包含”结构。其包含的部分进一步进行纵向、横向投影。由此,公式的结构得以构建,每个叶子节点是独立的符号。
204、所述服务器对所述图像中的试题进行识别,得到识别结果。
可选地,服务器在对图像中的试题进行识别时,可以采用深度学习技术进行识别,具体地,可以采用卷积神经网络和递归神经网络进行识别。
可选地,为了提升识别的速度,可以在服务器中集成图形处理器(GPU),利用GPU进行识别。
可选地,本实施例中还可以包括步骤205。
205、确定所述识别结果满足自然语言模型。
可以理解的是,在服务器对图像中的试题进行识别之后,还可以应用自然语言模型对该识别结果进行验证,当确定识别结果不符合自然语言模型时,对识别结果进行纠正,从而提升识别正确率。
其中,自然语言模型可以为三元语言模型,具体是通过识别结果中的上下文信息与自然语言模型中设定的规则进行比较,当识别结果中的上下文信息与自然语言模型中设定的规则相同时,则确定识别结果符合自然语言模型。
206、所述服务器根据所述识别结果,查找所述试题对应的解析信息。
可以理解的是,服务中设置有试题信息的数据库,在得到识别结果之后,可以利用该识别结果在解析信息库中查找与该试题对应的解析信息。
其中,服务器可以确定所述识别结果中的关键词,所述关键词包括相邻词对和/或相邻词团,然后利用所述关键词查找所述试题对应的解析信息。
可选地,服务器在确定识别结果中的关键词方式为:获取所述识别结果中每一个分词的评分,然后确定评分最高的分词为所述关键词。
其中,获取识别结果中每一个分词的评分的公式为:
score = base · Σ i ( u i · boost i )
其中,其中score表示最终评分,base表示基础得分,boosti表示根据预置规则的加权得分,ui表示其他加权项得分。
其中,加权得分来自加权项,主要的加权项包括最大匹配子序列加权、窗口匹配、公式匹配加权以及图搜图加权。
可以理解的是,在查询的题目和题库中题目按相同序列顺序匹配的情况。假设查询题目由序列分词{x1,x2,…,xn}表示,而题库中的一条检索信息以序列分词{y1,y2,…ym}表示。以d(xi,yj)表示当对齐xi和yj时,此前的最大匹配子序列的得分。因此,此得分可以依照下面的方法,根据xi和yj是否相同而迭代计算:
d ( x i , y i ) = d ( x i - 1 , y j - 1 ) + γ if x i = y j max { d ( x i - 1 , y j ) , d ( x i , y j - 1 ) } , otherwise
其中的是根据文字种类的权重。计算完后,并带回上式中。
由于用户拍摄的题目图片有可能没有拍全而只是完整题目的一部分,所以基于滑动窗口的匹配评估被采用。设查询的文本长度为l,以一个宽为1.5l的窗口每隔0.5l的距离在题库中的题目上滑动匹配。在每段窗口中,匹配的计算遵循以上公式,选择最高的窗口得分作为boost2来加权基本得分。
在题目中,公式往往比文本更重要,因此,我们要对公式部分加权得分。加权的方法是对公式部分做相邻词对和相邻词团的分词,一起用于和题库中相关题目的公式的分词用上述公式做匹配计算。
其中,如果查询的题目含有插图,还需要以图搜图的方式加权插图的得分。插图以基于图像特征提取的向量表示作为指纹,和题库中相关题目的插图做检索,以汉明距离计算二者的距离,距离越近,对原基础得分的加权越高。
本发明实施例中,服务器在进行图像识别之前,首先对图像进行预处理,可以起到提升图像识别效率及图像识别正确率的作用,比如当确定图像模糊时,重现获取图像,可避免模糊图像影响识别的正确率;在进行图像识别时,采用深度学习方法进行识别,进一步的,可采用服务器中的GPU进行识别,可以起到提升识别效率的作用;在图像识别之前,将图像中的字符进行分割,降低对图像识别的难度,从而提升识别正确率;采用相邻词对或相邻词团作为关键词进行解析信息的查找,可以起到提升查找解析信息的作用。
上面对本发明实施例中的一种获取试题解析信息的方法进行了描述,下面对本发明实施例中的一种获取试题解析信息的服务器进行描述,请参阅图3,本发明实施例中一种获取试题解析信息的服务器一个实施例包括:
获取单元301,用于从移动终端获取试题的图像;
识别单元302,用于对所述图像中的试题进行识别,得到识别结果;
查找单元303,用于根据所述识别结果,查找所述试题对应的解析信息;
处理单元304,用于向所述移动终端返回所述解析信息。
可选的,在上述图1所对应的实施例的基础上,本发明的另外一个实施例中:
其中,在对所述图像中试题进行识别,得到识别结果之前,所述处理单元304还用于:当确定所述图像模糊时,从所述移动终端重新获取图像;和/或,当确定所述图像发生了旋转时,将所述图像调整为正向;和/或,当确定所述图像对应的灰度图像需要进行灰度反转时,对所述灰度图像进行灰度反转。
可选地,所述处理单元304确定所述图像模糊,具体通过梯度算子确定出所述图像中的第一文字边缘;检测所述第一文字边缘的数量;当所述第一文字边缘的像素点数量小于阈值时,确定所述图像模糊;
可选地,所述处理单元304确定所述图像模糊,具体通过梯度算子确定出所述图像中的第一文字边缘;检测出第一像素点的第一灰度值和第一数量,所述第一像素点为第一文字边缘的像素点;根据所述第一灰度值确定第二灰度值,所述第一灰度值与所述第二灰度值之间的差值在第一阈值范围内;确定所述第二灰度值对应的第二像素点,和所述第二像素点的第二数量,所述第二像素点构成第二文字边缘;当所述第一数量与第二数量的比值在第二阈值范围内时,确定所述图像模糊。
可选地,所述处理单元304确定所述图像发生了旋转,具体通过确定所述图像上的外接框,所述外接框用于外接所述试题对应的字符;确定所述外接框横向成组的组数和纵向成组的组数,所述横向成组的组数中的相邻外接框之间的横向偏移量不大于所述外接框高度的一半,所述纵向成组的组数中的相邻外接框的之间的纵向偏移量不大于所述外接框高度的一半;当所述横向成组的组数与所述纵向成组的组数的差值在第三阈值范围内时,确定所述图像发生了旋转。
可选地,所述处理单元304确定所述图像需要进行灰度反转,具体通过将所述灰度图进行灰度反转得到反转后的灰度图;确定所述灰度图和反转后的灰度图的外接框数量,所述外接框用于外接所述试题对应的字符;当反转后的灰度图上外接框的数量大于所述灰度图上外接框的数量时,确定所述图像对应的灰度图需要进行灰度反转。
可选地,所述处理单元304在对所述图像中试题进行识别,得到识别结果之前,还用于对所述图像的灰度进行均衡化处理,并将所述图像进行二值化处理,以对所述图像上试题对应的字符进行分割。
可选地,所述识别单元302,具体用于采用卷积神经网络或递归神经网络对所述试题识别,得到识别结果。
可选地,所述处理单元304,在对所述图像中的试题进行识别,得到识别结果之后,根据所述识别结果,查找所述试题对应的解析信息之前,还用于确定所述识别结果满足自然语言模型。
可选地,所述查找单元303具体用于:确定所述识别结果中的关键词,所述关键词用于查找所述试题对应的解析信息,所述关键词包括相邻词对和/或相邻词团;利用所述关键词查找所述试题对应的解析信息。
可选地,所述查找单元303确定所述识别结果中的关键词,具体通过获取所述识别结果中每一个分词的评分,并确定评分最高的分词为所述关键词。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (20)

1.一种获取试题解析信息的方法,其特征在于,包括:
服务器从移动终端获取试题的图像;
所述服务器对所述图像中的试题进行识别,得到识别结果;
所述服务器根据所述识别结果,查找所述试题对应的解析信息;
所述服务器向所述移动终端返回所述解析信息。
2.根据权利要求1所述的方法,其特征在于,在对所述图像中试题进行识别,得到识别结果之前,还包括:
当确定所述图像模糊时,从所述移动终端重新获取图像;
和/或,
当确定所述图像发生了旋转时,将所述图像调整为正向;
和/或,
当确定所述图像对应的灰度图像需要进行灰度反转时,对所述灰度图像进行灰度反转。
3.根据权利要求2所述的方法,其特征在于,确定所述图像模糊包括:
通过梯度算子确定出所述图像中的第一文字边缘;
检测所述第一文字边缘的数量;
当所述第一文字边缘的像素点数量小于阈值时,确定所述图像模糊;
或者,
通过梯度算子确定出所述图像中的第一文字边缘;
检测出第一像素点的第一灰度值和第一数量,所述第一像素点为第一文字边缘的像素点;
根据所述第一灰度值确定第二灰度值,所述第一灰度值与所述第二灰度值之间的差值在第一阈值范围内;
确定所述第二灰度值对应的第二像素点,和所述第二像素点的第二数量,所述第二像素点构成第二文字边缘;
当所述第一数量与第二数量的比值在第二阈值范围内时,确定所述图像模糊。
4.根据权利要求2所述的方法,其特征在于,所述确定所述图像发生了旋转包括:
确定所述图像上的外接框,所述外接框用于外接所述试题对应的字符;
确定所述外接框横向成组的组数和纵向成组的组数,所述横向成组的组数中的相邻外接框之间的横向偏移量不大于所述外接框高度的一半,所述纵向成组的组数中的相邻外接框的之间的纵向偏移量不大于所述外接框高度的一半;
当所述横向成组的组数与所述纵向成组的组数的差值在第三阈值范围内时,确定所述图像发生了旋转。
5.根据权利要求2所述的方法,其特征在于,所述确定所述图像对应的灰度图需要进行灰度反转包括:
将所述灰度图进行灰度反转得到反转后的灰度图;
确定所述灰度图和反转后的灰度图的外接框数量,所述外接框用于外接所述试题对应的字符;
当反转后的灰度图上外接框的数量大于所述灰度图上外接框的数量时,确定所述图像对应的灰度图需要进行灰度反转。
6.根据权利要求1或2所述的方法,其特征在于,在对所述图像中试题进行识别,得到识别结果之前,还包括:
对所述图像上试题对应的字符进行分割。
7.根据权利要求1所述的方法,其特征在于,所述对所述图像中的试题进行识别,得到识别结果包括:
采用卷积神经网络或递归神经网络对所述试题识别,得到识别结果。
8.根据权利要求1至7中任一项所述的方法,其特征在于,在对所述图像中的试题进行识别,得到识别结果之后,根据所述识别结果,查找所述试题对应的解析信息之前,还包括:
确定所述识别结果满足自然语言模型。
9.根据权利要求1所述的方法,其特征在于,所述根据所述识别结果,查找所述试题对应的解析信息包括:
确定所述识别结果中的关键词,所述关键词用于查找所述试题对应的解析信息,所述关键词包括相邻词对和/或相邻词团;
利用所述关键词查找所述试题对应的解析信息。
10.根据权利要求9所述的方法,其特征在于,所述确定所述识别结果中的关键词包括:
获取所述识别结果中每一个分词的评分;
确定评分最高的分词为所述关键词。
11.一种获取试题解析信息的服务器,其特征在于,包括:
获取单元,用于从移动终端获取试题的图像;
识别单元,用于对所述图像中的试题进行识别,得到识别结果;
查找单元,用于根据所述识别结果,查找所述试题对应的解析信息;
处理单元,用于向所述移动终端返回所述解析信息。
12.根据权利要求11所述的服务器,其特征在于,在对所述图像中试题进行识别,得到识别结果之前,所述处理单元还用于:
当确定所述图像模糊时,从所述移动终端重新获取图像;
和/或,
当确定所述图像发生了旋转时,将所述图像调整为正向;
和/或,
当确定所述图像对应的灰度图像需要进行灰度反转时,对所述灰度图像进行灰度反转。
13.根据权利要求11所述的服务器,其特征在于,所述处理单元还用于:
通过梯度算子确定出所述图像中的第一文字边缘;
检测所述第一文字边缘的数量;
当所述第一文字边缘的像素点数量小于阈值时,确定所述图像模糊;
或者,
通过梯度算子确定出所述图像中的第一文字边缘;
检测出第一像素点的第一灰度值和第一数量,所述第一像素点为第一文字边缘的像素点;
根据所述第一灰度值确定第二灰度值,所述第一灰度值与所述第二灰度值之间的差值在第一阈值范围内;
确定所述第二灰度值对应的第二像素点,和所述第二像素点的第二数量,所述第二像素点构成第二文字边缘;
当所述第一数量与第二数量的比值在第二阈值范围内时,确定所述图像模糊。
14.根据权利要求12所述的服务器,其特征在于,所述处理单元具体用于:
确定所述图像上的外接框,所述外接框用于外接所述试题对应的字符;
确定所述外接框横向成组的组数和纵向成组的组数,所述横向成组的组数中的相邻外接框之间的横向偏移量不大于所述外接框高度的一半,所述纵向成组的组数中的相邻外接框的之间的纵向偏移量不大于所述外接框高度的一半;
当所述横向成组的组数与所述纵向成组的组数的差值在第三阈值范围内时,确定所述图像发生了旋转。
15.根据权利要求12所述的服务器,其特征在于,所述处理单元具体用于:
将所述灰度图进行灰度反转得到反转后的灰度图;
确定所述灰度图和反转后的灰度图的外接框数量,所述外接框用于外接所述试题对应的字符;
当反转后的灰度图上外接框的数量大于所述灰度图上外接框的数量时,确定所述图像对应的灰度图需要进行灰度反转。
16.根据权利要求11或12所述的服务器置,其特征在于,在对所述图像中试题进行识别,得到识别结果之前,所述处理单元还用于:
对所述图像的灰度进行均衡化处理;
将所述图像进行二值化处理,以对所述图像上试题对应的字符进行分割。
17.根据权利要求11所述的服务器,其特征在于,所述识别单元具体用于采用卷积神经网络或递归神经网络对所述试题识别,得到识别结果。
18.根据权利要求11至17中任一项所述的服务器,其特征在于,在对所述图像中的试题进行识别,得到识别结果之后,根据所述识别结果,查找所述试题对应的解析信息之前,所述处理单元还用于确定所述识别结果满足自然语言模型。
19.根据权利要求11所述的服务器,其特征在于,所述查找单元具体用于:
确定所述识别结果中的关键词,所述关键词用于查找所述试题对应的解析信息,所述关键词包括相邻词对和/或相邻词团;
利用所述关键词查找所述试题对应的解析信息。
20.根据权利要求19所述的服务器,其特征在于,所述查找单元具体用于:
获取所述识别结果中每一个分词的评分;
确定评分最高的分词为所述关键词。
CN201510155055.4A 2015-04-02 2015-04-02 一种获取试题解析信息的方法及服务器 Pending CN104715253A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510155055.4A CN104715253A (zh) 2015-04-02 2015-04-02 一种获取试题解析信息的方法及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510155055.4A CN104715253A (zh) 2015-04-02 2015-04-02 一种获取试题解析信息的方法及服务器

Publications (1)

Publication Number Publication Date
CN104715253A true CN104715253A (zh) 2015-06-17

Family

ID=53414563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510155055.4A Pending CN104715253A (zh) 2015-04-02 2015-04-02 一种获取试题解析信息的方法及服务器

Country Status (1)

Country Link
CN (1) CN104715253A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105677872A (zh) * 2016-01-08 2016-06-15 广东小天才科技有限公司 一种题目搜索方法、题目搜索装置及学习设备
CN105975552A (zh) * 2016-04-29 2016-09-28 广东小天才科技有限公司 一种智能设备的题目搜索方法和装置
CN105975550A (zh) * 2016-04-29 2016-09-28 广东小天才科技有限公司 一种智能设备的题目搜索方法和装置
CN107403130A (zh) * 2017-04-19 2017-11-28 北京粉笔未来科技有限公司 一种字符识别方法及字符识别装置
CN107609195A (zh) * 2017-10-18 2018-01-19 广东小天才科技有限公司 一种搜题方法及装置
CN108932508A (zh) * 2018-08-13 2018-12-04 杭州大拿科技股份有限公司 一种题目智能识别、批改的方法和***
CN110084099A (zh) * 2019-03-14 2019-08-02 北京暄暄科技有限公司 基于图像识别技术的信息反馈方法和***
CN110163204A (zh) * 2019-04-15 2019-08-23 平安国际智慧城市科技股份有限公司 基于图像识别的商家监管方法、装置及存储介质
CN111666474A (zh) * 2019-03-08 2020-09-15 小船出海教育科技(北京)有限公司 一种整页搜题的方法及终端
CN111814798A (zh) * 2020-07-14 2020-10-23 深圳中兴网信科技有限公司 题目数字化处理方法和可读存储介质
CN111915635A (zh) * 2020-08-21 2020-11-10 广州云蝶科技有限公司 支持自阅卷的试题解析信息生成方法及***
CN112818947A (zh) * 2016-12-15 2021-05-18 网易(杭州)网络有限公司 试卷图像处理方法、设备和计算机可读存储介质
CN114333338A (zh) * 2020-09-30 2022-04-12 瑞昱新加坡有限公司 一种车牌辨识***与方法
CN114723721A (zh) * 2022-04-18 2022-07-08 贝塔通科技(北京)有限公司 图像清晰度确定方法、***及图像上传方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060252023A1 (en) * 2005-05-03 2006-11-09 Lexmark International, Inc. Methods for automatically identifying user selected answers on a test sheet
CN101122952A (zh) * 2007-09-21 2008-02-13 北京大学 一种图片文字检测的方法
CN102045503A (zh) * 2009-10-15 2011-05-04 索尼公司 信息处理设备、显示控制方法和显示控制程序
CN103678637A (zh) * 2013-12-19 2014-03-26 北京快乐学网络科技有限公司 一种获取试题信息的方法及装置
CN103839062A (zh) * 2014-03-11 2014-06-04 东方网力科技股份有限公司 一种图像文字定位方法及装置
CN103914567A (zh) * 2014-04-23 2014-07-09 北京奇虎科技有限公司 匹配目标***的方法和装置
CN103927552A (zh) * 2014-04-23 2014-07-16 北京奇虎科技有限公司 匹配目标***的方法和装置
CN103955525A (zh) * 2014-05-09 2014-07-30 北京奇虎科技有限公司 一种搜索***的方法及客户端

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060252023A1 (en) * 2005-05-03 2006-11-09 Lexmark International, Inc. Methods for automatically identifying user selected answers on a test sheet
CN101122952A (zh) * 2007-09-21 2008-02-13 北京大学 一种图片文字检测的方法
CN102045503A (zh) * 2009-10-15 2011-05-04 索尼公司 信息处理设备、显示控制方法和显示控制程序
CN103678637A (zh) * 2013-12-19 2014-03-26 北京快乐学网络科技有限公司 一种获取试题信息的方法及装置
CN103839062A (zh) * 2014-03-11 2014-06-04 东方网力科技股份有限公司 一种图像文字定位方法及装置
CN103914567A (zh) * 2014-04-23 2014-07-09 北京奇虎科技有限公司 匹配目标***的方法和装置
CN103927552A (zh) * 2014-04-23 2014-07-16 北京奇虎科技有限公司 匹配目标***的方法和装置
CN103955525A (zh) * 2014-05-09 2014-07-30 北京奇虎科技有限公司 一种搜索***的方法及客户端

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105677872A (zh) * 2016-01-08 2016-06-15 广东小天才科技有限公司 一种题目搜索方法、题目搜索装置及学习设备
CN105677872B (zh) * 2016-01-08 2019-04-19 广东小天才科技有限公司 一种题目搜索方法、题目搜索装置及学习设备
CN105975552B (zh) * 2016-04-29 2020-01-03 广东小天才科技有限公司 一种智能设备的题目搜索方法和装置
CN105975552A (zh) * 2016-04-29 2016-09-28 广东小天才科技有限公司 一种智能设备的题目搜索方法和装置
CN105975550A (zh) * 2016-04-29 2016-09-28 广东小天才科技有限公司 一种智能设备的题目搜索方法和装置
CN105975550B (zh) * 2016-04-29 2020-01-14 广东小天才科技有限公司 一种智能设备的题目搜索方法和装置
CN112818947A (zh) * 2016-12-15 2021-05-18 网易(杭州)网络有限公司 试卷图像处理方法、设备和计算机可读存储介质
CN107403130A (zh) * 2017-04-19 2017-11-28 北京粉笔未来科技有限公司 一种字符识别方法及字符识别装置
CN107609195A (zh) * 2017-10-18 2018-01-19 广东小天才科技有限公司 一种搜题方法及装置
CN108932508A (zh) * 2018-08-13 2018-12-04 杭州大拿科技股份有限公司 一种题目智能识别、批改的方法和***
CN108932508B (zh) * 2018-08-13 2022-03-18 杭州大拿科技股份有限公司 一种题目智能识别、批改的方法和***
US11508251B2 (en) 2018-08-13 2022-11-22 Hangzhou Dana Technology Inc. Method and system for intelligent identification and correction of questions
CN111666474A (zh) * 2019-03-08 2020-09-15 小船出海教育科技(北京)有限公司 一种整页搜题的方法及终端
CN111666474B (zh) * 2019-03-08 2023-08-25 北京百舸飞驰科技有限公司 一种整页搜题的方法及终端
CN110084099A (zh) * 2019-03-14 2019-08-02 北京暄暄科技有限公司 基于图像识别技术的信息反馈方法和***
CN110163204A (zh) * 2019-04-15 2019-08-23 平安国际智慧城市科技股份有限公司 基于图像识别的商家监管方法、装置及存储介质
CN111814798A (zh) * 2020-07-14 2020-10-23 深圳中兴网信科技有限公司 题目数字化处理方法和可读存储介质
CN111915635A (zh) * 2020-08-21 2020-11-10 广州云蝶科技有限公司 支持自阅卷的试题解析信息生成方法及***
CN114333338A (zh) * 2020-09-30 2022-04-12 瑞昱新加坡有限公司 一种车牌辨识***与方法
CN114723721A (zh) * 2022-04-18 2022-07-08 贝塔通科技(北京)有限公司 图像清晰度确定方法、***及图像上传方法

Similar Documents

Publication Publication Date Title
CN104715253A (zh) 一种获取试题解析信息的方法及服务器
CN111325203B (zh) 一种基于图像校正的美式车牌识别方法及***
CN107403130A (zh) 一种字符识别方法及字符识别装置
RU2661750C1 (ru) Распознавание символов с использованием искусственного интеллекта
CN107305630B (zh) 文本序列识别方法和装置
US9697444B2 (en) Convolutional-neural-network-based classifier and classifying method and training methods for the same
US20190180154A1 (en) Text recognition using artificial intelligence
US9042648B2 (en) Salient object segmentation
CN110647829A (zh) 一种票据的文本识别方法及***
CN105868758A (zh) 图像中文本区域检测方法、装置及电子设备
CN104463101A (zh) 用于文字性试题的答案识别方法及***
CN105631482A (zh) 一种基于卷积神经网络模型的危险物品图像分类方法
US20180330181A1 (en) Method for line and word segmentation for handwritten text images
CN104156706A (zh) 一种基于光学字符识别技术的中文字符识别方法
CN107085726A (zh) 基于多方法去噪和连通区域分析的甲骨拓片单字定位方法
CN111626297A (zh) 文字书写质量评价方法、装置、电子设备和记录介质
CN111783753B (zh) 基于语义一致水平条和前景修正的行人重识别方法
CN116258861B (zh) 基于多标签学习的半监督语义分割方法以及分割装置
CN108345833A (zh) 数学公式的识别方法及***和计算机设备
CN111104941A (zh) 图像方向纠正方法、装置及电子设备
US11132572B2 (en) Method and system for splicing and restoring shredded paper based on extreme learning machine
JP7293658B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN113159146A (zh) 样本生成、目标检测模型训练、目标检测方法及装置
Fornés et al. The ICDAR/GREC 2013 music scores competition: Staff removal
CN116612478A (zh) 一种脱机手写汉字的评分方法、装置及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20190326