CN111027557B - 一种基于题目图像的科目识别方法及电子设备 - Google Patents
一种基于题目图像的科目识别方法及电子设备 Download PDFInfo
- Publication number
- CN111027557B CN111027557B CN201910183503.XA CN201910183503A CN111027557B CN 111027557 B CN111027557 B CN 111027557B CN 201910183503 A CN201910183503 A CN 201910183503A CN 111027557 B CN111027557 B CN 111027557B
- Authority
- CN
- China
- Prior art keywords
- image
- subject
- topic
- information corresponding
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000001514 detection method Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 125000004122 cyclic group Chemical group 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例涉及电子设备技术领域,公开一种基于题目图像的科目识别方法及电子设备,该方法包括:先使用图像识别模型识别题目图像对应的科目信息,再检测图像识别模型是否成功识别得到题目图像对应的科目信息,若无法成功识别得到科目信息,则使用图像训练模型训练题目图像,将图像训练模型输出的题目图像的训练结果,设为题目图像对应的科目信息。可见,本发明使用图像训练模型对图像识别模型无法识别得到科目信息的题目图像进行训练,得到图像训练模型输出的题目图像对应的科目信息,从而提高了对题目图像的科目识别准确率,用户的使用体验较好。
Description
技术领域
本发明涉及电子设备技术领域,具体涉及一种基于题目图像的科目识别方法及电子设备。
背景技术
当前,部分家教机具备搜题功能,可根据题目图像搜索得到与题目相关的内容。在实际使用中发现,由于题目的多样性以及题目图像的图像质量参差不齐,现有采用图像识别模型来识别科目的方法识别率不高,部分情况下无法识别得到题目对应的科目,造成用户无法获得所需内容,使用体验较差。可见,现有的基于题目图像的科目识别方法识别率较低,用户使用体验不佳。
发明内容
针对上述缺陷,本发明实施例公开了一种基于题目图像的科目识别方法及电子设备,用于解决现有技术存在的识别准确率较低,用户使用体验不佳的问题。
本发明实施例第一方面公开了一种基于题目图像的科目识别方法,包括:
使用图像识别模型识别题目图像对应的科目信息;
检测所述图像识别模型是否成功识别得到所述题目图像对应的科目信息;
若否,使用图像训练模型训练所述题目图像,并输出所述题目图像对应的科目信息。
作为一种可选的实施方式,在本发明实施例第一方面中,所述使用图像识别模型识别题目图像对应的科目信息,包括:
使用所述图像识别模型识别得到所述题目图像的连通域;
分析所述题目图像的连通域得到所述题目图像包括的字符信息;
根据所述字符信息分析得到所述题目图像对应的科目信息。
作为一种可选的实施方式,在本发明实施例第一方面中,所述方法还包括:
提取历史题目图像的图像特征;
获取所述历史题目图像的图像特征中包括的有效图像特征;
根据所述历史题目图像的有效图像特征及所述历史题目图像对应的科目信息,生成所述图像训练模型。
作为一种可选的实施方式,在本发明实施例第一方面中,在所述使用图像训练模型训练所述题目图像,并输出所述题目图像对应的科目信息之后,所述方法还包括:
向用户推送所述题目图像对应的科目信息,并询问所述用户所述题目图像对应的科目信息是否正确;
若接收到所述用户输入的指示所述题目图像对应的科目信息不正确的信息,执行所述使用图像训练模型训练所述题目图像,并输出所述题目图像对应的科目信息的步骤。
作为一种可选的实施方式,在本发明实施例第一方面中,在接收到所述用户输入的指示所述题目图像对应的科目信息正确的信息之后,所述方法还包括:
根据所述题目图像及所述题目图像对应的科目信息搜索获得所述题目图像对应的学习信息;
向所述用户推送所述题目图像对应的学习信息。
本发明实施例第二方面公开一种电子设备,包括:
科目识别单元,用于使用图像识别模型识别题目图像对应的科目信息;
识别检测单元,用于检测所述图像识别模型是否成功识别得到所述题目图像对应的科目信息;
图像训练单元,用于在识别检测单元检测得到所述图像识别模型未成功识别得到所述题目图像对应的科目信息时,使用图像训练模型训练所述题目图像,并输出所述题目图像对应的科目信息。
作为一种可选的实施方式,在本发明实施例第二方面中,所述科目识别单元包括:
第一子单元,用于使用所述图像识别模型识别得到所述题目图像的连通域;
第二子单元,用于分析所述题目图像的连通域得到所述题目图像包括的字符信息;
第三子单元,用于根据所述字符信息分析得到所述题目图像对应的科目信息。
作为一种可选的实施方式,在本发明实施例第二方面中,所述电子设备还包括:
特征提取单元,用于提取历史题目图像的图像特征;
特征筛选单元,用于获取所述历史题目图像的图像特征中包括的有效图像特征;
模型生成单元,用于根据所述历史题目图像的有效图像特征及所述历史题目图像对应的科目信息,生成所述图像训练模型。
作为一种可选的实施方式,在本发明实施例第二方面中,所述电子设备还包括:
询问单元,用于在所述图像训练单元使用图像训练模型训练所述题目图像,并输出所述题目图像对应的科目信息之后,向用户推送所述题目图像对应的科目信息,并询问所述用户所述题目图像对应的科目信息是否正确;
所述图像训练单元,还用于在接收到所述用户输入的指示所述题目图像对应的科目信息不正确的信息时,执行所述使用图像训练模型训练所述题目图像,并输出所述题目图像对应的科目信息的步骤。
作为一种可选的实施方式,在本发明实施例第二方面中,所述电子设备还包括:
推送单元,用于在接收到所述用户输入的指示所述题目图像对应的科目信息正确的信息之后,根据所述题目图像及所述题目图像对应的科目信息搜索获得所述题目图像对应的学习信息,并向所述用户推送所述题目图像对应的学习信息。
本发明实施例第三方面公开一种电子设备,包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明实施例第一方面公开的一种基于题目图像的科目识别方法。
本发明实施例第四方面公开一种计算机可读存储介质,其存储计算机程序,其中,所述计算机程序使得计算机执行本发明实施例第一方面公开的一种基于题目图像的科目识别方法。
本发明实施例第五方面公开一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
本发明实施例第六方面公开一种应用发布平台,所述应用发布平台用于发布计算机程序产品,其中,当所述计算机程序产品在计算机上运行时,使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
与现有技术相比,本发明实施例具有以下有益效果:
本发明实施例中,先使用图像识别模型识别题目图像对应的科目信息,再检测图像识别模型是否成功识别得到题目图像对应的科目信息,若无法成功识别得到科目信息,则使用图像训练模型训练题目图像,将图像训练模型输出的题目图像的训练结果,设为题目图像对应的科目信息。可见,本发明使用图像训练模型对图像识别模型无法识别得到科目信息的题目图像进行训练,得到图像训练模型输出的题目图像对应的科目信息,从而提高了对题目图像的科目识别准确率,用户的使用体验较好。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于题目图像的科目识别方法的流程示意图;
图2为本发明实施例提供的另一种基于题目图像的科目识别方法的流程示意图;
图3为本发明实施例提供的一种电子设备的结构示意图;
图4是本发明实施例提供的另一种电子设备的结构示意图;
图5是本发明实施例提供的另一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明实施例的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开了一种基于题目图像的科目识别方法及电子设备,可以提高对题目图像的科目识别准确率,提升用户使用体验。以下从电子设备角度出发,结合附图进行详细描述。
实施例一
请参阅图1,图1是本发明实施例公开的一种基于题目图像的科目识别方法的流程示意图。其中,图1所描述的题目的识别方法适用于家教机、智能手机、平板电脑及个人电脑等电子设备。本发明实施例以电子设备为例描述题目的识别方法,不应构成对该方法的限定。如图1所示,该题目的识别方法可以包括以下步骤。
101、使用图像识别模型识别题目图像对应的科目信息。
本发明实施例中,题目图像可以是指用户通过设置在电子设备上的拍摄模组所拍摄得到的课本上的题目图像,也可以是指用户在电子设备上进行练习时所截取的电子设备显示屏上的题目图像。
本发明实施例中,图像识别模型用于对题目图像进行初步识别,在题目图像的图像特征较为明显的情况下,可迅速识别出题目图像的科目信息。
作为一种可选的实施方式,使用图像识别模型识别得到题目图像的连通域,分析题目图像的连通域得到题目图像包括的字符信息,从而根据字符信息分析得到题目图像对应的科目信息。具体地,题目图像上整齐排列的题目字符将构成题目图像的连通域,图像识别模型根据边缘检测算法识别得到题目字符所构成的连通域,从而无需对题目图像除去连通域以外的区域进行识别,加快了识别效率;在识别得到连通域后,进一步识别得到连通域所包括的字符信息,并对字符信息进行分析,例如通过识别题目图像的连通域得到以下字符信息(求解以下一元一次方程式:2X=2),根据存储有科目信息及科目信息对应关键词的对照表,可分析得到上述字符信息中的“一元一次方程”为数学的对应关键词,则可获知该题目图像的科目信息为数学。可见,使用图像识别模型可快速地识别得到图像特征明显的题目图像。
102、检测图像识别模型是否成功识别得到题目图像对应的科目信息。
本发明实施例中,由于部分题目图像存在图像特征不明显等情况,图像识别模型无法识别得到题目图像的科目信息,所以需要检测图像识别模型是否成功识别得到题目图像对应的科目信息。
作为一种可选的实施方式,可根据图像识别模型识别历史题目图像的历史识别时长设置预设识别时长,若检测到图像识别模型识别题目图像的识别时长已超出预设识别时长,则可认为图像识别模型未成功识别得到题目图像对应的科目信息,从而避免了图像识别模型长时间对题目图像进行无效识别。
103、使用图像训练模型训练题目图像,并输出题目图像对应的科目信息。
本发明实施例中,对于步骤102中检测得到的无法由图像识别模型识别得到科目信息的题目图像,将基于图像训练模型对该题目图像进行训练,从而根据题目图像的图像特征训练得到训练结果,进而分析获知题目图像的科目信息。在此之前,需要根据历史题目图像及历史题目图像对应的科目信息,训练得到图像训练模型。
作为一种可选的实施方式,提取历史题目图像的图像特征,获取历史题目图像的图像特征中包括的有效图像特征,以根据历史题目图像的有效图像特征及历史题目图像对应的科目信息,生成图像训练模型。具体地,可采用卷积神经网络对历史题目图像进行训练,通过随机生成一个卷积核对历史题目图像进行处理,将历史题目图像划分若干个区域,提取得到每一区域的像素点信息作为每一区域的图像特征,再以每一区域的像素点的平均值代表该区域,将相邻的像素点平均值的差值小于预设阈值的区域进行合并,得到合并后的有效图像特征,从而训练得到历史题目图像的有效图像特征与历史题目图像的科目信息相对应的图像训练模型,可对输入的题目图像进行训练并获知题目图像对应的科目信息。
作为另一种可选的实施方式,可采用卷积神经网络与循环神经网络相结合的方式训练得到图像训练模型,卷积神经网络对历史题目图像的图像特征进行提取,循环神经网络多次对图像特征进行合并以及选取其中的有效图像特征以生成图像训练模型,从而图像训练模型可更为准确地识别题目图像的科目信息。
可以理解的是,本发明实施例除了可采用卷积神经网络或者循环神经网络对历史题目图像进行训练,还可采用深度神经网络等算法对历史题目图像进行训练,以使图像训练模型可灵活地识别清晰度不佳或者内容繁杂的题目图像。
本发明实施例中,在训练得到图像训练模型之后,即可使用图像训练模型对步骤102中检测得到的无法由图像识别模型识别得到科目信息的题目图像进行训练。
作为一种可选的实施方式,通过将题目图像输入图像训练模型,图像训练模型即可识别得到该题目图像的有效图像特征,并根据有效图像特征对该题目图像进行分类,从而准确地获知该题目图像对应的科目信息。
可见,本发明实施例中,先使用图像识别模型识别题目图像对应的科目信息,再检测图像识别模型是否成功识别得到题目图像对应的科目信息,若无法成功识别得到科目信息,则使用图像训练模型训练题目图像,将图像训练模型输出的题目图像的训练结果,设为题目图像对应的科目信息。通过使用图像识别模型对题目图像进行预识别,再使用图像训练模型对图像识别模型无法识别的题目图像进行训练,提高了对各类型题目图像的科目识别准确率,识别失败的情况大为减少,用户使用体验较好。
实施例二
请参阅图2,图2为本发明另一实施例提供的题目的识别方法的流程示意图。如图2所示,该题目的识别方法可以包括以下步骤。
201、使用图像识别模型识别题目图像对应的科目信息。
202、检测图像识别模型是否成功识别得到题目图像对应的科目信息。
203、使用图像训练模型训练题目图像,并输出题目图像对应的科目信息。
本发明实施例中,在图像训练模型识别得到科目信息后,转向步骤204。
204、向用户推送题目图像对应的科目信息,并询问用户题目图像对应的科目信息是否正确。
本发明实施例中,在图像训练模型识别得到题目图像的科目信息后,考虑到图像训练模型虽然对科目信息的识别准确率较高,但仍可能存在识别错误的情况,因此可由用户对图像训练模型的科目识别结果进行鉴定。
作为一种可选的实施方式,在使用图像训练模型训练题目图像,并输出题目图像对应的科目信息之后,向用户推送题目图像对应的科目信息,并询问用户题目图像对应的科目信息是否正确。具体地,可在识别得到题目图像对应的科目信息之后,在电子设备的显示屏上显示本次识别的题目图像以及对应的科目信息,并在显示屏上设置选项按钮,用户在对科目信息进行鉴别后,点击对应的选项按钮,即可告知电子设备本次科目识别是否正确,从而便于根据用户的反馈提示科目识别的准确率。
进一步可选地,若接收到用户输入的指示题目图像对应的科目信息不正确的信息,执行使用图像训练模型训练题目图像,并输出题目图像对应的科目信息的步骤。具体地,在用户确定根据题目图像所识别得到的科目信息不正确之后,将使用图像训练模型重新对该题目图像进行训练,由于图像训练模型具有训练的数据量越大,准确率越高的特点,可通过多次识别科目信息错误的题目图像,来提高图像训练模型的准确率。此外,用户可以在题目图像的科目信息识别错误时,为该题目图像输入正确的科目信息,从而图像训练模型可根据该题目图像正确的科目信息高效地进行训练。
更一步可选地,对于识别数量较大且科目识别准确率较高的科目信息,可询问用户在识别得到该科目信息时,是否仍需弹出询问框询问用户该科目信息是否正确。例如,电子设备已对大量的数学科目对应的题目图像进行识别,且对于数学科目的识别准确率为99%,电子设备将询问用户,在以后识别得到题目图像的科目信息为数学时是否仍需询问用户该科目信息是否识别正确,用户根据实际使用情况决定是否关闭对数学科目的询问功能,从而精简了业务流程,优化用户体验。
205、向用户推送题目图像对应的学习信息。
本发明实施例中,在用户确认电子设备已识别得到题目图像的正确科目信息后,电子设备可根据科目信息向用户推送相关的学习内容。
作为一种可选的实施方式,在接收到用户输入的指示题目图像对应的科目信息正确的信息之后,根据题目图像及题目图像对应的科目信息搜索获得题目图像对应的学习信息,并向用户推送题目图像对应的学习信息。具体地,电子设备对题目图像上的字符信息进行识别,并根据字符信息及科目信息在数据库中搜索得到与该题目图像相关的学习内容,如该题目的答案与解析、该题目对应的教材或者包含该题目的练习卷等学习内容,从而用户可方便地根据需求选择所需的学习内容进行学习。
作为另一种可选的实施方式,电子设备可记录用户近期识别的题目图像的科目信息,并根据题目图像的字符信息搜索相关的习题进行智能组卷,从而用户可对近期所搜索的内容进行练习,强化学习效果。
可见,本发明实施例中,用户可对电子设备所识别到的科目信息进行鉴别,并及时将识别错误的题目图像告知电子设备。对于成功识别得到科目信息的题目图像,电子设备将向用户推送与该题目图像相关的学习内容供用户学习,便于用户针对性地进行学习。
实施例三
请参阅图3,图3为本发明实施例公开的一种电子设备的结构示意图。如图3所示,该电子设备可以包括:
特征提取单元301,用于提取历史题目图像的图像特征;
特征筛选单元302,用于获取历史题目图像的图像特征中包括的有效图像特征;
模型生成单元303,用于根据历史题目图像的有效图像特征及历史题目图像对应的科目信息,生成图像训练模型。
科目识别单元304,用于使用图像识别模型识别题目图像对应的科目信息;
识别检测单元305,用于检测图像识别模型是否成功识别得到题目图像对应的科目信息;
图像训练单元306,用于在识别检测单元检测得到图像识别模型未成功识别得到题目图像对应的科目信息时,使用图像训练模型训练题目图像,并输出题目图像对应的科目信息;
其中,科目识别单元304具体包括:
第一子单元3041,用于使用图像识别模型识别得到题目图像的连通域;
第二子单元3042,用于分析题目图像的连通域得到题目图像包括的字符信息;
第三子单元3043,用于根据字符信息分析得到题目图像对应的科目信息。
本发明实施例中,特征提取单元301提取历史题目图像的图像特征,并由特征筛选单元302选取其中的有效图像特征,供模型生成单元303生成图像训练模型,在对题目图像进行识别时,先由科目识别单元304使用图像识别模型对题目图像进行识别,若识别检测单元305检测到科目识别单元304无法识别得到科目信息,则图像训练单元306使用图像训练模型训练题目图像,并输出题目图像对应的科目信息。
作为一种可选的实施方式,特征提取单元301提取历史题目图像的图像特征,特征筛选单元302获取历史题目图像的图像特征中包括的有效图像特征,模型生成单元303根据历史题目图像的有效图像特征及历史题目图像对应的科目信息,生成图像训练模型。具体地,特征提取单元301可采用卷积神经网络对历史题目图像进行训练,通过随机生成一个卷积核对历史题目图像进行处理,将历史题目图像划分若干个区域,提取得到每一区域的像素点信息作为每一区域的图像特征,特征筛选单元302再以每一区域的像素点的平均值代表该区域,将相邻的像素点平均值的差值小于预设阈值的区域进行合并,得到合并后的有效图像特征,从而模型生成单元303生成历史题目图像的有效图像特征与历史题目图像的科目信息相对应的图像训练模型,可对输入的题目图像进行训练并获知题目图像对应的科目信息。
作为另一种可选的实施方式,可采用卷积神经网络与循环神经网络相结合的方式训练得到图像训练模型,特征提取单元301采用卷积神经网络对历史题目图像的图像特征进行提取,特征筛选单元302采用循环神经网络多次对图像特征进行合并以及选取其中的有效图像特征以供模型生成单元303生成图像训练模型,从而图像训练模型可更为准确地识别题目图像的科目信息。
作为一种可选的实施方式,第一子单元3041使用图像识别模型识别得到题目图像的连通域,第二子单元3042分析题目图像的连通域得到题目图像包括的字符信息,从而第三子单元3043根据字符信息分析得到题目图像对应的科目信息。具体地,题目图像上整齐排列的题目字符将构成题目图像的连通域,第一子单元3041根据边缘检测算法识别得到题目字符所构成的连通域,从而无需对题目图像除去连通域以外的区域进行识别,加快了识别效率;在识别得到连通域后,第二子单元3042进一步识别得到连通域所包括的字符信息,并由第三子单元3043对字符信息进行分析,例如科目识别单元304通过识别题目图像的连通域得到以下字符信息(求解以下一元一次方程式:2X=2),根据存储有科目信息及科目信息对应关键词的对照表,可分析得到上述字符信息中的“一元一次方程”为数学的对应关键词,则可获知该题目图像的科目信息为数学。可见,使用图像识别模型可快速地识别得到图像特征明显的题目图像。
作为一种可选的实施方式,识别检测单元305可根据图像识别模型识别历史题目图像的历史识别时长设置预设识别时长,若识别检测单元305检测到科目识别单元304识别题目图像的识别时长已超出预设识别时长,则可认为科目识别单元304未成功识别得到题目图像对应的科目信息,从而避免了图像识别模型长时间对题目图像进行无效识别。
作为一种可选的实施方式,图像训练单元306通过将题目图像输入图像训练模型,图像训练模型即可识别得到该题目图像的有效图像特征,并根据有效图像特征对该题目图像进行分类,从而准确地获知该题目图像对应的科目信息。
可见,本发明实施例中,科目识别单元304先使用图像识别模型识别题目图像对应的科目信息,再有识别检测单元305检测图像识别模型是否成功识别得到题目图像对应的科目信息,若科目识别单元304无法成功识别得到科目信息,则图像训练单元306使用图像训练模型训练题目图像,将图像训练模型输出的题目图像的训练结果,设为题目图像对应的科目信息。通过使用图像识别模型对题目图像进行预识别,再使用图像训练模型对图像识别模型无法识别的题目图像进行训练,提高了对各类型题目图像的科目识别准确率,识别失败的情况大为减少,用户使用体验较好。
实施例四
请参阅图4,图4为本发明另一实施例提供的一种电子设备的结构示意图;图4所示的电子设备是在图3所示的电子设备的基础上进行优化得到的,图4所示的电子设备还可以包括:
询问单元307,用于在图像训练单元使用图像训练模型训练题目图像,并输出题目图像对应的科目信息之后,向用户推送题目图像对应的科目信息,并询问用户题目图像对应的科目信息是否正确;
推送单元308,用于在接收到用户输入的指示所述题目图像对应的科目信息正确的信息之后,根据题目图像及题目图像对应的科目信息搜索获得题目图像对应的学习信息,并向用户推送所述题目图像对应的学习信息;
此外,图像训练单元306,还用于在接收到用户输入的指示题目图像对应的科目信息不正确的信息时,执行使用图像训练模型训练题目图像,并输出题目图像对应的科目信息的步骤。
本发明实施例中,询问单元307向用户推送图像训练单元306识别得到科目信息,在用户确认该科目信息正确后,由推送单元308向用户推送该题目图像对应的学习信息。
作为一种可选的实施方式,在图像训练单元306使用图像训练模型训练题目图像,并输出题目图像对应的科目信息之后,询问单元307向用户推送题目图像对应的科目信息,并询问用户题目图像对应的科目信息是否正确。具体地,询问单元307可在图像训练单元306识别得到题目图像对应的科目信息之后,在电子设备的显示屏上显示本次识别的题目图像以及对应的科目信息,并在显示屏上设置选项按钮,用户在对科目信息进行鉴别后,点击对应的选项按钮,即可告知电子设备本次科目识别是否正确,从而便于根据用户的反馈提示科目识别的准确率。
进一步可选地,图像训练单元306若接收到用户输入的指示题目图像对应的科目信息不正确的信息,执行使用图像训练模型训练题目图像,并输出题目图像对应的科目信息的步骤。具体地,在用户确定根据题目图像所识别得到的科目信息不正确之后,图像训练单元306将使用图像训练模型重新对该题目图像进行训练,由于图像训练模型具有训练的数据量越大,准确率越高的特点,可通过多次识别科目信息错误的题目图像,来提高图像训练模型的准确率。此外,用户可以在题目图像的科目信息识别错误时,为该题目图像输入正确的科目信息,从而图像训练模型可根据该题目图像正确的科目信息高效地进行训练。
更一步可选地,对于识别数量较大且科目识别准确率较高的科目信息,询问单元307可询问用户在识别得到该科目信息时,是否仍需弹出询问框询问用户该科目信息是否正确。例如,图像训练单元306已对大量的数学科目对应的题目图像进行识别,且对于数学科目的识别准确率为99%,询问单元307将询问用户,在以后识别得到题目图像的科目信息为数学时是否仍需询问用户该科目信息是否识别正确,用户根据实际使用情况决定是否关闭对数学科目的询问功能,从而精简了业务流程,优化用户体验。
作为一种可选的实施方式,推送单元308在接收到用户输入的指示题目图像对应的科目信息正确的信息之后,根据题目图像及题目图像对应的科目信息搜索获得题目图像对应的学习信息,并向用户推送题目图像对应的学习信息。具体地,推送单元308对题目图像上的字符信息进行识别,并根据字符信息及科目信息在数据库中搜索得到与该题目图像相关的学习内容,如该题目的答案与解析、该题目对应的教材或者包含该题目的练习卷等学习内容,从而用户可方便地根据需求选择所需的学习内容进行学习。
作为另一种可选的实施方式,推送单元308可记录用户近期识别的题目图像的科目信息,并根据题目图像的字符信息搜索相关的习题进行智能组卷,从而用户可对近期所搜索的内容进行练习,强化学习效果。
可见,本发明实施例中,用户可对电子设备所识别到的科目信息进行鉴别,并及时通过询问单元307将识别错误的题目图像告知电子设备。对于成功识别得到科目信息的题目图像,推送单元308将向用户推送与该题目图像相关的学习内容供用户学习,便于用户针对性地进行学习。
实施例五
请参阅图5,图5是本发明另一实施例公开的另一种电子设备的结构示意图。如图5所示,该可电子设备可以包括:
存储有可执行程序代码的存储器401;
与存储器401耦合的处理器402;
其中,处理器402调用存储器401中存储的可执行程序代码,执行图1和图2任意一种基于题目图像的科目识别方法。
本发明实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序使得计算机执行图1和图2任意一种基于题目图像的科目识别方法。
本发明实施例还公开一种计算机程序产品,其中,当计算机程序产品在计算机上运行时,使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种基于题目图像的科目识别方法及电子设备进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (2)
1.一种基于题目图像的科目识别方法,其特征在于,包括:
提取历史题目图像的图像特征;获取所述历史题目图像的图像特征中包括的有效图像特征;根据所述历史题目图像的有效图像特征及所述历史题目图像对应的科目信息,生成图像训练模型;
使用图像识别模型识别得到题目图像的连通域;分析所述题目图像的连通域得到所述题目图像包括的字符信息;根据所述字符信息分析得到所述题目图像对应的科目信息;
检测所述图像识别模型识别所述题目图像的识别时长是否超出预设识别时长;
若是,确定所述图像识别模型未成功识别得到所述题目图像对应的科目信息,使用所述图像训练模型训练所述题目图像,并输出所述题目图像对应的科目信息;
向用户推送所述题目图像对应的科目信息,并询问所述用户所述题目图像对应的科目信息是否正确;
若接收到所述用户输入的指示所述题目图像对应的科目信息不正确的信息,执行所述使用图像训练模型训练所述题目图像,并输出所述题目图像对应的科目信息的步骤;
在接收到所述用户输入的指示所述题目图像对应的科目信息正确的信息之后,根据所述题目图像及所述题目图像对应的科目信息搜索获得所述题目图像对应的学习信息,并向所述用户推送所述题目图像对应的学习信息。
2.一种电子设备,其特征在于,包括:
特征提取单元,用于提取历史题目图像的图像特征;
特征筛选单元,用于获取所述历史题目图像的图像特征中包括的有效图像特征;
模型生成单元,用于根据所述历史题目图像的有效图像特征及所述历史题目图像对应的科目信息,生成图像训练模型;
科目识别单元,用于使用图像识别模型识别题目图像对应的科目信息;
识别检测单元,用于检测所述图像识别模型识别所述题目图像的识别时长是否超出预设识别时长;
图像训练单元,用于在所述识别检测单元检测得到所述图像识别模型识别所述题目图像的识别时长超出预设识别时长时,确定所述图像识别模型未成功识别得到所述题目图像对应的科目信息,使用所述图像训练模型训练所述题目图像,并输出所述题目图像对应的科目信息;
询问单元,用于向用户推送所述题目图像对应的科目信息,并询问所述用户所述题目图像对应的科目信息是否正确;
所述图像训练单元,还用于在接收到所述用户输入的指示所述题目图像对应的科目信息不正确的信息时,执行所述使用图像训练模型训练所述题目图像,并输出所述题目图像对应的科目信息的步骤;
推送单元,用于在接收到所述用户输入的指示所述题目图像对应的科目信息正确的信息之后,根据所述题目图像及所述题目图像对应的科目信息搜索获得所述题目图像对应的学习信息,并向所述用户推送所述题目图像对应的学习信息;
所述科目识别单元包括:
第一子单元,用于使用所述图像识别模型识别得到所述题目图像的连通域;
第二子单元,用于分析所述题目图像的连通域得到所述题目图像包括的字符信息;
第三子单元,用于根据所述字符信息分析得到所述题目图像对应的科目信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910183503.XA CN111027557B (zh) | 2019-03-11 | 2019-03-11 | 一种基于题目图像的科目识别方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910183503.XA CN111027557B (zh) | 2019-03-11 | 2019-03-11 | 一种基于题目图像的科目识别方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111027557A CN111027557A (zh) | 2020-04-17 |
CN111027557B true CN111027557B (zh) | 2024-03-19 |
Family
ID=70203600
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910183503.XA Active CN111027557B (zh) | 2019-03-11 | 2019-03-11 | 一种基于题目图像的科目识别方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111027557B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114973815A (zh) * | 2022-04-27 | 2022-08-30 | 龙诚教育科技(深圳)有限公司 | 一种用于在线教学对学生进行测试的***、方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6621941B1 (en) * | 1998-12-18 | 2003-09-16 | Xerox Corporation | System of indexing a two dimensional pattern in a document drawing |
CN101620680A (zh) * | 2008-07-03 | 2010-01-06 | 三星电子株式会社 | 字符图像的识别和翻译方法以及装置 |
CN102169542A (zh) * | 2010-02-25 | 2011-08-31 | 汉王科技股份有限公司 | 文字识别中粘连字符的切分方法和装置 |
CN103886343A (zh) * | 2014-04-09 | 2014-06-25 | 合肥科飞视觉科技有限公司 | 一种提高视觉***对模糊图像识别能力的方法及*** |
CN105184232A (zh) * | 2015-08-12 | 2015-12-23 | 祁亨年 | 一种o2o互联网作业本、***及实现方法 |
CN107491752A (zh) * | 2017-08-14 | 2017-12-19 | 中国石油大学(华东) | 一种基于深度学习的自然场景中船牌文字识别方法、装置 |
CN108121984A (zh) * | 2016-11-30 | 2018-06-05 | 杭州海康威视数字技术股份有限公司 | 一种字符识别方法及装置 |
CN108416003A (zh) * | 2018-02-27 | 2018-08-17 | 百度在线网络技术(北京)有限公司 | 一种图片分类方法和装置、终端、存储介质 |
CN108764226A (zh) * | 2018-04-13 | 2018-11-06 | 顺丰科技有限公司 | 图像文本识别方法、装置、设备及其存储介质 |
CN108875486A (zh) * | 2017-09-28 | 2018-11-23 | 北京旷视科技有限公司 | 目标对象识别方法、装置、***和计算机可读介质 |
-
2019
- 2019-03-11 CN CN201910183503.XA patent/CN111027557B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6621941B1 (en) * | 1998-12-18 | 2003-09-16 | Xerox Corporation | System of indexing a two dimensional pattern in a document drawing |
CN101620680A (zh) * | 2008-07-03 | 2010-01-06 | 三星电子株式会社 | 字符图像的识别和翻译方法以及装置 |
CN102169542A (zh) * | 2010-02-25 | 2011-08-31 | 汉王科技股份有限公司 | 文字识别中粘连字符的切分方法和装置 |
CN103886343A (zh) * | 2014-04-09 | 2014-06-25 | 合肥科飞视觉科技有限公司 | 一种提高视觉***对模糊图像识别能力的方法及*** |
CN105184232A (zh) * | 2015-08-12 | 2015-12-23 | 祁亨年 | 一种o2o互联网作业本、***及实现方法 |
CN108121984A (zh) * | 2016-11-30 | 2018-06-05 | 杭州海康威视数字技术股份有限公司 | 一种字符识别方法及装置 |
CN107491752A (zh) * | 2017-08-14 | 2017-12-19 | 中国石油大学(华东) | 一种基于深度学习的自然场景中船牌文字识别方法、装置 |
CN108875486A (zh) * | 2017-09-28 | 2018-11-23 | 北京旷视科技有限公司 | 目标对象识别方法、装置、***和计算机可读介质 |
CN108416003A (zh) * | 2018-02-27 | 2018-08-17 | 百度在线网络技术(北京)有限公司 | 一种图片分类方法和装置、终端、存储介质 |
CN108764226A (zh) * | 2018-04-13 | 2018-11-06 | 顺丰科技有限公司 | 图像文本识别方法、装置、设备及其存储介质 |
Non-Patent Citations (1)
Title |
---|
王熙.好未来教育服务平台的设计与实现.《中国优秀硕士学位论文全文数据库》.2018,(第12期),第1-81页. * |
Also Published As
Publication number | Publication date |
---|---|
CN111027557A (zh) | 2020-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109271401B (zh) | 一种题目搜索、批改方法、装置、电子设备和存储介质 | |
US11410407B2 (en) | Method and device for generating collection of incorrectly-answered questions | |
CN109446315B (zh) | 一种解题辅助方法及解题辅助客户端 | |
CN107343223B (zh) | 视频片段的识别方法和装置 | |
KR20180122926A (ko) | 학습 서비스 제공 방법 및 그 장치 | |
CN108768654B (zh) | 基于声纹识别的身份验证方法、服务器及存储介质 | |
US20140172415A1 (en) | Apparatus, system, and method of providing sentiment analysis result based on text | |
CN109656465B (zh) | 一种应用于家教设备的内容获取方法及家教设备 | |
CN109408821B (zh) | 一种语料生成方法、装置、计算设备及存储介质 | |
CN109284355B (zh) | 一种批改试卷中口算题的方法及装置 | |
CN111191067A (zh) | 绘本识别方法、终端设备及计算机可读存储介质 | |
CN108197300B (zh) | 一种搜题方法及*** | |
CN109582773B (zh) | 智能问答匹配方法及装置 | |
CN106484132B (zh) | 一种输入纠错方法和输入法装置 | |
CN106649849A (zh) | 文本信息库建立方法和装置、以及搜索方法、装置和*** | |
CN104750791A (zh) | 一种图像检索方法及装置 | |
CN111026949A (zh) | 一种基于电子设备的搜题方法及*** | |
CN111078856A (zh) | 一种群聊对话处理方法、装置及电子设备 | |
CN111241400B (zh) | 一种信息搜索方法及装置 | |
CN111027557B (zh) | 一种基于题目图像的科目识别方法及电子设备 | |
CN108093032B (zh) | 一种答案锁的控制方法及客户端 | |
CN111639630B (zh) | 一种作业批改方法及装置 | |
CN113205046A (zh) | 题册识别方法、***、装置及介质 | |
CN109993053B (zh) | 电子装置、基于微表情识别的访谈辅助方法和存储介质 | |
Boillet et al. | Confidence estimation for object detection in document images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |