WO2021073266A1 - 基于图像检测的试题检查方法及相关设备 - Google Patents

基于图像检测的试题检查方法及相关设备 Download PDF

Info

Publication number
WO2021073266A1
WO2021073266A1 PCT/CN2020/111882 CN2020111882W WO2021073266A1 WO 2021073266 A1 WO2021073266 A1 WO 2021073266A1 CN 2020111882 W CN2020111882 W CN 2020111882W WO 2021073266 A1 WO2021073266 A1 WO 2021073266A1
Authority
WO
WIPO (PCT)
Prior art keywords
character
text
image
neural network
recognition
Prior art date
Application number
PCT/CN2020/111882
Other languages
English (en)
French (fr)
Inventor
盛建达
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2021073266A1 publication Critical patent/WO2021073266A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Definitions

  • This application relates to the field of artificial intelligence and image processing, and in particular to a method, device, electronic equipment, and computer-readable storage medium for examination questions based on image detection.
  • the prior art can only perform automatic scoring of answer sheets for filling out pictures, and only scan for subjective questions. Some test takers write poorly, but there are a large number of test takers who write poorly but the answering logic is completely correct in the answering process. Therefore, at this time, the marking teacher has to read the test papers carefully. During the marking period, the marking work is heavy and the marking task is heavy. However, the inventor realized that manual review is required for filling-in-the-blank questions in existing mathematics and physics test papers. Usually the questions are fixed answers, while short answer questions and subjective calculation questions are all formulas. Therefore, based on the traditional natural Language Processing (Natural Language Processing, NLP) cannot solve the problem of formula reasoning.
  • NLP Natural Language Processing
  • the first aspect of the present application provides an examination question checking method based on image detection, the method including:
  • the formula in the image is segmented according to the connected domain, the character parts in the obtained character part sequence are combined into character part pairs, and the character part pairs are classified by the SVM classifier, and then the character parts are classified according to the classification results. Combination of character parts to obtain several characters;
  • Establish a standard answer database use the scoring deep neural network to learn standard answers, and use the learned scoring deep neural network to give scores to the recognized text recognition text and formula recognition text against the scoring rules.
  • the second aspect of the application provides a test question checking device based on image detection, the device comprising:
  • the acquisition module is used to acquire the image containing the answer sheet
  • the text recognition module is used for recognizing the text in the image to obtain text recognition text
  • the formula recognition module is used to segment the formula in the image according to the connected domains, combine the character components in the obtained character component sequence into character component pairs, and use the SVM classifier to classify the character component pairs, and then according to The classification result combines the character parts belonging to the same character to obtain several characters;
  • the scoring module is used to build a standard answer library, use the scoring deep neural network for standard answer learning, and use the learned scoring deep neural network to give scores to the recognized text recognition text and formula recognition text against the scoring rule.
  • a third aspect of the present application provides an electronic device that includes a processor, and the processor is configured to implement the following steps when executing computer-readable instructions stored in a memory:
  • the formula in the image is segmented according to the connected domain, the character parts in the obtained character part sequence are combined into character part pairs, and the character part pairs are classified by the SVM classifier, and then the character parts are classified according to the classification results. Combination of character parts to obtain several characters;
  • Establish a standard answer database use the scoring deep neural network to learn standard answers, and use the learned scoring deep neural network to give scores to the recognized text recognition text and formula recognition text against the scoring rules.
  • a fourth aspect of the present application provides a computer-readable storage medium having computer-readable instructions stored on the computer-readable storage medium, and when the computer-readable instructions are executed by a processor, the following steps are implemented:
  • the formula in the image is segmented according to the connected domain, the character parts in the obtained character part sequence are combined into character part pairs, and the character part pairs are classified by the SVM classifier, and then the character parts are classified according to the classification results. Combination of character parts to obtain several characters;
  • Establish a standard answer database use the scoring deep neural network to learn standard answers, and use the learned scoring deep neural network to give scores to the recognized text recognition text and formula recognition text against the scoring rules.
  • this application establishes a standard answer database, uses a deep neural network for scoring to learn standard answers, and uses a deep neural network for scoring after learning to compare the text recognition text recognized from the image and the formula recognition text against the scoring rules. Score points, improve the efficiency of scoring.
  • FIG. 1 is a flowchart of a test question checking method based on image detection in an embodiment of the present application.
  • FIG. 2 is a schematic diagram of an application environment of a test question checking method based on image detection in an embodiment of the present application.
  • Fig. 3 is a schematic diagram of a test question checking device based on image detection in an embodiment of the present application.
  • Fig. 4 is a schematic diagram of an electronic device in an embodiment of the present application.
  • the test question checking method based on image detection in this application is applied to one or more electronic devices.
  • the electronic device is a device that can automatically perform numerical calculation and/or information processing in accordance with pre-set or stored instructions. Its hardware includes, but is not limited to, a microprocessor and an application specific integrated circuit (ASIC) , Programmable Gate Array (Field-Programmable Gate Array, FPGA), Digital Processor (Digital Signal Processor, DSP), embedded equipment, etc.
  • ASIC application specific integrated circuit
  • FPGA Field-Programmable Gate Array
  • DSP Digital Processor
  • embedded equipment etc.
  • the electronic device may be a computing device such as a desktop computer, a notebook computer, a tablet computer, and a cloud server.
  • the device can interact with the user through a keyboard, a mouse, a remote control, a touch panel, or a voice control device.
  • FIG. 1 is a flowchart of a test question checking method based on image detection in an embodiment of the present application. According to different needs, the order of the steps in the flowchart can be changed, and some steps can be omitted.
  • the method for checking test questions based on image detection specifically includes the following steps:
  • step S11 an image containing an answer sheet is obtained.
  • FIG. 2 shows an application environment diagram of a test question checking method based on image detection in an embodiment of this application.
  • the method is applied in a terminal device 1.
  • the terminal device 1 includes an image acquisition unit 11.
  • the terminal device 1 scans the answer sheet through the image acquisition unit 11 to acquire an image containing the answer sheet.
  • the image acquisition unit 11 is a camera.
  • the terminal device 1 may receive an image sent by an external device 2 communicatively connected with the terminal device 1.
  • Step S12 Recognizing the text in the image to obtain text recognized by the text.
  • the recognizing the text in the image to obtain the text recognition text includes: using a text recognition method based on a deep neural network to recognize the text in the image to obtain the text recognition text.
  • the recognizing text in the image by using a text recognition method based on a deep neural network to obtain the text recognized text includes:
  • preprocessing the image includes processing the image such as sharpening, graying, binarization, tilt correction, and noise reduction.
  • the preprocessed image is put into the deep learning network to obtain multiple candidate text regions.
  • the deep learning network may be a convolutional neural network (CNN), for example, a convolutional neural network such as VGG and AlexNet.
  • CNN convolutional neural network
  • the placing multiple candidate text regions of the preprocessed image into a deep learning neural network, and converting the content in the candidate text regions into text recognition text includes: using full depth convolutional neural networks
  • the network performs text image feature extraction on each candidate text area, and represents each candidate text area as a feature vector; uses a two-layer recurrent neural network to process the feature vector, and outputs the probability distribution about the character set; uses CTC network As a transcription layer, the probability distribution of the character set is used to use a dynamic programming algorithm of forward calculation and backward gradient propagation to output text recognition text.
  • the recognizing text in the image by using a text recognition method based on a deep neural network to obtain the text recognized text includes:
  • the deep neural network is obtained by training according to each sample image, the character region calibration result of each sample image, and the characters included in each sample image.
  • the categories of the character data in the feature map include: a first character category, a second character category, and a third character category.
  • character recognition is performed on the feature map corresponding to each character region through the deep neural network, and the characters included in the image obtained include:
  • 500 character data corresponding to the first character category, the second character category, and the third character category are selected respectively, and the category is marked for each positive sample character data, and "1" can be used as the character label of the first character category.
  • the training samples in the training set of different characters are distributed to different folders.
  • the training samples of the first character category are distributed to the first folder
  • the training samples of the second character category are distributed to the second folder
  • the training samples of the third character category are distributed to the third folder.
  • a proportion (for example, 30%) of training samples is used as a total test sample to verify the accuracy of the trained deep neural network.
  • the training is ended, and the deep neural network after training is used to recognize the type of the character data; if the accuracy rate is less than the preset accuracy rate, then Increase the number of positive samples and the number of negative samples to retrain the deep neural network until the accuracy rate is greater than or equal to the preset accuracy rate.
  • the method further includes:
  • This application displays the handwritten font on the answer sheet in the image and the recognized text recognition text on the terminal device 1, thereby helping the marking teacher to quickly identify the scribbled font, reducing the workload of marking and improving the accuracy of marking The degree and guarantee the consistency of the marking results between different candidates.
  • Step S13 Recognizing the formula in the image by using a convolutional neural network to obtain a formula recognition text.
  • the recognition of the formula in the image by using the convolutional neural network to obtain the formula recognition text includes:
  • the formula in the image is segmented according to the connected domains to obtain the character component sequence W ⁇ W0, W1,...,Wn ⁇ , according to the obtained character component sequence W ⁇ W0, W1,..., Wn ⁇
  • the convolutional neural network based on batch normalization and global average pooling algorithms uses 1 ⁇ 1 and 3 ⁇ 3 convolution kernels
  • the convolutional neural network includes: the first volume set in sequence Build-up layer, first pooling layer, second convolutional layer, second pooling layer, third convolutional layer, third pooling layer, fourth convolutional layer, fourth pooling layer, fifth convolutional layer , Global average pooling layer and softmax layer, where each convolutional layer is normalized by a batch normalization algorithm, and the global average pooling layer is used to calculate the global average of each feature map.
  • the segmentation operation of the glued character includes: using the contour tracking algorithm to extract the outer contour C of the glued character M; using the concave corner point detection algorithm to find the concave corner point ci in the outer contour C of the character, where 0 ⁇ i ⁇ I , I is the total number of concave corner points; regard the concave corner points as candidate segmentation points, connect two by two to obtain candidate segmentation lines; use each candidate segmentation line to segment in turn, and use the SVM classifier to verify and identify the segmentation results, and identify according to the verification As a result, the best segmentation line is determined, thereby completing the segmentation operation of the glued characters.
  • the input data in the formula analysis stage is the type of character and the positional relationship of the character.
  • geometric and semantic constraints are performed on the combination of characters to complete the reconstruction of the formula. Specifically: for geometric constraints, by determining the position and size of the current character, determine the search range of the current character, and combine the characters within the search range; for semantic constraints, use a two-dimensional random context-free grammar to combine characters, So as to complete the reconstruction of the formula.
  • the method further includes:
  • Step S14 Establish a standard answer database, use the scoring deep neural network for standard answer learning, and use the learned scoring deep neural network to give scores to the recognized text recognition text and formula recognition text against the scoring rule.
  • a standard answer is first input into the scoring deep neural network, and then multiple samples are randomly selected for computer learning.
  • answer entries are matched, fuzzy matching methods and synonym strip replacement techniques are used, and they are continuously updated during machine learning.
  • Matching library and vocabulary library output a new answer library, and decompose the answer in the answer library into multiple modules with N characters as nodes (that is, standard library modularization), match the output characters with the answer library, and output Review the results and give the final score based on the preset scoring criteria.
  • using the learned scoring deep neural network to give scores to the recognized text recognition text and formula recognition text comparison scoring rule includes: checking and analyzing whether the constants in the formula recognition text are quoted correctly, Combine the knowledge graph composed of the existing formula database to check the meaning of each letter in the formula, and calculate the final score according to the preset scoring rules according to the constant check result and the check result of the letter in the formula, thereby improving Marking efficiency.
  • FIG. 3 is a schematic diagram of a test question checking device 40 based on image detection in an embodiment of the application.
  • the test question checking device 40 based on image detection runs in an electronic device.
  • the test question checking device 40 based on image detection may include a plurality of functional modules composed of program code segments.
  • the program code of each program segment in the image detection-based examination question checking device 40 may be stored in a memory and executed by at least one processor to perform the function of examination question checking.
  • the test question checking device 40 based on image detection can be divided into multiple functional modules according to the functions it performs.
  • the test question checking device 40 based on image detection may include an acquisition module 401, a text recognition module 402, a formula recognition module 403, a scoring module 404 and a display module 405.
  • the module referred to in this application refers to a series of computer program segments that can be executed by at least one processor and can complete fixed functions, and are stored in a memory.
  • the functions of each module will be detailed in subsequent embodiments.
  • the acquiring module 401 acquires an image containing an answer sheet.
  • the acquisition module 401 scans the answer sheet through the image acquisition unit 11 to acquire an image containing the answer sheet.
  • the image acquisition unit 11 is a camera.
  • the acquisition module 401 may receive an image sent by an external device 2 communicatively connected with the terminal device 1.
  • the character recognition module 402 recognizes the characters in the image to obtain character recognition text.
  • the character recognition module 402 recognizing the characters in the image to obtain the character recognition text includes: using a deep neural network-based character recognition method to recognize the characters in the image to obtain the character recognition text.
  • the recognizing text in the image by using a text recognition method based on a deep neural network to obtain the text recognized text includes:
  • preprocessing the image includes processing the image such as sharpening, graying, binarization, tilt correction, and noise reduction.
  • the text recognition module 402 puts the preprocessed image into the deep learning network to obtain multiple candidate text regions.
  • the deep learning network may be a convolutional neural network (CNN), for example, a convolutional neural network such as VGG and AlexNet.
  • the text recognition module 402 puts multiple candidate text regions of the preprocessed image into a deep learning neural network, and converts the content in the candidate text regions into text recognition text including: using full depth
  • the convolutional neural network extracts text image features for each candidate text area, and expresses each candidate text area as a feature vector; uses a two-layer recurrent neural network to process the feature vector and output the probability distribution about the character set;
  • the CTC network is used as the transcription layer, and the probability distribution of the character set is used to use a dynamic programming algorithm of forward calculation and backward gradient propagation to output text recognition text.
  • the text recognition module 402 uses a deep neural network-based text recognition method to recognize text in the image, and obtaining the text recognized text includes:
  • the deep neural network is obtained by training according to each sample image, the character region calibration result of each sample image, and the characters included in each sample image.
  • the categories of the character data in the feature map include: a first character category, a second character category, and a third character category.
  • the character recognition module 402 performs character recognition on the feature map corresponding to each character region through the deep neural network, and the characters included in the image obtained include:
  • 500 character data corresponding to the first character category, the second character category, and the third character category are selected respectively, and the category is marked for each positive sample character data, and "1" can be used as the character label of the first character category.
  • the training samples in the training set of different characters are distributed to different folders.
  • the training samples of the first character category are distributed to the first folder
  • the training samples of the second character category are distributed to the second folder
  • the training samples of the third character category are distributed to the third folder.
  • a proportion (for example, 30%) of training samples is used as a total test sample to verify the accuracy of the trained deep neural network.
  • the training is ended, and the deep neural network after training is used to recognize the type of the character data; if the accuracy rate is less than the preset accuracy rate, then Increase the number of positive samples and the number of negative samples to retrain the deep neural network until the accuracy rate is greater than or equal to the preset accuracy rate.
  • the display module 405 is configured to display the handwritten font and the recognized text recognition text on the answer sheet in the image.
  • This application displays the handwritten font on the answer sheet in the image and the recognized text recognition text on the terminal device 1, thereby helping the marking teacher to quickly identify the scribbled font, reducing the workload of marking and improving the accuracy of marking The degree and guarantee the consistency of the marking results between different candidates.
  • the formula recognition module 403 uses a convolutional neural network to recognize the formula in the image to obtain the formula recognition text. Specifically, the recognizing the formula in the image by using the convolutional neural network to obtain the formula recognition text includes:
  • the formula in the image is segmented according to the connected domains to obtain the character component sequence W ⁇ W0, W1,...,Wn ⁇ , according to the obtained character component sequence W ⁇ W0, W1,..., Wn ⁇
  • the convolutional neural network based on batch normalization and global average pooling algorithms uses 1 ⁇ 1 and 3 ⁇ 3 convolution kernels
  • the convolutional neural network includes: the first volume set in sequence Build-up layer, first pooling layer, second convolutional layer, second pooling layer, third convolutional layer, third pooling layer, fourth convolutional layer, fourth pooling layer, fifth convolutional layer , Global average pooling layer and softmax layer, where each convolutional layer is normalized by a batch normalization algorithm, and the global average pooling layer is used to calculate the global average of each feature map.
  • the segmentation operation of the glued character includes: using the contour tracking algorithm to extract the outer contour C of the glued character M; using the concave corner point detection algorithm to find the concave corner point ci in the outer contour C of the character, where 0 ⁇ i ⁇ I , I is the total number of concave corner points; regard the concave corner points as candidate segmentation points, connect two by two to obtain candidate segmentation lines; use each candidate segmentation line to segment in turn, and use the SVM classifier to verify and identify the segmentation results, and identify according to the verification As a result, the best segmentation line is determined, and the segmentation operation of the glued characters is completed.
  • the input data in the formula analysis stage is the type of character and the positional relationship of the character.
  • geometric and semantic constraints are performed on the combination of characters to complete the reconstruction of the formula. Specifically: for geometric constraints, by determining the position and size of the current character, determine the search range of the current character, and combine the characters within the search range; for semantic constraints, use a two-dimensional random context-free grammar to combine characters, So as to complete the reconstruction of the formula.
  • the display module 405 is also configured to display the recognized formula recognition text for the user to view.
  • the scoring module 404 establishes a standard answer library, uses the scoring deep neural network to learn the standard answers, and uses the learned scoring deep neural network to give scores to the recognized text recognition text and formula recognition text against the scoring rule.
  • the scoring module 404 first inputs a standard answer into the scoring deep neural network, and then randomly selects multiple samples for computer learning. When answer entries are matched, fuzzy matching methods and synonym entry replacement techniques are used. During machine learning, the matching library and term library are constantly updated, and a new answer library is output, and the answer in the answer library is decomposed into multiple modules with N characters as nodes (that is, standard library modularization), and the output characters and answers The library performs matching, outputs the review results, and combines the preset scoring criteria to give the final score.
  • using the learned scoring deep neural network to give scores to the recognized text recognition text and formula recognition text comparison scoring rule includes: checking and analyzing whether the constants in the formula recognition text are quoted correctly, Combine the knowledge graph composed of the existing formula database to check the meaning of each letter in the formula, and calculate the final score according to the preset scoring rules according to the constant check result and the check result of the letter in the formula, thereby improving Marking efficiency.
  • FIG. 4 is a schematic diagram of a preferred embodiment of the electronic device 7 of this application.
  • the electronic device 7 includes a memory 71, a processor 72, and a computer program 73 that is stored in the memory 71 and can run on the processor 72.
  • the steps in the embodiment of the test question checking method based on image detection are implemented, such as steps S11 to S14 shown in FIG. 1.
  • the processor 72 executes the computer program 73 the functions of the modules/units in the above-mentioned embodiment of the test question checking device based on image detection are implemented, such as the modules 401 to 405 in FIG. 3.
  • the computer program 73 may be divided into one or more modules/units, and the one or more modules/units are stored in the memory 71 and executed by the processor 72 to complete This application.
  • the one or more modules/units may be a series of computer-readable instruction segments capable of completing specific functions, and the instruction segments are used to describe the execution process of the computer program 73 in the electronic device 7.
  • the computer program 73 can be divided into an acquisition module 401, a character recognition module 402, a formula recognition module 403, a scoring module 404, and a display module 405 in FIG. 3.
  • the specific functions of each module refer to the second embodiment.
  • the electronic device 7 and the terminal device 1 are the same device.
  • the electronic device 7 may be a computing device such as a desktop computer, a notebook, a palmtop computer, and a cloud server.
  • the schematic diagram is only an example of the electronic device 7 and does not constitute a limitation on the electronic device 7. It may include more or fewer components than those shown in the figure, or a combination of certain components, or different components. Components, for example, the electronic device 7 may also include an input/output device, a network access device, a bus, and the like.
  • the so-called processor 72 may be a central processing module (Central Processing Unit, CPU), other general-purpose processors, digital signal processors (Digital Signal Processor, DSP), application specific integrated circuits (Application Specific Integrated Circuit, ASIC), Field-Programmable Gate Array (FPGA) or other programmable logic devices, discrete gates or transistor logic devices, discrete hardware components, etc.
  • the general-purpose processor can be a microprocessor or the processor 72 can also be any conventional processor, etc.
  • the processor 72 is the control center of the electronic device 7 and connects the entire electronic device 7 with various interfaces and lines. The various parts.
  • the memory 71 may be used to store the computer program 73 and/or modules/units.
  • the processor 72 runs or executes the computer programs and/or modules/units stored in the memory 71 and calls the computer programs and/or modules/units stored in the memory 71.
  • the data in 71 realizes various functions of the electronic device 7.
  • the memory 71 may mainly include a program storage area and a data storage area, where the program storage area may store an operating system, an application program required by at least one function (such as a sound playback function, an image playback function, etc.), etc.; the storage data area may Data (such as audio data) created in accordance with the use of the electronic device 7 and the like are stored.
  • the memory 71 may include non-volatile and volatile memory, such as a hard disk, a memory, a plug-in hard disk, a smart memory card (Smart Media Card, SMC), a Secure Digital (SD) card, a flash memory card ( Flash Card), at least one magnetic disk storage device, flash memory device, or other computer-readable storage medium that can be used to carry or store data.
  • non-volatile and volatile memory such as a hard disk, a memory, a plug-in hard disk, a smart memory card (Smart Media Card, SMC), a Secure Digital (SD) card, a flash memory card ( Flash Card), at least one magnetic disk storage device, flash memory device, or other computer-readable storage medium that can be used to carry or store data.
  • the computer-readable storage medium may be non-volatile or volatile.
  • the integrated module/unit of the electronic device 7 is implemented in the form of a software function module and sold or used as an independent product, it can be stored in a computer readable storage medium.
  • this application implements all or part of the procedures in the above-mentioned embodiments and methods, and can also be completed by instructing relevant hardware through a computer program.
  • the computer program can be stored in a computer-readable storage medium.
  • the computer program includes computer-readable instruction code
  • the computer-readable instruction code may be in the form of source code, object code, executable file, or some intermediate form.
  • the computer-readable medium may include: any entity or device capable of carrying the computer-readable instruction code, recording medium, U disk, mobile hard disk, magnetic disk, optical disk, computer memory, read-only memory (ROM, Read-Only Memory), random access memory, etc.
  • the functional modules in the various embodiments of the present application may be integrated in the same processing module, or each module may exist alone physically, or two or more modules may be integrated in the same module.
  • the above-mentioned integrated modules can be implemented in the form of hardware, or in the form of hardware plus software functional modules.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)

Abstract

本申请涉及人工智能技术领域，提供一种基于图像检测的试题检查方法及相关设备。所述方法包括：获取包含有答题卡的图像；对所述图像中的文字进行识别，得到文字识别文本；对所述图像中的公式进行识别，得到公式识别文本；及建立标准答案库，利用评分深度神经网络进行标准答案学习，及利用学习后的评分深度神经网络对识别出的文字识别文本及公式识别文本对照评分规则给出得分。本申请通过建立标准答案库，利用评分深度神经网络进行标准答案学习，及利用学习后的评分深度神经网络对从图像中识别出的文字识别文本及公式识别文本对照评分规则给出得分，提高了阅卷的效率。

Description

基于图像检测的试题检查方法及相关设备
本申请要求于2019年10月18日提交中国专利局、申请号为201910996054.0，发明名称为“基于图像检测的试题检查方法及相关设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及人工智能及图像处理领域，具体涉及一种基于图像检测的试题检查方法、装置、电子设备及计算机可读存储介质。
背景技术
现有技术仅仅只能对填图的答题卡进行自动阅卷，对于主观题仅仅只会扫描，某些考生书写比较差，但是存在大量的考生虽然书写较差但是答题过程答题逻辑完全正确。因此这时候阅卷老师就不得不仔细看试卷，在阅卷期间阅卷工作量大，阅卷任务重。然而，发明人意识到，对于现有的数学、物理试卷的填空问答题需要进行人工批阅，通常问答题都是固定答案，而简答题及主观计算题又都是公式，因而，基于传统的自然语言处理(Natural Language Processing,NLP)无法解决公式推理问题。此外，试题中的公式存在上标下标，传统的文字识别算法并未对公式识别有好的识别率，很大概率会被认为连续写的字而不被认为是上下标，因而造成阅卷效率低下。
发明内容
鉴于以上内容，有必要提出一种基于图像检测的试题检查方法、装置、电子设备及计算机可读存储介质以提高阅卷效率。
本申请的第一方面提供一种基于图像检测的试题检查方法，所述方法包括：
获取包含有答题卡的图像；
对所述图像中的文字进行识别，得到文字识别文本；
将所述图像中的公式按照连通域进行分割，将获得的字符部件序列中的字符部件两两组合为字符部件对，并使用SVM分类器将字符部件对分类，再根据分类结果将属于同一字符的字符部件组合，获得若干字符；
利用基于批量归一化和全局平均池化算法的卷积神经网络进行字符识别，获得字符的类别和字符的位置关系，对于无法识别的字符看作粘连字符，对粘连字符进行分割操作后再进行字符识别操作；
根据字符的类别和位置关系对字符的组合进行几何和语义约束，再结合CYK算法自下而上的完成公式的重构，得到公式识别文本；及
建立标准答案库，利用评分深度神经网络进行标准答案学习，及利用学习后的评分深度神经网络对识别出的文字识别文本及公式识别文本对照评分规则给出得分。
申请的第二方面提供一种基于图像检测的试题检查装置，所述装置包括：
获取模块，用于获取包含有答题卡的图像；
文字识别模块，用于对所述图像中的文字进行识别，得到文字识别文本；
公式识别模块，用于对所述图像中的公式按照连通域进行分割，将获得的字符部件序列中的字符部件两两组合为字符部件对，并使用SVM分类器将字符部件对分类，再根据分类结果将属于同一字符的字符部件组合，获得若干字符；
利用基于批量归一化和全局平均池化算法的卷积神经网络进行字符识别，获得字符的类别和字符的位置关系，对于无法识别的字符看作粘连字符，对粘连字符进行分割操作后再进行字符识别操作；
根据字符的类别和位置关系对字符的组合进行几何和语义约束，再结合CYK算法自下而上的完成公式的重构，得到公式识别文本；及
评分模块，用于建立标准答案库，利用评分深度神经网络进行标准答案学习，及利用学习后的评分深度神经网络对识别出的文字识别文本及公式识别文本对照评分规则给出得分。
本申请的第三方面提供一种电子设备，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机可读指令时实现以下步骤：
获取包含有答题卡的图像；
对所述图像中的文字进行识别，得到文字识别文本；
将所述图像中的公式按照连通域进行分割，将获得的字符部件序列中的字符部件两两组合为字符部件对，并使用SVM分类器将字符部件对分类，再根据分类结果将属于同一字符的字符部件组合，获得若干字符；
利用基于批量归一化和全局平均池化算法的卷积神经网络进行字符识别，获得字符的类别和字符的位置关系，对于无法识别的字符看作粘连字符，对粘连字符进行分割操作后再进行字符识别操作；
根据字符的类别和位置关系对字符的组合进行几何和语义约束，再结合CYK算法自下而上的完成公式的重构，得到公式识别文本；及
建立标准答案库，利用评分深度神经网络进行标准答案学习，及利用学习后的评分深度神经网络对识别出的文字识别文本及公式识别文本对照评分规则给出得分。
本申请的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现以下步骤：
获取包含有答题卡的图像；
对所述图像中的文字进行识别，得到文字识别文本；
将所述图像中的公式按照连通域进行分割，将获得的字符部件序列中的字符部件两两组合为字符部件对，并使用SVM分类器将字符部件对分类，再根据分类结果将属于同一字符的字符部件组合，获得若干字符；
利用基于批量归一化和全局平均池化算法的卷积神经网络进行字符识别，获得字符的类别和字符的位置关系，对于无法识别的字符看作粘连字符，对粘连字符进行分割操作后再进行字符识别操作；
根据字符的类别和位置关系对字符的组合进行几何和语义约束，再结合CYK算法自下而上的完成公式的重构，得到公式识别文本；及
建立标准答案库，利用评分深度神经网络进行标准答案学习，及利用学习后的评分深度神经网络对识别出的文字识别文本及公式识别文本对照评分规则给出得分。
综上所述，本申请通过建立标准答案库，利用评分深度神经网络进行标准答案学习，及利用学习后的评分深度神经网络对从图像中识别出的文字识别文本及公式识别文本对照评分规则给出得分，提高了阅卷的效率。
附图说明
图1是本申请一实施方式中基于图像检测的试题检查方法的流程图。
图2是本申请一实施方式中基于图像检测的试题检查方法的应用环境示意图。
图3是本申请一实施方式中基于图像检测的试题检查装置的示意图。
图4是本申请一实施方式中电子设备的示意图。
如下具体实施方式将结合上述附图进一步说明本申请。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施例对本申请进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本申请，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
优选地，本申请基于图像检测的试题检查方法应用在一个或者多个电子设备中。所述电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述电子设备可以是桌上型计算机、笔记本电脑、平板电脑及云端服务器等计算设备。所述设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
实施例一
图1是本申请一实施方式中基于图像检测的试题检查方法的流程图。根据不同的需求，所述流程图中步骤的顺序可以改变，某些步骤可以省略。
参阅图1所示，所述基于图像检测的试题检查方法具体包括以下步骤：
步骤S11，获取包含有答题卡的图像。
请参考图2，所示为本申请一实施方式中基于图像检测的试题检查方法的应用环境图。本实施方式中，所述方法应用在一终端装置1中。所述终端装置1包括一图像获取单元11。所述终端装置1通过所述图像获取单元11扫描所述答题卡从而获取包含有答题卡的图像。其中，所述图像获取单元11为一摄像头。在另一实施方式中，所述终端装置1可以接收与所述终端装置1通信连接的外部设备2发送的图像。
步骤S12，对所述图像中的文字进行识别，得到文字识别文本。
本实施方式中，所述对所述图像中的文字进行识别得到文字识别文本包括：利用基于深度神经网络的文字识别方法识别所述图像中的文字，得到所述文字识别文本。具体的，所述利用基于深度神经网络的文字识别方法识别所述图像中的文字，得到所述文字识别文本包括：
a)对所述图像进行预处理。
本实施方式中，对所述图像进行预处理包括对所述图像进行锐化、灰度化、二值化、矫正倾斜、降噪等处理。
b)对预处理后的图像进行分析得到多个候选文本区域。
c)将经过预处理后的图像的多个候选文本区域放入深度学习神经网络中，并将候选文本区域中的内容转换为文字识别文本。
本实施方式中，将预处理后的图像放入深度学习网络中得到多个候选文本区域。所述深度学习网络可以为卷积神经网络(CNN)，例如可以为VGG、AlexNet等卷积神经网络。本实施方式中，所述将经过预处理后的图像的多个候选文本区域放入基于深度学习神经网络中，并将候选文本区域中的内容转换为文字识别文本包括：利用全深度卷积神经网络对每个候选文本区域进行文本图像特征提取，把每个候选文本区域表示成特征向量；采用双层循环神经网络对所述特征向量进行处理，并输出关于字符集的概率分布； 采用CTC网络作为转录层，将所述关于字符集的概率分布使用前向计算和反向梯度传播的动态规划算法，输出文字识别文本。
在另一实施方式中，所述利用基于深度神经网络的文字识别方法识别所述图像中的文字，得到所述文字识别文本包括：
1)将包含有答题卡的图像输入预先训练的深度神经网络中，确定所述图像中的字符区域对应的特征图；
2)通过所述深度神经网络对所述各字符区域对应的特征图进行字符识别，得到所述图像中包含的字符。
本实施方式中，所述深度神经网络是根据各样本图像、各样本图像的字符区域标定结果、以及各样本图像中包括的字符训练得到的。
在一具体实施方式中，所述特征图中的字符数据的类别包括：第一字符类别、第二字符类别、第三字符类别。本实施方式中，通过所述深度神经网络对所述各字符区域对应的特征图进行字符识别，得到所述图像中包括的字符包括：
1)获取正样本的字符数据及负样本的字符数据，并将正样本的字符数据标注字符类别，以使正样本的字符数据携带字符类别标签。
例如，分别选取500个第一字符类别、第二字符类别、第三字符类别对应的字符数据，并对每个正样本字符数据标注类别，可以以“1”作为第一字符类别的字符标签，以“2”作为第二字符类别的字符标签，以“3”作为第三字符类别的字符标签。
2)将所述正样本的字符数据及所述负样本的字符数据随机分成第一预设比例的训练集和第二预设比例的验证集，利用所述训练集训练所述深度神经网络，并利用所述验证集验证训练后的所述神经网络的准确率。
先将不同字符的训练集中的训练样本分发到不同的文件夹里。例如，将第一字符类别的训练样本分发到第一文件夹里、第二字符类别的训练样本分发到第二文件夹里、第三字符类别的训练样本分发到第三文件夹里。然后从不同的文件夹里分别提取第一预设比例(例如，70％)的训练样本作为总的训练样本进行所述深度神经网络的训练，从不同的文件夹里分别取剩余第二预设比例(例如，30％)的训练样本作为总的测试样本对训练完成的所述深度神经网络进行准确性验证。
3)若所述准确率大于或者等于预设准确率时，则结束训练，以训练后的所述深度神经网络识别所述字符数据的类别；若所述准确率小于预设准确率时，则增加正样本数量及负样本数量以重新训练所述深度神经网络直至所述准确率大于或者等于预设准确率。
本实施方式中，所述方法还包括：
显示所述图像中的答题卡上的手写字体及识别出的文字识别文本。
本申请通过在终端装置1上显示所述图像中的答题卡上的手写字体及识别出的文字识别文本，从而帮助阅卷老师快速识别潦草的字体，减少了阅卷的工作量，提高了阅卷的准确度及保证了不同考生之间阅卷结果的一致性。
步骤S13，利用卷积神经网络对所述图像中的公式进行识别，得到公式识别文本。
本实施方式中，所述利用卷积神经网络对所述图像中的公式进行识别，得到公式识别文本包括：
1)将所述图像中的公式按照连通域进行分割，将获得的字符部件序列中的字符部件两两组合为字符部件对，并使用SVM分类器将字符部件对分类，再根据分类结果将属于同一字符的字符部件组合，获得若干字符。
具体的，将所述图像中的公式按照连通域进行分割得到字符部件序列W{W0,W1,...,Wn}，根据得到的字符部件序列W{W0,W1,...,Wn}中字符部件之间的位置关系，将字符部件两两组合为字符部件对pm＝(Wi,Wj),0≤m≤n-1,0≤i,j≤n,i≠j；提取字符部件对pm＝(Wi,Wj)中两个字符部件Wi与Wj之间的几何关系特征，作为字符部件对pm的特征，其中几何关系特征包括两字符部件的包围盒中心距离、两字符部件图像质心距离、 两字符部件的最短距离、包围盒水平重叠区域和/或竖直重叠区域；根据字符部件对的几何关系特征，将字符部件对分为组合类与分离类，其中属于组合类的字符部件对中两字符部件属于同一字符，属于分离类的字符部件对中两部件不属于同一字符，使用监督学习的方法训练SVM分类器，完成对字符部件对的分类；及将相邻的且属于同一字符的字符部件组合，完成断裂字符的分割。
2)利用基于批量归一化和全局平均池化算法的卷积神经网络进行字符识别，获得字符的类别和字符的位置关系；对于无法识别的字符，看作粘连字符，对粘连字符进行分割操作后再进行字符识别操作。
本实施方式中，所述基于批量归一化和全局平均池化算法的卷积神经网络，使用1×1和3×3大小的卷积核，卷积神经网络包括：依次设置的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第四池化层、第五卷积层、全局平均池化层以及softmax层，其中，每个卷积层后都通过批量归一化算法进行归一化处理，全局平均池化层用于计算每个特征图的全局平均值。
本实施方式中，对粘连字符进行分割操作包括：使用轮廓跟踪算法，提取粘连字符M的外部轮廓C；使用凹角点检测算法，寻找字符外部轮廓C中的凹角点ci，其中0≤i≤I，I为凹角点总数；将凹角点看做候选分割点，两两连线，得到候选分割线；依次利用各候选分割线进行分割，并使用SVM分类器对分割结果进行验证识别，根据验证识别结果确定最佳分割线，从而完成粘连字符的分割操作。
3)根据字符的类别和位置关系对字符的组合进行几何和语义约束，再结合CYK算法(Cocker-Younger-Kasami algorithm)自下而上的完成公式的重构，得到所述公式识别文本。
本实施方式中，经过公式分割和字符识别以后，公式分析阶段的输入数据是字符的类别和字符的位置关系。根据字符的类别和位置关系对字符的组合进行几何和语义约束，从而完成公式的重构。具体来说：对于几何约束，通过确定当前字符的位置和大小，确定当前字符的搜索范围，对在搜索范围内的字符进行组合；对于语义约束，采用二维随机上下文无关文法对字符进行组合，从而完成公式的重构。
本实施方式中，所述方法还包括：
显示识别出的公式识别文本供用户查看。
步骤S14，建立标准答案库，利用评分深度神经网络进行标准答案学习，及利用学习后的评分深度神经网络对识别出的文字识别文本及公式识别文本对照评分规则给出得分。
在具体实施方式中，首先在评分深度神经网络中输入一份标准答案，然后随机抽取多份样本供计算机学习，答案词条匹配时采用模糊匹配方法和同义词条替换技术，在机器学习时不断更新匹配库以及词条库，输出一个新的答案库，并对答案库中的答案以N个字符为节点分解成多个模块(即标准库模块化)，将输出字符和答案库进行匹配，输出批阅结果，结合预设的评分标准给出最终的得分。
本实施方式中，所述利用学习后的评分深度神经网络对识别出的文字识别文本及公式识别文本对照评分规则给出得分包括：对所述公式识别文本中的常数进行检查分析是否正确引用，结合已有的公式数据库组成的知识图谱对公式中的每个字母表示的意义进行检查，根据常数的检查结果及公式中的字母的检查结果按照预设的评分规则计算得到最终的得分，从而提高阅卷效率。
实施例二
图3为本申请一实施方式中基于图像检测的试题检查装置40的示意图。
在一些实施例中，所述基于图像检测的试题检查装置40运行于电子设备中。所述基于图像检测的试题检查装置40可以包括多个由程序代码段所组成的功能模块。所述基于图像检测的试题检查装置40中的各个程序段的程序代码可以存储于存储器中，并由至少 一个处理器所执行，以执行试题检查的功能。
本实施例中，所述基于图像检测的试题检查装置40根据其所执行的功能，可以被划分为多个功能模块。参阅图3所示，所述基于图像检测的试题检查装置40可以包括获取模块401、文字识别模块402、公式识别模块403、评分模块404及显示模块405。本申请所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在一些实施例中，关于各模块的功能将在后续的实施例中详述。
所述获取模块401获取包含有答题卡的图像。
所述获取模块401通过所述图像获取单元11扫描所述答题卡从而获取包含有答题卡的图像。其中，所述图像获取单元11为一摄像头。在另一实施方式中，所述获取模块401可以接收与终端装置1通信连接的外部设备2发送的图像。
所述文字识别模块402对所述图像中的文字进行识别，得到文字识别文本。
本实施方式中，所述文字识别模块402对所述图像中的文字进行识别得到文字识别文本包括：利用基于深度神经网络的文字识别方法识别所述图像中的文字，得到所述文字识别文本。具体的，所述利用基于深度神经网络的文字识别方法识别所述图像中的文字，得到所述文字识别文本包括：
a)对所述图像进行预处理。
本实施方式中，对所述图像进行预处理包括对所述图像进行锐化、灰度化、二值化、矫正倾斜、降噪等处理。
b)对预处理后的图像进行分析得到多个候选文本区域。
c)将经过预处理后的图像的多个候选文本区域放入深度学习神经网络中，并将候选文本区域中的内容转换为文字识别文本。
本实施方式中，所述文字识别模块402将预处理后的图像放入深度学习网络中得到多个候选文本区域。所述深度学习网络可以为卷积神经网络(CNN)，例如可以为VGG、AlexNet等卷积神经网络。本实施方式中，所述文字识别模块402将经过预处理后的图像的多个候选文本区域放入深度学习神经网络中，并将候选文本区域中的内容转换为文字识别文本包括：利用全深度卷积神经网络对每个候选文本区域进行文本图像特征提取，把每个候选文本区域表示成特征向量；采用双层循环神经网络对所述特征向量进行处理，并输出关于字符集的概率分布；采用CTC网络作为转录层，将所述关于字符集的概率分布使用前向计算和反向梯度传播的动态规划算法，输出文字识别文本。
在另一实施方式中，所述文字识别模块402利用基于深度神经网络的文字识别方法识别所述图像中的文字，得到所述文字识别文本包括：
1)将包含有答题卡的图像输入预先训练的深度神经网络中，确定所述图像中的字符区域对应的特征图；
2)通过所述深度神经网络对所述各字符区域对应的特征图进行字符识别，得到所述图像中包含的字符。
本实施方式中，所述深度神经网络是根据各样本图像、各样本图像的字符区域标定结果、以及各样本图像中包括的字符训练得到的。
在一具体实施方式中，所述特征图中的字符数据的类别包括：第一字符类别、第二字符类别、第三字符类别。本实施方式中，所述文字识别模块402通过所述深度神经网络对所述各字符区域对应的特征图进行字符识别，得到所述图像中包括的字符包括：
1)获取正样本的字符数据及负样本的字符数据，并将正样本的字符数据标注字符类别，以使正样本的字符数据携带字符类别标签。
例如，分别选取500个第一字符类别、第二字符类别、第三字符类别对应的字符数据，并对每个正样本字符数据标注类别，可以以“1”作为第一字符类别的字符标签，以“2”作为第二字符类别的字符标签，以“3”作为第三字符类别的字符标签。
2)将所述正样本的字符数据及所述负样本的字符数据随机分成第一预设比例的训练集和第二预设比例的验证集，利用所述训练集训练所述深度神经网络，并利用所述验证集验证训练后的所述神经网络的准确率。
先将不同字符的训练集中的训练样本分发到不同的文件夹里。例如，将第一字符类别的训练样本分发到第一文件夹里、第二字符类别的训练样本分发到第二文件夹里、第三字符类别的训练样本分发到第三文件夹里。然后从不同的文件夹里分别提取第一预设比例(例如，70％)的训练样本作为总的训练样本进行所述深度神经网络的训练，从不同的文件夹里分别取剩余第二预设比例(例如，30％)的训练样本作为总的测试样本对训练完成的所述深度神经网络进行准确性验证。
3)若所述准确率大于或者等于预设准确率时，则结束训练，以训练后的所述深度神经网络识别所述字符数据的类别；若所述准确率小于预设准确率时，则增加正样本数量及负样本数量以重新训练所述深度神经网络直至所述准确率大于或者等于预设准确率。
本实施方式中，所述显示模块405用于显示所述图像中的答题卡上的手写字体及识别出的文字识别文本。
本申请通过在终端装置1上显示所述图像中的答题卡上的手写字体及识别出的文字识别文本，从而帮助阅卷老师快速识别潦草的字体，减少了阅卷的工作量，提高了阅卷的准确度及保证了不同考生之间阅卷结果的一致性。
所述公式识别模块403利用卷积神经网络对所述图像中的公式进行识别，得到公式识别文本。具体的，所述利用卷积神经网络对所述图像中的公式进行识别，得到公式识别文本包括：
1)将所述图像中的公式按照连通域进行分割，将获得的字符部件序列中的字符部件两两组合为字符部件对，并使用SVM分类器将字符部件对分类，再根据分类结果将属于同一字符的字符部件组合，获得若干字符。
具体的，将所述图像中的公式按照连通域进行分割得到字符部件序列W{W0,W1,...,Wn}，根据得到的字符部件序列W{W0,W1,...,Wn}中字符部件之间的位置关系，将字符部件两两组合为字符部件对pm＝(Wi,Wj),0≤m≤n-1,0≤i,j≤n,i≠j；提取字符部件对pm＝(Wi,Wj)中两个字符部件Wi与Wj之间的几何关系特征，作为字符部件对pm的特征，其中几何关系特征包括两字符部件的包围盒中心距离、两字符部件图像质心距离、两字符部件的最短距离、包围盒水平重叠区域和/或竖直重叠区域；根据字符部件对的几何关系特征，将字符部件对分为组合类与分离类，其中属于组合类的字符部件对中两字符部件属于同一字符，属于分离类的字符部件对中两部件不属于同一字符，使用监督学习的方法训练SVM分类器，完成对字符部件对的分类；及将相邻的且属于同一字符的字符部件组合，完成断裂字符的分割。
2)利用基于批量归一化和全局平均池化算法的卷积神经网络进行字符识别，获得字符的类别和字符的位置关系；对于无法识别的字符，看作粘连字符，对粘连字符进行分割操作后再进行字符识别操作。
本实施方式中，所述基于批量归一化和全局平均池化算法的卷积神经网络，使用1×1和3×3大小的卷积核，卷积神经网络包括：依次设置的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第四池化层、第五卷积层、全局平均池化层以及softmax层，其中，每个卷积层后都通过批量归一化算法进行归一化处理，全局平均池化层用于计算每个特征图的全局平均值。
本实施方式中，对粘连字符进行分割操作包括：使用轮廓跟踪算法，提取粘连字符M的外部轮廓C；使用凹角点检测算法，寻找字符外部轮廓C中的凹角点ci，其中0≤i≤I，I为凹角点总数；将凹角点看做候选分割点，两两连线，得到候选分割线；依次利用各候选分割线进行分割，并使用SVM分类器对分割结果进行验证识别，根据验证识别结果确定最佳分割线，从而完成粘连字符的分割操作。
3)根据字符的类别和位置关系对字符的组合进行几何和语义约束，再结合CYK算法自下而上的完成公式的重构，得到所述公式识别文本。
本实施方式中，经过公式分割和字符识别以后，公式分析阶段的输入数据是字符的类别和字符的位置关系。根据字符的类别和位置关系对字符的组合进行几何和语义约束，从而完成公式的重构。具体来说：对于几何约束，通过确定当前字符的位置和大小，确定当前字符的搜索范围，对在搜索范围内的字符进行组合；对于语义约束，采用二维随机上下文无关文法对字符进行组合，从而完成公式的重构。
本实施方式中，所述显示模块405还用于显示识别出的公式识别文本供用户查看。
所述评分模块404建立标准答案库，利用评分深度神经网络进行标准答案学习，及利用学习后的评分深度神经网络对识别出的文字识别文本及公式识别文本对照评分规则给出得分。
在具体实施方式中，所述评分模块404首先在评分深度神经网络中输入一份标准答案，然后随机抽取多份样本供计算机学习，答案词条匹配时采用模糊匹配方法和同义词条替换技术，在机器学习时不断更新匹配库以及词条库，输出一个新的答案库，并对答案库中的答案以N个字符为节点分解成多个模块(即标准库模块化)，将输出字符和答案库进行匹配，输出批阅结果，结合预设的评分标准给出最终的得分。
本实施方式中，所述利用学习后的评分深度神经网络对识别出的文字识别文本及公式识别文本对照评分规则给出得分包括：对所述公式识别文本中的常数进行检查分析是否正确引用，结合已有的公式数据库组成的知识图谱对公式中的每个字母表示的意义进行检查，根据常数的检查结果及公式中的字母的检查结果按照预设的评分规则计算得到最终的得分，从而提高阅卷效率。
实施例三
图4为本申请电子设备7较佳实施例的示意图。
所述电子设备7包括存储器71、处理器72以及存储在所述存储器71中并可在所述处理器72上运行的计算机程序73。所述处理器72执行所述计算机程序73时实现上述基于图像检测的试题检查方法实施例中的步骤，例如图1所示的步骤S11～S14。或者，所述处理器72执行所述计算机程序73时实现上述基于图像检测的试题检查装置实施例中各模块/单元的功能，例如图3中的模块401～405。
示例性的，所述计算机程序73可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器71中，并由所述处理器72执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，所述指令段用于描述所述计算机程序73在所述电子设备7中的执行过程。例如，所述计算机程序73可以被分割成图3中的获取模块401、文字识别模块402、公式识别模块403、评分模块404及显示模块405，各模块的具体功能参见实施例二。
本实施方式中，所述电子设备7与终端装置1为同一装置。在其他实施方式中，所述电子设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。本领域技术人员可以理解，所述示意图仅仅是电子设备7的示例，并不构成对电子设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备7还可以包括输入输出设备、网络接入设备、总线等。
所称处理器72可以是中央处理模块(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者所述处理器72也可以是任何常规的处理器等，所述处理器72是所述电子设备7的控制中心，利用各种接口和线路连接整个电子设备7的各个部分。
所述存储器71可用于存储所述计算机程序73和/或模块/单元，所述处理器72通过 运行或执行存储在所述存储器71内的计算机程序和/或模块/单元，以及调用存储在存储器71内的数据，实现所述电子设备7的各种功能。所述存储器71可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备7的使用所创建的数据(比如音频数据)等。此外，存储器71可以包括非易失性和易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或者其他能够用于携带或存储数据的计算机可读的存储介质。所述计算机可读存储介质可以是非易失性，也可以是易失性的。
所述电子设备7集成的模块/单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，所述计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机可读指令代码，所述计算机可读指令代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机可读指令代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器等。
在本申请所提供的几个实施例中，应该理解到，所揭露的电子设备和方法，可以通过其它的方式实现。例如，以上所描述的电子设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
另外，在本申请各个实施例中的各功能模块可以集成在相同处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在相同模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他模块或步骤，单数不排除复数。电子设备权利要求中陈述的多个模块或电子设备也可以由同一个模块或电子设备通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。

Claims (20)

  1. 一种基于图像检测的试题检查方法，其中，所述方法包括：
    获取包含有答题卡的图像；
    对所述图像中的文字进行识别，得到文字识别文本；
    将所述图像中的公式按照连通域进行分割，将获得的字符部件序列中的字符部件两两组合为字符部件对，并使用SVM分类器将字符部件对分类，再根据分类结果将属于同一字符的字符部件组合，获得若干字符；
    利用基于批量归一化和全局平均池化算法的卷积神经网络进行字符识别，获得字符的类别和字符的位置关系，对于无法识别的字符看作粘连字符，对粘连字符进行分割操作后再进行字符识别操作；
    根据字符的类别和位置关系对字符的组合进行几何和语义约束，再结合CYK算法自下而上的完成公式的重构，得到公式识别文本；及
    建立标准答案库，利用评分深度神经网络进行标准答案学习，及利用学习后的评分深度神经网络对识别出的文字识别文本及公式识别文本对照评分规则给出得分。
  2. 如权利要求1所述的基于图像检测的试题检查方法，其中，所述对所述图像中的文字进行识别得到文字识别文本包括：
    对所述图像进行预处理；
    对预处理后的图像进行分析得到多个候选文本区域；及
    将经过预处理后的图像的多个候选文本区域放入深度学习神经网络中，并将候选文本区域中的内容转换为文字识别文本。
  3. 如权利要求1所述的基于图像检测的试题检查方法，其中，所述对所述图像进行预处理包括：
    对所述图像进行锐化、灰度化、二值化、矫正倾斜、降噪等处理。
  4. 如权利要求2所述的基于图像检测的试题检查方法，其中，所述将经过预处理后的图像的多个候选文本区域放入深度学习神经网络中，并将候选文本区域中的内容转换为文字识别文本包括：
    利用全深度卷积神经网络对每个候选文本区域进行文本图像特征提取，把每个候选文本区域表示成特征向量；
    采用双层循环神经网络对所述特征向量进行处理，并输出关于字符集的概率分布；及
    采用CTC网络作为转录层，将所述关于字符集的概率分布使用前向计算和反向梯度传播的动态规划算法，输出所述文字识别文本。
  5. 如权利要求1所述的基于图像检测的试题检查方法，其中，所述对所述图像中的文字进行识别得到文字识别文本包括：
    将包含有答题卡的图像输入预先训练的深度神经网络中，确定所述图像中的字符区域对应的特征图；及
    通过所述深度神经网络对所述各字符区域对应的特征图进行字符识别，得到所述图像中包含的字符。
  6. 如权利要求5所述的基于图像检测的试题检查方法，其中，所述特征图中的字符数据的类别包括：第一字符类别、第二字符类别、第三字符类别，所述通过所述深度神经网络对所述各字符区域对应的特征图进行字符识别得到所述图像中包括的字符包括：
    获取正样本的字符数据及负样本的字符数据，并将正样本的字符数据标注字符类别，以使正样本的字符数据携带字符类别标签；
    将所述正样本的字符数据及所述负样本的字符数据随机分成第一预设比例的训练集和第二预设比例的验证集，利用所述训练集训练所述深度神经网络，并利用所述验证集验 证训练后的所述神经网络的准确率；及
    若所述准确率大于或者等于预设准确率时，则结束训练，以训练后的所述深度神经网络识别所述字符数据的类别；若所述准确率小于预设准确率时，则增加正样本数量及负样本数量以重新训练所述深度神经网络直至所述准确率大于或者等于预设准确率。
  7. 如权利要求1所述的基于图像检测的试题检查方法，其中，对粘连字符进行分割操作包括：
    使用轮廓跟踪算法提取粘连字符的外部轮廓；使用凹角点检测算法，寻找粘连字符的外部轮廓中的凹角点；将凹角点看做候选分割点，两两连线，得到候选分割线；依次利用各候选分割线对粘连字符进行分割，并使用SVM分类器对分割结果进行验证识别，根据验证识别结果确定最佳分割线，并完成粘连字符的分割操作。
  8. 一种基于图像检测的试题检查装置，其中，所述装置包括：
    获取模块，用于获取包含有答题卡的图像；
    文字识别模块，用于对所述图像中的文字进行识别，得到文字识别文本；
    公式识别模块，用于对所述图像中的公式按照连通域进行分割，将获得的字符部件序列中的字符部件两两组合为字符部件对，并使用SVM分类器将字符部件对分类，再根据分类结果将属于同一字符的字符部件组合，获得若干字符；
    利用基于批量归一化和全局平均池化算法的卷积神经网络进行字符识别，获得字符的类别和字符的位置关系，对于无法识别的字符看作粘连字符，对粘连字符进行分割操作后再进行字符识别操作；
    根据字符的类别和位置关系对字符的组合进行几何和语义约束，再结合CYK算法自下而上的完成公式的重构，得到公式识别文本；及
    评分模块，用于建立标准答案库，利用评分深度神经网络进行标准答案学习，及利用学习后的评分深度神经网络对识别出的文字识别文本及公式识别文本对照评分规则给出得分。
  9. 一种电子设备，其中：所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机可读指令以实现以下步骤：
    获取包含有答题卡的图像；
    对所述图像中的文字进行识别，得到文字识别文本；
    将所述图像中的公式按照连通域进行分割，将获得的字符部件序列中的字符部件两两组合为字符部件对，并使用SVM分类器将字符部件对分类，再根据分类结果将属于同一字符的字符部件组合，获得若干字符；
    利用基于批量归一化和全局平均池化算法的卷积神经网络进行字符识别，获得字符的类别和字符的位置关系，对于无法识别的字符看作粘连字符，对粘连字符进行分割操作后再进行字符识别操作；
    根据字符的类别和位置关系对字符的组合进行几何和语义约束，再结合CYK算法自下而上的完成公式的重构，得到公式识别文本；及
    建立标准答案库，利用评分深度神经网络进行标准答案学习，及利用学习后的评分深度神经网络对识别出的文字识别文本及公式识别文本对照评分规则给出得分。
  10. 如权利要求9所述的电子设备，其中，所述处理器执行所述计算机可读指令以实现对所述图像中的文字进行识别得到文字识别文本时，具体包括：
    对所述图像进行预处理；
    对预处理后的图像进行分析得到多个候选文本区域；及
    将经过预处理后的图像的多个候选文本区域放入深度学习神经网络中，并将候选文本区域中的内容转换为文字识别文本。
  11. 如权利要求9所述的电子设备，其中，所述处理器执行所述计算机可读指令以实现对所述图像进行预处理时，具体包括：
    对所述图像进行锐化、灰度化、二值化、矫正倾斜、降噪等处理。
  12. 如权利要求10所述的电子设备，其中，所述处理器执行所述计算机可读指令以实现将经过预处理后的图像的多个候选文本区域放入深度学习神经网络中并将候选文本区域中的内容转换为文字识别文本时，具体包括：
    利用全深度卷积神经网络对每个候选文本区域进行文本图像特征提取，把每个候选文本区域表示成特征向量；
    采用双层循环神经网络对所述特征向量进行处理，并输出关于字符集的概率分布；及
    采用CTC网络作为转录层，将所述关于字符集的概率分布使用前向计算和反向梯度传播的动态规划算法，输出所述文字识别文本。
  13. 如权利要求9所述的电子设备，其中，所述处理器执行所述计算机可读指令以实现对所述图像中的文字进行识别得到文字识别文本时，具体包括：
    将包含有答题卡的图像输入预先训练的深度神经网络中，确定所述图像中的字符区域对应的特征图；及
    通过所述深度神经网络对所述各字符区域对应的特征图进行字符识别，得到所述图像中包含的字符。
  14. 如权利要求13所述的电子设备，其中，所述特征图中的字符数据的类别包括第一字符类别、第二字符类别、第三字符类别，所述处理器执行所述计算机可读指令以实现通过所述深度神经网络对所述各字符区域对应的特征图进行字符识别得到所述图像中包括的字符时，具体包括：
    获取正样本的字符数据及负样本的字符数据，并将正样本的字符数据标注字符类别，以使正样本的字符数据携带字符类别标签；
    将所述正样本的字符数据及所述负样本的字符数据随机分成第一预设比例的训练集和第二预设比例的验证集，利用所述训练集训练所述深度神经网络，并利用所述验证集验证训练后的所述神经网络的准确率；及
    若所述准确率大于或者等于预设准确率时，则结束训练，以训练后的所述深度神经网络识别所述字符数据的类别；若所述准确率小于预设准确率时，则增加正样本数量及负样本数量以重新训练所述深度神经网络直至所述准确率大于或者等于预设准确率。
  15. 如权利要求9所述的电子设备，其中，所述处理器执行所述计算机可读指令以实现对粘连字符进行分割操作时，具体包括：
    使用轮廓跟踪算法提取粘连字符的外部轮廓；使用凹角点检测算法，寻找粘连字符的外部轮廓中的凹角点；将凹角点看做候选分割点，两两连线，得到候选分割线；依次利用各候选分割线对粘连字符进行分割，并使用SVM分类器对分割结果进行验证识别，根据验证识别结果确定最佳分割线，并完成粘连字符的分割操作。
  16. 一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，其中，所述计算机可读指令被处理器执行时实现以下步骤：
    获取包含有答题卡的图像；
    对所述图像中的文字进行识别，得到文字识别文本；
    将所述图像中的公式按照连通域进行分割，将获得的字符部件序列中的字符部件两两组合为字符部件对，并使用SVM分类器将字符部件对分类，再根据分类结果将属于同一字符的字符部件组合，获得若干字符；
    利用基于批量归一化和全局平均池化算法的卷积神经网络进行字符识别，获得字符的类别和字符的位置关系，对于无法识别的字符看作粘连字符，对粘连字符进行分割操作后再进行字符识别操作；
    根据字符的类别和位置关系对字符的组合进行几何和语义约束，再结合CYK算法自下而上的完成公式的重构，得到公式识别文本；及
    建立标准答案库，利用评分深度神经网络进行标准答案学习，及利用学习后的评分深度神经网络对识别出的文字识别文本及公式识别文本对照评分规则给出得分。
  17. 如权利要求16所述的计算机可读存储介质，其中，所述计算机可读指令被所述处理器执行以对所述图像中的文字进行识别得到文字识别文本时，具体包括：
    对所述图像进行预处理；
    对预处理后的图像进行分析得到多个候选文本区域；及
    将经过预处理后的图像的多个候选文本区域放入深度学习神经网络中，并将候选文本区域中的内容转换为文字识别文本。
  18. 如权利要求16所述的计算机可读存储介质，其中，所述计算机可读指令被所述处理器执行以对所述图像进行预处理时，具体包括：
    对所述图像进行锐化、灰度化、二值化、矫正倾斜、降噪等处理。
  19. 如权利要求17所述的计算机可读存储介质，其中，所述计算机可读指令被所述处理器执行以将经过预处理后的图像的多个候选文本区域放入深度学习神经网络中并将候选文本区域中的内容转换为文字识别文本时，具体包括：
    利用全深度卷积神经网络对每个候选文本区域进行文本图像特征提取，把每个候选文本区域表示成特征向量；
    采用双层循环神经网络对所述特征向量进行处理，并输出关于字符集的概率分布；及
    采用CTC网络作为转录层，将所述关于字符集的概率分布使用前向计算和反向梯度传播的动态规划算法，输出所述文字识别文本。
  20. 如权利要求16所述的计算机可读存储介质，其中，所述计算机可读指令被所述处理器执行以对所述图像中的文字进行识别得到文字识别文本时，具体包括：
    将包含有答题卡的图像输入预先训练的深度神经网络中，确定所述图像中的字符区域对应的特征图；及
    通过所述深度神经网络对所述各字符区域对应的特征图进行字符识别，得到所述图像中包含的字符。
PCT/CN2020/111882 2019-10-18 2020-08-27 基于图像检测的试题检查方法及相关设备 WO2021073266A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910996054.0 2019-10-18
CN201910996054.0A CN110929573A (zh) 2019-10-18 2019-10-18 基于图像检测的试题检查方法及相关设备

Publications (1)

Publication Number Publication Date
WO2021073266A1 true WO2021073266A1 (zh) 2021-04-22

Family

ID=69849133

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/111882 WO2021073266A1 (zh) 2019-10-18 2020-08-27 基于图像检测的试题检查方法及相关设备

Country Status (2)

Country Link
CN (1) CN110929573A (zh)
WO (1) WO2021073266A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113468288A (zh) * 2021-07-23 2021-10-01 平安国际智慧城市科技股份有限公司 基于人工智能的文本课件的内容抽取方法及相关设备
CN113688262A (zh) * 2021-09-01 2021-11-23 北京云蝶智学科技有限公司 数据归类方法
CN114399766A (zh) * 2022-01-18 2022-04-26 平安科技（深圳）有限公司 光学字符识别模型训练方法、装置、设备及介质
CN114519787A (zh) * 2022-02-15 2022-05-20 西北工业大学 智能字迹评价***的深度特征可视化的解释方法
CN114943975A (zh) * 2022-05-10 2022-08-26 山东大学 一种基于深度学习的多模态搜题方法及***
CN115203441A (zh) * 2022-09-19 2022-10-18 江西风向标智能科技有限公司 高中数学公式的解析方法、***、存储介质及设备
CN115292542A (zh) * 2022-10-09 2022-11-04 江西风向标智能科技有限公司 基于试题配图的试题搜索方法、***、存储介质及设备
CN115830517A (zh) * 2023-02-14 2023-03-21 江西云眼视界科技股份有限公司 基于视频的考场异常帧提取方法及***
CN115861715A (zh) * 2023-02-15 2023-03-28 创意信息技术股份有限公司 基于知识表示增强的图像目标关系识别算法
CN116543389A (zh) * 2023-03-13 2023-08-04 中国人民解放军海军工程大学 基于关系网络的字符识别方法、装置、设备及介质
CN116662585A (zh) * 2023-07-26 2023-08-29 陕西淼华智脑科技有限公司 一种基于校园题库的数字信息检测方法及检测***
CN116994261A (zh) * 2023-09-27 2023-11-03 山东金榜苑文化传媒有限责任公司 一种大数据精准教学智能题卡图像智能识别***
CN117831037A (zh) * 2024-01-04 2024-04-05 北京和气聚力教育科技有限公司 一种答题卡中客观题答题情况的确定方法及装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929573A (zh) * 2019-10-18 2020-03-27 平安科技（深圳）有限公司 基于图像检测的试题检查方法及相关设备
CN111767889A (zh) * 2020-07-08 2020-10-13 北京世纪好未来教育科技有限公司 公式识别方法、电子设备及计算机可读介质
CN111860317A (zh) * 2020-07-20 2020-10-30 青岛特利尔环保集团股份有限公司 一种锅炉运行数据采集方法、***、设备及计算机介质
CN111898603A (zh) * 2020-08-10 2020-11-06 上海瑞美锦鑫健康管理有限公司 一种基于深度神经网络的体检单识别方法和***
CN112631997B (zh) * 2020-11-26 2021-09-28 腾讯科技（深圳）有限公司 数据处理方法、装置、终端及存储介质
CN112597990A (zh) * 2020-12-22 2021-04-02 安徽鸿程光电有限公司 手写公式的判阅方法、***、终端设备及存储介质
CN112712075B (zh) * 2020-12-30 2023-12-01 科大讯飞股份有限公司 算式检测方法、电子设备和存储装置
CN112560849B (zh) * 2021-01-24 2021-08-20 中天恒星(上海)科技有限公司 基于神经网络算法的文理分割方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729865A (zh) * 2017-10-31 2018-02-23 中国科学技术大学 一种手写体数学公式离线识别方法及***
CN109117738A (zh) * 2018-07-19 2019-01-01 江苏黄金屋教育发展股份有限公司 基于人工智能的阅卷方法
CN110929573A (zh) * 2019-10-18 2020-03-27 平安科技（深圳）有限公司 基于图像检测的试题检查方法及相关设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7082106B2 (en) * 1993-01-08 2006-07-25 Multi-Tech Systems, Inc. Computer-based multi-media communications system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729865A (zh) * 2017-10-31 2018-02-23 中国科学技术大学 一种手写体数学公式离线识别方法及***
CN109117738A (zh) * 2018-07-19 2019-01-01 江苏黄金屋教育发展股份有限公司 基于人工智能的阅卷方法
CN110929573A (zh) * 2019-10-18 2020-03-27 平安科技（深圳）有限公司 基于图像检测的试题检查方法及相关设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
M.SYAMALA DEVI, HIMANI MITTAL: "MACHINE LEARNING TECHNIQUES WITH ONTOLOGY FOR SUBJECTIVE ANSWER EVALUATI ON", INTERNATIONAL JOURNAL ON NATURAL LANGUAGE COMPUTING, vol. 5, no. 2, 1 April 2016 (2016-04-01), pages 1 - 11, XP055801418 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113468288A (zh) * 2021-07-23 2021-10-01 平安国际智慧城市科技股份有限公司 基于人工智能的文本课件的内容抽取方法及相关设备
CN113468288B (zh) * 2021-07-23 2024-04-16 平安国际智慧城市科技股份有限公司 基于人工智能的文本课件的内容抽取方法及相关设备
CN113688262A (zh) * 2021-09-01 2021-11-23 北京云蝶智学科技有限公司 数据归类方法
CN114399766A (zh) * 2022-01-18 2022-04-26 平安科技（深圳）有限公司 光学字符识别模型训练方法、装置、设备及介质
CN114399766B (zh) * 2022-01-18 2024-05-10 平安科技（深圳）有限公司 光学字符识别模型训练方法、装置、设备及介质
CN114519787A (zh) * 2022-02-15 2022-05-20 西北工业大学 智能字迹评价***的深度特征可视化的解释方法
CN114519787B (zh) * 2022-02-15 2024-02-27 西北工业大学 智能字迹评价***的深度特征可视化的解释方法
CN114943975A (zh) * 2022-05-10 2022-08-26 山东大学 一种基于深度学习的多模态搜题方法及***
CN115203441A (zh) * 2022-09-19 2022-10-18 江西风向标智能科技有限公司 高中数学公式的解析方法、***、存储介质及设备
CN115203441B (zh) * 2022-09-19 2022-12-20 江西风向标智能科技有限公司 高中数学公式的解析方法、***、存储介质及设备
CN115292542A (zh) * 2022-10-09 2022-11-04 江西风向标智能科技有限公司 基于试题配图的试题搜索方法、***、存储介质及设备
CN115292542B (zh) * 2022-10-09 2023-01-20 江西风向标智能科技有限公司 基于试题配图的试题搜索方法、***、存储介质及设备
CN115830517A (zh) * 2023-02-14 2023-03-21 江西云眼视界科技股份有限公司 基于视频的考场异常帧提取方法及***
CN115861715A (zh) * 2023-02-15 2023-03-28 创意信息技术股份有限公司 基于知识表示增强的图像目标关系识别算法
CN115861715B (zh) * 2023-02-15 2023-05-09 创意信息技术股份有限公司 基于知识表示增强的图像目标关系识别算法
CN116543389B (zh) * 2023-03-13 2023-09-19 中国人民解放军海军工程大学 基于关系网络的字符识别方法、装置、设备及介质
CN116543389A (zh) * 2023-03-13 2023-08-04 中国人民解放军海军工程大学 基于关系网络的字符识别方法、装置、设备及介质
CN116662585B (zh) * 2023-07-26 2023-10-17 陕西淼华智脑科技有限公司 一种基于校园题库的数字信息检测方法及检测***
CN116662585A (zh) * 2023-07-26 2023-08-29 陕西淼华智脑科技有限公司 一种基于校园题库的数字信息检测方法及检测***
CN116994261A (zh) * 2023-09-27 2023-11-03 山东金榜苑文化传媒有限责任公司 一种大数据精准教学智能题卡图像智能识别***
CN116994261B (zh) * 2023-09-27 2023-12-15 山东金榜苑文化传媒有限责任公司 一种大数据精准教学智能题卡图像智能识别***
CN117831037A (zh) * 2024-01-04 2024-04-05 北京和气聚力教育科技有限公司 一种答题卡中客观题答题情况的确定方法及装置

Also Published As

Publication number Publication date
CN110929573A (zh) 2020-03-27

Similar Documents

Publication Publication Date Title
WO2021073266A1 (zh) 基于图像检测的试题检查方法及相关设备
CN110110585B (zh) 基于深度学习的智能阅卷实现方法及***、计算机程序
CN110363194B (zh) 基于nlp的智能阅卷方法、装置、设备及存储介质
WO2019238063A1 (zh) 文本检测分析方法、装置及设备
CN104463101B (zh) 用于文字性试题的答案识别方法及***
RU2757713C1 (ru) Распознавание рукописного текста посредством нейронных сетей
CN109902271B (zh) 基于迁移学习的文本数据标注方法、装置、终端及介质
CN108121702B (zh) 数学主观题评阅方法及***
Calvo-Zaragoza et al. Staff-line detection and removal using a convolutional neural network
Hamida et al. Handwritten computer science words vocabulary recognition using concatenated convolutional neural networks
Makhmudov et al. Improvement of the end-to-end scene text recognition method for “text-to-speech” conversion
CN113627151B (zh) 跨模态数据的匹配方法、装置、设备及介质
Thokchom et al. Recognition of Handwritten Character of Manipuri Script.
US20210365836A1 (en) Methods and systems for pre-optimizing input data for an ocr engine or other computer-implemented analysis process
US11295175B1 (en) Automatic document separation
CN110765256A (zh) 一种在线法律咨询自动回复的生成方法与设备
CN107844531B (zh) 答案输出方法、装置和计算机设备
CN113761377A (zh) 基于注意力机制多特征融合的虚假信息检测方法、装置、电子设备及存储介质
Al Ghamdi A novel approach to printed Arabic optical character recognition
US20240037125A1 (en) Text feature guided visual based document classifier
Bharambe et al. Automatic answer evaluation using machine learning
CN117076455A (zh) 一种基于智能识别的保单结构化存储方法、介质及***
CN116645683A (zh) 基于提示学习的签名笔迹鉴别方法、***及存储介质
CN116340458A (zh) 一种相似司法案例匹配方法、装置及设备
Mondal et al. OMRNet: A lightweight deep learning model for optical mark recognition

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20876610

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20876610

Country of ref document: EP

Kind code of ref document: A1