CN118172777A - 一种基于图像处理的互动虚拟教具实现方法 - Google Patents
一种基于图像处理的互动虚拟教具实现方法 Download PDFInfo
- Publication number
- CN118172777A CN118172777A CN202410605543.XA CN202410605543A CN118172777A CN 118172777 A CN118172777 A CN 118172777A CN 202410605543 A CN202410605543 A CN 202410605543A CN 118172777 A CN118172777 A CN 118172777A
- Authority
- CN
- China
- Prior art keywords
- image
- identified
- pixel
- text
- existence area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 18
- 230000003993 interaction Effects 0.000 claims abstract description 6
- 238000000605 extraction Methods 0.000 claims description 11
- 230000001186 cumulative effect Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 5
- 238000012706 support-vector machine Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Landscapes
- Character Input (AREA)
Abstract
本发明公开了一种基于图像处理的互动虚拟教具实现方法，涉及图像处理技术领域，包括以下步骤：S1、利用点读笔的摄像头采集待识别图像，提取待识别图像的文字存在区域；S2、对文字存在区域进行处理，得到重点文字存在区域；S3、提取重点文字存在区域的文字识别结果；S4、通过投影仪将文字识别结果进行投影，完成互动。本发明对文字存在区域进行精处理，确保图像质量清晰；最终将处理好的图像进行投屏，完成互动，提高教学的趣味性，也便于教师操作，有针对性地选择投屏内容，提高教学便利性。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于图像处理的互动虚拟教具实现方法。
背景技术
点读笔是采用国际最新光学图像识别技术和先进的数码语音技术开发而成的新一代智能阅读和学习工具。它体现了电子产品与教育行业的完美融合。学生利用点读笔能同时实现点读、复读、跟读、录音和娱乐等诸多功能。老师在教学过程中经常出现需要投屏的情况，常规投屏时，老师直接将书本内容投屏，不能有选择性地对书本内容的部分内容进行投屏，而点读笔具备图像识别算法，老师也可以利用点读笔对需要投屏的内容进行识别，进行有选择性地投屏。但现有的点读笔的识别过程需要消耗大量的计算资源，识别效率不高。
发明内容
本发明为了解决以上问题，提出了一种基于图像处理的互动虚拟教具实现方法。
本发明的技术方案是：一种基于图像处理的互动虚拟教具实现方法包括以下步骤：
S1、利用点读笔的摄像头采集待识别图像，提取待识别图像的文字存在区域；
S2、对文字存在区域进行处理，得到重点文字存在区域；
S3、提取重点文字存在区域的文字识别结果；
S4、通过投影仪将文字识别结果进行投影，完成互动。
进一步地，S1包括以下子步骤：
S11、利用点读笔的摄像头采集待识别图像，确定待识别图像的像素点累计分布；
S12、根据待识别图像的像素点累计分布，确定待识别图像中各个像素点的分布向量；
S13、生成文字提取规则；
S14、判断各个像素点的分布向量是否符合文字提取规则，若是则保留，否则剔除；
S15、将待识别图像中保留的所有像素点作为文字存在区域。
上述进一步方案的有益效果是：在本发明中，手持点读笔的摄像头采集书本的内容时，手持的不稳定性可能会导致拍摄的待识别图像包含不相关内容，对文字识别造成干扰，故需对待识别图像进行初步处理，剔除干扰区域，确定文本存在区域。本发明对待识别图像的整个区域进行像素值累计分布计算，来累计分布来确定符合文字提取规则的像素点，降低非文字区域的干扰。
进一步地，S11中，待识别图像的像素点累计分布f的计算公式为：
；
式中，si表示待识别图像中第i行所有像素点的均值，sj表示待识别图像中第j列所有像素点的均值，I表示待识别图像的行数，J表示待识别图像的列数，ln(·)表示对数函数，Sij表示待识别图像中第i行第j列像素点的像素值，max(·)表示最大值函数。
进一步地，S12中，待识别图像中第i行第j列像素点的分布向量Uij的表达式为：
；
式中，表示拼接操作，f表示待识别图像的像素点累计分布，Sij表示待识别图像
中第i行第j列像素点的像素值。
进一步地，S13中，生成文字提取规则的表达式为：
式中，C表示常数，Uij表示待识别图像中第i行第j列像素点的分布向量，Sij表示待识别图像中第i行第j列像素点的像素值，S11表示待识别图像中第1行第1列像素点的像素值，S1J表示待识别图像中第1行第J列像素点的像素值，SI1表示待识别图像中第I行第1列像素点的像素值，SIJ表示待识别图像中第I行第J列像素点的像素值，I表示待识别图像的行数，J表示待识别图像的列数。
进一步地，S2包括以下子步骤：
S21、将文字存在区域的第一行像素点、最后一行像素点、第一列像素点以及最后一列像素点作为文字存在区域的边缘；
S22、利用滑动窗口顺时针滑动扫描文字存在区域的边缘，得到每次滑动扫描的边缘扫描值；
S23、根据每次滑动扫描的边缘扫描值，确定文字存在区域的边缘上的重叠像素点；
S24、对文字存在区域的边缘上的重叠像素点进行平滑处理，得到重点文字存在区域。
上述进一步方案的有益效果是：在本发明中，经过步骤S1提取的文字存在区域虽然去除了大部分背景噪声，但无法去除细节噪的影响，所以S2中采用滑动窗口对文字存在区域的边缘进行进一步遍历处理，确定需要进行平滑的像素点，经过平滑处理后的重点文字存在区域突出文字的宽大区域，减少图像的突变梯度，改善图像质量。
进一步地，S21中，第t次滑动扫描的边缘扫描值Pt的计算公式为：
式中，M表示第一次滑动扫描时滑动窗口中包含的像素点个数，N表示第t次滑动扫
描时滑动窗口中包含的像素点个数，K表示文字存在区域的边缘的像素点个数，floor(·)
表示向下取整函数，wm表示第t次滑动扫描时滑动窗口中第m个像素点的位置权重，sm表示第
t次滑动扫描时滑动窗口中第m个像素点的像素值，表示第一次滑动扫描时扫描的第一个
像素点的像素值，C表示常数。
像素点位于第一行像素点，则wm=1，像素点位于最后一列像素点，则wm=2，像素点位于最后一行像素点，则wm=3，像素点位于第一列像素点，则wm=4。
进一步地，S23中，确定文字存在区域的边缘上的重叠像素点的方法为：将边缘扫描值小于所有边缘扫描均值的滑动窗口包含的像素点作为文字存在区域的边缘上的重叠像素点。
进一步地，S3中，利用支持向量机提取重点文字存在区域的文字识别结果。
本发明的有益效果是：本发明公开了一种基于图像处理的互动虚拟教具实现方法，对点读笔摄像头采集的初步待识别图像进行处理，剔除由人为采集图像导致的背景干扰，保证文字区域最大化；接着，本发明还对文字存在区域进行精处理，确保图像质量清晰；最终将处理好的图像进行投屏，完成互动，提高教学的趣味性，也便于教师操作，有针对性地选择投屏内容，提高教学便利性。
附图说明
图1为基于图像处理的互动虚拟教具实现方法的流程图。
具体实施方式
下面结合附图对本发明的实施例作进一步的说明。
如图1所示，本发明提供了一种基于图像处理的互动虚拟教具实现方法，包括以下步骤：
S1、利用点读笔的摄像头采集待识别图像，提取待识别图像的文字存在区域；
S2、对文字存在区域进行处理，得到重点文字存在区域；
S3、提取重点文字存在区域的文字识别结果；
S4、通过投影仪将文字识别结果进行投影，完成互动。
在本发明实施例中，S1包括以下子步骤：
S11、利用点读笔的摄像头采集待识别图像，确定待识别图像的像素点累计分布；
S12、根据待识别图像的像素点累计分布，确定待识别图像中各个像素点的分布向量；
S13、生成文字提取规则；
S14、判断各个像素点的分布向量是否符合文字提取规则，若是则保留，否则剔除；
S15、将待识别图像中保留的所有像素点作为文字存在区域。
在本发明中，手持点读笔的摄像头采集书本的内容时，手持的不稳定性可能会导致拍摄的待识别图像包含不相关内容，对文字识别造成干扰，故需对待识别图像进行初步处理，剔除干扰区域，确定文本存在区域。本发明对待识别图像的整个区域进行像素值累计分布计算，来累计分布来确定符合文字提取规则的像素点，降低非文字区域的干扰。
在本发明实施例中，S11中，待识别图像的像素点累计分布f的计算公式为：
；
式中，si表示待识别图像中第i行所有像素点的均值，sj表示待识别图像中第j列所有像素点的均值，I表示待识别图像的行数，J表示待识别图像的列数，ln(·)表示对数函数，Sij表示待识别图像中第i行第j列像素点的像素值，max(·)表示最大值函数。
在本发明实施例中，S12中，待识别图像中第i行第j列像素点的分布向量Uij的表达式为：
；
式中，表示拼接操作，f表示待识别图像的像素点累计分布，Sij表示待识别图像
中第i行第j列像素点的像素值。
在本发明实施例中，S13中，生成文字提取规则的表达式为：
；
式中，C表示常数，Uij表示待识别图像中第i行第j列像素点的分布向量，Sij表示待识别图像中第i行第j列像素点的像素值，S11表示待识别图像中第1行第1列像素点的像素值，S1J表示待识别图像中第1行第J列像素点的像素值，SI1表示待识别图像中第I行第1列像素点的像素值，SIJ表示待识别图像中第I行第J列像素点的像素值，I表示待识别图像的行数，J表示待识别图像的列数。
在本发明实施例中，S2包括以下子步骤：
S21、将文字存在区域的第一行像素点、最后一行像素点、第一列像素点以及最后一列像素点作为文字存在区域的边缘；
S22、利用滑动窗口顺时针滑动扫描文字存在区域的边缘，得到每次滑动扫描的边缘扫描值；
S23、根据每次滑动扫描的边缘扫描值，确定文字存在区域的边缘上的重叠像素点；
S24、对文字存在区域的边缘上的重叠像素点进行平滑处理，得到重点文字存在区域。
在本发明中，经过步骤S1提取的文字存在区域虽然去除了大部分背景噪声，但无法去除细节噪的影响，所以S2中采用滑动窗口对文字存在区域的边缘进行进一步遍历处理，确定需要进行平滑的像素点，经过平滑处理后的重点文字存在区域突出文字的宽大区域，减少图像的突变梯度，改善图像质量。
在本发明实施例中，S21中，第t次滑动扫描的边缘扫描值Pt的计算公式为：
；
式中，M表示第一次滑动扫描时滑动窗口中包含的像素点个数，N表示第t次滑动扫
描时滑动窗口中包含的像素点个数，K表示文字存在区域的边缘的像素点个数，floor(·)
表示向下取整函数，wm表示第t次滑动扫描时滑动窗口中第m个像素点的位置权重，sm表示第
t次滑动扫描时滑动窗口中第m个像素点的像素值，表示第一次滑动扫描时扫描的第一个
像素点的像素值，C表示常数。
像素点位于第一行像素点，则wm=1，像素点位于最后一列像素点，则wm=2，像素点位于最后一行像素点，则wm=3，像素点位于第一列像素点，则wm=4。
在本发明实施例中，S23中，确定文字存在区域的边缘上的重叠像素点的方法为：将边缘扫描值小于所有边缘扫描均值的滑动窗口包含的像素点作为文字存在区域的边缘上的重叠像素点。
在本发明实施例中，S3中，利用支持向量机提取重点文字存在区域的文字识别结果。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。
Claims (9)
1.一种基于图像处理的互动虚拟教具实现方法，其特征在于，包括以下步骤：
S1、利用点读笔的摄像头采集待识别图像，提取待识别图像的文字存在区域；
S2、对文字存在区域进行处理，得到重点文字存在区域；
S3、提取重点文字存在区域的文字识别结果；
S4、通过投影仪将文字识别结果进行投影，完成互动。
2.根据权利要求1所述的基于图像处理的互动虚拟教具实现方法，其特征在于，所述S1包括以下子步骤：
S11、利用点读笔的摄像头采集待识别图像，确定待识别图像的像素点累计分布；
S12、根据待识别图像的像素点累计分布，确定待识别图像中各个像素点的分布向量；
S13、生成文字提取规则；
S14、判断各个像素点的分布向量是否符合文字提取规则，若是则保留，否则剔除；
S15、将待识别图像中保留的所有像素点作为文字存在区域。
3.根据权利要求2所述的基于图像处理的互动虚拟教具实现方法，其特征在于，所述S11中，待识别图像的像素点累计分布f的计算公式为：
；
式中，si表示待识别图像中第i行所有像素点的均值，sj表示待识别图像中第j列所有像素点的均值，I表示待识别图像的行数，J表示待识别图像的列数，ln(·)表示对数函数，Sij表示待识别图像中第i行第j列像素点的像素值，max(·)表示最大值函数。
4.根据权利要求2所述的基于图像处理的互动虚拟教具实现方法，其特征在于，所述S12中，待识别图像中第i行第j列像素点的分布向量Uij的表达式为：
；
式中，表示拼接操作，f表示待识别图像的像素点累计分布，Sij表示待识别图像中第i行第j列像素点的像素值。
5.根据权利要求2所述的基于图像处理的互动虚拟教具实现方法，其特征在于，所述S13中，生成文字提取规则的表达式为：
；
式中，C表示常数，Uij表示待识别图像中第i行第j列像素点的分布向量，Sij表示待识别图像中第i行第j列像素点的像素值，S11表示待识别图像中第1行第1列像素点的像素值，S1J表示待识别图像中第1行第J列像素点的像素值，SI1表示待识别图像中第I行第1列像素点的像素值，SIJ表示待识别图像中第I行第J列像素点的像素值，I表示待识别图像的行数，J表示待识别图像的列数。
6.根据权利要求1所述的基于图像处理的互动虚拟教具实现方法，其特征在于，所述S2包括以下子步骤：
S21、将文字存在区域的第一行像素点、最后一行像素点、第一列像素点以及最后一列像素点作为文字存在区域的边缘；
S22、利用滑动窗口顺时针滑动扫描文字存在区域的边缘，得到每次滑动扫描的边缘扫描值；
S23、根据每次滑动扫描的边缘扫描值，确定文字存在区域的边缘上的重叠像素点；
S24、对文字存在区域的边缘上的重叠像素点进行平滑处理，得到重点文字存在区域。
7.根据权利要求6所述的基于图像处理的互动虚拟教具实现方法，其特征在于，所述S21中，第t次滑动扫描的边缘扫描值Pt的计算公式为：
；
式中，M表示第一次滑动扫描时滑动窗口中包含的像素点个数，N表示第t次滑动扫描时滑动窗口中包含的像素点个数，K表示文字存在区域的边缘的像素点个数，floor(·)表示向下取整函数，wm表示第t次滑动扫描时滑动窗口中第m个像素点的位置权重，sm表示第t次滑动扫描时滑动窗口中第m个像素点的像素值，表示第一次滑动扫描时扫描的第一个像素点的像素值，C表示常数。
8.根据权利要求6所述的基于图像处理的互动虚拟教具实现方法，其特征在于，所述S23中，确定文字存在区域的边缘上的重叠像素点的方法为：将边缘扫描值小于所有边缘扫描均值的滑动窗口包含的像素点作为文字存在区域的边缘上的重叠像素点。
9.根据权利要求1所述的基于图像处理的互动虚拟教具实现方法，其特征在于，所述S3中，利用支持向量机提取重点文字存在区域的文字识别结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410605543.XA CN118172777B (zh) | 2024-05-16 | 2024-05-16 | 一种基于图像处理的互动虚拟教具实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410605543.XA CN118172777B (zh) | 2024-05-16 | 2024-05-16 | 一种基于图像处理的互动虚拟教具实现方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118172777A true CN118172777A (zh) | 2024-06-11 |
| CN118172777B CN118172777B (zh) | 2024-07-12 |
Family
ID=91346950
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410605543.XA Active CN118172777B (zh) | 2024-05-16 | 2024-05-16 | 一种基于图像处理的互动虚拟教具实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118172777B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6366699B1 (en) * | 1997-12-04 | 2002-04-02 | Nippon Telegraph And Telephone Corporation | Scheme for extractions and recognitions of telop characters from video data |
| CN101398894A (zh) * | 2008-06-17 | 2009-04-01 | 浙江师范大学 | 机动车车牌自动识别方法及其实现装置 |
| CN107229932A (zh) * | 2016-03-25 | 2017-10-03 | 阿里巴巴集团控股有限公司 | 一种图像文本的识别方法和装置 |
| CN112488107A (zh) * | 2020-12-04 | 2021-03-12 | 北京华录新媒信息技术有限公司 | 一种视频字幕的处理方法及处理装置 |
| US20210390296A1 (en) * | 2020-06-16 | 2021-12-16 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Optical character recognition method and apparatus, electronic device and storage medium |
| CN113963353A (zh) * | 2020-07-02 | 2022-01-21 | 苏宁云计算有限公司 | 一种文字图像处理识别方法、装置、计算机设备和存储介质 |
| US20220237397A1 (en) * | 2021-01-27 | 2022-07-28 | Sap Se | Identifying handwritten signatures in digital images using ocr residues |
| CN115188006A (zh) * | 2022-06-17 | 2022-10-14 | 平安银行股份有限公司 | 从图像中提取文本的方法、装置、存储介质及电子设备 |
| CN117612173A (zh) * | 2023-10-20 | 2024-02-27 | 安徽淘云科技股份有限公司 | 词典笔、展示方法和存储介质 |
-
2024
- 2024-05-16 CN CN202410605543.XA patent/CN118172777B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6366699B1 (en) * | 1997-12-04 | 2002-04-02 | Nippon Telegraph And Telephone Corporation | Scheme for extractions and recognitions of telop characters from video data |
| CN101398894A (zh) * | 2008-06-17 | 2009-04-01 | 浙江师范大学 | 机动车车牌自动识别方法及其实现装置 |
| CN107229932A (zh) * | 2016-03-25 | 2017-10-03 | 阿里巴巴集团控股有限公司 | 一种图像文本的识别方法和装置 |
| US20210390296A1 (en) * | 2020-06-16 | 2021-12-16 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Optical character recognition method and apparatus, electronic device and storage medium |
| CN113963353A (zh) * | 2020-07-02 | 2022-01-21 | 苏宁云计算有限公司 | 一种文字图像处理识别方法、装置、计算机设备和存储介质 |
| CN112488107A (zh) * | 2020-12-04 | 2021-03-12 | 北京华录新媒信息技术有限公司 | 一种视频字幕的处理方法及处理装置 |
| US20220237397A1 (en) * | 2021-01-27 | 2022-07-28 | Sap Se | Identifying handwritten signatures in digital images using ocr residues |
| CN115188006A (zh) * | 2022-06-17 | 2022-10-14 | 平安银行股份有限公司 | 从图像中提取文本的方法、装置、存储介质及电子设备 |
| CN117612173A (zh) * | 2023-10-20 | 2024-02-27 | 安徽淘云科技股份有限公司 | 词典笔、展示方法和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118172777B (zh) | 2024-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11663817B2 (en) | Automated signature extraction and verification | |
| US20110211233A1 (en) | Image processing device, image processing method and computer program | |
| CN106991422B (zh) | 字符切割方法、装置及计算机可读存储介质和电子设备 | |
| Sahu et al. | A study on optical character recognition techniques | |
| JP7479925B2 (ja) | 画像処理システム、画像処理方法、及びプログラム | |
| CN112949649B (zh) | 一种文本图像的识别方法、装置及计算设备 | |
| CN111507181B (zh) | 票据图像的矫正方法、装置及计算机设备 | |
| CN113592735A (zh) | 文本页面图像还原方法及***、电子设备和计算机可读介质 | |
| CN113850238B (zh) | 文档检测方法、装置、电子设备及存储介质 | |
| CN110766015A (zh) | 一种答题卡识别方法、装置和服务器、***及存储介质 | |
| CN110969681A (zh) | 一种基于gan网络的手写体书法文字生成方法 | |
| CN109741273A (zh) | 一种手机拍照低质图像的自动处理与评分方法 | |
| CN111986117A (zh) | 一种算术作业批改***及方法 | |
| CN113011412B (zh) | 基于笔顺及ocr文字识别方法、装置、设备及存储介质 | |
| CN116009749A (zh) | 一种基于注意力机制的手写字符擦除方法及*** | |
| CN110705442A (zh) | 一种试卷答案自动获取方法、终端设备及存储介质 | |
| CN118172777B (zh) | 一种基于图像处理的互动虚拟教具实现方法 | |
| CN111435407A (zh) | 错别字的纠正方法、装置、设备及存储介质 | |
| CN110298236B (zh) | 一种基于深度学习的盲文图像自动识别方法和*** | |
| US10424051B2 (en) | Image analyzing apparatus and non-transitory storage medium storing instructions executable by the image analyzing apparatus | |
| CN115376132A (zh) | 扫描笔的数据处理方法及装置、存储介质、扫描笔 | |
| CN113486786B (zh) | 一种自动作业批改*** | |
| CN114283419A (zh) | 文本图像区域检测方法、相关设备及可读存储介质 | |
| CN111062377B (zh) | 一种题号检测方法、***、存储介质及电子设备 | |
| US20230351786A1 (en) | Method and related device for board writing extraction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |