CN111563497B - 基于移动轨迹的框题方法、装置、电子设备及存储介质 - Google Patents
基于移动轨迹的框题方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111563497B CN111563497B CN202010366625.5A CN202010366625A CN111563497B CN 111563497 B CN111563497 B CN 111563497B CN 202010366625 A CN202010366625 A CN 202010366625A CN 111563497 B CN111563497 B CN 111563497B
- Authority
- CN
- China
- Prior art keywords
- straight line
- point coordinate
- end point
- frame
- character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 238000004590 computer program Methods 0.000 claims description 13
- 238000009432 framing Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
- Character Input (AREA)
Abstract
本发明实施例涉及智能设备技术领域，公开了一种基于移动轨迹的框题方法、装置、电子设备及存储介质。该方法包括：当接收到框题指令时，开启摄像头识别操作体在承载体上的移动轨迹；利用移动轨迹和预设规则对承载体拍照，得到粗框图像；当移动轨迹为连续轨迹时，确定移动轨迹在粗框图像中的起点坐标和终点坐标，并获取粗框图像中起点坐标和终点坐标之间任意行的字符形成的基准直线；在起点坐标和终点坐标之间的连线与基准直线不平行时，基于起点坐标和终点坐标分别构建第一直线和第二直线；构建选择框，获取选择框内字符的图片。实施本发明实施例，只要基于起点坐标和终点坐标构建第一直线和第二直线即可得到选择框，操作更加方便。
Description
技术领域
本发明涉及智能设备技术领域，具体涉及一种基于移动轨迹的框题方法、装置、电子设备及存储介质。
背景技术
为了解决中小学的作业难题，目前，市场上出现了很多解决学生作业难题的搜题或错题汇总类应用程序，这些应用程序都是通过摄像头拍摄题目图片以作为错题保存或用来搜索对应的答案。其实现方法大致分为三种：
第一种是通过手动拖到裁剪框的方式框选自己想要的题目，这种方式想要多次操作裁剪框，以使裁剪框变大或变小，才能精确获取题目图片，该方式操作不方便，比较繁琐。
第二种是基于承载体上使用操作体选取一个点，然后根据这个点进行拍照并基于预设规则以一定的训练模型得到题目图片，其较第一种方式更加智能，但是由于识别现象通常集中在一个点的范围内，可能会造成获取的内容图片不完整或者存在无效信息，搜题的结果容易出错。
第三种方式是基于轨迹的方式，例如使用操作体在承载体上移动，使得移动轨迹形成闭合曲线框，摄像头识别移动轨迹，智能设备基于移动轨迹将闭合曲线框内的内容框选出，或者使得承载体上以待框选内容的起点坐标和终点坐标作为移动轨迹的两端，然后基于该起点坐标和终点坐标作为对角线构建矩形框，得到矩形框内的内容。
闭合曲线框的方式，因为操作体在移动时，并非显性显示，极易造成用户绘制不完整的情况出现，则智能终端就无法识别到该选择框，可能需要与用户多次交互才能完成，影响用户体验，而对于起点坐标和终点坐标作为对角线的情况，如果待框选内容的首个字符没有缩进，或者最后一个字符在最后一个的末尾，则较为容易矩形框并确定框选内容，如图1所示，矩形框14根据移动轨迹11的起点坐标12和终点坐标13形成的对角线得到。事实上，很多时候，待框选题目不可能的首行和末行不可能与中间行一样，占满该行，这种情况下，起点坐标和终点坐标没有参照物，得到的矩形框内的内容很可能不完整，如图2所示，由于起点和终点位置不易把握，因此，根据移动轨迹21的起点坐标22和终点坐标23形成的对角线得到的矩形框24则无法框取到完整的内容。
发明内容
针对所述缺陷，本发明实施例公开了一种基于移动轨迹的框题方法、装置、电子设备及存储介质，其保证框取题目精准的同时，操作更加方便。
本发明实施例第一方面公开一种基于移动轨迹的框题方法，所述方法包括：
当接收到框题指令时，开启摄像头识别用户通过操作体在承载体上的移动轨迹；
利用所述移动轨迹和预设规则对所述承载体拍照，得到粗框图像；
当所述移动轨迹为连续轨迹时，确定所述移动轨迹在粗框图像中的起点坐标和终点坐标，并获取粗框图像中所述起点坐标和终点坐标之间任意行的字符形成的基准直线；
在所述起点坐标和终点坐标之间的连线与所述基准直线不平行时，基于所述起点坐标和终点坐标分别构建与所述基准直线平行的第一直线和第二直线；
以所述第一直线和第二直线以及粗框图像位于所述第一直线和第二直线之间的边缘构建选择框，获取所述选择框内字符的图片。
作为一种可选的实施方式，在本发明实施例第一方面中，基于所述起点坐标和终点坐标分别构建与所述基准直线平行的第一直线和第二直线包括：
检测所述起点坐标和终点坐标是否落入字符上；
如果起点坐标和终点坐标均不落入字符上，构建的第一直线和第二直线分别经过所述起点坐标和终点坐标。
作为一种可选的实施方式，在本发明实施例第一方面中，如果起点坐标或/和终点坐标落入字符上，则：
以所述基准直线或与所述基准直线平行的直线为横坐标轴建立粗框图像的平面坐标系；
确定所述起点坐标和终点坐标的纵坐标值的大小；
如果落入字符上的点的纵坐标为较大值时，在所述较大值的纵坐标的基础上增加第一预设值作为第一直线经过的点；
如果落入字符上的点的纵坐标为较小值时，在所述较小值的纵坐标的基础上减去第二预设值作为第二直线经过的点。
作为一种可选的实施方式，在本发明实施例第一方面中，将待框选题目的第一个字符作为移动轨迹的起点坐标，将待框选题目的最后一个字符作为移动轨迹的终点坐标；将待框选题目的第一个字符和最后一个字符之间的线段作为移动轨迹；
在所述起点坐标的纵坐标的基础上增加第一预设值作为第一直线经过的点；
在所述终点坐标的纵坐标的基础上减去第二预设值作为第二直线经过的点。
作为一种可选的实施方式，在本发明实施例第一方面中，在所述得到粗框图像之后，还包括：对所述粗框图像进行矫正，使得所述粗框图像为矩形。
作为一种可选的实施方式，在本发明实施例第一方面中，如果所述起点坐标和终点坐标之间的连线与基准直线平行，获取所述起点坐标和终点坐标之间的连线经过的字符的图片。
本发明实施例第二方面公开一种基于移动轨迹的框题装置，其包括：
识别单元，用于当接收到框题指令时，开启摄像头识别用户通过操作体在承载体上的移动轨迹；
拍照单元，用于利用所述移动轨迹和预设规则对所述承载体拍照，得到粗框图像；
获取单元，用于当所述移动轨迹为连续轨迹时，确定所述移动轨迹在粗框图像中的起点坐标和终点坐标，并获取粗框图像中所述起点坐标和终点坐标之间任意行的字符形成的基准直线；
构建单元，用于在所述起点坐标和终点坐标之间的连线与所述基准直线不平行时，基于所述起点坐标和终点坐标分别构建与所述基准直线平行的第一直线和第二直线；
框选单元，用于以所述第一直线和第二直线以及粗框图像位于所述第一直线和第二直线之间的边缘构建选择框，获取所述选择框内字符的图片。
作为一种可选的实施方式，在本发明实施例第二方面中，所述构建单元包括：
检测子单元，用于检测所述起点坐标和终点坐标是否落入字符上；
第一判断子单元，用于如果起点坐标和终点坐标均不落入字符上，构建的第一直线和第二直线分别经过所述起点坐标和终点坐标；
第二判断子单元，用于如果起点坐标或/和终点坐标落入字符上，则：以所述基准直线或与所述基准直线平行的直线为横坐标轴建立粗框图像的平面坐标系；确定所述起点坐标和终点坐标的纵坐标值的大小；如果落入字符上的点的纵坐标为较大值时，在所述较大值的纵坐标的基础上增加第一预设值作为第一直线经过的点；如果落入字符上的点的纵坐标为较小值时，在所述较小值的纵坐标的基础上减去第二预设值作为第二直线经过的点。
本发明实施例第三方面公开一种电子设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行本发明实施例第一方面公开的一种基于移动轨迹的框题方法。
本发明实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的一种基于移动轨迹的框题方法。
本发明实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明实施例第一方面公开的一种基于移动轨迹的框题方法。
本发明实施例第六方面公开一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明实施例第一方面公开的一种基于移动轨迹的框题方法。
与现有技术相比，本发明实施例具有以下有益效果：
本发明实施例中，当接收到框题指令时，开启摄像头识别用户通过操作体在承载体上的移动轨迹；利用所述移动轨迹和预设规则对所述承载体拍照，得到粗框图像；当所述移动轨迹为连续轨迹时，确定所述移动轨迹在粗框图像中的起点坐标和终点坐标，并获取粗框图像中所述起点坐标和终点坐标之间任意行的字符形成的基准直线；在所述起点坐标和终点坐标之间的连线与所述基准直线不平行时，基于所述起点坐标和终点坐标分别构建与所述基准直线平行的第一直线和第二直线；以所述第一直线和第二直线以及粗框图像位于所述第一直线和第二直线之间的边缘构建选择框，获取所述选择框内字符的图片。可见，实施本发明实施例，其只要基于起点坐标和终点坐标构建第一直线和第二直线即可得到选择框，保证了精准框取题目的同时，操作更加方便，可提升用户体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是现有框题的方法的一种结构示意图；
图2是现有框题的方法的另一种结构示意图；
图3是本发明实施例公开的一种基于移动轨迹的框题方法的流程示意图；
图4是本发明实施例公开的另一种基于移动轨迹的框题方法的流程示意图；
图5是本发明实施例公开的一种基于移动轨迹的框题方法的举例示意图；
图6是本发明实施例公开的另一种基于移动轨迹的框题方法的举例示意图；
图7是本发明实施例公开的一种基于移动轨迹的框题装置的结构示意图；
图8是本发明实施例公开的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同的对象，而不是用于描述特定顺序。本发明实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，示例性地，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开了一种基于移动轨迹的框题方法、装置、电子设备及存储介质，其只要根据移动轨迹的起点坐标和终点坐标构建第一直线和第二直线即可得到选择框，操作十分简单方便，而且还能保证题目的完整性，提升用户体验，以下结合附图进行详细描述。
实施例一
请参阅图3，图3是本发明实施例公开的一种基于移动轨迹的框题方法的流程示意图。其中，本发明实施例所描述的方法适用于学***板电脑或手机等智能设备，也可以适用于台式计算机、便携式计算机以及服务器等中。框题是通过选择框选中并提取图像中待框选题目的内容部分。如图3所示，该基于移动轨迹的框题方法包括以下步骤：
110、当接收到框题指令时，开启摄像头识别用户通过操作体在承载体上的移动轨迹。
框题用于学习中，其目的可以是用于搜题、存储错题和知识点等。框题指令为用户即操作者发起，其可以是语音指令，也可以是用户通过触控屏或机械按钮等方式触发形成的脉冲指令，或者用户通过特定的手势形成等，这里不做限定。在接收到框题指令前，摄像头以及智能设备的大部分器件处于睡眠状态，可以节省电量，通过框题指令对二者进行唤醒。摄像头可以是智能设备自带的前置摄像头或后置摄像头，也可以是分离于智能设备与智能设备存在通讯连接的外部摄像头。
用户借助操作体，在承载体上进行操作，摄像头识别用户意图，可根据用户意图对承载体上的内容进行拍照。
智能设备在接收到框题指令后，启动摄像头，识别用户通过操作体在承载体上的移动轨迹。启动摄像头后，智能设备上的显示屏可以显示摄像头能够采集的预览图像，该图像不会被保存，摄像头识别用户使用操作体在承载体上的移动轨迹是通过仿射变换算法实现的，即将承载体上的坐标转换到预览图像的坐标上，摄像头识别的移动轨迹也就是预览图像上的移动轨迹。
示例性地，承载体是待框选内容的载体，可以是书本、练习册、试卷等。操作体是用于在承载体上操作，进而根据定位操作体的位置实现框选内容的定位，操作体可以是手指、触控笔、铅笔等，甚至也可以小棍，这里不做限定。
120、利用所述移动轨迹和预设规则对所述承载体拍照，得到粗框图像。
粗框图像至少包括移动轨迹所覆盖的题目内容的所有内容，同时还会包括一些与待框选题目无关的无效信息。因此，预设规则可以指定一定的区间，例如，基于起点坐标向上取5行字符，基于终点坐标向下取3行字符，将这些内容进行框取。
摄像头根据移动轨迹和预设规则得到的粗框图像，事实上也是基于预览图像完成的，不过此过程对于用户而言是无感的。显然，移动轨迹可以完整体现于粗框图像中。
130、当所述移动轨迹为连续轨迹时，确定所述移动轨迹在粗框图像中的起点坐标和终点坐标，并获取粗框图像中所述起点坐标和终点坐标之间任意行的字符形成的基准直线。
本发明实施例针对的移动轨迹是连续的，如果中间出现中断，则会出现多个起点坐标和终点坐标，造成无法识别。
确定起点坐标和终点坐标之前，优选对粗框图像进行预处理，以保证OCR识别的准确性和选择框的精确性。预处理包括但不限于去噪、对比度增强以及形状矫正等，形状矫正主要针对摄像头视角问题拍摄到梯形图像或者承载体出现卷曲情况，形状矫正可以通过对粗框图像的边缘拉伸等实现，最终得到的粗框图像为矩形。
移动轨迹的起点坐标和终点坐标通过步骤110所述的坐标转换方式得到。
这里的任意行包括起点坐标所在的行或终点坐标所在的行，获取基准直线分为两个步骤：首先对粗框图像进行字符识别，示例性地，识别字符可以通过成熟的OCR(OpticalCharacter Recognition，光学字符识别)技术实现，字符包括汉字、字母、标点符号以及公式等。然后得到该任意行的字符的位置坐标，这些字符的位置坐标的连线可以得到基准直线。
选取任意行时，排除只有一个字符的行，优选字符为5个或以上的行，这样得到的基准直线相对准确。设置基准直线的方式，在字符存在倾斜时，不需要调整粗框图像或题目的角度即可进行框取，加快了处理速度。
140、在所述起点坐标和终点坐标之间的连线与所述基准直线不平行时，经过所述起点坐标和终点坐标分别构建与所述基准直线平行的第一直线和第二直线。
本发明实施例可适用于移动轨迹是曲线的情况，在选择框为多行的情况下，因为本发明不考虑移动轨迹的行进过程，即使用户为了提高趣味性，采用波浪线式移动，也可以得到选择框。
具体地，起点坐标和终点坐标之间的连线未必是移动轨迹，如果它们的连线与基准直线不平行，则说明起点坐标和终点坐标相对于基准直线而言不在同一直线上，则待框选题目存在多行字符，然后基于起点坐标和终点坐标构建与基准直线平行的第一直线和第二直线。
在本发明实施例中，根据起点坐标和终点坐标的设定规则构建第一直线和第二直线。实施例一中起点坐标和终点坐标均不落入字符上，例如可以在用户发出框题指令后，智能设备可以提示用户将起点坐标置于待选择框的首个字符的上方空白处，将终点坐标置于待选择框最后一个字符的下方空白处。
由于起点坐标和终点坐标均不落在字符上，因此，只要经过起点坐标和终点坐标构建第一直线和第二直线，则第一直线和第二直线均不会与待选择框内的字符有交汇，保证了框题的完整性。
150、以所述第一直线和第二直线以及粗框图像位于所述第一直线和第二直线之间的边缘构建选择框，获取所述选择框内字符的图片。
只要得到选择框的上下边线，左右两侧边线直接使用粗框图像的边线即可。
对于承载体的两侧边缘存在其他标识，例如页码或者分隔符等，可以通过神经网络模型或预定规则进行涂抹，例如预定规则可以是识别到的选择框内存在孤立字符时，且这些孤立字符是页码、分隔符以及其他标识型字符时，直接将这些字符使用背景模板涂抹。
需要说明的是，本发明实施例对多栏排版的承载体无法准确框选。
实施本发明实施例，可以基于起点坐标和终点坐标得到选择框，用户只要将起点坐标置于待选择框的首个字符的上方空白处，将终点坐标置于待选择框最后一个字符的下方空白处，就可以得到选择框，然后根据该选择框得到题目的图片，可对该题目的图片进行保存或搜题等。如果选择框内的字符存在倾斜，则该选择框为平行四边形，不需要对粗框图像进行旋转等各种操作，对于用户而言，操作十分简单方便，而且可避免框题不完整或框取无效信息，提升框题效率，改善用户体验。
实施例二
请参阅图4，图4是本发明实施例公开的一种基于移动轨迹的框题方法的流程示意图。其中，本发明实施例所描述的方法适用于学***板电脑或手机等智能设备，也可以适用于台式计算机、便携式计算机以及服务器等中。框题是通过选择框选中并提取图像中待框选题目的内容部分。如图4所示，该基于移动轨迹的框题方法包括以下步骤：
210、当接收到框题指令时，开启摄像头识别用户通过操作体在承载体上的移动轨迹。
220、利用所述移动轨迹和预设规则对所述承载体拍照，得到粗框图像。
230、当所述移动轨迹为连续轨迹时，确定所述移动轨迹在粗框图像中的起点坐标和终点坐标，并获取粗框图像中所述起点坐标和终点坐标之间任意行的字符形成的基准直线。
步骤210～230与实施例一中的步骤110～130类似，这里不再赘述。
240、在所述起点坐标和终点坐标之间的连线与所述基准直线不平行时，基于所述起点坐标、终点坐标以及预设值分别构建与所述基准直线平行的第一直线和第二直线。
在本发明实施例中，根据起点坐标和终点坐标的设定规则构建第一直线和第二直线。实施例二中起点坐标和终点坐标其中一个或两个落入字符上。如果起点坐标或终点坐标其中一个不落入字符上，则直接将该点以是实施例一的方式构建直线，剩余一个点对于的直线则通过以下方式实现：
以所述基准直线或与所述基准直线平行的直线为横坐标轴建立粗框图像的平面坐标系；
确定所述起点坐标和终点坐标的纵坐标值的大小；
如果落入字符上的点的纵坐标为较大值时，在所述较大值的纵坐标的基础上增加第一预设值作为第一直线经过的点；
如果落入字符上的点的纵坐标为较小值时，在所述较小值的纵坐标的基础上减去第二预设值作为第二直线经过的点。
以起点坐标和终点坐标均落入字符上为例，这种方式对用户而言也是最方便操作且不易出错的方式。例如可以在用户发出框题指令后，智能设备可以提示用户将起点坐标置于待选择框的首个字符上，将终点坐标置于待选择框最后一个字符上。
由于起点坐标和终点坐标均落在字符上，用户操作较为明确，如果直接将起点坐标和终点坐标作为第一直线和第二直线的经过点，则会使得首行和末行只有部分被框取到。这种情况下，可以采用如下操作：在所述起点坐标的纵坐标的基础上增加第一预设值作为第一直线经过的点；在所述终点坐标的纵坐标的基础上减去第二预设值作为第二直线经过的点。
第一预设值和第二预设值可以相同，也可以不同，根据需要进行设置。优选使得第一直线位于首行的上方，使得第二直线位于末行的下方，且均不会与粗框图像中无关信息交汇。
如果用户将起点放于末行的最后一个字符，终点放于首行的第一个字符，或者将起点放于首行或末行的任意其他字符，终点放于末行或首行的其他字符，例如，将起点和终点分别放于首行和末行的第一个字符，使用上述通过建立平面坐标系的方法同样适用。
250、以所述第一直线和第二直线以及粗框图像位于所述第一直线和第二直线之间的边缘构建选择框，获取所述选择框内字符的图片。
步骤250和实施例一中的步骤150类似，这里不再赘述。
图5示出了一种通过首字符和最后一个字符作为移动轨迹的起点和终点生成选择框的结构示意图。图5中，移动轨迹310的起点坐标311位于“总”上，终点坐标312位于“。”上，以中间行字符的连线构成基准直线320，同时以基准直线320作为横坐标轴建立坐标系，则在根据第一预设值和起点坐标得到第一直线330，根据第二预设值和终点坐标得到第二直线340，粗框图像位于第一直线和第二直线之间的左边缘350和右边缘360以及第一直线和第二直线则构成选择框，对选择框内字符的图片进行选取即可。上述待框选字符方向与粗框图像的上边缘或下边缘平行，则选择框为矩形，如果待框选字符存在倾斜，如图6所示，则最后得到的选择框为平行四边形。
实施本发明实施例，可以基于起点坐标、终点坐标以及预设值得到选择框，用户只要将起点和终端分别置于待选择框的首行和末行的任意字符上，就可以得到选择框，然后根据该选择框得到题目的图片，可对该题目的图片进行保存或搜题等。如果选择框内的字符存在倾斜，则该选择框为平行四边形，不需要对粗框图像进行旋转等各种操作，对于用户而言，操作十分简单方便，而且可避免框题不完整或框取无效信息，提升框题效率，改善用户体验。
实施例三
作为一种特殊情形，如果待框选题目只有一行，则移动轨迹与基准直线平行，此时只要获取移动轨迹经过的字符的图片即可。
需要说明的是，因为用户在框题时的移动轨迹很难画成直线，而且起点坐标和终点坐标在上述的平面坐标系中的纵坐标也不能严格相等。因此，在本发明较佳的实施例中，当起点坐标和终点坐标之间的连线与基准直线之间的夹角在预设夹角范围内，则视为该连线和基准直线平行。而且在一定的情况下，用户划线时因为抖动，可能会有部分字符未在移动轨迹上，因此，如果以移动轨迹经过的字符作为框题内容，则有可能存在字符不完整的情况，所以采用起点坐标和终点坐标之间的连线经过的字符作为框题内容，再由预设夹角作为辅助，预设夹角的选择范围用以保证起点坐标和终点坐标之间的连线经过二者之间所有的字符，最终通过起点坐标和终点坐标之间的连线经过的字符作为框题内容可以保证字符的完整性。
实施例四
请参阅图7，图7是本发明实施例公开的一种基于移动轨迹的框题装置的结构示意图。如图7所示，该基于移动轨迹的框题装置可以包括：
识别单元410，用于当接收到框题指令时，开启摄像头识别用户通过操作体在承载体上的移动轨迹；
拍照单元420，用于利用所述移动轨迹和预设规则对所述承载体拍照，得到粗框图像；
获取单元430，用于当所述移动轨迹为连续轨迹时，确定所述移动轨迹在粗框图像中的起点坐标和终点坐标，并获取粗框图像中所述起点坐标和终点坐标之间任意行的字符形成的基准直线；
构建单元440，用于在所述起点坐标和终点坐标之间的连线与所述基准直线不平行时，基于所述起点坐标和终点坐标分别构建与所述基准直线平行的第一直线和第二直线；
框选单元450，用于以所述第一直线和第二直线以及粗框图像位于所述第一直线和第二直线之间的边缘构建选择框，获取所述选择框内字符的图片。
作为一种可选的实施方式，所述构建单元440包括：
检测子单元441，用于检测所述起点坐标和终点坐标是否落入字符上；
第一判断子单元442，用于如果起点坐标和终点坐标均不落入字符上，构建的第一直线和第二直线分别经过所述起点坐标和终点坐标；
第二判断子单元443，用于如果起点坐标或/和终点坐标落入字符上，则：以所述基准直线或与所述基准直线平行的直线为横坐标轴建立粗框图像的平面坐标系；确定所述起点坐标和终点坐标的纵坐标值的大小；如果落入字符上的点的纵坐标为较大值时，在所述较大值的纵坐标的基础上增加第一预设值作为第一直线经过的点；如果落入字符上的点的纵坐标为较小值时，在所述较小值的纵坐标的基础上减去第二预设值作为第二直线经过的点。
作为一种可选的实施方式，将待框选题目的第一个字符作为移动轨迹的起点坐标，将待框选题目的最后一个字符作为移动轨迹的终点坐标；将待框选题目的第一个字符和最后一个字符之间的线段作为移动轨迹；在所述起点坐标的纵坐标的基础上增加第一预设值作为第一直线经过的点；在所述终点坐标的纵坐标的基础上减去第二预设值作为第二直线经过的点。
作为一种可选的实施方式，在所述得到粗框图像之后，还包括：对所述粗框图像进行矫正，使得所述粗框图像为矩形。
作为一种可选的实施方式，如果所述起点坐标和终点坐标之间的连线与基准直线平行，获取所述起点坐标和终点坐标之间的连线经过的字符的图片。
图7所示的基于移动轨迹的框题装置，根据移动轨迹的起点和终点构建选择框，可避免待框选题目不完整或框取到无效信息，提升框题效率，改善用户体验。
实施例五
请参阅图8，图8是本发明实施例公开的一种电子设备的结构示意图。电子设备可以是学***板电脑或手机等智能设备，也可以是台式计算机、便携式计算机和服务器等。如图8所示，该电子设备可以包括：
存储有可执行程序代码的存储器510；
与存储器510耦合的处理器520；
其中，处理器520调用存储器510中存储的可执行程序代码，执行实施例一至实施例三任意一种基于移动轨迹的框题方法中的部分或全部步骤。
本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行实施例一至实施例三任意一种基于移动轨迹的框题方法中的部分或全部步骤。
本发明实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行实施例一至实施例三任意一种基于移动轨迹的框题方法中的部分或全部步骤。
本发明实施例还公开一种应用发布平台，其中，应用发布平台用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行实施例一至实施例三任意一种基于移动轨迹的框题方法中的部分或全部步骤。
在本发明的各种实施例中，应理解，所述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例所述方法的部分或全部步骤。
在本发明所提供的实施例中，应理解，“与A对应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。
本领域普通技术人员可以理解所述实施例的各种方法中的部分或全部步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种基于移动轨迹的框题方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (9)
1.一种基于移动轨迹的框题方法，其特征在于，包括：
当接收到框题指令时，开启摄像头识别用户通过操作体在承载体上的移动轨迹；
利用所述移动轨迹和预设规则对所述承载体拍照，得到粗框图像；
当所述移动轨迹为连续轨迹时，确定所述移动轨迹在粗框图像中的起点坐标和终点坐标，并获取粗框图像中所述起点坐标和终点坐标之间任意行的字符形成的基准直线；
在所述起点坐标和终点坐标之间的连线与所述基准直线不平行时，基于所述起点坐标和终点坐标分别构建与所述基准直线平行的第一直线和第二直线；如果所述起点坐标和终点坐标之间的连线与基准直线平行,获取所述起点坐标和终点坐标之间的连线经过的字符的图片；当起点坐标和终点坐标之间的连线与基准直线之间的夹角在预设夹角范围内，则视为该连线和基准直线平行；
以所述第一直线和第二直线以及粗框图像位于所述第一直线和第二直线之间的边缘构建选择框，获取所述选择框内字符的图片。
2.根据权利要求1所述的框题方法，其特征在于，基于所述起点坐标和终点坐标分别构建与所述基准直线平行的第一直线和第二直线包括：
检测所述起点坐标和终点坐标是否落入字符上；
如果起点坐标和终点坐标均不落入字符上，构建的第一直线和第二直线分别经过所述起点坐标和终点坐标。
3.根据权利要求2所述的框题方法，其特征在于，如果起点坐标或/和终点坐标落入字符上，则：
以所述基准直线或与所述基准直线平行的直线为横坐标轴建立粗框图像的平面坐标系；
确定所述起点坐标和终点坐标的纵坐标值的大小；
如果落入字符上的点的纵坐标为较大值时，在所述较大值的纵坐标的基础上增加第一预设值作为第一直线经过的点；
如果落入字符上的点的纵坐标为较小值时，在所述较小值的纵坐标的基础上减去第二预设值作为第二直线经过的点。
4.根据权利要求3所述的框题方法，其特征在于，将待框选题目的第一个字符作为移动轨迹的起点坐标，将待框选题目的最后一个字符作为移动轨迹的终点坐标；将待框选题目的第一个字符和最后一个字符之间的线段作为移动轨迹；
在所述起点坐标的纵坐标的基础上增加第一预设值作为第一直线经过的点；
在所述终点坐标的纵坐标的基础上减去第二预设值作为第二直线经过的点。
5.根据权利要求1-4任一项所述的框题方法，其特征在于，在所述得到粗框图像之后，还包括：对所述粗框图像进行矫正，使得所述粗框图像为矩形。
6.一种基于移动轨迹的框题装置，其特征在于，其包括：
识别单元，用于当接收到框题指令时，开启摄像头识别用户通过操作体在承载体上的移动轨迹；
拍照单元，用于利用所述移动轨迹和预设规则对所述承载体拍照，得到粗框图像；
获取单元，用于当所述移动轨迹为连续轨迹时，确定所述移动轨迹在粗框图像中的起点坐标和终点坐标，并获取粗框图像中所述起点坐标和终点坐标之间任意行的字符形成的基准直线；
构建单元，用于在所述起点坐标和终点坐标之间的连线与所述基准直线不平行时，基于所述起点坐标和终点坐标分别构建与所述基准直线平行的第一直线和第二直线；如果所述起点坐标和终点坐标之间的连线与基准直线平行,获取所述起点坐标和终点坐标之间的连线经过的字符的图片；当起点坐标和终点坐标之间的连线与基准直线之间的夹角在预设夹角范围内，则视为该连线和基准直线平行；
框选单元，用于以所述第一直线和第二直线以及粗框图像位于所述第一直线和第二直线之间的边缘构建选择框，获取所述选择框内字符的图片。
7.根据权利要求6所述的框题装置，其特征在于，所述构建单元包括：
检测子单元，用于检测所述起点坐标和终点坐标是否落入字符上；
第一判断子单元，用于如果起点坐标和终点坐标均不落入字符上，构建的第一直线和第二直线分别经过所述起点坐标和终点坐标；
第二判断子单元，用于如果起点坐标或/和终点坐标落入字符上，则：以所述基准直线或与所述基准直线平行的直线为横坐标轴建立粗框图像的平面坐标系；确定所述起点坐标和终点坐标的纵坐标值的大小；如果落入字符上的点的纵坐标为较大值时，在所述较大值的纵坐标的基础上增加第一预设值作为第一直线经过的点；如果落入字符上的点的纵坐标为较小值时，在所述较小值的纵坐标的基础上减去第二预设值作为第二直线经过的点。
8.一种电子设备，其特征在于，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行权利要求1至5任一项所述的一种基于移动轨迹的框题方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行权利要求1至5任一项所述的一种基于移动轨迹的框题方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010366625.5A CN111563497B (zh) | 2020-04-30 | 2020-04-30 | 基于移动轨迹的框题方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010366625.5A CN111563497B (zh) | 2020-04-30 | 2020-04-30 | 基于移动轨迹的框题方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111563497A CN111563497A (zh) | 2020-08-21 |
| CN111563497B true CN111563497B (zh) | 2024-04-16 |
Family
ID=72071780
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010366625.5A Active CN111563497B (zh) | 2020-04-30 | 2020-04-30 | 基于移动轨迹的框题方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111563497B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112488110A (zh) * | 2020-12-18 | 2021-03-12 | 深圳简捷电子科技有限公司 | 一种图片中局部信息精准抓取的方法和*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5703962A (en) * | 1991-08-29 | 1997-12-30 | Canon Kabushiki Kaisha | Image processing method and apparatus |
| WO2015163118A1 (ja) * | 2014-04-22 | 2015-10-29 | シャープ株式会社 | 文字特定装置、および制御プログラム |
| CN108021320A (zh) * | 2017-12-25 | 2018-05-11 | 广东小天才科技有限公司 | 一种电子设备题目搜索方法及电子设备 |
| CN109189309A (zh) * | 2018-07-17 | 2019-01-11 | 小草数语（北京）科技有限公司 | 图谱节点操作方法和装置 |
| CN110096200A (zh) * | 2019-04-09 | 2019-08-06 | 网易（杭州）网络有限公司 | 文本处理方法及装置、存储介质、电子设备 |
-
2020
- 2020-04-30 CN CN202010366625.5A patent/CN111563497B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5703962A (en) * | 1991-08-29 | 1997-12-30 | Canon Kabushiki Kaisha | Image processing method and apparatus |
| WO2015163118A1 (ja) * | 2014-04-22 | 2015-10-29 | シャープ株式会社 | 文字特定装置、および制御プログラム |
| CN108021320A (zh) * | 2017-12-25 | 2018-05-11 | 广东小天才科技有限公司 | 一种电子设备题目搜索方法及电子设备 |
| CN109189309A (zh) * | 2018-07-17 | 2019-01-11 | 小草数语（北京）科技有限公司 | 图谱节点操作方法和装置 |
| CN110096200A (zh) * | 2019-04-09 | 2019-08-06 | 网易（杭州）网络有限公司 | 文本处理方法及装置、存储介质、电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111563497A (zh) | 2020-08-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108021320B (zh) | 一种电子设备题目搜索方法及电子设备 | |
| CN105975560B (zh) | 一种智能设备的题目搜索方法和装置 | |
| CN111753767A (zh) | 一种作业自动批改的方法、装置、电子设备和存储介质 | |
| CN111563512B (zh) | 一种答案自动涂抹的方法、装置、电子设备及存储介质 | |
| CN111027537B (zh) | 一种搜题方法及电子设备 | |
| CN109214471A (zh) | 评价练字字帖中的书写字的方法及*** | |
| CN107977146B (zh) | 一种基于蒙版的题目搜索方法及电子设备 | |
| CN109784146A (zh) | 一种字体种类识别方法、电子设备、存储介质 | |
| CN109753583A (zh) | 一种搜题方法及电子设备 | |
| CN108121987B (zh) | 一种信息处理方法和电子设备 | |
| CN109783613A (zh) | 一种搜题方法及*** | |
| CN111563497B (zh) | 基于移动轨迹的框题方法、装置、电子设备及存储介质 | |
| CN111077992B (zh) | 一种点读方法、电子设备及存储介质 | |
| CN109858383A (zh) | 笔画识别方法及装置 | |
| CN103984415B (zh) | 一种信息处理方法及电子设备 | |
| CN111553365B (zh) | 一种题目选取的方法、装置、电子设备及存储介质 | |
| CN111091034B (zh) | 一种基于多手指识别的搜题方法及家教设备 | |
| CN111077993B (zh) | 一种学习场景的切换方法、电子设备及存储介质 | |
| CN111582281B (zh) | 一种图片显示优化的方法、装置、电子设备和存储介质 | |
| CN111563511B (zh) | 一种智能框题的方法、装置、电子设备及存储介质 | |
| CN111563498B (zh) | 一种题目收集的方法、装置、电子设备及存储介质 | |
| CN111711758B (zh) | 多指定位的试题拍摄方法、装置、电子设备和存储介质 | |
| CN111753715B (zh) | 点读场景下试题拍摄的方法、装置、电子设备和存储介质 | |
| CN111027536A (zh) | 一种基于电子设备的搜题方法及电子设备 | |
| CN111432131B (zh) | 一种拍照框选的方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |