CN116050390A - 文本处理方法及电子设备 - Google Patents
文本处理方法及电子设备 Download PDFInfo
- Publication number
- CN116050390A CN116050390A CN202211055901.1A CN202211055901A CN116050390A CN 116050390 A CN116050390 A CN 116050390A CN 202211055901 A CN202211055901 A CN 202211055901A CN 116050390 A CN116050390 A CN 116050390A
- Authority
- CN
- China
- Prior art keywords
- electronic device
- text information
- text
- image
- interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/232—Orthographic correction, e.g. spell checking or vowelisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种文本处理方法及电子设备,涉及终端领域,该方法包括:电子设备可以从图像中提取出一条或多条文本信息,该一条或多条文本信息中包括第一文本信息。电子设备可以响应于作用在第一文本信息显示区域的输入,执行第一文本信息对应的第一操作。电子设备可以通过预览窗口显示出第一操作的结果对应的内容。如果预览窗口显示出错误提示文本信息,电子设备可以响应于用户针对第一文本信息的修改操作,对第一文本信息进行修改。
Description
技术领域
本申请涉及终端领域,尤其涉及一种文本处理方法及电子设备。
背景技术
随着电子设备的普及和终端技术的发展,用户越来越习惯于使用电子设备处理各种日常事务。在日常的使用场景中,电子设备常常可以响应于用户的操作,识别并提取出图像上的文本,用户可以对上述从图像中提取出的文本进行复制、粘贴、修改等操作。
然而,基于目前的文本识别技术,电子设备时常会识别错图像上的文本,也即是说,基于图像识别并提取出的文本往往与图像上的原始文本不符。因此,电子设备需要对从图像上提取出的文本进行文本纠错。而当前采用的文本纠错算法(例如,基于神经网络的文本纠错算法),存在着文本纠错精确度较低,将错误文本改正为正确文本的效率较低,且计算复杂度较高的问题。
发明内容
本申请提供了一种文本处理方法及电子设备,实现了提高文本的纠错精确度,提升将错误文本改正为正确文本的效率,并且计算复杂度较低,操作更加方便,使得电子设备100能够快速响应于用户的输入,基于正确的实体文本实现用户的意图。
第一方面,本申请提供了一种文本处理方法,包括:电子设备显示出第一界面,其中,该第一界面包括第一图像,该第一图像包括一条或多条文本内容,该一条或多条文本内容中包括第一文本内容。该电子设备从该第一图像中提取并显示出一条或多条文本信息,该提取出的一条或多条文本信息中包括第一文本信息。其中,该第一文本信息为基于该第一文本内容在该第一图像所处位置识别并提取出的文本信息。响应于作用在该第一文本信息的显示区域上的第一输入,该电子设备执行该第一文本信息对应的第一操作,并显示出第二界面。当该电子设备在该第二界面中显示出错误提示文本信息时,响应于针对该第一文本信息的修改操作,该电子设备同时显示出编辑窗口和编辑框,该编辑框中显示出该第一文本信息和确认控件,该第一文本信息和该第一图像中的该第一文本内容进行对照。响应于作用在该编辑窗口中的编辑输入,该电子设备基于该第一文本内容,将该编辑框中的该第一文本信息修改为第二文本信息。其中,该第二文本信息的内容和该第一文本内容相同。响应于作用在该确认控件上的第二输入,该电子设备执行第二操作。响应于该第二操作,该电子设备在该第二界面中显示出该第二文本信息对应的内容。
在一种可能的实现方式中,该电子设备显示出第一界面之前,该方法还包括:该电子设备显示出桌面,该桌面包括一个或多个应用的图标,该一个或多个应用的图标包括第一应用的图标。响应于作用在该第一应用的图标上的第三输入,该电子设备显示出一张或多张图像的预览图,该一张或多张图像的预览图中包括该第一图像的预览图。响应于作用在该第一图像的预览图上的第四输入,该电子设备显示出该第一界面。
在一种可能的实现方式中,该第一界面包括文本识别控件,该电子设备从该第一图像中提取并显示出一条或多条文本信息,该提取出的一条或多条文本信息中包括第一文本信息,具体包括:响应于该文本识别控件上的第五输入,该电子设备通过OCR算法,从该第一图像中提取并显示出一条或多条文本信息,该提取出的一条或多条文本信息中包括第一文本信息。
在一种可能的实现方式中,在响应于作用在该第一文本信息的显示区域上的第一输入,该电子设备执行该第一文本信息对应的第一操作,并显示出第二界面之前,该方法还包括:该电子设备确定并显示出第一文本信息的文本类型。
在一种可能的实现方式中,响应于该第二操作,该电子设备在该第二界面中显示出该第二文本信息对应的内容,具体包括:该第二界面包括预览窗口。响应于该第二操作,该电子设备在该预览窗口中显示出该第二文本信息对应的内容。
在一种可能的实现方式中,在响应于该第二操作,该电子设备在该第二界面中显示出该第二文本信息对应的内容,该方法还包括:响应于作用在该预览窗口上的第六输入,该电子设备显示出第三界面。其中,该第三界面中显示的内容包括该预览窗口中显示出的内容。
第二方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器、一个或多个存储器和显示屏。该一个或多个存储器与一个或多个处理器耦合,该一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当该一个或多个处理器执行该计算机指令时,使得该电子设备执行上述第一方面中任一项可能的实现方式中的方法。
第三方面,本申请实施例提供了一种计算机可读存储介质,包括计算机指令,当该计算机指令在电子设备上运行时,使得该电子设备执行上述第一方面中任一项可能的实现方式中的方法。
第四方面,本申请实施例提供了一种芯片或芯片***,包括处理电路和接口电路,该接口电路用于接收代码指令并传输至该处理电路,该处理电路用于运行该代码指令以执行上述第一方面中任一项可能的实现方式中的方法。
第五方面,本申请实施例提供了一种计算机程序产品,当该计算机程序产品在电子设备上运行时,使得该电子设备执行上述第一方面中任一项可能的实现方式中的方法。
附图说明
图1A-图1I为本申请实施例提供的一组用户界面示意图;
图2A-图2G为本申请实施例提供的一组用户界面示意图;
图2H为本申请实施例提供的一种高亮/放大显示的流程图;
图2I为本申请实施例提供的一种用户界面示意图;
图3A为本申请实施例提供的一种文本处理方法的具体流程示意图;
图3B为本申请实施例提供的一种识别并提取出一条或多条文本信息的流程示意图;
图4为本申请实施例提供的一种电子设备100的硬件结构示意图;
图5为本申请实施例提供的一种电子设备100的软件框架结构示意图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请得到说明书和所附权利要书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,本申请中使用的术语“和/或”是指包含一个或多个所列出醒目的任何或所有可能组合。在本申请实施例中,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在一些实施例中,当电子设备响应于用户的输入,从某张图像进行文本的识别和提取时,电子设备可以识别出该图像中具有特定意义的文本,例如:人名、地名、组织机构、日期、网址、电话号码等等,该种类型的文本识别可以被称为实体识别,上述具有特定意义的文本可以被称为实体文本。然后,电子设备可以基于上述实体识别提取出的实体文本,执行相应的操作,例如:显示出文本的相关内容、跳转至网址对应的网页等等。
然而,电子设备在进行实体识别时,时常会识别错图像上的实体文本,也即是说,从图像中提取出的实体文本往往与图像上的原始实体文本不符,从而导致电子设备无法基于实体识别提取出的实体文本执行相应的操作时,例如:无法显示出文本的相关内容、无法跳转至网址对应的网页等。
因此,本申请提供了一种文本处理方法。该方法可以应用于手机、平板电脑等电子设备上。后续统一使用电子设备100表示上述电子设备。
不限于手机、平板电脑,电子设备100还可以是桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digital assistant,PDA)、增强现实(augmented reality,AR)设备、虚拟现实(virtual reality,VR)设备、人工智能(artificial intelligence,AI)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备,本申请实施例对该电子设备100的具体类型不作特殊限制。
具体的,当电子设备100显示出图像A(也可以被称为第一图像),并响应于用户针对图像A的文本识别输入时,电子设备100可以识别并提取出图像A中的文本,从图像A识别并提取出的文本可以包括实体文本。当电子设备100无法基于提取出的实体文本执行相应的操作(例如:无法跳转至网址对应的网页、显示组织机构相关的介绍等)时,也即是提取出的实体文本存在错误,则电子设备100可以在展现出图像A部分或全部内容的用户界面中,显示出编辑窗口。电子设备100可以响应于用户作用在编辑窗口中的编辑输入,将错误的实体文本修改为正确的实体文本,该正确的实体文本即与图像A中的原始实体文本相符合。电子设备100可以基于该正确的实体文本执行相应的操作(例如:跳转至网址对应的网页、显示组织机构相关的介绍等)。关于实体文本的说明,可以参考前述描述,在此不再赘述。
从上述流程可以看出,本申请提供的文本处理方法,可以提高文本的纠错精确度,提升将错误文本改正为正确文本的效率,并且计算复杂度较低,操作更加方便,使得电子设备100能够快速响应于用户的输入,基于正确的实体文本实现用户的意图。
下面,结合图1A-图1I示例性示出的用户界面,介绍本申请实施例提供的该文本处理方法的一种应用场景。
如图1A所示,电子设备100可以显示出桌面10。该桌面10可以显示有一个或多个应用图标。其中,该一个或多个应用图标可以包括天气应用图标、股票应用图标、计算器应用图标、设置应用图标、邮件应用图标、视频应用图标、日历应用图标和图库应用图标101。可选的,桌面10还可以显示有状态栏、页面指示符和托盘图标区域。其中,状态栏可以包括移动通信信号(又可以称为蜂窝信号)的一个或多个信号强度指示符、无线保真(wirelessfidelity,Wi-Fi)信号的信号强度指示符、电池状态指示符、时间指示符等等。页面指示符可以用于表明当前显示的页面与其他页面的位置关系。托盘图标区域包括有多个托盘图标(例如拨号应用图标、信息应用图标、联系人应用图标和相机应用图标等等),托盘图标在页面切换时保持显示。上述页面也可以包括多个应用图标和页面指示符,页面指示符可以不是页面的一部分而单独存在,上述托盘图标也是可选的,本申请实施例对此不作限制。
响应于作用在图库应用图标101上的触摸操作(也可以被称为第三输入,例如,点击),电子设备100可以显示出图库界面。
如图1B所示,电子设备100可以显示出图库界面110。该图库界面110可以包括一张或多张图像的预览图。该一张或多张图像的预览图中,可以包括图像111(也即是前述的图像A)的预览图。
响应于作用在图像111的预览图上的触摸操作(也可以被称为第四输入,例如,点击),电子设备100可以显示出图像界面(也可以被称为第一界面)。
如图1C所示,电子设备100可以显示出图像界面120。图像界面120可以包括图像111中一条或多条文本内容。例如,图像界面120可以显示出图像111所包括的文本内容:“19:24”、“帐号与安全”、“帐号”、“手机号”、“密码”和“http://www.***.com”(也可以被称为第一文本内容)等。可以理解的是,在图像界面120中所显示出的图像111的区域,比图库界面110中图像111的预览图区域大。图像界面120中还可以包括控件121,用于接收用户作用在其上的触摸操作(例如,点击),使得电子设备100可以响应于该触摸操作,基于图像111的一条或多条文本内容,从图像111中识别并提取出对应的一条或多条文本信息。
响应于作用在控件121(也可以被称为文本识别控件)上的触摸操作(也可以被称为第五输入,例如,点击),电子设备100可以从图像111中识别并提取出一条或多条文本信息。
如图1D所示,电子设备100可以显示出文本识别界面130。文本识别界面130可以包括电子设备100从图像111中识别并提取出的文本信息,例如:“19:24”、“帐号与安全”、“帐号”、“Chill-Roxie”、“手机号”、“189283726354”“密码”、“已设置”、“声音锁”、“未设置”、“联系我们”、“http://www.baidv.com”和“登录设备管理”等。上述各文本信息所处区域可以突出显示于文本识别界面130,例如。包括文本“http://www.baidv.com”(也可以被称为第一文本信息)的区域131可以突出显示于文本识别界面130。其中,文本“http://www.baidv.com”为网址,即是前述中的实体文本,电子设备100可以为其设置第一标识,如文本识别界面130所示,该第一标识可以是下划线。在一些示例中,第一标识也可以是其他符号,如星形符号、方框符号或圆圈符号等,本申请对此不作限制。需要说明的是,在本申请实施例中,电子设备100可以通过光学字符识别(optical character recognition,OCR)算法从图像111中识别并提取出一条或多条文本信息。具体实现方式后续将详细说明,在此先不赘述。可以理解的是,在电子设备100显示出从图像111中识别并提取的文本信息前,电子设备100可以通过指定算法纠正上述提取出的一条或多条文本信息中的形式错误,具体实现方式后续将详细说明。
响应于作用在区域131上的触摸操作(例如,点击),电子设备100可以基于网址“http://www.baidv.com”访问对应的网页,并基于网页访问的结果,显示出对应的内容。
如图1E所示,电子设备100在基于网址“http://www.baidv.com”访问对应的网页时,可以显示出预览界面140。在该预览界面140中,电子设备100可以显示出预览窗口141。该预览窗口141可以包括电子设备100基于上述网址访问网页的结果。例如,在一些示例中,当电子设备100基于“http://www.baidv.com”成功访问对应的网页时,电子设备100可以在预览窗口141中显示出该网页的内容。在又一些示例中,当电子设备100基于网址“http://www.baidv.com”访问网页失败时,电子设备100可以在预览窗口141中显示出错误提示文本信息。
示例性的,这里以访问网页失败为例,如图1E所示,当电子设备100基于网址“http://www.baidv.com”访问网页失败,该网址对应的网页不存在从而导致电子设备100无法在预览窗口141中显示出网页时,电子设备100可以在预览窗口141中显示出错误提示文本信息,例如“404Notfound”和“网页不存在”。需要说明的是,当电子设备100基于网址“http://www.baidv.com”访问网页失败时,该网址可以被称为错误的实体文本。特别的,作用在区域131上的触摸操作,可以是点击第一标识(也即是下划线)的操作。在其他示例中,作用在区域131上的触摸操作,也可以是触摸于区域131任意位置上的操作,本申请对此并不作限制。
如图1F所示,当电子设备100基于网址“http://www.baidv.com”访问网页失败后,电子设备100可以在预览界面140显示出操作窗口142。操作窗口142可以显示出网址“http://www.baidv.com”、一个或多个选项(例如,“在浏览器中打开”选项、“收藏该网址”选项、“保存至备忘录”选项、“复制”选项和“分享选项”等)和编辑控件142A等。
可以理解的是,除了网址对应的网页不存在外,访问网页失败还可以是其他原因,例如:禁止访问该网址对应的网页等,本申请对此不作限制。
在一些示例中,当电子设备100可以基于从图像A(例如图像111)中识别并提取出的网址成功访问网页,并可以在预览窗口(例如,前述的预览窗口141)中显示出该网页时,电子设备100可以不必在预览界面(例如,前述的预览界面140)中显示出操作窗口(例如,前述的操作窗口142)。
响应于作用在编辑控件142A上的触摸操作(例如,点击),电子设备100可以在图像界面中显示出编辑窗口和编辑框。这里的图像界面即是前述中展现出图像A部分或全部内容的用户界面。
需要说明的,作用在编辑控件142A上的触摸操作(例如,点击)可以被称为针对第一文本信息的修改操作。
如图1G所示,电子设备100可以在图像界面120中显示出编辑窗口122和编辑框122A。该编辑窗口122和编辑框122A可以显示在图像111中原始网址“http://www.***.com”区域的下方。其中,编辑框122A中可以显示出基于图像111中文本内容“http://www.***.com”的显示区域而从图像111中识别并提取出的网址“http://www.baidv.com”、光标122C和确认控件122D。编辑窗口122可以用于接收用户作用于其上一个或多个字符按键(例如,“1”字符按键、“2”字符按键、“q”字符按键和“w”字符按键等)的输入。电子设备100可以响应于上述用户作用于一个或多个字符按键的输入,在编辑框122A中显示出对应的字符。
响应于作用在编辑窗口122中的编辑输入,电子设备100可以将编辑框122A中错误的实体文本“http://www.baidv.com”,修改为正确的实体文本“http://www.***.com”。
如图1H所示,电子设备100可以接收到作用于编辑窗口122上一个或多个字符按键的输入。响应于上述输入,电子设备100可以在编辑框122A中显示出对应的字符,将错误的实体文本“http://www.baidv.com”修改为正确的实体文本“http://www.***.com”。该正确的实体文本“http://www.***.com”与图像111中显示出的原始网址“http://www.***.com”相符。此时,光标122C可以位于字符“u”与字符“.”的中间。其中,作用于编辑窗口122上一个或多个字符按键的输入可以被称为编辑输入。
响应于作用在确认控件122D上的触摸操作(例如,点击),电子设备100可以基于正确的实体文本“http://www.***.com”访问对应的网页,并基于网页访问的结果,显示出对应的内容。
如图1I所示,电子设备100在基于正确的实体文本“http://www.***.com”访问对应的网页时,可以显示出预览界面140。该预览界面140可以包括预览窗口141和操作窗口142。关于预览窗口141和操作窗口142的描述,可以参考前述说明,在此不再赘述。当电子设备100可以基于正确的实体文本“http://www.***.com”成功访问对应的网页时,预览窗口141可以显示出对应的网页内容。此时,操作窗口142中也可以显示出正确的实体文本“http://www.***.com”。
需要说明的是,上述一系列的用户界面仅仅用于示例性解释本申请实施例,并不对本申请构成任何限制。
接下来,结合前述图1A-图1I中部分图示的用户界面,以及图2A-图2I示例性示出的用户界面,介绍本申请实施例提供的该文本处理方法的另一种应用场景。
电子设备100可以显示出桌面。该桌面可以是前述图1A中的桌面10。关于该桌面10以及相关内容的描述,可以参考前述说明,在此不再赘述。
响应于作用在图1A中图库应用图标101上的触摸操作(例如,点击),电子设备100可以显示出图库界面。
该图库界面可以是前述图1B中的图库界面110。关于该图库界面110以及相关内容的描述,可以参考前述说明,在此不再赘述。
响应于作用在图1B中图像111的预览图上的触摸操作(例如,点击),电子设备100可以显示出图像界面。
该图像界面可以是前述图1C中的图像界面120。关于该图像界面120以及相关内容的描述,可以参考前述说明,在此不再赘述。
响应于作用在图1C中控件121上的触摸操作(例如,点击),电子设备100可以从图像111中识别并提取出一条或多条文本信息。
电子设备100可以在前述图1D中的文本识别界面130显示出上述从图像111中识别并提取出的一条或多条文本信息。该文本识别界面130以及相关内容的描述,可以参考前述说明,在此不再赘述。
响应于作用在图1D中区域131上的触摸操作(例如,点击),电子设备100可以基于网址“http://www.baidv.com”访问对应的网页,并基于网页访问的结果,显示出对应的内容。
如图2A所示,电子设备100可以在基于网址“http://www.baidv.com”访问对应的网页时,显示出预览界面200。该预览界面200可以包括预览窗口201和编辑框202。关于该预览窗口201的说明,可以参考前述图1E中预览窗口141的说明,在此不再赘述。编辑框202可以显示出网址“http://www.baidv.com”。编辑框202可以包括确认控件202A。当电子设备100基于网址“http://www.baidv.com”访问网页失败,该网址对应的网页不存在从而导致电子设备100无法在预览窗口201中显示出网页时,电子设备100可以在预览窗口201中显示出错误提示文本信息,例如“404Notfound”和“网页不存在”等。该预览窗口201可以显示在图像111中原始网址“http://www.***.com”区域的下方。需要说明的是,当电子设备100基于网址“http://www.baidv.com”访问网页失败时,该网址可以被称为错误的实体文本。
当电子设备100基于网址“http://www.baidv.com”访问网页失败后,电子设备100可以接收到作用于编辑框202上的触摸操作(例如,双击)。
如图2B所示,响应于上述触摸操作,电子设备100可以在预览界面200中放大显示编辑框202,并在预览界面200中显示出编辑窗口203。该编辑框202可以显示出光标202B。该编辑窗口203可以显示于编辑框202区域的下方,该编辑框202可以显示在图像111中原始网址“http://www.***.com”区域的下方。关于编辑窗口203的说明,可以参考前述编辑窗口122的描述,在此不再赘述。可以理解的是,预览界面200即为前述展现出图像A部分或全部内容的用户界面。
需要说明的,作用于编辑框202上的触摸操作(例如,双击)可以被称为针对第一文本信息的修改操作。
响应于作用在编辑窗口203中的编辑输入,电子设备100可以将编辑框202中错误的实体文本“http://www.baidv.com”,修改为正确的实体文本“http://www.***.com”。
如图2C所示,电子设备100可以接收到作用于编辑窗口203上一个或多个字符按键的输入。响应于上述输入,电子设备100可以在编辑框202中显示出对应的字符,将错误的实体文本“http://www.baidv.com”修改为正确的实体文本“http://www.***.com”。该正确的实体文本“http://www.***.com”与图像111中显示出的原始网址“http://www.***.com”相符。此时,光标202B可以位于字符“u”与字符“.”的中间。其中,作用于编辑窗口203上一个或多个字符按键的输入可以被称为编辑输入。
响应于作用在确认控件202A上的触摸操作(例如,点击),电子设备100可以基于正确的实体文本“http://www.***.com”访问对应的网页,并基于网页访问的结果,显示出对应的内容。
如图2D所示,当电子设备100可以基于正确的实体文本“http://www.***.com”成功访问对应的网页时,预览窗口201可以显示出对应的网页内容。此时,编辑框202中可以显示出正确的实体文本“http://www.***.com”。
需要说明的是,上述一系列的用户界面仅仅用于示例性解释本申请实施例,并不对本申请构成任何限制。
在一些示例中,当电子设备100可以成功访问网页时,电子设备100可以响应于作用在预览窗口上的触摸操作(也可以被称为第六输入),显示出网页界面(也可以被称为第三界面)。其中,该网页界面显示出的内容可以包括预览窗口中显示出的内容。
示例性的,当电子设备100可以如图2D所示,基于正确的实体文本“http://www.***.com”成功访问对应的网页,预览窗口201显示出对应的网页内容时,如图2E所示,电子设备100可以响应于作用在预览窗口201上的触摸操作(例如,点击)。响应于该触摸操作,如图2F所示,电子设备100可以显示出网页界面210。其中,网页界面210中显示出的内容可以包括预览窗口201中显示出的内容。
在一些示例中,当电子设备100通过OCR算法,从图像A中识别并提取出一条或多条文本信息,该一条或多条文本信息中包括第一文本信息时,电子设备100可以获取到第一文本信息中每一个字符和/或符号的置信度。当字符的置信度低于指定阈值B(例如,0.6、0.7等),电子设备100可以高亮和/或放大显示出该字符。
如图2G所示,当电子设备100通过OCR算法,从图像111中识别并提取出一条或多条文本信息时,电子设备100可以获取到第一文本信息“http://www.baidv.com”中每一个字符和/或符号的置信度。当字符“b”、“a”、“i”、“d”、“v”的置信度均低于指定阈值B(例如,0.6、0.7等)时,电子设备100可以高亮显示出“baidv”。
在一些示例中,当电子设备100通过OCR算法,从图像A中识别并提取出一条或多条文本信息时,电子设备100可以获取到文本信息中每个字符的坐标。基于每个字符的坐标,电子设备100可以获取到每个字符在图像中的位置。因此,电子设备100可以获取到第一文本信息中每个字符的坐标,并基于第一文本信息中每个字符的坐标,获取到第一文本信息中每个字符在图像A中的位置。当编辑框中显示出第一文本信息和光标时,电子设备100可以获取到编辑框中光标所在位置对应的字符,并基于该字符的坐标,将该字符在图像A中对应的位置区域进行放大显示和/或高亮显示。然后,电子设备100可以基于该放大显示和/或高亮显示的位置所包括的内容,对第一文本信息进行修改。
示例性的,如图2H所示,电子设备100通过编辑框中显示出第一文本信息和光标,第一文本信息包括一个或多个字符,一个或多个字符中包括第一字符。电子设备100可以获取到编辑框中光标所在位置对应的字符,该字符为第一字符。由于在前述提取第一文本信息时,电子设备100可以获取到第一字符的坐标,因此,电子设备100可以基于该第一字符的坐标,获取到第一字符在图像A中的位置。电子设备100可以将该位置进行放大和/或高亮显示。然后,电子设备100可以基于该放大显示和/或高亮显示的位置所包括的内容,对第一文本信息进行修改。
如图2I所示,当电子设备100通过OCR算法,从图像111中识别并提取出一条或多条文本信息时,电子设备100可以获取到文本信息中每个字符的坐标。基于每个字符的坐标,电子设备100可以获取到每个字符在图像111中的位置。因此,电子设备100可以获取到第一文本信息“http://www.baidv.com”中每个字符的坐标,并基于第一文本信息每个字符的坐标,获取到第一文本信息中每个字符在图像111中的位置。当编辑框122A中显示出第一文本信息“http://www.baidv.com”和光标122C时,电子设备100可以获取到编辑框122A中光标122C所在位置对应的字符为“v”。电子设备100已获取到字符“v”的坐标,并基于该坐标获取到字符“v”在图像A的位置为字符“u”的位置(也即是说,电子设备100基于字符“u”识别出字符“v”),电子设备100可以将字符“u”的位置进行放大显示。然后,电子设备100可以基于该放大显示的位置所包括的内容,对第一文本信息进行修改。
接下来,结合前述的用户界面示例,介绍本申请实施例提供的文本处理方法的具体流程。
请参考图3A,图3A示例性示出了本申请实施例提供的一种文本处理方法的具体流程示意图。
如图3A所示,该方法的具体流程可以如下:
S301.电子设备100显示出图像界面,该图像界面包括图像A,该图像A中包括一条或多条文本内容,该一条或多条文本内容包括第一文本内容。
其中,第一文本内容可以是实体文本,关于实体文本的说明可以参考前述描述,在此不再赘述。这里,以第一文本内容是网址为例,对本申请实施例提供的文本处理方法的具体流程进行说明。
示例性的,结合前述的用户界面示例,图像界面可以是前述图1C所示的图像界面120,图像A可以是前述图1C所示的图像111,图像A中包括的一条或多条文本内容可以是前述图1C中图像111所包括的文本内容,例如:“19:24”、“帐号与安全”、“帐号”、“手机号”和“密码”等。该一条或多条文本内容中包括的第一文本内容可以是“http://www.***.com”。
S302.电子设备100可以基于图像A中一条或多条文本内容所处位置,从图像A中识别并提取出一条或多条文本信息,该一条或多条文本信息中,包括第一文本信息。
其中,电子设备100可以通过OCR算法,基于图像A中一条或多条文本内容所处位置,从图像A中识别并提取出一条或多条文本信息。第一文本信息也可以是实体文本,并且,第一文本信息是电子设备100基于前述第一文本内容在图像A中所处的位置识别并提取出的文本信息。这里,以第一文本信息是网址为例,对本申请实施例提供的文本处理方法的具体流程进行说明。示例性的,结合前述的用户界面示例,电子设备100可以响应于作用在控件121上的触摸操作,从图像111(也即是图像A)中识别并提取出一条或多条文本信息。第一文本信息可以是前述图1D所示的“http://www.baidv.com”。
具体的,如图3B所示,下面说明电子设备100通过OCR算法,从图像A中识别并提取出一条或多条文本信息的实现方式:
1).电子设备100对图像A进行预处理。
首先,当图像A为彩色图像时,电子设备100可以对图像A进行二值化处理,以使得图像A呈现出黑白效果。其中,二值化处理指的是:将图像A上的像素点的灰度值设置为0或255。具体的,电子设备100可以通过全局阈值(globalmethod)算法或局部阈值(localmethod)算法对图像A进行二值化处理。
接下来,电子设备100可以将二值化处理后的图像A进行图像去噪,以获取到清晰的图像A。其中,图像去噪指的是:去除图像A上的噪点(也可以被称为噪声)。噪点指的是:图像A上出现的随机的、离散的、孤立的像素点,通常与其相邻的像素点有明显的不同,例如黑色区域中的白色像素点、白色区域中的黑色像素点等。噪点的出现可以使得图像A呈现出较为模糊的视觉效果。具体的,电子设备100可以通过中值滤波器、自适应维纳滤波器或非局部自相似(non-localself-similarity,NSS)等方式对图像A进行图像去噪。
然后,由于在扫描或拍摄图像A的过程中,会存在造成图像A上的文本倾斜于图像A中心水平线的操作,因此,电子设备100可以将进行了图像去噪后的图像A作倾斜校正处理,使得图像A上的文本方向平行于图像A的中心水平线。具体的,电子设备100可以通过霍夫变换算法、拉动(Randon)变换算法或基于主成分分析(principal compon ent analysis,PCA)的方法等方式对图像A进行倾斜校正。
2).电子设备100对预处理后的图像A进行文本检测。
其中,文本检测指的是:检测出图像A中文本内容的显示区域,也即是检测出图像A中文本内容出现的所有位置。具体的,电子设备100可以通过连接主义文本提取网络(connectionist text proposal network,CTPN)算法、Seglink算法或高效准确场景文本(efficientand accuracy scene text,EAST)算法对预处理后的图像A进行文本检测。
3).电子设备100基于文本检测后的图像A识别并提取出一条或多条文本信息。
具体的,电子设备100可以通过基于神经网络的时序类分类(conectionisttemporal c lassification,CTC)文本识别算法、基于序列到序列(Sequence2Sequence)的文本识别算法或基于注意力机制(attention)的文本识别算法等方式,根据上述步骤中所检测出的图像A中文本内容的显示区域,识别并提取出一条或多条文本信息。同时,在电子设备100识别并提取出一条或多条文本信息时,电子设备100可以获取到文本信息中每一个字符和/或符号的置信度。
可以理解的是,上述电子设备100通过OCR算法,从图像A中识别并提取出一条或多条文本信息的实现方式仅仅用于示例性解释本申请,在实际应用中,电子设备100也可以通过其他方式从图像A中识别并提取出一条或多条文本信息,本申请对此不作限制。
S303.可选的,电子设备100可以通过指定算法检测出第一文本信息中包括的形式错误,并修改第一文本信息中的形式错误。
首先,电子设备100中可以预先存储第一映射表。其中,第一映射表可以用于记录:一种或多种形式错误类型,和,各形式错误类型对应的修改方式。第一映射表可以如表1所示:
表1
基于表1中的描述,具体形式错误类型以及各形式错误类型的对应修改方式:
1).第一文本信息包括指定符号,则电子设备100删除该指定符号。
例如,若第一文本信息“http://www.***.com/main.html”包括空格,则电子设备100删除该空格;若第一文本信息“http://www.***.com/main.html”包括TAB符,则电子设备100删除该TAB符;若第一文本信息“http://αβγδwww.***.com/main.html”包括特殊符号“αβγδ”,则电子设备100删除该特殊符号。上述空格、TAB符号和特殊符号仅为示例,该指定符号还可以包括其他符号,本申请不作具体限制。
2).第一文本信息包括全角字符,则电子设备100将该全角字符修改为半角字符。
例如,若第一文本信息“http://www.***。com/main.html”包括全角字符“。”,则电子设备100将该全角字符修改为半角字符“.”。
3).第一文本信息中的关键字符和/或关键符号形式错误,则电子设备100将形式错误的关键字符修改为正确的关键字符,和/或,将关键符号修改为正确的关键符号。
例如,若第一文本信息“http://wxw.***.com/main.html”中的关键字符“wxw”具有形式错误,则电子设备100将形式错误的关键字符“wxw”修改为正确的关键字符“www”;若第一文本信息“http://wxw.***.com\main.html”中的关键符号“\”具有形式错误,则电子设备100将形式错误的关键符号“\”修改为正确的关键符号“/”。
需要说明的是,上述形式错误类型以及各形式错误类型的对应修改方式仅仅用于示例性解释本申请,在具体的实现方式中,第一映射表还可以包括其他形式错误类型以及对应的修改方式,本申请对此不作限制。
具体的,在电子设备100基于图像A识别并提取出一条或多条文本信息后,电子设备100可以将上述一条或多条文本信息进行分段切割,然后,电子设备100可以将每一段的文本信息与预设的第一正则表达式进行匹配。当电子设备100确定出第一文本信息可以与第一正则表达式成功匹配后,电子设备100可以检测第一文本信息中是否包括第一映射表中的形式错误类型。需要说明的是,本申请实施例以第一正则表达式用于识别第一文本信息是否为网址的正则表达式为例,当第一文本信息可以与第一正则表达式成功匹配后,电子设备100可以确定第一文本信息是网址。
接下来,当电子设备100检测出第一文本信息中包括第一映射表中的形式错误类型时,电子设备100可以基于表1中该形式错误类型对应的修改方式,修改第一文本信息中的形式错误。
S304.电子设备100显示出文本识别界面,该文本识别界面可以包括从图像A中识别并提取出的一条或多条文本信息,该一条或多条文本信息中包括第一文本信息。
示例性的,结合前述的用户界面示例,文本识别界面可以是前述图1D所示的文本识别界面130;图像A可以是前述用户界面示例中的图像111;电子设备100从图像A中识别并提取出的一条或多条文本信息,可以是前述图1D所示文本识别界面130中的“19:24”、“帐号与安全”、“帐号”和“Chill-Roxie”等;文本识别界面中显示出的第一文本信息,可以是前述图1D所示文本识别界面130中显示出的“http://www.baidv.com”。
S305.电子设备100确定并显示出第一文本信息的文本类型。
具体的,在电子设备100从图像A中识别并提取出一条或多条文本信息后,电子设备100可以将上述一条或多条文本信息进行分段切割,然后,电子设备100可以将每一段的文本与预设的第一正则表达式进行匹配。当电子设备100确定出第一文本信息可以与第一正则表达式成功匹配后,电子设备100可以在第一文本信息的所处位置显示出对应的第一标识。需要说明的是,本申请实施例以第一正则表达式用于识别第一文本信息是否为网址的正则表达式为例,当第一文本信息可以与第一正则表达式成功匹配后,电子设备100可以确定第一文本信息是网址,则电子设备100可以在第一文本信息的所处位置显示出对应的第一标识,例如下划线。
文本类型可以包括:网址,和/或,数字,和/或英文字母等等。
示例性的,结合前述的用户界面示例,当电子设备100从图像111(也即是图像A)识别并提取出一条或多条文本信息后,电子设备100可以将上述一条或多条文本信息进行分段切割,然后,电子设备100可以将每一段的文本信息与预设的第一正则表达式进行匹配。其中,该预设的第一正则表达式可以用于查找文本信息中的网址。当电子设备100确定出第一文本信息“http://www.baidv.com”可以与第一正则表达式成功匹配后,电子设备100可以确定出第一文本信息为网址,因此,电子设备100可以在第一文本信息的所处位置显示出对应的第一标识,该第一标识可以是前述图1D所示的下划线。
可以理解的是,电子设备100可以将上述从图像A中识别并提取出的一条或多条文本信息进行分行切割,或者,分句切割,也即是说,本申请实施例对电子设备100针对上述文本的切割方式不作限制。
S306.响应于作用在第一文本信息的显示区域上的第一输入,电子设备100执行第一文本信息对应的第一操作。
优选的,第一文本信息可以是网址,作用在第一文本信息的显示区域上的第一输入可以是点击第一标识的操作,第一操作可以是使得电子设备100基于第一文本信息访问对应网页的操作。可以理解的是,上述优选示例仅仅用于示例性解释本申请,并不构成任何限制。
示例性的,结合前述的用户界面示例,第一文本信息可以是前述图1D所示文本识别界面130中显示出的“http://www.baidv.com”。第一文本信息的显示区域可以是图1D所示的区域131,作用在第一文本信息的显示区域上的第一输入,可以是点击图1D所示区域131中下划线(也即第一标识)的操作。响应上述操作,电子设备100可以基于“h ttp://www.baidv.com”访问对应的网页。
S307.当电子设备100执行第一操作时,电子设备100可以显示出预览界面(也可以被称为第二界面)。电子设备100基于执行第一操作的结果,在预览界面中显示出第一操作的结果对应的内容。
优选的,预览界面可以包括预览窗口。当第一文本信息是网址,第一操作是电子设备100基于第一文本信息访问对应的网页时,电子设备100执行第一操作的结果可以有如下情况:成功访问对应的网页内容,或者,访问网页失败。因此,在预览窗口中显示出对应的内容可以有如下情况:显示出对应网页的内容,或者,显示出用于提示用户网页访问失败的错误提示文本信息。关于访问网页失败的说明,可以参考前述描述,在此不赘述。可以理解的是,优选示例仅仅用于示例性解释本申请,并不对本申请构成任何限制。
示例性的,结合前述的用户界面示例,以电子设备100执行第一操作的结果是基于网址“http://www.baidv.com”访问网页失败,该网址对应的网页不存在为例。预览界面可以是前述图1E所示的预览界面140,预览窗口可以是前述图1E所示的预览窗口141,当电子设备100基于网址“http://www.baidv.com”访问网页失败,该网址对应的网页不存在时,预览窗口中显示出对应的内容可以是图1E所示预览窗口141中显示出的错误提示文本信息:“404Notfound”和“网页不存在”。
需要说明的是,电子设备100也可以通过除预览窗口外的其他形式显示出对应的内容。
S308.当预览界面中显示出错误提示文本信息时,响应于用户针对第一文本信息的修改操作,电子设备100可以使得编辑窗口和编辑框同时显示,编辑框中可以显示出第一文本信息和确认控件。
优选的,为了使得第一文本信息可以和第一文本内容进行对照,编辑窗口和编辑框可以显示于图像A中第一文本显示区域的下方。在其他示例中,编辑窗口和编辑框可以显示于图像A中第一文本显示区域的左方、右方、上方等方位,本申请对此不作限制。
具体的,电子设备100可以获取到图像A中第一文本内容显示区域的位置。在一些示例中,当电子设备100在前述对预处理后的图像A进行文本检测时,电子设备100可以获取到图像A中第一文本内容所处的位置。在另一些示例中,电子设备100也可以通过其他方式获取到图像A中第一文本内容所处的位置,本申请对此不作限制。然后,基于图像A中第一文本内容所处的当前位置,电子设备100可以使得编辑窗口和编辑框的显示位置位于图像A中第一文本内容所处位置的下方。
示例性的,例如,电子设备100可以在显示屏上固定区域(例如,显示屏底部区域)显示出编辑框和编辑窗口。当电子设备100判断出编辑框和编辑窗口的显示区域位置和图像A中第一文本内容所处的当前位置,产生重叠时,也即编辑框和编辑窗口会遮挡第一文本时,电子设备100可以将图像A向上滑动,使得图像A中的第一文本内容位于编辑框和编辑窗口的上方。当电子设备100判断出编辑框和编辑窗口的显示区域位置和图像A中第一文本内容显示区域的当前位置,不会产生重叠时,也即是编辑框和编辑窗口不会遮挡第一文本时,电子设备100可以不必将图像A向上滑动,此时图像A中的第一文本内容即已位于编辑框和编辑窗口上方。
示例性的,结合前述的用户界面示例,用户针对第一文本信息的修改操作可以是:如图1F所示的作用在编辑控件142A上的触摸操作(例如,点击),或者,如图2A所示的作用于编辑框202上的触摸操作(例如,双击)。编辑窗口可以是:如图1G所示的编辑窗口122,或者,如图2B所示的编辑窗口203。编辑框可以是:如图1G所示的编辑框122A,或者,如图2B所示的编辑框202。确认控件可以是:如图1G所示的编辑框122A中的确认控件122D,或者,如图2A所示的编辑框202中的确认控件202A。编辑框中显示出的第一文本信息可以是网址“http://www.baidv.com”。
S309.响应于作用在编辑窗口中的编辑输入,电子设备100可以将编辑框中的第一文本信息修改为第二文本信息。
示例性的,结合前述的用户界面示例,作用在编辑窗口中的编辑输入可以是:如图1H所示的作用于编辑窗口122上一个或多个字符按键的输入,或者,如图2C所示的作用于编辑窗口203上一个或多个字符按键的输入。第一文本信息可以是网址“http://www.baidv.com”,第二文本信息可以是修改后编辑框中的网址“http://www.***.com”。此时,第二文本信息的内容和第一文本内容相同。在一些示例中,第二文本信息的内容也可以和第一文本内容不同。
S310.响应于作用在确认控件上的第二输入,电子设备100执行第二文本信息对应的第二操作。
优选的,第二文本信息可以是网址,第二操作可以是使得电子设备100基于第二文本信息访问对应网页的操作。可以理解的是,上述优选示例仅仅用于示例性解释本申请,并不构成任何限制。
示例性的,结合前述的用户界面示例,作用在确认控件上的第二输入可以是:如图1H所示的作用在确认控件122D上的触摸操作(例如,点击),或者,如图2C所示的作用在确认控件202A上的触摸操作(例如,点击)。
S311.电子设备100基于执行第二操作的结果,可以在预览界面中显示出第二操作的结果对应的内容。
优选的,预览界面可以包括预览窗口。当第二文本信息是网址,第二操作是电子设备100基于第二文本信息访问对应的网页时,电子设备100执行第二操作的结果可以有如下情况:成功访问对应的网页内容,或者,访问网页失败。因此,在预览窗口中显示出对应的内容可以有如下情况:显示出对应网页的内容,或者,显示出用于提示用户网页访问失败的错误提示文本信息。关于访问网页失败的说明,可以参考前述描述,在此不赘述。可以理解的是,优选示例仅仅用于示例性解释本申请,并不对本申请构成任何限制。
示例性的,结合前述的用户界面示例,以电子设备100执行第二操作的结果是基于网址“http://www.***.com”成功访问对应的网页为例。则如图1I所示,电子设备100可以通过预览窗口141可以显示出对应的网页内容,或者,如图2D所示,电子设备100可以通过预览窗口201可以显示出对应的网页内容。
需要说明的是,电子设备100也可以通过除预览窗口外的其他形式显示出对应的内容。
在一些示例中,当电子设备100执行第二操作的结果是访问网页失败时,电子设备100可以在预览窗口中显示出用于提示用户网页访问失败的错误提示文本信息。出现此情况,也即是说明电子设备100没有将第一文本信息修改正确,例如电子设备100将第一文本信息修改成了第三文本信息,第三文本信息的内容和第一文本内容、第一文本信息的内容不同。电子设备100可以响应于针对第三文本信息的修改操作,将编辑框中显示出的第三文本信息修改为第四文本信息,第四文本信息的内容和第一文本内容相同,其具体实施方式可以参考前述步骤,在此不再赘述。
下面,介绍本申请实施例提供的一种电子设备100的硬件结构。
请参考图4,图4示例性示出了本申请实施例提供的一种电子设备100的硬件结构示意图。
如图4所示,电子设备100可以包括处理器401、存储器402、无线通信模块403、显示屏404、摄像头405、音频模块406、麦克风407和传感器模块408。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100还可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合来实现。
处理器401可以包括一个或多个处理器单元,例如处理器401可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器401中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器401中的存储器为高速缓冲存储器。该存储器可以保存处理器401刚用过或循环使用的指令或数据。如果处理器401需要再次使用该指令或数据,可以从所述存储器中直接调用。避免了重复存取,减少了处理器401的等待时间,因而提高了***的效率。
在一些实施例中,处理器401可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或USB接口等。
存储器402与处理器401耦合,用于存储各种软件程序和/或多组指令。具体实现中,存储器402可以包括易失性存储器(volatile memory),例如随机存取存储器(randomaccessmemory,RAM);也可以包括非易失性存储器(non-vlatile memory),例如ROM、快闪存储器(flash memory)、硬盘驱动器(Hard Disk Drive,HDD)或固态硬盘(SolidState Drives,SSD);存储器402还可以包括上述种类的存储器的组合。存储器402还可以存储一些程序代码,以便于处理器401调用存储器402中存储的程序代码,以实现本申请实施例在电子设备100中的实现方法。存储器402可以存储操作***,例如uCOS、VxWorks、RTLinux等嵌入式操作***。
无线通信模块403可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星***(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块403可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块403经由天线接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器401。无线通信模块403还可以从处理器401中接收待发送的信号,对其进行调频、放大,经天线转为电磁波辐射出去。在一些实施例中,电子设备100还可以通过无线通信模块403中的蓝牙模块(图4未示出)、WLAN模块(图4未示出)发射信号探测或扫描在电子设备100附近的设备,并与该附近的设备建立无线通信连接以传输数据。其中,蓝牙模块可以提供包括经典蓝牙(basic rate/enhanceddatarate,BR/EDR)或蓝牙低功耗(bluetooth low energy,BLE)中一项或多项蓝牙通信的解决方案,WLAN模块可以提供包括Wi-Fi direct、Wi-Fi LAN或Wi-Fi softAP中一项或多项WLAN通信的解决方案。
显示屏404可以用于显示图像、视频等。显示屏404可以包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emitting diode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的,AMOLED),柔性发光二极管(flex light-emitting diode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dotlight emitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏404,N为大于1的正整数。
摄像头405用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头405,N为大于1的正整数。
音频模块406可以用于将数字音频信息转换成模拟音频信号输出,也可以用于将模拟音频输入转换成数字音频信号。音频模块406还可以用于对音频信号编码和解码。在一些实施例中,音频模块406还可以设置于处理器401中,或将音频模块406的部分功能模块设置于处理器401中。
麦克风407,也可以称“话筒”,“传声器”,可以用于采集电子设备周围环境中的声音信号,再将该声音信号转换为电信号,再将该电信号经过一系列处理,例如模数转换等,得到电子设备的处理器401可以处理的数字形式的音频信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风407发声,将声音信号输入到麦克风407。电子设备100可以设置至少一个麦克风407。在另一些实施例中,电子设备100可以设置两个麦克风407,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风407,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
传感器模块408可以包括多个传感器件,例如,触摸传感器(图中未示出)等。触摸传感器也可以称为“触控器件”。触摸传感器可以设置于显示屏404,由触摸传感器与显示屏404组成触摸屏,也称“触控屏”。触摸传感器可以用于检测作用于其上或附近的触摸操作。
需要说明的是,图4中示出的电子设备100仅仅用于示例性解释本申请所提供的电子设备的硬件结构,并不对本申请构成具体限制。
接下来,介绍本申请实施例提供的一种电子设备100的软件框架结构。
请参考图5,图5示例性示出了本申请实施例提供的一种电子设备100的软件框架结构示意图。
电子设备100的软件***可以采用分层架构、事件驱动架构、微核架构、微服务架构或云架构。本申请实施例以分层架构的Android***为例,示例性说明电子设备100的软件框架结构。
分层架构将软件分成若干个层。每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些示例中,将Android***分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和***库,以及内核层。
应用程序层可以包括一系列应用程序包,例如:日历、备忘录、天气、图库、相机、逻辑处理模块、文本识别模块、交互展示模块等。在一些示例中,还可以包括情景感知模块。
其中:
图库和/或相机可以向逻辑处理模块提供用于实现本申请实施例提供的文本处理方法的图像;向交互展示模块提供图像A,使得编辑窗口和编辑框的显示位置位于图像A中第一文本内容显示区域的下方或其他方位,以便第一文本信息可以和第一文本内容进行对照等。
逻辑处理模块可以用于基于图像A并根据前述实施例提供的文本处理方法的具体流程,例如,调用文本识别模块从图像A中识别并提取出一条或多条文本信息,调用交互展示模块显示预览窗口、编辑框和编辑窗口等用户界面等。在一些示例中,逻辑处理模块可以调用情景感知模块等。
文本识别模块可以用于基于图库和/或相机提供的图像,通过OCR算法识别并提取出一条或多条文本信息,检测并修改第一文本信息中的形式错误,并基于第一映射表修改第一文本信息中的形式错误。具体实现方式可以参考前述实施例提供的文本处理方法的具体流程。
交互展示模块可以用于展示预览窗口,使得预览窗口可以基于电子设备100执行的第一操作、第二操作的结果,显示出对应的内容;也可以用于展示编辑窗口和编辑框,以便电子设备100能响应于针对第一文本信息的修改操作,使得编辑框中的第一文本信息和图像A中的第一文本内容进行对照,并将编辑框中的第一文本信息修改为第二文本信息。具体实现方式可以参考前述实施例提供的文本处理方法的具体流程。
在一些示例中,逻辑处理模块也可以调用情景感知模块,使得情景感知模块可以用于从应用程序框架层获取到光标位置以及光标位置对应的字符,然后,交互展示模块可以基于光标位置以及光标位置对应的字符,高亮和/或放大显示该字符在图像A中对应的位置区域。
应用程序框架层可以包括:窗口管理器,内容提供器,视图***,电话管理器,资源管理器,通知管理器等。
窗口管理器可以用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器可以用于存放和获取数据,并使这些数据可以被应用程序访问。上述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话薄等。
视图***可以包括可视控件,例如显示文字的控件,显示图片的控件等。视图***可以用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器可以用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器可以为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知消息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在***顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓***的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
***库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子***进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
上述实施例中所用,根据上下文,术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地,根据上下文,短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
Claims (10)
1.一种文本处理方法,其特征在于,包括:
电子设备显示出第一界面,其中,所述第一界面包括第一图像,所述第一图像包括一条或多条文本内容,所述一条或多条文本内容中包括第一文本内容;
所述电子设备从所述第一图像中提取并显示出一条或多条文本信息,所述提取出的一条或多条文本信息中包括第一文本信息;其中,所述第一文本信息为基于所述第一文本内容在所述第一图像所处位置识别并提取出的文本信息;
响应于作用在所述第一文本信息的显示区域上的第一输入,所述电子设备执行所述第一文本信息对应的第一操作,并显示出第二界面;
当所述电子设备在所述第二界面中显示出错误提示文本信息时,响应于针对所述第一文本信息的修改操作,所述电子设备同时显示出编辑窗口和编辑框,所述编辑框中显示出所述第一文本信息和确认控件,所述第一文本信息和所述第一图像中的所述第一文本内容进行对照;
响应于作用在所述编辑窗口中的编辑输入,所述电子设备基于所述第一文本内容,将所述编辑框中的所述第一文本信息修改为第二文本信息;其中,所述第二文本信息的内容和所述第一文本内容相同;
响应于作用在所述确认控件上的第二输入,所述电子设备执行第二操作;
响应于所述第二操作,所述电子设备在所述第二界面中显示出所述第二文本信息对应的内容。
2.根据权利要求1所述的方法,其特征在于,所述电子设备显示出第一界面之前,所述方法还包括:
所述电子设备显示出桌面,所述桌面包括一个或多个应用的图标,所述一个或多个应用的图标包括第一应用的图标;
响应于作用在所述第一应用的图标上的第三输入,所述电子设备显示出一张或多张图像的预览图,所述一张或多张图像的预览图中包括所述第一图像的预览图;
响应于作用在所述第一图像的预览图上的第四输入,所述电子设备显示出所述第一界面。
3.根据权利要求1所述的方法,其特征在于,所述第一界面包括文本识别控件,所述电子设备从所述第一图像中提取并显示出一条或多条文本信息,所述提取出的一条或多条文本信息中包括第一文本信息,具体包括:
响应于所述文本识别控件上的第五输入,所述电子设备通过OCR算法,从所述第一图像中提取并显示出一条或多条文本信息,所述提取出的一条或多条文本信息中包括第一文本信息。
4.根据权利要求1所述的方法,其特征在于,在响应于作用在所述第一文本信息的显示区域上的第一输入,所述电子设备执行所述第一文本信息对应的第一操作,并显示出第二界面之前,所述方法还包括:
所述电子设备确定并显示出第一文本信息的文本类型。
5.根据权利要求1所述的方法,其特征在于,响应于所述第二操作,所述电子设备在所述第二界面中显示出所述第二文本信息对应的内容,具体包括:
所述第二界面包括预览窗口;
响应于所述第二操作,所述电子设备在所述预览窗口中显示出所述第二文本信息对应的内容。
6.根据权利要求5所述的方法,其特征在于,在响应于所述第二操作,所述电子设备在所述第二界面中显示出所述第二文本信息对应的内容,所述方法还包括:
响应于作用在所述预览窗口上的第六输入,所述电子设备显示出第三界面;其中,所述第三界面中显示的内容包括所述预览窗口中显示出的内容。
7.一种电子设备,其特征在于,包括:一个或多个处理器、一个或多个存储器和显示屏;所述一个或多个存储器与一个或多个处理器耦合,所述一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,使得所述电子设备执行如权利要求1-6中的任一项所述的方法。
8.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1-6中的任一项所述的方法。
9.一种芯片或芯片***,其特征在于,包括处理电路和接口电路,所述接口电路用于接收代码指令并传输至所述处理电路,所述处理电路用于运行所述代码指令以执行如权利要求1-6中任一项所述的方法。
10.一种计算机程序产品,其特征在于,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行如权利要求1-6中的任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211055901.1A CN116050390A (zh) | 2022-08-31 | 2022-08-31 | 文本处理方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211055901.1A CN116050390A (zh) | 2022-08-31 | 2022-08-31 | 文本处理方法及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116050390A true CN116050390A (zh) | 2023-05-02 |
Family
ID=86120627
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211055901.1A Pending CN116050390A (zh) | 2022-08-31 | 2022-08-31 | 文本处理方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116050390A (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103714333A (zh) * | 2012-08-27 | 2014-04-09 | 三星电子株式会社 | 终端装备中的用于识别字符的设备和方法 |
CN110401766A (zh) * | 2019-05-22 | 2019-11-01 | 华为技术有限公司 | 一种拍摄方法及终端 |
-
2022
- 2022-08-31 CN CN202211055901.1A patent/CN116050390A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103714333A (zh) * | 2012-08-27 | 2014-04-09 | 三星电子株式会社 | 终端装备中的用于识别字符的设备和方法 |
CN110401766A (zh) * | 2019-05-22 | 2019-11-01 | 华为技术有限公司 | 一种拍摄方法及终端 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110111787B (zh) | 一种语义解析方法及服务器 | |
US9104261B2 (en) | Method and apparatus for notification of input environment | |
US11914850B2 (en) | User profile picture generation method and electronic device | |
KR20150059466A (ko) | 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치 | |
WO2021115091A1 (zh) | 一种文本识别方法及装置 | |
US20130283260A1 (en) | Image guided method for installing application software | |
US12010257B2 (en) | Image classification method and electronic device | |
CN111881315A (zh) | 图像信息输入方法、电子设备及计算机可读存储介质 | |
CN111507122A (zh) | 图形码识别方法、装置、存储介质及终端 | |
CN113806473A (zh) | 意图识别方法和电子设备 | |
US20230252778A1 (en) | Formula recognition method and apparatus | |
CN114692639A (zh) | 一种文本纠错方法和电子设备 | |
CN113051950A (zh) | 一种多条码识别方法以及相关设备 | |
CN116431044A (zh) | 开启应用程序的方法、装置及终端设备 | |
WO2021218452A1 (zh) | 一种输入方法, 输入装置及移动终端 | |
WO2023222128A1 (zh) | 一种显示方法和电子设备 | |
CN115131789A (zh) | 文字识别方法、设备及存储介质 | |
US11308317B2 (en) | Electronic device and method for recognizing characters | |
WO2022179471A1 (zh) | 卡证文本识别方法、装置和存储介质 | |
CN116050390A (zh) | 文本处理方法及电子设备 | |
CN117197811A (zh) | 文本识别方法及电子设备 | |
KR102292595B1 (ko) | Qr 코드와 워터마크를 통합한 이미지를 이용한 워터마크 인식 장치 및 그 방법 | |
CN116204254A (zh) | 一种批注页面生成方法、电子设备及存储介质 | |
CN113111894A (zh) | 号码分类方法和装置 | |
WO2023222097A1 (zh) | 一种文本识别方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |