CN103714333A - 终端装备中的用于识别字符的设备和方法 - Google Patents

Abstract

提供一种终端装备中的用于识别字符的设备和方法。一种移动终端的文本识别方法包括：显示从相机输入的预览图像；识别在预览图像上的文本指示器被放置处的文本图像；显示识别的文本数据和与识别的文本数据相应的至少一个功能项；当功能项被选择时，执行映射到选择的功能项映射的功能。

Description

终端装备中的用于识别字符的设备和方法

技术领域

本公开涉及一种移动终端的文本识别设备和方法，具体地讲，涉及一种用于识别由相机拍摄的图像中的文本的设备和方法。 

背景技术

最近，移动终端配备有用于接收装置控制命令和数据输入的触摸面板和用于获得按照各种格式处理和存储的图像的相机。一些移动终端配备有文本和语音识别功能。 

用于移动终端的文本识别方法识别由相机拍摄的或从互联网下载的图像中的字符。 

发明内容

为了解决上述缺点，本公开的实施例提供一种用于实时识别由配备相机的移动终端的相机实时拍摄的图像中的字符的设备和方法。 

为了完成这点，本公开包括用于识别由配备有相机的移动终端显示的预览图像中的聚焦位置处的字符，并且用预定功能处理识别结果。 

另外，本公开包括一种用于执行以下操作的设备和方法：识别由配备有相机的移动终端捕获的图像中的字符，呈现与预定功能相关的字符，并且执行与从呈现的字符中选择的字符相应的功能。 

本公开的特定实施例包括一种移动终端的文本识别方法。所述方法包括：显示从相机输入的预览图像；识别在预览图像上的指示器被放置处的文本图像；显示识别的文本数据以及与识别的文本数据相应的至少一个功能项；当功能项被选择时，执行映射到选择的功能项的功能。 

本公开的特定实施例包括一种用于识别包括链接信息的文本的方法。所述方法包括：显示从相机输入的预览图像；识别在预览图像上的指示器被放置处的链接信息文本图像；显示用于执行与识别的文本数据相关的功能的至 少一个功能项和相应的链接信息；当功能项被选择时，基于链接信息执行选择的项的功能。 

本公开的特定实施例包括一种移动终端的文本识别设备。所述设备包括：相机，用于捕获包括文本的图像；输入单元，用于接收输入信号；控制单元，用于识别在预览图像上的文本指示器被放置处的文本图像，显示识别的文本数据以及与识别的文本数据相应的至少一个功能项，当功能项被选择时，执行映射到选择的功能项的功能；显示单元，用于在控制单元的控制下显示文本识别执行屏幕。 

在进行下面的详细描述之前，阐述贯穿本专利文档中使用的特定词语和短语的定义会是有益的：术语“包括”和“包含”及其派生物表示没有限制的包括；术语“或”是表示和/或的包括；短语“与…相关的”和“与其相关的”及其派生物可表示包括、被包括在…中、与…相互连接、包含、被包含在…中、连接到或与…连接、结合到或与…结合、可与…通信、与…协作、交叉、并列、与…近似、绑定到或与…绑定、具有、具有…的性质等；术语“控制器”表示控制至少一个操作的任何装置、***或其部件，这样的装置可被实现为硬件、固件或软件或者所述硬件、固件和软件中的至少两个的一些组合。应该注意，无论在本地或远程，与任何特定的控制器相关的功能可以是集中式或分布式的。贯穿本专利文档提供对特定词语和短语的定义，本领域的普通技术人员应该理解，在很多情况下（如果不是大多数示例），这样的定义适用于这样定义的词语和短语的先前以及将来的使用。 

附图说明

为了更全面的理解本公开及其优点，现参考下面结合附图的描述，在附图中相同的标号表示相同的部件： 

图1示出根据本公开的实施例的终端装置的配置； 

图2A到图2N示出根据本公开的实施例的在文本识别模式中由移动终端显示的键屏幕； 

图3示出根据本公开的实施例的移动终端的文本识别模式处理； 

图4示出根据本公开的实施例的移动终端的预览模式文本识别处理； 

图5示出根据本公开的实施例的移动终端的捕获图像模式文本识别处理； 

图6示出根据本公开的实施例的在直接链接模式下识别来自预览图像的文本的处理； 

图7示出根据本公开的实施例的在直接链接模式下识别捕获图像的文本的处理； 

图8示出图6和图7中的纠正识别的文本中的错误的处理； 

图9A到图9H示出根据本公开的实施例的与预览图像文本识别过程相关地显示的屏幕； 

图10A到图10E示出根据本公开的实施例的与捕获的屏幕图像文本识别过程相关地显示的屏幕； 

图11示出根据本公开的实施例的在词典模式下识别来自预览图像的词语的处理； 

图12示出根据本公开的实施例的在词典模式下识别包括在捕获的图像中的所有词语的处理； 

图13示出纠正图11和图12中的识别的词语中的错误的处理； 

图14A到图14F示出根据本公开的实施例的在词典模式下与预览图像文本识别过程相关地显示的屏幕； 

具体实施方式

在本专利文档中的用于描述本公开的原理的下面讨论的图1到图15以及各种实施例仅是说明的方式，并不应解释为以任何方式限制本公开的范围。本领域的技术人员将理解，本公开的原理可被实现在任何适当布置的无线通信装置或***中。参照附图详细描述本公开的实施例。整个附图中使用相同的标号指示相同或相似部件。 

对实时识别由移动终端的相机拍摄的图像中的字符的需要正在增加。也就是说，需要一种用于识别位于显示在配备相机的移动终端上的预览图像的预期区域处的字符，并且基于识别结果执行操作的方法。 

本公开涉及一种用于识别从配备相机的移动终端的相机输入的预览图像中的聚焦位置处的字符以及包括在响应于捕获请求捕获的屏幕中的字符的设备和方法。本公开能够基于字符的检测来检查预定功能，按照弹出窗口的形 式显示与字符相应的功能项，并且执行与由用户选择的项相应的功能。 

图1示出根据本公开的实施例的终端装置的配置。这里，终端装置是移动终端，诸如，包括智能电话的蜂窝电话以及包括MP3播放器、平板计算机、台式电脑的其它数字装置等。 

参照图1，通信单元120负责与基站进行无线通信。这里，通信单元120包括用于对发送信号进行上变频和放大的发送器和用于对接收到的信号进行低噪放大和下变频的接收器。通信单元120包括调制器和解调器。调制器对发送信号进行调制来将调制信号输出到发送器，解调器对由接收器接收到的信号进行解调。调制器/解调器可被配置来支持LTE、WCDMA、GSM、Wi-Fi、WIBRO、NFC、蓝牙等。在本公开的实施例中，假设通信单元120包括LTE、Wi-Fi和蓝牙通信模块。 

相机160响应于拍摄命令来捕获图像。 

控制单元100控制移动终端的整体操作，具体地，识别从相机160输入的预览图像上的聚焦位置处的字符和包括在响应于捕获请求捕获的屏幕图像中的字符。在文本输入模式下，控制单元100控制检查预配置功能，根据检查的功能，显示与在由相机160捕获的图像中识别的字符相应的功能项，并且执行与由用户选择的项相应的功能。 

存储器110包括用于存储操作***（OS）和与根据本公开的实施例的文本识别方法的操作相关的程序的程序存储器以及用于存储用于终端的操作的表和由程序产生的数据的数据存储器。 

显示单元130在控制单元100的控制下显示关于正在运行的应用的信息。显示单元130可使用液晶显示器（LCD）或有机发光二级管（OLED）来实现。第一触摸面板140可被实现为电容式或电阻式，并且将用户的触摸（例如，手指触摸）的位置信息产生到控制单元100。第二触摸面板150可按照EMR传感器基座的形式实现，以检测用笔做出的触摸，并且将相应的信号产生到控制单元100。显示单元130、触摸面板140和EMR面板150可被集成在信号单元中。 

在上述结构的移动终端中，在文本识别模式下，控制单元100激活相机160，并且识别由相机160拍摄的图像，并且根据识别结果执行预定功能。图2A到图2M是示出根据本公开的实施例的在文本识别模式下由移动终端显示的键屏幕的示图。 

在图2A中，标号210表示以用于配置识别模式的菜单图标的形式呈现的识别模式项。在本公开的实施例中，假设模式项（菜单图标）210包括：文本搜索器项211，用于在识别字符图像时搜索设置的文本；直接链接项213，用于作为识别屏幕上的字符图像的结果使用识别的字符来执行通信功能；词典（翻译器）项215，用于作为识别字符图像的结果显示识别的词语的词义。标号220是用于将从相机160输入的图像捕获为捕获图像的捕获图标。标号230是用于指示将被识别的字符的位置的文本指示器。由文本指示器230选择的字符图像的识别结果（即，识别的字符）可被呈现在文本指示器230和用于执行与识别的字符相应的功能的功能项的下面。标号240表示示出由相机160输入的图像的屏幕图像。所述图像可以是预览模式。在文本识别模式下，实时识别文本指示器230被放置处的字符图像的字符，并且如果对捕获项220（例如，扫描按钮）做出触摸，则整体扫描屏幕图像。项包括按钮（由图标表示）和菜单执行屏幕。 

图2B到图2D示出与图2A的文本搜索器项211相关地显示屏幕。如果选择文本搜索器项211，则控制单元100显示包括SIP键盘和文本输入窗口的屏幕251（在图2B中示出）。如果在屏幕251的文本输入窗口中输入关键字，则控制单元100搜索用于匹配文本（关键字）的图像，并且如图2C的屏幕253所示突出显示匹配文本（关键字）。在完成文本搜索之后，匹配的数量被指示在显示单元130的屏幕的上侧。也就是说，如果文本搜索模式被激活，则控制单元100显示关键字窗口和SIP键盘来自动地搜索与输入在关键字输入窗口中的关键字匹配的文本，并且如图2D的屏幕255所示指示搜索结果。 

图2E到图2H示出与图2A的直接链接项213相关地显示的屏幕。如果选择直接链接项213，则控制单元100如图2E的屏幕261所示呈现文本指示器230，如果文本指示器被放置在用于文本识别的文本图像上，则控制单元100识别相应的位置处的文本，并且如图2F的屏幕263所示在文本下面显示功能项。此时，功能项显示区域显示与识别的文本和字符相应的能够执行的功能项。如果如图2G的屏幕265所示，在预览模式下选择捕获项（扫描图标）220，则如图2H的屏幕267所示，控制单元100检测所述选择，并且识别与在链接模式下可用的类型相应的文本。这里，在链接模式下能够识别的文本包括通信中使用的电子邮件地址、URL、电话号码或SNS标识符。在识别出链接模式下能够识别的文本的状态下，如果用户选择识别的文本中的一个，则在屏幕 267中示出在链接模式下的与选择的文本相关的多个能够执行功能项。 

图2I到图2L示出与在图2A中的词典模式（翻译器）项215相关地显示的屏幕。如果选择词典项215，则如图2I的屏幕图像271所示，控制单元100在屏幕上呈现文本指示器230。如果文本指示器230位于文本图像上，则如图2J的屏幕273所示，控制单元100自动识别相应位置处的文本并且显示包括在下面的文本中的词语的词义。此时，按照在文本上呈现词语的简要含义，随后呈现详细描述的方式提供文本的词义。如果如屏幕275所示，在预览模式下选择捕获项（扫描图标）220，则如图2L的屏幕277所示，控制单元100检测所述选择，并且识别在链接模式下能够可识别的文本。如果用户选择识别的文本中的一个，则控制单元100呈现选择的文本的词义。 

在如图2B到图2L中所示的识别文本的处理中，控制单元100根据识别文本的字符大小和长度来改变文本指示器230的大小。另外，控制单元100可改变文本指示器230的颜色来指示识别结果是否成功。也就是说，在如图2M的屏幕281到屏幕285所示成功执行识别的情况下，在用特定动画指示识别处理状态的同时，文本指示器230根据由标号287表示的识别出的文本的大小来改变大小。如果确定已经成功完成识别，则文本指示器230保持它的初始颜色（例如，白色）。然而，在如图2N的屏幕291到屏幕295所示执行识别失败的情况下，在用特定动画指示识别处理的同时，文本指示器230可根据由标号297表示的识别出的文本的大小来改变大小。如果确定已经识别失败，则文本指示器230将初始颜色（例如，白色）改变为另一颜色（例如，红色）。此时，如果识别正常结束，则如屏幕285所示，控制单元100突出显示识别的文本。 

图3示出根据本公开的实施例的移动终端的文本识别模式过程。 

参照图1到图3，当用户执行文本识别模式（指示器和）应用时，在块311，控制单元100检测文本识别模式，并且在块313，激活相机160并且显示在图2A中示出的键屏幕。接下来，在块315，控制单元100执行预览模式操作来在显示单元130的屏幕上显示从相机160输入的图像。在这种情况下，显示单元130的屏幕图像240包括由相机160拍摄的图像。在文本识别模式下，用户可按照执行文本识别应用并在如图2A所示呈现键屏幕的状态下对目标模式项做出触摸手势的方式来选择识别模式项210中的一个。在文本识别模式下，如果文本指示器230被放置（或聚焦）在文本图像上，则控制单元 100对文本指示器在块323的位置处的文本进行识别，并且在块325，对识别的文本进行分析以按照弹出窗口的形式显示与在显示单元130的屏幕上的识别的文本相应的功能项。如果用户（用在第一触摸面板140上做出的手指触摸或在第二触摸面板150上做出的笔触摸）选择功能项中的一个，则在块325，控制单元100检测所述选择，并且执行映射到相应的功能项的命令。 

根据用户的操作（例如，在第一触摸面板上的手指触摸或在第二触摸面板上的笔触摸），将文本指示器230放置在屏幕图像240上的特定位置处。在下面的描述中，假设文本指示器230的初始位置被固定在屏幕的中心。选择的文本提供与识别的文本相应的功能或含义相关的至少一个功能项。 

如果在文本识别模式下用在第一触摸面板140和第二触摸面板150中的一个上做出的触摸手势选择捕获项220，则在块321，控制单元100检测所述选择，并且在块331，将通过相机160输入的图像捕获为静止图像以识别在捕获的静止图像中的文本。此时，控制单元100突出显示在屏幕图像上识别的文本中的与当前模式有关的文本。之后，如果用户将文本指示器230放置在特定文本上，则在块333，控制单元100对文本指示器230被放置处的文本进行分析，并且显示与和识别的模式相关的识别的文本相应的功能项。如果用用户的触摸手势（手指触摸或笔触摸）来选择功能项中的一个，则控制单元100检测所述选择，并且根据选择的功能项来执行由与识别的文本信息相应的功能项表示的功能。 

如果用户在完成文本识别操作之前或之后请求终止过程，则在块341，控制单元100检测对终止的请求，并且结束文本识别过程。 

当在文本识别操作中发生错误时，用户可纠正错误字符。当检测到文本识别错误时，控制单元100控制改变文本指示器230的颜色（在本实施例中改变为红色）。如果用户用文本指示器130选择字符，则控制单元100控制在显示单元130上显示的屏幕图像150的预定位置（在本实施例中显示区域的底侧）处显示输入文本的键盘（SIP键盘）连同可代替错误字符的推荐字符。此时，用户能够按照将文本指示器130放置在错误字符的位置处并且输入代替的字符的方式来纠正错误字符。 

图4示出根据本公开的实施例的移动终端的预览模式文本识别过程。图5示出根据本公开的实施例的移动终端的捕获图像模式文本识别过程。 

参照图4，如图3所示，在文本识别模式下用相机160的激活显示预览 屏幕的状态下，过程开始。在这个状态下，显示单元130如示出通过相机输入的图像的图2A所示将键屏幕显示为预览图像。在预览模式下，在块411，控制单元100分析识别模式。这里，识别模式包括用于扫描屏幕图像的文本搜索器模式、用于识别与通信功能相关的文本以直接执行通信功能的直接链接模式和用于提供关于从屏幕图像上识别的文本中选择的词语的简要含义和/或细节的词典模式。在检查当前识别模式之后，控制单元100对屏幕图像执行文本识别，并且显示与识别的文本相关的功能项。也就是说，用户将文本指示器230放置在文档或通过相机输入的图像（例如，广告牌图像）上的目标文本的位置处。随后，在块411，控制单元100对文本指示器230被放置的位置处的文本进行识别，并且显示与识别的文本相应的功能项。这里，功能项包括执行与识别的文本相应的功能的项。功能项可根据与识别的文本相关的通信功能具有不同的形状。词典模式的功能项提供相应词语的词义的简要内容，并且如果识别的词语具有多种含义，则通过词性（诸如，动词和名词）呈现相应的词语的代表性含义。 

如果识别错误发生，则控制单元100进行控制，使得文本指示器230通过改变它的颜色来指示识别错误。如果用户指示识别错误，则用户可选择错误识别的字符的位置，使得控制单元100通过第一触摸面板140和第二触摸面板150中的一个来检测所述选择，并且在屏幕图像240的预定位置处显示用于错误纠正的键盘（SIP键盘）。如果用户使用SIP键盘输入代替字符，则在块419，控制单元100用代替字符纠正错误识别的字符。 

在纠正错误识别的字符或执行步骤419之后，如果选择功能项中的一个，则在块421，控制单元100检测所述选择，并且在块423，执行由选择的项表示的功能服务。此时，如果识别模式是直接链接模式，则自动执行与识别的文本相应的通信应用。如果识别模式是词典模式，则显示选择的词语的定义。 

文本识别和功能服务继续直到过程结束。当功能服务结束时或者响应于对终止过程的用户请求，过程结束。如果过程终止请求被产生，则在块431，控制单元100检测所述过程终止请求，并且结束识别模式。 

参照图5，在文本识别模式下在激活相机160之后通过触摸捕获项220捕获的静止图像被显示为屏幕图像的状态下，过程开始。在这个状态下，显示单元130如图2所示显示键屏幕，并且捕获的图像被呈现为屏幕图像240。在捕获识别模式下，在块511，控制单元100检查识别模式。如上所述，识 别模式可以是文本搜索器模式、直接链接模式和词典模式中的任意。在检查识别模式之后，在块513，控制单元100扫描捕获的屏幕图像以识别整个文本。如果识别模式是直接链接模式，则控制单元100进行控制使得在整个文本中突出显示与通信相关的文本。如果识别模式是词典模式，则控制单元100进行控制使得以词语为单位突出显示文本。在已经识别出整个文本的状态下，用户可通过将文本指示器230放置在识别的文本中的相应文本的位置处来选择用于功能服务的文本。随后，在块515，控制单元100指示在文本指示器230被放置的位置处的识别的文本，并且显示与识别的文本相应的功能项。所述功能项是与在直接链接模式下的与识别的文本相应的通信以及在词典模式下的包括在识别的文本中的词语的简要定义有关的项。 

如果识别错误发生，则控制单元100进行控制使得改变文本指示器230的颜色以指示识别错误的发生。如果将识别错误呈现给用户或者由用户检查识别错误，则用户可选择错误识别的字符的位置，使得在块517，控制单元100检测所述选择，并且在块519，在屏幕图像240的预定位置处显示用于字符纠正的键盘（SIP键盘）。如果用户使用SIP键盘输入代替字符，则在块521，控制单元100用代替字符纠正错误识别的字符。 

在块521，在纠正错误识别的字符之后，如果选择功能项中的一个，则在块523，控制单元100检测所述选择，并且在块525，执行与选择的项相应的功能服务。此时，功能服务可包括在直接链接模式下执行与识别的文本相应的通信应用或在词典模式下呈现关于选择的词语的详细定义。 

如果检测到过程终止请求，则在块527，控制单元100检测所述请求，并且结束捕获屏幕文本识别模式。 

下面对在直接链接模式和词典模式下的文本识别过程进行描述。在下面的描述中，由“T”表示文本搜索器模式项（如由图9A的项901所示），由“D”表示直接链接项（如由图9A的项902所示），由“D”表示词典模式项（如由图9A的项903所示），由“捕获”表示捕获模式项（如由图9A的项905所示）。 

首先，对在链接模式下的识别方法进行描述。图6示出根据本公开的实施例的在直接链接模式下从识别预览图像识别文本的过程。图7示出根据本公开的实施例的在直接链接模式下识别捕获图像的文本的过程。图8更具体地示出纠正在图6和图7中的识别的文本中的错误的处理。这里，在直接链接模式下的预览图像文本识别对于对具有与通信相关的信息（诸如，电话号 码和/或电子邮件）的名片、广告传单和招牌执行文本识别是有用的。捕获屏幕图像文本识别对于对具有各种与通信相关的文本信息的手册或小册子执行文本识别是有用的。图9A到图9H是示出根据本公开的实施例的与预览图像文本识别过程相关地显示的屏幕的示图，图10A到图10E是示出根据本公开的实施例的与捕获的屏幕图像文本识别过程相关地显示的屏幕的示图。 

参照图6，如果选择直接链接模式，则在块611，控制单元100检测所述选择，并且在块613激活相机160。在块615，如图2A所示，控制单元100将从相机单元160输入的图像作为即时示图显示在显示单元130的屏幕上，并且呈现键屏幕（文本识别UI）。此时，显示单元130显示图9A的屏幕921。这里，识别模式与直接链接项902相应，并且屏幕图像可以是在预览模式下从相机160输入的即时图像。如果在预览模式下用户将文本指示器904放置在特定位置处（这里，在邮件文本图像处），则如图9B的屏幕923所示，控制单元100识别并且突出显示文本指示器904被放置的行906上的文本，并且在块625，显示识别的文本907和与识别的文本相应的功能项910。这里，由于识别的文本907是电子邮件地址，因此控制单元100显示用于执行文本消息和邮件的功能项（例如，“发送电子邮件”、“保存到联系人”、“共享”等）。在图9C中，在横向模式下显示屏幕925，使得对横向模式预览图像执行文本识别。 

如上所述，基于直接链接模式的文本识别方法将直接链接的实时模式显示为执行应用时的主屏幕。基于直接链接模式的文本识别方法能够识别在屏幕图像上的文本指示器被放置处的链接信息以提供可用于链接信息的性质的直接链接菜单项（功能项）。参照图9D，如屏幕931所示，如果文本指示器被放置在预览图像的电子邮件地址的位置处，则控制单元100对文本指示器904被放置处的电子邮件地址执行文本识别，并且突出显示识别的文本（即，电子邮件地址）。此时，控制单元100可以以行为单位执行文本识别，并且从以行为单位识别的文本中提取与链接信息相关的文本。之后，如在屏幕935中所示，控制单元100按照弹出窗口的形式显示识别的电子邮件地址和相关的功能项，并且如果已经成功执行识别，则去除突出显示效果使得连同文本指示器仅显示功能项。 

在识别文本指示器904被放置处的行上的文本的处理中可发生错误。在这种情况下，如果用户在识别的文本呈现区域907中已经发生错误的位置处 做出触摸，则在块627，控制单元检测所述错误，并且在块629，纠正错误识别的字符。在块629中，在如图8所示的过程中纠正错误识别的字符。 

参照图8，如果用户对识别的文本呈现区域907的特定位置做出触摸输入，则在块811，控制单元100检测到用于纠正文本的位置被选择。触摸手势可以是手指触摸手势或笔触摸手势，控制单元100通过第一触摸面板140和第二触摸面板150中的一个来检测做出触摸手势的位置（即，错误识别字符的位置）。图9E是针对“n”被错误识别为“h”的情况（即，“nam”的文本图像被错误识别为“ham”）。在这种情况下，如果如屏幕941所示，在识别的文本呈现区域907中轻击错误识别字符的位置，则如屏幕943所示，控制单元100在显示单元130的屏幕上显示SIP键盘911。之后，用户使用SIP键盘911输入代替字符，在块815，控制单元100接收输入，并且如屏幕945所示，用由用户输入的代替字符纠正错误识别的字符。如果在这种状态下选择功能项，则在块817，控制单元100检测所述选择，并且执行与选择的功能项相应的功能。然而，如果在没有选择任意功能项的情况下终止过程，则过程返回到图6的主例程。 

此时，错误识别可以是下面中的任意：在文本指示器被放置的行上的整个文本的识别失败以及在识别的文本中错误识别至少一个字符的字符识别失败。在前者情况下，如图2N的标号291到标号297所示，由于没有用于显示的识别的文本，因此需要再次执行文本识别处理。在后者情况中，然而，已经成功执行文本识别处理，但是在文本中至少一个字符被错误识别。这是在如图9E所示在链接信息的文本中已经发生错误识别时或者在如图9F所示在链接信息中重要的文本数据错误时的情况。也就是说，如果如图9F所示，在电子邮件地址中错误识别的字符是“”，则控制单元100将电子邮件信息（例如，Kihoonsamsung.com）识别为URL（samsung.com）。在这种情况下，用户能够将错误识别为URL的链接信息纠正为原始电子邮件地址。 

在通过图9E的过程纠正错误识别的文本数据的情况下，在显示单元130的屏幕上功能项910被向上移动以保护用于呈现SIP键盘911的空间。在这种情况下，由SIP键盘911或功能项910隐藏文本指示器904被放置处的行的文本。在这种情况下，用户无法检查将被纠正的文本。因此，为了便于纠正错误识别的文本，如图9G所示，进一步提供用于呈现由功能项910或SIP键盘911隐藏的文本的识别的文本呈现区域915。也就是说，如果在文本指 示器904被放置处的文本中检测到任意错误识别的字符，并且如果用户选择错误识别的字符位置，则控制单元100如屏幕965所示显示SIP键盘911，并且显示由标号915表示的在识别的文本数据907和功能项910上面的文本。因此，用户能够在查看链接信息的文本的同时，纠正错误识别的文本。 

在如图9H中所示的支持语音识别功能的情况下，可通过语音识别处理来纠正错误识别的文本。也就是说，如果在如屏幕971所示在预览图像上识别文本的状态下，在屏幕973中的识别的文本中检查出错误识别的字符，则用户能够通过语音识别处理纠正错误识别的字符。在这种情况下，如果用户做出语音输入以产生“编辑”命令，则控制单元100执行语音识别处理以检测“编辑命令”并且根据“编辑”命令来纠正错误识别的字符。这里，可用“删除全部”、“退格”和“字母字符”的语音来输入语音命令。随后，控制单元100根据语音命令来纠正错误识别的字符，并且执行由用与纠正的链接信息相关的语音命令（例如，“发送电子邮件”、“保存到联系人”、“共享”等）选择的功能项表示的功能。 

当按照语音命令的形式输入“编辑”命令时，在块831，控制单元100检测所述输入，在块833，分析语音编辑命令，并且在块835，根据分析的语音编辑命令纠正错误识别的字符。之后，如果选择功能项，则在块837，控制单元100检测所述选择，并且在块839，执行选择的项的功能服务。此时，可通过语音输入或对功能项的触摸手势输入来选择所述功能项以执行相应的功能。 

如果在图6的块617中选择捕获项，则控制单元100将当前屏幕图像捕获为静止图像，并且对捕获的屏幕图像执行文本识别以识别链接信息。可如图7中所示执行捕获图像文本识别。捕获屏幕图像文本识别对于识别包括在文档图像（诸如，手册和小册子）中的多个链接信息项是有益的。 

参照图7，控制单元100响应于捕获请求，将预览模式屏幕图像捕获为静止图像，在块721，对整个静止图像执行文本识别，并且在块723，如图10A的屏幕1021和图10B的屏幕1023分别所示，突出显示包括链接信息项的文本。在图10A示出的纵向模式屏幕图像1021中的识别结果。在图10B中示出在横向模式屏幕图像1023中的识别结果。在图10A中，标号1001表示在捕获屏幕图像中识别的文本和链接信息项的数量的指示，标号1002表示捕获屏幕剪裁模式的指示，标号1003表示当在屏幕上存在任意识别的直接链接 时呈现的“保存到联系人”的指示，标号1004表示在整个文本上的“文本解析”的指示。用指示由标号1005表示的直接链接的类型的图标以及由标号1006表示的识别为链接信息的文本来呈现识别的链接信息。这里，链路信息的类型可以是URL、电子邮件、电话号码、地址或SNS标识符中的任意；并且突出显示识别的链接信息项和图标。 

如果在按照类型分类显示链接信息项的状态下，用户选择特定链接信息，则在块725，控制单元100检测所述选择，并且在块727显示选择的链接信息的文本以及与相应的链接信息相关的功能项。如图10C所示，如果在预览模式下输入捕获请求，则如屏幕1031中所示，控制单元100识别文本，如屏幕1033所示，突出显示识别的链接信息项的文本，并且显示识别的链接信息的数量的指示1001。如果在上述状态下选择特定文本的文本，则控制单元100检测所述选择，并且如屏幕1035中所示，显示选择的链接信息的文本以及与该链接信息相关的功能项。此时，如表1（下面）所示按照链接信息的类型分类功能项。 

表1 

在文本识别处理中可发生识别错误。在这种情况下，如果用户选择链接信息的错误识别字符，则在块729，控制单元100将所述选择解释为识别的文本编辑命令，并且在块731，在屏幕1043上显示SIP键盘以纠正或编辑错误识别的字符。此时，通过图8的过程纠正错误识别的字符。参照图10D，如果如屏幕1041中所示选择链接信息的错误识别的文本1006，则控制单元100显示选择的链接信息的识别的文本908以及与该链接信息相关的功能项910。如果在上述状态下选择特定链接信息（例如，www.samsung.com），则控制单元100显示与选择的链接信息相应的识别的文本以及与选择的链接信息 相关的功能项。在识别的文本中存在任意错误（例如，如屏幕1043所示，“samsong”的错误识别文本）的状态下，如果用户在错误识别的字符上做出触摸手势（轻击），则控制单元100显示SIP键盘。如果用户使用SIP键盘输入代替字符，则如屏幕1045所示，控制单元100用代替字符纠正错误识别的字符。如果用户在完成纠正之后做出触摸手势（轻击），则控制单元100结束纠正处理，并且如屏幕1047所示显示纠正结果。 

在捕获屏幕识别处理中，可识别多个链接信息项。可将链接信息项布置在屏幕的顶部和/或底部。如果在底部区域选择链接信息，则如图10E的屏幕1051所示在链接信息上方显示识别的文本和功能项。如果在识别的文本上检测到用于纠正的轻击，则无法在底部区域中显示SIP键盘。在本公开的特定实施例中，如果在屏幕的底部区域显示功能项，则控制单元100在屏幕的顶部区域显示选择的链接信息的文本和功能项，并且在屏幕的底部区域呈现SIP键盘。 

图11示出根据本公开的实施例的在词典模式下从预览图像中识别词语的识别方法的过程。图12示出根据本公开的实施例的在词典模式下识别包括在捕获图像中的所有词语的处理。更具体地，图13示出纠正图11和图12中的识别的词语的错误的过程。图14A到图14F是示出根据本公开的实施例的在词典模式下与预览图像文本识别过程相关地显示的屏幕的示图。图15A和图15B示出根据本公开的实施例的在词典模式下与捕获的图像文本识别过程相关地显示的屏幕。 

参照图11，在块1111，控制单元100检测选择的识别模式是否是词典模式。如果选择的识别模式是词典模式，则在块1113，控制单元100激活相机160。这里，假设词典模式被配置为中译英。在块1115，控制单元100控制显示单元130在即时示图中显示通过相机160输入的图像以及如图2A所示的键屏幕（文本识别UI）。此时，显示单元130显示如图14A的屏幕1421所示的屏幕图像。这里，识别模式是通过选择词典模式项1403来激活的词典模式，并且屏幕图像可以是在预览模式下输入的即时图像。如果用户将文本指示器1404放置在特定位置（中文麻婆豆腐）处，则控制单元100识别文本，并且如图14B的屏幕1423所示在文本指示器1404被放置的行上突出显示所述文本（例如，这里的一个或多个词语），并且在文本指示器904周围（这里是文本指示器下面）在识别的文本（中文）和功能项（英文）1409上显示识别的 文本1408和简要词义。如果词语具有一个含义，则如图14B的屏幕1423所示，按照在其上呈现简要翻译的方法提供功能项1409，否则，如果词语具有多个含义，则呈现相应词语的多个词义。呈现功能项1409以及TTS项1410，如果选择TTS（语音到文本）项1410，则控制单元100控制语音合成器按照语音输出关于选择的词语的信息。此时，语音输出可以是识别出的文本（这里是麻婆豆腐的中文发音）和简要词义（英文定义）。如果选择删除项1411，则控制单元100删除识别结果1408和识别结果1409。 

这里，提供简要定义的功能项1409能够用于在直接链接模式下执行与功能项相应的功能。例如，如果如图14B的屏幕1423所示，在提供词义的状态下，在简要定义项1409上做出触摸手势（轻击），则在块1131，控制单元100将所述触摸手势检测为请求细节的命令，并且在块1133，如图14C的屏幕1425所示显示关于识别的词语的详细的词义。 

如上所述，词典模式文本识别方法使用通过相机160输入的图像识别屏幕上的文本指示器被放置的位置处的文本，并且在运行文本识别应用的状态下，提供在识别的文本上呈现简要词义的功能项。在用文本指示器1404选择的文本（词语）具有多个含义的情况下，控制单元100按照如图14B的屏幕1423所示的功能项的形式来显示所述词语的多个词义，如果选择（轻击）多个含义中的一个，则如图14C的屏幕1425所示呈现选择的含义的细节。 

当在文本指示器被放置的位置处执行文本识别时，可发生识别错误。在这种情况下，如果用户在错误识别的字符的位置处做出触摸，则在块1127，控制单元100检测所述触摸，并且在块1129，纠正错误识别的字符。可通过图13的过程纠正错误识别的字符。图14B到图14F示出与图13的词典模式错误纠正过程相关地显示的屏幕。 

参照图13和图14B到图14F，假设用户在文本图像“long”的位置处放置文本指示器1404，则控制单元100将文本图像识别为“lung”。在这种状态下，如果用户在识别的文本区域1408上做出触摸（轻击），则在块1311，控制单元100确定已经输入用于纠正识别的文本的命令。此时，可用手指触摸或笔触摸产生触摸输入，并且控制单元100通过第一触摸面板140和第二触摸面板150中的一个检测所述触摸的位置（即，错误识别的文本的位置）。随后在步骤1313，如屏幕1435所示，控制单元100控制显示单元130显示SIP键盘415。此时，如图14F的屏幕1435所示，识别的文字数据1408和功 能项（这里是用于呈现识别的词语的简要词义的项）被向上移动以保证用于显示SIP键盘1415的空间。之后，如果用户使用SIP键盘1415输入代替字符，则在块1315，控制单元100接收代替字符以纠正错误识别的字符。在这种状态下，如果选择词语翻译项，则在块1317，控制单元100检测所述选择，并且在块1319，呈现选择的词语的详细词义。然而，如果请求终止（选择删除项），则在块1321，控制单元100检测终止请求，并且将过程返回到图11的主例程。 

在已经在词典模式下发生错误识别的情况下，可使用SIP键盘1415或通过选择一个推荐词语来纠正错误识别。也就是说，当SIP键盘被显示时，控制单元100控制显示单元130显示与错误识别的词语相似的推荐词语1416。在这种情况下，用户可使用SIP键盘1415或通过选择推荐词语1416中的一个来纠正错误识别的词语。 

如果在图11的块1117选择捕获项1406，则控制单元100将当前屏幕图像捕获为静止图像，并且对捕获的屏幕图像执行文本识别。此时，按照词语为单位执行文本识别。通过图12的过程执行捕获图像文本识别。图15示出根据本公开的实施例的与移动终端的捕获图像文本识别过程相关地显示的屏幕图像。 

参照图12、图15A和图15B，在块1221，控制单元100响应于捕获请求，将在预览模式下显示的屏幕图像捕获为静止图像，并且按照词语为单位在静止图像上执行文本识别，并且在块1223，如屏幕1521所示突出显示识别的词语。在图15中，标号1501表示在捕获的屏幕上识别的词语的数量的指示，标号1502表示捕获的屏幕剪裁模式的指示，标号1505表示“获得文本”的指示。 

在将在捕获的屏幕图像上识别的文本被呈现为被分解的词语的状态下，如果用户选择词语，则控制单元100在块1225检测所述选择，并且在块1227，显示选择的词语的识别的文本数据1408和简要翻译项1409。 

此时，在识别结果的链接信息中可发生识别错误。在这种情况下，如果选择具有识别错误的文本数据1408，则在块1229，控制单元100将所述选择确定为识别的文本数据纠正命令，并且在块1231，显示SIP键盘以允许纠正或编辑所述文本数据。此时，可通过图13的过程纠正文本数据。如果用户选择由简要翻译项1409呈现的简要定义中的一个，则在块1233，控制单元100 检测所述选择，并且在块1235，显示与选择的简要定义相应的详细词义。 

本公开的文本识别方法按照设置用于识别文本的识别模式的方式进行操作，对通过相机输入的图像进行处理以产生识别模式特定文本图像，并且执行与从文本图像中识别的至少一个文本相应的识别模式特定功能。具体地，如果在预览图像文本识别模式下，相机移动以将指示器放置在目标文本图像处，则终端自动识别指示器被放置处的行上的文本，从而便于识别处理。当在识别的文本中发生识别错误时，通过选择错误识别的文本来呈现键盘，以允许错误纠正，这导致用户便利性的提高。 

本说明书和附图将被视为说明性的意义而非限制性的意义，以帮助理解本公开。虽然已经使用实施例描述了本公开，但是各种变化和修改可被建议给本领域的技术人员。本公开意在包含落入权利要求的范围内的这些变化和修改。 

Claims (16)

1.一种移动终端的文本识别方法，所述方法包括：

显示从相机输入的预览图像和键屏幕；

从在预览图像上的指示器被放置处的文本图像中识别文本数据；

显示识别的文本数据以及与识别的文本数据相应的至少一个功能项；

响应于功能项被选择，执行映射到选择的功能项的功能。

2.如权利要求1所述的方法，还包括：

响应于用于呈现识别的文本数据的识别的文本数据区域被选择，显示键盘；

用通过键盘输入的文本纠正识别的文本数据。

3.如权利要求2所述的方法，其中，显示键盘的步骤包括：

将键盘布置在屏幕的底部区域；

在屏幕上向上移动选择的文本数据、识别的文本和功能项。

4.如权利要求2所述的方法，其中，纠正的步骤包括：编辑与在识别的文本数据区域中选择的文本数据相应的文本。

5.如权利要求2所述的方法，还包括：

在预览模式下，响应于捕获请求，捕获当前屏幕图像；

在捕获屏幕的文本图像上识别文本数据；

响应于特定文本图像被选择，显示从文本图像中识别的文本数据以及与所述文本数据相应的功能项；

响应于功能项被选择，执行由选择的功能项表示的功能。

6.如权利要求5所述的方法，其中，所述键屏幕包括用于选择相应的识别模式的多个模式项和用于捕获屏幕图像的捕获项。

7.如权利要求6所述的方法，其中，所述模式项包括：

用于识别在屏幕图像上的具有链接信息的文本图像的链接模式项，

用于提供在屏幕图像上的识别的文本的词义的词典模式项。

8.如权利要求7所述的方法，其中，所述链接信息包括统一资源定位符URL、电子邮件地址和电话号码中的至少一个。

9.一种移动终端的文本识别设备，所述设备包括：

相机，被配置为拍摄包括文本的图像；

控制单元，被配置为：

从在预览图像上的指示器被放置处的文本图像中识别文本数据，

显示识别出的文本数据以及与识别的文本数据相应的至少一个功能项，

响应于功能项被选择，执行映射到选择的功能项的功能；

显示单元，被配置为在控制单元的控制下显示文本识别执行屏幕和键屏幕。

10.如权利要求9所述的设备，其中，控制单元被配置为响应于用于呈现识别的文本数据的识别的文本数据区域被选择，控制显示单元显示键盘，并且用通过键盘输入的文本纠正识别的文本数据。

11.如权利要求10所述的设备，其中，控制单元被配置为将键盘布置在屏幕的底部区域，并且在屏幕上向上移动选择的文本数据、识别的文本和功能项。

12.如权利要求10所述的设备，其中，控制单元被配置为纠正与在识别的文本数据区域中选择的文本数据相应的文本。

13.如权利要求9所述的设备，其中，控制单元被配置为：

在预览模式下，响应于捕获请求，捕获当前屏幕图像；

在捕获屏幕的文本图像上识别文本数据；

响应于特定文本图像被选择，显示从文本图像中识别的文本数据以及与所述文本数据相应的功能项；

响应于功能项被选择，执行由选择的功能项表示的功能。

14.如权利要求13所述的设备，其中，所述键屏幕包括用于选择相应的识别模式的多个模式项和用于捕获屏幕图像的捕获项。

15.如权利要求13所述的设备，其中，所述控制单元还被配置为包括：识别在屏幕图像上的具有链接信息的文本图像并且提供在屏幕图像上的识别的文本的词义。

16.如权利要求15所述的设备，其中，所述链接信息包括统一资源定位符URL、电子邮件地址和电话号码中的至少一个。

Images