CN109933275A - 一种识屏方法、终端及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种识屏方法、终端及计算机可读存储介质，本发明提供一种识屏方法、终端及计算机可读存储介质，考虑到触控屏上显示的内容都是显示给用户，因此无论识屏指令检测位置处的显示内容是否是通过TextView控件进行呈现的，但因为会显示给用户，所以终端一定可以获取到检测位置处的图像。终端通过获取到用户下发识屏指令处显示内容的的图像，然后对图像内容进行识别得到目标文本信息，并基于目标文本信息进行查询搜索得到第一搜索结果。因此，该识屏方法可以应用于对以何种方式呈现的显示内容，扩大了识屏的应用范围，完善了识屏应用的服务机制，提升了用户体验。

Description

一种识屏方法、终端及计算机可读存储介质

技术领域

本发明涉及终端技术领域，更具体地说，涉及一种识屏方法、终端及计算机可读存储介质。

背景技术

识屏是一种通过识别用户所选择区域内的文字信息，然后对文字信息进行搜索查询，进而给用户提供与该文字信息相关详细信息的应用。比如，用户在“钟楼”两字上触发了识屏操作，通过识屏可以向用户提供钟楼的介绍资料等。现有识屏方案只能针对以TextView(文本框)控件所呈现的文字信息，但存在部分显示界面上的显示内容不是通过TextView控件呈现的，比如微信聊天界面、浏览器界面，这些显示界面是通过自定义控件或者WebView实现，因此现有识屏方案无法针对这些以非TextView控件呈现的显示内容进行识屏，从而导致用户在这些显示界面中遇到疑惑时，识屏应用无法向用户提供服务，导致用户体验不佳的问题。

发明内容

本发明要解决的技术问题在于：现有识屏方案无法对以非TextView控件呈现的显示内容进行识屏，导致用户体验不佳，针对该技术问题，提供一种识屏方法、终端及计算机可读存储介质。

为解决上述技术问题，本发明提供一种识屏方法，识屏方法包括：

通过触控屏监测识屏指令；

在检测到识屏指令时记录识屏指令的检测位置；

对检测位置处的图像内容进行识别得到目标文本信息，目标文本信息为待识别的文本信息；

搜索目标文本信息得到第一搜索结果；

输出第一搜索结果。

可选的，通过触控屏监测识屏指令包括：

通过触控屏监测按压操作，若通过触控屏检测到针对某一位置的按压操作持续预设时长，确定检测到识屏指令；

或，

通过触控屏监测触击操作，若通过触控屏检测到针对某一位置的连续触击次数达预设次数，确定检测到识屏指令。

可选的，对检测位置处的图像内容进行识别得到目标文本信息之前，还包括：

对触控屏在检测到识屏指令时刻的显示内容进行图像记录得到截图；

对检测位置处的图像内容进行识别得到目标文本信息包括：

采用光学字符识别OCR技术对截图中检测位置处的图像内容进行识别得到目标文本信息。

可选的，采用OCR技术对截图中检测位置处的图像内容进行识别得到目标文本信息包括：

对截图中以检测位置为中心预设范围内的图像内容进行OCR识别得到文本信息；

对文本信息进行语义识别确定检测位置处的目标文本信息。

可选的，搜索目标文本信息得到第一搜索结果包括：

在本地信息库中搜索目标文本信息得到第一搜索结果；

和/或，

在网络信息库中搜索目标文本信息得到第一搜索结果。

可选的，输出第一搜索结果包括：

控制触控屏以弹窗的方式显示第一搜索结果；

和/或，

以语音播报的方式输出第一搜索结果。

可选的，对检测位置处的图像内容进行识别得到目标文本信息之前，还包括：

确定检测到识屏指令的时刻触控屏上检测位置处的显示内容并非是通过文本框TextView控件呈现。

可选的，若确定检测到识屏指令的时刻触控屏上检测位置处的显示内容是通过TextView控件呈现，则识屏方法还包括：

读取检测位置处TextView控件中保存的字符串信息；

对字符串信息进行搜索得到第二搜索结果；

输出第二搜索结果。

进一步地，本发明还提供了一种终端，终端包括处理器、存储器及通信总线；

通信总线用于实现处理器和存储器之间的连接通信；

处理器用于执行存储器中存储的一个或者多个程序，以实现如上任一项的识屏方法的步骤。

进一步地，本发明还提供了一种计算机可读存储介质，计算机可读存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现如上任一项的识屏方法的步骤。

有益效果

本发明提供一种识屏方法、终端及计算机可读存储介质，针对现有识屏方案无法对除以TextView控件以外的方式呈现的显示内容进行识屏，导致在用户遇到需要查询的内容时，无法向用户提供查询结果，影响用户体验的问题，本发明实施例提供的识屏方案，通过触控屏监测识屏指令，并在检测到识屏指令时记录识屏指令的检测位置，然后对检测位置处的图像内容进行识别得到目标文本信息。随后对目标文本信息进行搜索得到第一搜索结果，并输出第一搜索结果。由于触控屏上显示的内容都是显示给用户，供用户从视觉上获取信息的内容，因此无论识屏指令检测位置处的显示内容是否是通过TextView控件进行呈现的，但因为会显示给用户，所以终端一定可以获取到检测位置处的图像。在本实施例中，终端通过获取到用户下发识屏指令处显示内容的的图像，然后对图像内容进行识别得到目标文本信息，并基于目标文本信息进行查询搜索得到第一搜索结果。因此，本发明实施例提供的识屏方法，可以应用于对以何种方式呈现的显示内容，扩大了识屏的应用范围，完善了识屏应用的服务机制，提升了用户体验。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为实现本发明各个实施例一个可选的移动终端的硬件结构示意图。

图2为如图1所示的移动终端的无线通信***示意图；

图3为本发明第一实施例中提供的识屏方法的一种流程图；

图4为本发明第一实施例中提供的监测识屏指令的一种流程图；

图5为本发明第一实施例中提供的监测识屏指令的另一种流程图；

图6为本发明第一实施例中提供的终端的一种显示界面示意图；

图7为本发明第一实施例中提供的获取检测位置处图像内容并获取目标文本信息的一种流程图；

图8为本发明第一实施例中提供的终端的一种人机交互示意图；

图9为本发明第一实施例中提供的终端的另一种显示界面示意图；

图10为本发明第二实施例中提供的识屏方法的一种流程图；

图11为本发明第二实施例中提供的终端的一种人机交互示意图；

图12为本发明第三实施例中提供的终端的一种硬件结构示意图。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置、可穿戴设备、智能手环、计步器等移动终端，以及诸如数字TV、台式计算机等固定终端。

后续描述中将以移动终端为例进行说明，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。

请参阅图1，其为实现本发明各个实施例的一种移动终端的硬件结构示意图，该移动终端100可以包括：RF(Radio Frequency，射频)单元101、WiFi模块102、音频输出单元103、A/V(音频/视频)输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解，图1中示出的移动终端结构并不构成对移动终端的限定，移动终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图1对移动终端的各个部件进行具体的介绍：

射频单元101可用于收发信息或通话过程中，信号的接收和发送，具体的，将基站的下行信息接收后，给处理器110处理；另外，将上行的数据发送给基站。通常，射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于GSM(Global System of Mobile communication，全球移动通讯***)、GPRS(General Packet Radio Service，通用分组无线服务)、CDMA2000(CodeDivision Multiple Access 2000，码分多址2000)、WCDMA(Wideband Code DivisionMultiple Access,宽带码分多址)、TD-SCDMA(Time Division-Synchronous CodeDivision Multiple Access，时分同步码分多址)、FDD-LTE(Frequency DivisionDuplexing-Long Term Evolution，频分双工长期演进)和TDD-LTE(Time DivisionDuplexing-Long Term Evolution，分时双工长期演进)等。

WiFi属于短距离无线传输技术，移动终端通过WiFi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图1示出了WiFi模块102，但是可以理解的是，其并不属于移动终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

音频输出单元103可以在移动终端100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将射频单元101或WiFi模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元103还可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元103可以包括扬声器、蜂鸣器等等。

A/V输入单元104用于接收音频或视频信号。A/V输入单元104可以包括图形处理器(Graphics Processing Unit，GPU)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或WiFi模块102进行发送。麦克风1042可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风1042接收声音(音频数据)，并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。麦克风1042可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。

移动终端100还包括至少一种传感器105，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度，接近传感器可在移动终端100移动到耳边时，关闭显示面板1061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1061。

用户输入单元107可用于接收输入的数字或字符信息，以及产生与移动终端的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作)，并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器110，并能接收处理器110发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071，用户输入单元107还可以包括其他输入设备1072。具体地，其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种，具体此处不做限定。

进一步的，触控面板1071可覆盖显示面板1061，当触控面板1071检测到在其上或附近的触摸操作后，传送给处理器110以确定触摸事件的类型，随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中，触控面板1071与显示面板1061是作为两个独立的部件来实现移动终端的输入和输出功能，但是在某些实施例中，可以将触控面板1071与显示面板1061集成而实现移动终端的输入和输出功能，具体此处不做限定。

接口单元108用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。

存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器109可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器110是移动终端的控制中心，利用各种接口和线路连接整个移动终端的各个部分，通过运行或执行存储在存储器109内的软件程序和/或模块，以及调用存储在存储器109内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监控。处理器110可包括一个或多个处理单元；优选的，处理器110可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。

移动终端100还可以包括给各个部件供电的电源111(比如电池)，优选的，电源111可以通过电源管理***与处理器110逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。

尽管图1未示出，移动终端100还可以包括蓝牙模块等，在此不再赘述。

为了便于理解本发明实施例，下面对本发明的移动终端所基于的通信网络***进行描述。

请参阅图2，图2为本发明实施例提供的一种通信网络***架构图，该通信网络***为通用移动通信技术的LTE***，该LTE***包括依次通讯连接的UE(User Equipment，用户设备)201，E-UTRAN(Evolved UMTS Terrestrial Radio Access Network，演进式UMTS陆地无线接入网)202，EPC(Evolved Packet Core，演进式分组核心网)203和运营商的IP业务204。

具体地，UE201可以是上述终端100，此处不再赘述。

E-UTRAN202包括eNodeB2021和其它eNodeB2022等。其中，eNodeB2021可以通过回程(backhaul)(例如X2接口)与其它eNodeB2022连接，eNodeB2021连接到EPC203，eNodeB2021可以提供UE201到EPC203的接入。

EPC203可以包括MME(Mobility Management Entity，移动性管理实体)2031，HSS(Home Subscriber Server，归属用户服务器)2032，其它MME2033，SGW(Serving Gate Way，服务网关)2034，PGW(PDN Gate Way，分组数据网络网关)2035和PCRF(Policy andCharging Rules Function，政策和资费功能实体)2036等。其中，MME2031是处理UE201和EPC203之间信令的控制节点，提供承载和连接管理。HSS2032用于提供一些寄存器来管理诸如归属位置寄存器(图中未示)之类的功能，并且保存有一些有关服务特征、数据速率等用户专用的信息。所有用户数据都可以通过SGW2034进行发送，PGW2035可以提供UE 201的IP地址分配以及其它功能，PCRF2036是业务数据流和IP承载资源的策略与计费控制策略决策点，它为策略与计费执行功能单元(图中未示)选择及提供可用的策略和计费控制决策。

IP业务204可以包括因特网、内联网、IMS(IP Multimedia Subsystem，IP多媒体子***)或其它IP业务等。

虽然上述以LTE***为例进行了介绍，但本领域技术人员应当知晓，本发明不仅仅适用于LTE***，也可以适用于其他无线通信***，例如GSM、CDMA2000、WCDMA、TD-SCDMA以及未来新的网络***等，此处不做限定。

基于上述移动终端硬件结构以及通信网络***，提出本发明方法各个实施例。

第一实施例

为了解决现有识屏方案无法对除以TextView控件以外方式呈现的显示内容进行识屏，为用户提供提供服务的问题，本实施例提供一种应用范围更广的识屏方法，图3示出的是该识屏方法的流程图：

S302：终端通过触控屏监测识屏指令。

终端在启动的情况下，会实时监测用户下发的交互指令，这些交互指令是用于指示终端进行用户所期望的控制的指令。在本实施例中，识屏指令也是用户下发的一种交互指令，其用于指示终端对触控屏上当前显示的某些内容进行搜索查询，并给出搜索结果。由于用户期望终端识别的内容，也即识屏的对象是触控屏上的显示内容，因此，用户下发识屏指令通常是通过触控屏下发的。用户可以通过在触控屏上显示“识屏对象”的区域进行触控操作完成识屏指令的下发，所以，终端监测用户的识屏指令也是通过监测触控屏上的触控操作实现的，例如，终端可以通过以下两种方式中的任意一种进行监测：

方式一：终端通过监测用户对触控屏的长按操作来监测识屏指令。在本实施例的一些示例当中，用户下发识屏指令的时候，可以通过长按操作下发。下面结合图4对方式一提供的监测识屏指令的流程进行介绍：

S402：监测对触控屏的按压操作。

在本实施例的一些示例当中，无论用户对触控屏的按压力度多大，只要用户的身体部分(通常是手部)有与触控屏接触，终端即可认为用户对触控屏进行了按压操作。

在本实施例的另外一些示例中，终端触控屏下设置有压力传感器，这些压力传感器可以检测触控屏所受到的压力，只有触控屏受到的压力大于等于一定值(例如压力门限)，终端才会确定触控屏受到按压操作。

S404：判断监测到的按压操作是否持续达到预设时长。

若判断结果为是，则执行S406，否则继续执行S402。在终端检测到触控屏上存在按压操作后，终端可以对该按压操作持续的时间进行监测，判断持续时间是否达到预设时长，若按压操作的时长达到预设时长，则终端可以判定当前监测到的按压操作就是长按操作；如果按压操作的时长没有达到预设时长，用户对触控屏的按压就撤去了，则说明检测到的按压操作不属于长按操作。

毫无疑义的是，终端在判定按压操作是否是长按操作的时候，针对的是一个连续的按压操作，不应当是几个单独的按压操作的组合。也即对于一个按压操作来说，其按压位置是固定不变的。换言之，终端判断的是用户针对某一位置的按压操作的持续时长是否达到预设时长。

S406：判定检测到识屏指令。

当终端确定检测到针对触控屏某一位置处的长按操作之后，就可以判定当前检测到了识屏指令。

终端除了可以通过触控屏监测用户的长按操作来监测识屏指令之外，还可以通过：

方式二：终端通过监测用户对触控屏的连续触击操作来监测识屏指令。在本实施例的另外一些示例当中，用户下发识屏指令的时候，可以对触控屏上自己要求识屏的对象进行连续点击。下面结合图5对方式二提供的监测识屏指令的流程进行介绍：

S502：监测对触控屏的触击操作。

终端可以利用触控屏监测用户对触控屏的触击操作，同时统计用户对同一位置位置的连续触击次数。

S504：判断针对某一位置的触击次数是否达到预设次数。

终端在监测到用户对触控屏上同一位置的连续触击操作之后，可以确定当前监测到的触击次数是否已经达到预设次数，如果判断结果为是，则执行S506，否则，执行S502。

S506：判定检测到识屏指令。

当确定用户对某一位置进行了达到预设次数的连续触击，则终端可以确定当前检测到了用户针对该位置下发的识屏指令。

S304：终端在检测到识屏指令时记录识屏指令的检测位置。

用户在通过终端触控屏向终端下发识屏指令的时候，通常是对自己要求查询的内容所在的区域进行触控操作。例如，在图6示出的交互界面示意图中，用户对“钟楼”一词存在疑惑，希望进一步了解钟楼的相关资料，因此，如果用户想要下发识屏指令的话，下发指令的区域就在触控屏显示“钟楼”一词的区域。所以，终端检测到识屏指令的位置处有用户希望进行识屏的对象。因此，当终端通过触控屏检测到识屏指令之后，会记录检测到该识屏指令的位置，即检测位置。可以理解的是，终端记录的检测位置可以是终端检测到识屏指令的坐标信息。通常，终端可以选择触控屏上某一点作为原点(例如触控屏的左上角顶点或左下角顶点等)，然后其他位置的坐标就可以基于该原点确定。

S306：终端对检测位置处的图像内容进行识别得到目标文本信息。

终端在记录下检测位置后，可以获取到检测位置处的图像内容。可以理解的是，有可能在用户下发识屏指令时刻，触控屏在检测位置处显示的内容就是以图片的形式呈现的，在这种情况下，终端可以直接获取检测位置处的图片，然后对图片内的图像内容进行识别得到目标文本信息。可选地，终端可以对直接从检测位置处获取到的图片采用OCR(Optical Character Recognition，光学字符识别)技术进行识别。OCR是指电子设备检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程。

在另外一些情景中，用户下发识屏指令时，触控屏检测位置处显示的内容并非是以图片形式呈现的，在这种情况下，终端无法直接获取到检测位置处的图像内容。所以，本实施例提供另外一种获取检测位置处图像内容并识别得到目标文本信息的方案，请参见图7示出的一种流程图：

S702：终端对触控屏在检测到识屏指令时刻的显示内容进行记录得到截图。

当终端确定检测到用户下发的识屏指令时，终端不仅会记录识屏指令的检测位置，而且，还会对检测到识屏指令那一时刻触控屏的显示内容进行图像记录得到截图。在本实施例的一些示例当中，终端可以对检测到识屏指令时刻触控屏上全部内容进行截屏得到截图。在本实施例的另外一些示例当中，终端也可以仅对以检测位置为中心的预设范围内的显示内容进行截图，当然这里所说的预设范围小于终端触控屏全屏的范围。

另外，在一些情况下，终端在检测到识屏指令之后，可以先记录检测位置，然后再对触控屏上的显示内容进行截图。例如，在前述示例当中，终端仅对检测位置为中心预设范围内的显示内容进行截图，所以，在这种方案当中，终端截图之前，需要先确定出检测位置。不过，在本实施例其他一些示例当中，如果终端截图是针对触控屏进行全屏截图，则终端可以先进行截图，然后再记录检测位置。当然终端也可以同时执行这两个流程或者是先记录检测位置再截图，本实施例并不限定这些情景中截图和记录检测位置的时序。

S704：终端采用OCR技术对截图中检测位置处的图像内容进行识别得到目标文本信息。

终端得到截图之后，可以对截图中的图像内容进行识别，在该示例当中，终端也是同样采用OCR技术识别得到目标文本信息。应当明白的是，如果终端在对触控屏的显示内容进行图像记录时记录的范围比较广，也即所得截图的面积比较大，面积大于用户下发识屏指令的区域的面积，那么终端即便是对截图中的全部内容进行OCR识别后，最终所提取的目标文本信息也只是检测位置处的内容。所以在本实施例的一些示例当中，终端在对截图进行OCR识别的时候，就仅针对检测位置处的图像内容。这相对于对截图中的全部图像内容进行识别的做法，可以减小终端进行OCR识别的负担，降低OCR识别过程对终端处理资源的占用。

不过，考虑到用户下发识屏指令时，又是不能精确的触控到其真正要要求识屏的对象，例如在图8示出的人机交互示意图中，用户希望搜索的对象是“钟楼”一词，但是因为触击的并不很准确，没能覆盖到“钟楼”，而是覆盖到了“楼怪”两个字所在的区域，同时还触及到“钟”字的部分区域。在这种情况下，如果终端仅识别检测位置的图像内容，则得到的可用信息可能就仅包括“楼怪”二字，而这并非是用户所期望的。为了避免这种情况出现影响用户体验，在本实施例的一些示例当中，终端可以对截图中以检测位置为中心预设范围内的图像内容进行OCR识别得到文本信息，然后对识别到的文本信息进行语义识别，从而推测用户下发识屏指令所针对的对象是什么。例如，继续以图8示出的内容为例进行说明：终端在在进行OCR识别的时候，稍微扩大了识别的范围，这样，终端可能会识别“钟楼怪”三个字，然后基于语义识别，终端可以确定“钟楼”一词是一个有通用含义的名词，但“楼怪”并不是，所以终端可以推测用户该识别指令真正的识屏对象是“钟楼”一词。

可以理解的是，采用OCR技术对截图进行识别得到目标文本信息这只是一种识别方案。而且，OCR技术要求截图中存在文字，否则，终端将不能从截图中识别到文本信息，自然也就得不到目标文本信息。在本实施例中，还提供一些其他对截图进行识别得到目标文本信息的方案：

在本实施例的一种示例当中，终端可以将获取到的截图与图像库中一些常见事物的标准图像进行匹配，从而识别截图中事物是什么。例如图像库中可以预先存储诸如景点、地标建筑、植物、动物、名人、衣服、围巾等的标准图片，这样，当终端获取到一张包含缅因猫的截图(可能完全不包含文字内容)时，终端可以直接将该截图与图像库中的各标准图像进行匹配，从而基于标准图像确定出截图中示出的是“缅因猫”，进而将“缅因猫”三个字作为目标文本信息。

毫无疑义的是，图像库中存储的内容越丰富分类越仔细，则终端在对截图识别时的准确性就越高。但与此同时，存储图像库的压力也就越大。通常，终端的存储能力无法支持大的图像库，所以，在本实施例的一些示例中，为了减轻终端的存储压力，可以将图像库设置在网络侧，终端获取到截图之后，将截图传输到网络侧，由网络侧设备对截图进行匹配识别，得到结果之后，将结果发送给终端，让终端将接收到的结果作为目标文本信息。

S308：终端搜索目标文本信息得到第一搜索结果。

终端得到目标文本信息之后，可以以目标文本信息作为输入进行搜索得到搜索结果。在本实施例中，将基于图像识别所得目标文本信息所对应的搜索结果称为“第一搜索结果”通常，第一搜索结果中包含的是与用户通过识屏指令所指定的内容相关的信息。例如，用户通过识屏指令所指定的内容是一个英文单词，则第一搜索结果中可以包含该英文单词的中文释义、音标等。除了文字信息以外，在第一搜索结果中也还可以包括图片，例如，当终端将基于图像识别所得“钟楼”一词作为目标文本信息进行搜索，得到的除了包括钟楼的释义、钟楼的历史等文字信息以外，还可以包括古今中外著名钟楼的图片。

终端搜索目标文本信息时，可以在本地信息库中搜索。例如，终端中存储了《钟楼怪人》的小说文件，而该小说文件中除了包括小说的基本文字以外，还包括对小说中部分词汇的注释，例如，小说文件中包括“钟楼”一词的注释，用于向读者阐述该小说中的“钟楼”是指巴黎圣母院，以及巴黎圣母院的历史、文化意义等。同时，小说文件中还可以包括“主教”一词的注释，以便帮助读者理解小说中所涉及的宗教内容。当用户在阅读该小说的时候，针对“主教”一词下发了识屏指令，则终端通过搜索本地存储的小说文件即可获取到第一搜索结果。

在本实施例的其他一些示例当中，终端对目标文本信息进行搜索的时候，可以是在网络信息库中进行搜索，该网络信息库可以是与终端厂商合作的内容提供商的信息库，例如百度、搜狗等搜索引擎商等。

当然，毫无疑义的是，终端对目标文本信息进行搜索的范围可以既包括本地信息库，也包括网络信息库。在本实施例的一些示例当中，终端可以同时在本地信息库和网络信息库中进行搜索，并将两侧的搜索结果汇总后得到第一搜索结果。由于终端本地搜索占用时间较少，而网络信息库的搜索耗时较多，所以，在本实施例的另一示例当中，考虑到如果终端能够直接从本地信息库中得到第一搜索结果，就不必再花费大量的时间进行网络搜索了，因此，终端在对目标文本信息进行搜索查询的时候，可以先在本地信息库中进行搜索，若没有搜索到满意结果，则再到网络信息库中进行搜索。

S310：终端输出第一搜索结果。

终端经过搜索得到与目标文本信息对应的第一搜索结果之后，可以向用户输出第一搜索结果。终端向用户输出第一搜索结果主要是为了让用户了解到第一搜索结果中的内容。在本实施例的一种示例当中，终端可以通过触控屏向用户显示第一搜索结果，让用户通过视觉获取第一搜索结果中的内容。例如，在图9当中，终端可以将第一搜索结果以弹窗的方式呈现给用户。当然，终端在向用户显示第一搜索结果时，除了以弹窗的方式显示以外，还可以采用专门的结果展示页面向用户显示第一搜索结果。不过相对而言，采用弹窗呈现第一搜索结果能够更便于用户操作，对触控屏上原本显示界面的影响更小。

在本实施例的另外一种示例当中，终端可以以语音播报的方式向用户输出第一搜索结果：当终端获取到第一搜索结果之后，终端通过音频输出单元进行语音播报，向用户播报第一搜索结果。当然，语音播报输出第一搜索结果的方式比较适合都以搜索结果为纯文字搜索结果的情况，当第一搜索结果中包含图片等非文字信息时，终端可能还是需要结合触控屏以显示的方式输出第一搜索结果。

另外，在本实施例中，在终端对检测位置处的图像内容进行识别得到目标文本信息之前，终端会先确定检测到识屏指令的时刻触控屏上检测位置处的显示内容是否是通过TextView控件呈现的。可以理解的是，如果该处的显示内容不是通过TextView控件呈现的，则终端只能采用图像识别获取目标文本信息并进行搜索得到第一搜索结果，但如果该处的显示内容是通过TextView控件呈现的，则终端无需经过图像识别即可获取到检测位置处的文本信息，也即得到目标文本信息：终端可以直接读取检测位置处TextView控件中保存的字符串信息，该字符串信息即可作为终端搜索的目标文本信息。随后，终端将字符串信息作为搜索输入，在本地信息库和/或网络信息库中进行搜索，即可得到搜索结果。在本实施例中，将目标文本信息为TextView控件中字符串对应的搜索结果称为“第二搜索结果”，以便和前述“第一搜索结果”进行区分。

本实施例提供的识屏方法，在检测到识屏指令后，记录识屏指令的检测位置并获取检测位置处的图像内容，通过对该图像内容进行图像识别获取目标文本信息，并对目标文本信息进行搜索获取到搜索结果并输出给用户，使得识屏应用不再局限于以TextView控件呈现的内容，让识屏应用不再依赖TextView技术，扩大了识屏的应用范围，方便了用户识屏需求，增强了用户体验。

第二实施例

为了使本领域技术人员对第一实施例中所提供的识屏方法的优点与细节更加清楚，本实施例将结合示例对该识屏方法做进一步说明，在本实施例中，假定终端为手机，该手机上设置有可用于人机交互的触控屏。请参见图10示出的识屏方法的一种流程图：

S1002：手机通过触控屏监测用户的交互指令。

在本实施例的一些示例多那个中，手机在启动时，会实时监测用户下发的交互指令。

S1004：手机判断检测到的交互指令是否是识屏指令。

若判断结果为是，则进入S1006，否则结束流程。可以理解的是，由于识屏指令的作用是为了控制手机对触控屏上当前显示的某些内容进行搜索查询，并给出搜索结果。所以，如果手机处于息屏状态，则手机就不必判断当前监测到的交互指令是否是识屏指令。不过在手机处于亮屏状态时，手机在接收到一个交互指令之后，可以判断是否是识屏指令。

在本实施例的一些示例当中，手机只有在开启“识屏功能”时，才会判断在亮屏状态下检测到的交互指令是否是识屏指令。所以，在这些示例当中，手机在判断检测到的交互指令是否是识屏指令之前，会先确定识屏功能处于开启状态。如果手机的识屏功能没有开启，则手机在检测到交互指令之后就不用进一步确定该交互指令是否是识屏指令。可以理解的是，手机的识屏功能是否开启可以由用户自己决定，在本实施例的一些示例当中，如图11所示，手机可以在“设置”选项下设置识屏功能的开关控件，用户通过操作该识屏功能的开关控件，就可以决定识屏功能是否开启。

S1006：手机确定识屏指令的检测位置。

手机在确定检测到识屏指令后，可以确定识屏指令的检测位置。可以理解的是，本实施例中识屏指令的检测位置可以以坐标的位置记录。当然因为用户在操作触控屏的时候，手指触控的是有一定面积的区域，所以，在本实施例中，手机所确定的检测位置中可以包括多个可以表征一个区域的坐标位置。

S1008：手机判断检测位置处的显示内容是否是通过TextView控件呈现。

若判断结果为是，则进入S1010，否则进入S1012。如果检测位置处的显示内容是通过TextView控件呈现的，则手机无需经过图像识别即可获取目标文本信息，但如果检测位置处的显示内容不是通过TextView控件呈现的，则手机需要执行图像识别处理流程。

S1010：手机读取检测位置处TextView控件中保存的字符串信息作为目标文本信息。

如果手机经过判断确定检测位置处的显示内容是通过TextView控件呈现的，则手机可以直接读取检测位置处TextView控件中保存的字符串信息，该字符串信息即可作为终端搜索的目标文本信息。

S1012：手机对触控屏上的显示内容进行截图。

如果手机经过判断确定检测位置处的显示内容不是通过TextView控件呈现的，则手机需要通过图像识别才能获取到目标文本识别信息，所以，在本实施例中，手机可以对触控屏上的显示内容进行截图。在本实施例的一种示例当中，手机截取的范围是触控屏的全屏，不过在本实施例的另外一些示例当中，手机截取的是手机截取的可以是以检测位置为中心，第一预设范围内的显示内容。当然，这里第一预设范围所限定的区域面积小于触控屏的全屏面积。

S1014：手机采用OCR识别技术对截图中检测位置所在区域进行图像识别得到目标文本信息。

在得到截图之后，手机可以对截图中检测位置所在区域的图像内容进行识别。可以理解的是，手机图像识别的区域可以是以检测位置为中心，第二预设范围内的图像内容，这里的第二预设范围小于等于第一预设范围。

在本实施例当中，手机采用OCR技术识别检测位置所在区域的图像内容得到目标文本信息。在本实施例的另外一些示例当中，手机可以基于图像匹配来对截图的图像内容进行识别，图像识别的细节在第一实施例中已经做了详细的阐述，这里不再赘述。

S1016：手机在网络信息库中对目标文本信息进行搜索。

在本实施例中，无论是通过图像识别得到的文本信息，还是直接从TextView控件中读取到的文本信息，都统称为目标文本信息。当得到目标文本信息之后，手机可以在网络侧对目标文本信息进行搜索。可选地，手机可以将目标文本信息携带在搜索请求中发送给内容提供商的服务器，由服务器在网络信息库中进行搜索查询后得到搜索结果，然后将搜索结果返回给手机。

当然，这里所说的搜索结果可以是第一搜索结果，也可以是第二搜索结果，具体地，搜索结果中包括的是第一搜索结果还是第二搜索结果，取决于获取到目标文本信息的方式。

S1018：手机通过触控屏显示搜索结果。

手机获取到搜索结果之后，可以通过触控屏向用户显示搜索结果。在一种示例当中，手机将搜索结果显示在弹窗中。当然，还有一些示例当中，手机也可以采用专门的结果展示页面向用户显示搜索结果。

可以理解的是，手机也可以在显示搜索结果的同时采用语音播报的方式向用户输出搜索结果。或者手机单独以语音播报的方式向用户输出搜索结果。

本实施例提供的识屏方法，在接收到用户下发的识屏指令之后，手机可以根据用户当前指定的识屏对象的呈现方式来灵活选择获取目标文本信息的方式，当检测位置处的显示内容是通过TextView控件呈现时，手机直接就可以读取到目标文本信息，这样可以减少手机图像识别所占用的处理资源和处理时间，在部分情况下提升了识屏的效率，进一步增强了用户的识屏体验。

第三实施例

本实施例将提供一种计算机可读存储介质和一种双屏终端，首先对该计算机可读存储介质进行介绍：

该计算机可读存储介质中存储一个或多个可供存储器读取、编译或执行的计算机程序，其中就包括识屏程序，该显示控制程序可供处理器执行从而实现第一或第二实施例中提供的识屏方法。

请参见图12提供的双屏终端的硬件结构示意图：双屏终端12包括处理器121、存储器122以及用于连接处理器121与存储器122的通信总线123，其中存储器122可以为前述存储有识屏程序的计算机可读存储介质。终端12的处理器121可以执行存储器122中存储识屏程序以实现前述实施例中的识屏方法：

处理器121可以触控屏监测识屏指令，在触控屏检测到识屏指令时，处理器121记录识屏指令的检测位置，并对检测位置处的图像内容进行识别得到目标文本信息，然后以目标文本信息作为搜索输入进行搜索得到第一搜索结果，然后向用户输出第一搜索结果。

处理器121在触控屏监测识屏指令时，可以控制触控屏监测用户的按压操作，若触控屏检测到针对某一位置的按压操作持续预设时长，则处理器121确定检测到识屏指令。

在本实施例的另外一种示例当中，处理器121在触控屏监测识屏指令时，可以控制触控屏监测用户的触击操作，若触控屏触控屏检测到针对某一位置的连续触击次数达预设次数，确定则处理器121检测到识屏指令。

在本实施例的一种示例当中，处理器121可以对触控屏在检测到识屏指令时刻的显示内容进行图像记录得到截图，然后采用光学字符识别OCR技术对截图中检测位置处的图像内容进行识别得到目标文本信息。

在向用户输出第一搜索结果时，处理器121可以控制触控屏以弹窗的方式显示第一搜索结果，和/或，以语音播报的方式输出第一搜索结果。

在本实施例的一种示例当中，处理器121对检测位置处的图像内容进行识别得到目标文本信息之前，会先确定检测到识屏指令的时刻触控屏上检测位置处的显示内容并非是通过文本框TextView控件呈现。如果确定检测到识屏指令的时刻触控屏上检测位置处的显示内容是通过TextView控件呈现，则处理器121可以直接读取检测位置处TextView控件中保存的字符串信息，对字符串信息进行搜索得到第二搜索结果，然后向用户输出第二搜索结果。

终端12实现识屏方法的具体细节，请参见前述实施例的介绍，这里不再赘述。

由于触控屏上显示的内容都是显示给用户，供用户从视觉上获取信息的内容，因此无论识屏指令检测位置处的显示内容是否是通过TextView控件进行呈现的，但因为会显示给用户，所以本实施例提供的终端，利用前述实施例中提供的识屏方法，一定可以获取到检测位置处的图像，然后对图像内容进行识别得到目标文本信息，并基于目标文本信息进行查询搜索得到第一搜索结果。因此，该终端可以应用于对以何种方式呈现的显示内容，扩大了识屏的应用范围，完善了识屏应用的服务机制，提升了用户体验。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种识屏方法，其特征在于，所述识屏方法包括：

通过触控屏监测识屏指令；

在检测到识屏指令时记录所述识屏指令的检测位置；

对所述检测位置处的图像内容进行识别得到目标文本信息，所述目标文本信息为待识别的文本信息；

搜索所述目标文本信息得到第一搜索结果；

输出所述第一搜索结果。

2.如权利要求1所述的识屏方法，其特征在于，所述通过触控屏监测识屏指令包括：

通过所述触控屏监测按压操作，若通过所述触控屏检测到针对某一位置的按压操作持续预设时长，确定检测到识屏指令；

或，

通过所述触控屏监测触击操作，若通过所述触控屏检测到针对某一位置的连续触击次数达预设次数，确定检测到识屏指令。

3.如权利要求1所述的识屏方法，其特征在于，所述对所述检测位置处的图像内容进行识别得到目标文本信息之前，还包括：

对所述触控屏在检测到所述识屏指令时刻的显示内容进行图像记录得到截图；

所述对所述检测位置处的图像内容进行识别得到目标文本信息包括：

采用光学字符识别OCR技术对所述截图中所述检测位置处的图像内容进行识别得到目标文本信息。

4.如权利要求3所述的识屏方法，其特征在于，所述采用OCR技术对所述截图中所述检测位置处的图像内容进行识别得到目标文本信息包括：

对所述截图中以所述检测位置为中心预设范围内的图像内容进行OCR识别得到文本信息；

对所述文本信息进行语义识别确定所述检测位置处的目标文本信息。

5.如权利要求1所述的识屏方法，其特征在于，所述搜索所述目标文本信息得到第一搜索结果包括：

在本地信息库中搜索所述目标文本信息得到第一搜索结果；

和/或，

在网络信息库中搜索所述目标文本信息得到第一搜索结果。

6.如权利要求1所述的识屏方法，其特征在于，所述输出所述第一搜索结果包括：

控制所述触控屏以弹窗的方式显示所述第一搜索结果；

和/或，

以语音播报的方式输出所述第一搜索结果。

7.如权利要求1-6任一项所述的识屏方法，其特征在于，所述对所述检测位置处的图像内容进行识别得到目标文本信息之前，还包括：

确定检测到所述识屏指令的时刻所述触控屏上所述检测位置处的显示内容并非是通过文本框TextView控件呈现。

8.如权利要求7所述的识屏方法，其特征在于，若确定检测到所述识屏指令的时刻所述触控屏上所述检测位置处的显示内容是通过TextView控件呈现，则所述识屏方法还包括：

读取所述检测位置处TextView控件中保存的字符串信息；

对所述字符串信息进行搜索得到第二搜索结果；

输出所述第二搜索结果。

9.一种终端，其特征在于，所述终端包括处理器、存储器及通信总线；

所述通信总线用于实现处理器和存储器之间的连接通信；

所述处理器用于执行存储器中存储的一个或者多个程序，以实现如权利要求1至8中任一项所述的识屏方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至8中任一项所述的识屏方法的步骤。