CN113552977A - 数据处理方法、装置、电子设备及计算机存储介质 - Google Patents
数据处理方法、装置、电子设备及计算机存储介质 Download PDFInfo
- Publication number
- CN113552977A CN113552977A CN202010329488.8A CN202010329488A CN113552977A CN 113552977 A CN113552977 A CN 113552977A CN 202010329488 A CN202010329488 A CN 202010329488A CN 113552977 A CN113552977 A CN 113552977A
- Authority
- CN
- China
- Prior art keywords
- target
- target information
- current interface
- result
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000007667 floating Methods 0.000 claims description 56
- 238000000034 method Methods 0.000 claims description 53
- 238000013473 artificial intelligence Methods 0.000 claims description 22
- 230000001960 triggered effect Effects 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 abstract description 43
- 238000013519 translation Methods 0.000 description 34
- 238000012790 confirmation Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 21
- 230000000694 effects Effects 0.000 description 20
- 230000008569 process Effects 0.000 description 9
- 239000000725 suspension Substances 0.000 description 6
- 239000007787 solid Substances 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例提供了一种数据处理方法、装置、电子设备及计算机存储介质,其中,数据处理方法包括:触发目标信息对应的操作控件,获取当前界面展示的目标信息;根据目标信息执行目标操作;在当前界面,展示目标操作结果。通过本发明实施例,设备可以获取到当前界面展示的目标信息执行目标操作,获取信息的方式更加灵活,可以实现更多功能。
Description
技术领域
本发明实施例涉及计算机技术领域,尤其涉及一种数据处理方法、装置、电子设备及计算机存储介质。
背景技术
随着互联网技术和移动通信技术的发展,越来越多的传统项目通过应用程序(英文:Application,APP)被电子化,用户通过应用程序可以使用各种功能。但是,用户在使用应用程序的过程中,只能输入通过该应用程序所显示/采集的信息,实现该应用程序的功能,如果要利用一个应用程序对另一个应用程序中的信息进行采集,需要不断切换应用程序,导致一些功能实现起来非常繁琐或者无法实现。
发明内容
有鉴于此,本发明实施例提供一种数据处理方法、装置、电子设备及计算机存储介质,以解决上述部分或全部问题。
根据本发明实施例的第一方面,提供了一种数据处理方法,包括:触发目标信息对应的操作控件,获取当前界面展示的目标信息;根据目标信息执行目标操作;在当前界面,展示目标操作结果。
根据本发明实施例的第二方面,提供了一种数据处理装置,包括:获取模块,用于触发目标信息对应的操作控件,获取当前界面展示的目标信息;处理模块,用于根据目标信息执行目标操作;显示模块,用于在当前界面,展示目标操作结果。
根据本发明实施例的第三方面,提供了一种电子设备,包括:处理器、存储器、通信接口和通信总线,处理器、存储器和通信接口通过通信总线完成相互间的通信;存储器用于存放至少一可执行指令,可执行指令使处理器执行如第一方面的数据处理方法对应的操作。
根据本发明实施例的第四方面,提供了一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面的数据处理方法。
根据本发明实施例提供的数据处理方法、装置、电子设备及计算机存储介质,触发目标信息对应的操作控件,获取当前界面展示的目标信息;根据目标信息执行目标操作;在当前界面,展示目标操作结果。通过本发明实施例,设备可以获取到当前界面展示的目标信息进行目标操作,获取信息的方式更加灵活,可以实现更多功能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明实施例中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的一种数据处理方法的场景示意图;
图2为本发明实施例一提供的一种数据处理方法的流程图;
图3为本发明实施例二提供的一种数据处理方法的流程图;
图3A为本发明实施例二提供的一种截图效果示意图;
图3B为本发明实施例二提供的一种搜索的场景示意图;
图3C为本发明实施例二提供的一种翻译的场景示意图;
图4为本发明实施例三提供的一种数据处理方法的流程图;
图4A为本发明实施例三提供的一种音频截取效果示意图;
图4B为本发明实施例三提供的一种记录的场景示意图;
图5A为本发明实施例四提供的一种预设展示控件的标签页效果示意图;
图5B为本发明实施例四提供的一种预设展示控件的效果示意图;
图5C为本发明实施例四提供的一种预设展示控件的显示效果示意图;
图6A为本发明实施例四提供的一种悬浮图标的触发效果示意图;
图6B为本发明实施例四提供的一种悬浮图标的移动效果示意图;
图6C为本发明实施例四提供的一种悬浮图标的隐藏效果示意图;
图6D为本发明实施例四提供的一种悬浮图标的动态特效示意图;
图7为本发明实施例五提供的一种数据处理装置的结构图;
图8为本发明实施例五提供的一种电子设备的结构框图。
具体实施方式
为了使本领域的人员更好地理解本发明实施例中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明实施例一部分实施例,而不是全部的实施例。基于本发明实施例中的实施例,本领域普通技术人员所获得的所有其他实施例,都应当属于本发明实施例保护的范围。
下面结合本发明实施例附图进一步说明本发明实施例具体实现。
实施例一
本发明实施例一提供一种数据处理方法,为了便于理解,参照图1说明本发明实施例一的数据处理方法所应用的场景,图1为本发明实施例一提供的一种数据处理方法的场景示意图,当然,图1只是本发明实施例一提供的数据处理方法的一种应用场景,并不是该方法只能应用于图1所示的场景,本发明对数据处理方法的应用场景不做限定,此处只是为了便于理解进行的示例性说明,图1中,该场景包括电子设备101和云端102,电子设备101和云端102通过网络连接,并通过网络进行数据交互,本发明中,网络包括局域网(英文:LocalArea Network,LAN)、广域网(英文:Wide Area Network,WAN)、移动通信网络;如万维网(英文:World Wide Web,WWW)、长期演进(英文:Long Term Evolution,LTE)网络、2G网络(英文:2th Generation Mobile Network)、3G网络(英文:3th Generation Mobile Network),5G网络(英文:5th Generation Mobile Network)等。当然,此处只是示例性说明,并不代表本发明局限于此。
云端102可以包括通过网络连接的各种设备,例如,服务器、中继设备、端到端(英文:Device-to-Device,D2D)设备等。
电子设备101可以是具有显示功能的设备,本发明对电子设备的具体形式不做限定,电子设备可以是智能音箱、智能手机、平板电脑、笔记本电脑等。电子设备101上安装有各种应用软件,云端102可以包括电子设备101上安装的应用软件的服务器。用户通过在电子设备101上进行操作,对当前界面展示的内容进行数据获取,对获取的目标信息进行目标操作得到目标操作结果,将目标操作结果展示在当前界面。
结合图1所示的场景,参照图2所示,图2为本发明实施例一提供的一种数据处理方法的流程图,该方法可以应用于图1所示的场景中,进一步的,可以应用于图1所示的电子设备,即电子设备作为该方法的执行主体,当然,此处只是示例性说明,并不代表本发明局限于此,结合图1所示的场景,该方法包括以下步骤:
步骤201、触发目标信息对应的操作控件,获取当前界面展示的目标信息。
操作控件可以是用于人机交互的控件,操作控件可以显示在当前界面,操作控件可以是悬浮图标或者预设展示控件,预设展示控件可以包括预设展示窗口或预设展示浮层,本发明对于操作控件的具体表现形式不做限定。
对操作控件的触发操作可以有多种形式,包括触摸式操作和非触摸式操作,其中,触摸式操作包括触控操作、按键操作等,非触摸式操作包括手势操作、语音操作等。
触发操作可以触发操作控件的多种功能图标的显示,包括人工智能识别图标、搜索图标、翻译图标、记录图标、图像上传图标、价格对比图标、评论图标等,进而,通过对不同图标的操作,实现不同的功能。
本实施例中,在基于当前界面展示的内容获取待处理的目标信息时,可以先对当前界面展示的内容进行数据采集,如图像采集、文字采集、音频采集等,进而基于采集到的数据进行目标信息获取,目标信息包括但不限于:关键词、关键字、关键图像数据、关键音频数据等。关键词/字的范围可以由本领域技术人员根据实际需求适当设置,在某些应用场景中,关键词/字的范围可以为对采集到的数据进行处理后的全部或部分词/字。
可选地,触发目标信息对应的操作控件,获取当前界面展示的目标信息,包括:触发目标信息对应的操作控件,显示操作控件包括的至少一个选项;接收对至少一个选项中与目标信息匹配的目标选项的触发操作,基于当前界面展示的内容,获取与目标选项相匹配的目标信息。
操作控件包括至少一个选项,用户可以选择不同的选项实现不同的功能,提高了用户体验。在一种实现方式中,操作控件可以是悬浮图标,在悬浮图标被触发时,显示至少一个选项;在另一种实现方式中,操作控件可以是预设展示控件,在预设展示控件的菜单选项被触发时显示至少一个选项。显示至少一个选项可以方便用户选择,而且操作控件不需要时刻展示至少一个选项,减少操作控件占用当前界面的面积,避免影响用户正常浏览。
可选地,触发目标信息对应的操作控件,获取当前界面展示的目标信息,包括:触发目标信息对应的操作控件,对当前界面展示的内容进行采集得到采集数据;对采集数据进行人工智能识别,并根据识别结果获取目标信息。通过人工智能识别,可以准确且高效地获取目标信息。
需要说明的是,当前界面展示的内容包括当前界面展示的图像、文字、视频、音频等,对当前界面展示的内容进行采集可以是通过屏幕截取、视频帧截取、音频截取、文字截取等,本发明对此不做限制,对应的,采集到的采集数据可以包括视频、图像、音频、文字等。因为采集数据可以包含多种形式的数据,所以对采集数据进行人工智能识别也可以根据数据类型采用不同的人工智能模型,例如,采集数据包括图像,利用图像识别模型对采集数据进行图像识别;又如,采集数据包括音频,利用音频识别模型对采集数据进行音频识别,音频可以包括用户的语音,可以利用语音识别模型对语音数据进行语音识别;又如,文字可以包括语言文字、数字、公式等,对于不同的文字利用不同的模型进行识别;因为视频是由视频帧组成的,一个视频帧可以看作是一个图像,因此视频的识别类似于图像识别。
进一步可选地,触发目标信息对应的操作控件,获取当前界面展示的目标信息,包括:触发目标信息对应的操作控件,显示截取框;接收对截取框的调整操作;根据调整后的截取框对当前界面展示的内容进行采集得到采集数据;对采集数据进行人工智能识别,并根据识别结果获取目标信息。利用截取框选择截取的内容(即采集数据),方便用户选择截取哪些内容,提高了用户体验。
基于上述说明,不同类型的数据可以通过不同的采集方式实现,此处,列举三种数据采集方式说明如何得到采集数据,此处只是示例性说明,并不代表本发明局限于此:
可选地,在第一种数据采集方式中,对于图像数据,触发目标信息对应的操作控件,对当前界面展示的内容进行采集得到采集数据,包括:
触发目标信息对应的操作控件,对当前界面展示的内容进行图像截取得到采集数据。此处图像截取也可以称为屏幕截取,得到的采集数据是图像数据。在许多应用场景中,用户浏览信息都是通过显示屏观看,通过屏幕截取的方式可以在很多应用场景中满足用户通过目标应用获取信息的需求,提高目标应用采集/输入信息的便利性,也提高了用户体验。进一步可选地,根据调整后的截取框对当前界面展示的内容进行采集得到采集数据,包括:接收对截取框的大小调整操作和/或位置调整操作,对当前界面中与截取框对应的内容区域进行图像截取,得到采集数据。
可选地,在第二种数据采集方式中,对于视频数据,触发目标信息对应的操作控件,对当前界面展示的内容进行采集得到采集数据,包括:
触发目标信息对应的操作控件,根据触发的时间在当前界面展示的视频中进行视频帧截取,得到采集数据。视频帧截取可以使得用户在观看视频时对观看的内容进行截取,视频因为传递信息更加直观,在生活中应用十分广泛,在用户观看视频过程中进行视频帧截取进一步丰富了目标应用采集信息的方式,可以使得目标应用在视屏中获取信息为用户提供智能服务,进一步丰富了目标应用的功能,提高了用户体验。
可选地,在第三种数据采集方式中,对于音频数据,根据调整后的截取框对当前界面展示的内容进行采集得到采集数据,包括:
接收对截取框的长度调整操作和/或位置调整操作,对当前界面中与截取框对应的内容区域进行音频截取,得到采集数据。通过音频传递信息也是一种重要的信息传递方式,在音频播放过程中,目标应用对音频数据进行截取能够采集到音频数据,进一步丰富了目标应用采集的数据类型,可以为用户提供更多功能,提高了用户体验。
这三种数据采集方式是根据不同的数据类型划分的,对于用户的触发操作指示的目标操作,三种数据采集方式可以和任意一种操作相结合,例如,三种数据采集方式采集到的数据可以进行人工智能识别、搜索、翻译、记录、图像上传中的任意一种操作。执行的操作是数据处理阶段,数据采集是数据获取阶段,因此,数据采集可以和不同的操作进行组合实现不同的功能,使得电子设备可以为用户提供更多功能,提高了用户体验。
对采集数据的识别是调用目标应用完成的,在一种实现方式中,可以是电子设备调用目标应用的程序对采集数据进行人工智能识别得到识别结果,并根据识别结果获取目标信息;在另一种实现方式中,可以是电子设备调用目标应用的程序将采集数据传输至云端,云端对采集数据进行人工智能识别,得到识别结果,并获取目标信息,然后云端将目标信息传输至电子设备。当然,此处只是示例性说明,并不代表本发明局限于此。通常,电子设备的运算能力要弱于云端,如果是复杂的运算,云端运算速度更快,如果是简单的运算,电子设备因为和用户直接交互,免去了数据传输,因此响应速度较快,基于上述分析,如果是一些运算量少的人工智能识别,电子设备直接进行识别响应更快,如果是一些运算量大的人工智能识别,则云端进行运算,向电子设备返回目标信息更快一些,在不同的场景下可以选用不同的方式提高响应速度。
对于目标信息,可以包括采集数据进行人工智能识别之后的识别结果,也可以包括对识别结果进行提取后得到的关键内容,对于用户触发的不同的功能,目标信息所包含的内容可以不同。可选地,在一种实现方式中,采集数据包括采集到的图像数据,目标信息包括对图像数据进行文字识别后获得的文字,或对图像数据进行目标元素识别后获得的目标元素。可选地,在另一种实现方式中,采集数据包括采集到的音频数据,目标信息包括对音频数据进行关键信息提取后获得的音频关键信息,或将音频数据转换为文字后,对文字进行目标信息关键信息提取后获得的文字关键信息。通过将图像数据进行识别后得到文字,相当于将图像包含的信息转化为文字,进行更多适应于文字处理的操作,可以实现更多功能;将图像数据进行识别得到操作控件,是对图像数据中的目标信息进行提取,当然,将图像数据进行识别后得到文字,也可以实现对目标信息的提取,针对目标信息进行处理,提高了数据处理的运算效率。
步骤202、根据目标信息执行目标操作。
可选地,根据目标信息执行目标操作并得到目标操作结果,包括:
调用操作控件所属的目标应用对目标信息执行目标操作,得到目标操作结果。
通过对操作控件的触发操作,可以对当前界面展示的内容进行采集,并调用操作控件所属的目标应用执行目标操作,打破了在应用程序内部进行数据采集的局限性,使得目标应用可以采集到更多数据,也使得用户在浏览更多界面时,可以直接在当前界面调用目标应用进行人工智能识别,丰富了电子设备的功能,提高了用户体验。
操作控件可以是属于目标应用的控件,通过操作控件可以调用目标应用提供服务,但是当前界面可以是不属于目标应用的界面,这样,在电子设备的任何一个界面,只要通过操作控件就可以对当前界面展示的内容进行采集并调用目标应用进行处理,可以实现更多功能,在一定程度上打破了用户在应用程序中进行信息输入受到的限制。可选地,当前界面所属的应用与目标应用不同。
结合步骤201中对于用户的触发操作触发的多种功能的描述,在步骤202中,不同的功能对应了不同的操作,此处,列举五个具体示例进行说明,当然,此处只是举例说明,并不代表本发明局限于此。
可选地,在第一个示例中,当操作控件包括用于指示进行搜索的选项时,根据目标信息执行目标操作,包括:
对目标信息进行搜索,得到与目标信息对应的搜索结果,目标操作结果包括搜索结果。可选地,可以调用操作控件所属的目标应用对目标信息进行搜索,得到与目标信息对应的搜索结果。电子设备可以将目标信息传输至云端,云端根据目标信息在网络资源中进行搜索得到搜索结果,并将搜索结果传输至电子设备。在此示例中,结合步骤201中对目标信息进行获取的示例性说明,可选地,对采集数据进行人工智能识别得到识别结果后,在识别结果中提取至少一个关键词并生成目标信息,目标信息包括至少一个关键词。此示例可以和步骤201中所列举的三种数据采集方式的任意一种结合。
利用搜索,用户可以对当前界面展示的内容中自己感兴趣的内容进行搜索,不需要打开其他应用程序,直接在当前界面完成操作,用户搜索更加便捷,而且对于感兴趣的内容,在浏览到之后就可以针对感兴趣的内容立即进行搜索,用户体验更好。
可选地,搜索结果可以包括与目标信息相关的至少一个链接;该方法还包括:接收用户对链接的触发操作,根据触发操作跳转至链接所对应的页面。用户通过点击链接就可以跳转到对应的页面,不需要用户再去搜索,更加便捷。例如,该链接可以是某个物品的购买链接;又如,该链接可以是某个物品的使用说明链接,当然,此处只是示例性说明,并不代表本发明局限于此。
可选地,在第二个示例中,当操作控件包括用于指示进行翻译的选项时,根据目标信息执行目标操作,包括:
对目标信息进行翻译,得到与目标信息对应的翻译结果。可选地,可以对目标信息进行翻译,得到与目标信息对应的翻译结果,目标操作结果包括翻译结果。电子设备可以将目标信息传输至云端,云端利用翻译模型对目标信息进行翻译生成翻译结果,并将翻译结果传输至电子设备。在此示例中,结合步骤201中对目标信息进行获取的示例性说明,可选地,调用目标应用对采集数据进行人工智能识别得到识别结果后,将识别结果作为目标信息。此示例可以和步骤201中所列举的三种数据采集方式的任意一种结合。
在许多场景下,用户进行翻译必须输入文字,才能得到对应文字的翻译内容,而很多时候当前界面展示的内容不只是文字,还可能是图像、视频、音频等,用户无法获取到文字信息进行输入,本发明提供的数据处理方法,用户可以通过触发操作,使得电子设备可以对当前界面展示的内容进行采集得到目标信息,并对目标信息进行翻译,用户操作更方便,而且用户可以对浏览到的图像、视频、音频等都进行翻译,不局限于文字,用户体验更好。
可选地,在第三个示例中,当操作控件包括用于指示进行记录的选项时,根据目标信息执行目标操作,包括:
对目标信息进行记录,得到与目标信息对应的记录结果。可选地,可以将目标信息转化为可编辑的记录结果,目标操作结果包括可编辑的记录结果。电子设备可以根据目标信息生成可编辑的记录结果。许多界面中的文字、图像等显示的内容是无法编辑的,此示例中,用户通过记录就可以将当前界面展示的内容进行识别,并根据识别结果生成可编辑的记录结果,方便用户进行编辑。在此示例中,结合步骤201中对目标信息进行获取的示例性说明,可选地,调用目标应用对采集数据进行人工智能识别得到识别结果后,将识别结果作为目标信息。此示例可以和步骤201中所列举的三种数据采集方式的任意一种结合。
可选地,在第四个示例中,根据目标信息执行目标操作,包括:对目标信息中所指示的目标物品进行价格对比得到目标物品的价格对比结果,目标操作结果包括价格对比结果。可选地,可以调用操作控件所属的目标应用将目标信息传输至云端,云端根据目标信息在网络资源中搜索目标物品的价格,并进行对比得到价格对比结果,将价格对比结果传输至电子设备。此示例中,用户可以直观地浏览目标物品地价格对比结果,方便用户在购买时进行选择。此示例可以和步骤201中所列举的三种数据采集方式的任意一种结合。
进一步可选地,价格对比结果包括目标物品的至少一个购买链接;方法还包括:根据对购买链接的触发操作,显示购买链接所对应的页面。在价格对比结果中显示购买链接,可以直接打开购买链接对应的页面,方便用户进行购买。
可选地,在第五个示例中,根据目标信息执行目标操作,包括:获取评论信息,并根据评论信息对目标信息添加评论得到评论结果。用户在浏览当前界面时,可以对当前界面包含地目标信息添加评论,使得用户评论更加便捷。
步骤203、在当前界面,展示目标操作结果。
可选地,操作控件包括预设展示窗口,在当前界面,展示目标操作结果,包括:确定获取到目标操作对应的目标操作结果,触发显示预设展示窗口;在预设展示窗口展示目标操作结果。
预设展示控件不仅可以用于触发相应地功能,还可以进行结果展示,方便用户浏览。
预设展示控件的大小和位置可以调整,例如,在一种实现方式中,方法还包括:接收对预设展示窗口的大小调整操作和/或位置调整操作;根据调整后的大小和/或位置在当前界面显示预设展示窗口,并在调整后的预设展示窗口中更新目标操作结果的展示。通过调整预设展示窗口的大小,用户可以通过预设展示窗口浏览目标操作结果,通过调整预设展示窗口的位置,可以避免预设展示窗口影响用户对当前界面其他内容的浏览。
可选地,预设展示窗口可以包括至少一个标签页,在预设展示窗口展示目标操作结果,包括:在预设展示窗口中与目标操作对应的标签页展示目标操作结果。不同的标签页显示不同的操作结果,用户切换标签页时,即可看到对应的操作结果,方便用户浏览。
需要说明的是,操作控件还包括悬浮图标,如果用户浏览目标操作结果之后,不想继续查看,则可以将预设展示窗口关闭或者切换为悬浮图标,方法还包括:接收对预设展示窗口的切换操作,将预设展示窗口缩小为悬浮图标;在当前界面的边缘显示悬浮图标。将预设展示窗口切换为悬浮图标后,悬浮图标不影响用户浏览当前界面,而且通过触发悬浮图标也可以实现各种功能,方便用户使用。
结合步骤202中列举的五种操作,对应的,展示的目标操作结果即为执行目标操作对应的目标操作结果。例如,对应步骤202中的第一个示例,当操作控件包括用于指示进行搜索的对象时,目标操作结果包括搜索结果;又如,对应步骤202中的第二个示例,当操作控件包括用于指示进行翻译的对象时,目标操作结果包括翻译结果;再如,对应步骤202中的第三个示例,当操作控件包括用于指示进行记录的对象时,目标操作结果包括可编辑的记录结果,在当前界面,展示目标操作结果,包括:在当前界面展示可编辑的记录结果,并显示至少一个编辑工具选项;再如,对应步骤202中的第四个示例,当操作控件包括用于指示进行价格对比的对象时,目标操作结果包括价格对比结果;再如,对应步骤202中的第五个示例,当操作控件包括用于指示进行评论的对象时,目标操作结果包括评论结果。
需要说明的是,操作控件可以是一个预设展示控件,预设展示控件可以是当前界面中的一个浮层或者窗口,预设展示控件的大小可以调整,不影响用户浏览当前界面。
本发明实施例提供的数据处理方法,触发目标信息对应的操作控件,获取当前界面展示的目标信息;根据目标信息执行目标操作;在当前界面,展示目标操作结果。通过本发明实施例,设备可以获取到当前界面展示的目标信息进行目标操作,获取信息的方式更加灵活,可以实现更多功能。
实施例二
基于上述实施例一描述的数据处理方法,本发明实施例二提供一种数据处理方法,实施例二中以截屏搜索为例进行示例性说明,并不代表本发明局限于此,如图3所示,该方法包括以下步骤:
步骤301、触发对当前界面展示的内容进行截屏搜索时,使用截取框对当前界面展示的内容进行图像截取,得到采集数据。
步骤301是基于实施例一的步骤201中的描述,对“触发目标信息对应的操作控件,对当前界面展示的内容进行采集得到采集数据”在截屏搜索的场景下的进一步详细说明。
此处列举两个具体示例对图像截取进行详细说明:
可选地,在第一个示例中,使用截取框对当前界面展示的内容进行图像截取,得到采集数据,包括:
对当前界面展示的内容进行内容区域检测,使用大小与内容区域的大小相匹配的截取框对检测到的内容区域进行图像截取,得到采集数据。
可选地,在第二个示例中,使用截取框对当前界面展示的内容进行图像截取,得到采集数据,包括:
对当前界面展示的内容进行内容区域检测,并在当前界面中的内容区域展示截取框;根据对截取框的大小调整操作和/或位置调整操作,使用调整后的截取框对检测到的内容区域进行图像截取,得到采集数据。用户通过对截取框进行调整确定要截取的内容,可以更好地满足用户需求,提高用户体验。
如图3A所示,图3A为本发明实施例二提供的一种截图效果示意图,图3A中,在根据用户对展示的操作控件的触发操作,确定对当前界面展示的内容进行截屏搜索时,操作控件可以隐藏,当前界面显示截取框,用户通过拖拽截取框,可以调整截取框的大小和位置,在用户调整好后,可以通过确认操作触发截取完成,电子设备利用截取框进行图像截取;或者,用户可以通过取消操作触发取消截屏。在图3A中,图标“确认”表示确认,图标“取消”表示取消,当然,图3A只是一种示意,并不代表本发明局限于此。
步骤302、调用目标应用对采集数据进行人工智能识别,并根据识别结果获取目标信息。
在本实施例中,采集数据可以包括截屏图像,可以利用图像识别模型对截屏图像进行识别得到识别结果,需要说明的是,本实施例中,识别结果可以包括对截屏图像中的文字进行文字识别后获得的文字,或对截屏图像中的操作控件进行识别后获得的操作控件的相关信息。
步骤303、调用操作控件所属的目标应用对目标信息进行搜索,得到与目标信息对应的搜索结果。
此处步骤303与实施例一中步骤202中第一个示例相同,此处不再赘述。
步骤304、基于当前界面,通过操作控件展示搜索结果。
步骤304与实施例一中步骤203相同,此处不再赘述。
结合3B所示,图3B为本发明实施例二提供的一种搜索的场景示意图,图3B所示的场景是基于实施例二提供的数据处理方法,对步骤202中第一个示例所描述的搜索的一种具体场景示意,结合图3B中的界面1,操作控件展示为一个悬浮图标,即图3B中的圆形图标,用户可以通过对该悬浮图标的触发操作实现搜索,此场景中只是以悬浮图标为例进行示例性说明,并不代表本发明局限于此,该悬浮图标悬浮显示于当前界面之上,当前界面可以是任意一个界面,图3B中的界面1,展示了一道题目,这只是示例性说明,并不代表本发明局限于此;如图3B中的界面2,用户的触发操作可以是点击该悬浮图标,点击该悬浮图标(即触发操作)触发进行搜索,进入图3B中的界面3,即屏幕截取界面;界面3中,虚线框表示截取框,用户可以通过对截取框的拖拽操作调整截取框的位置和大小,需要说明的是,截取框下方可以显示确认和取消按键,当然,确认按键和取消按键是虚拟按键,点击确认按键和取消按键都可以通过触控操作实现,用户通过确认操作可以确认完成对截取框大小、位置的调整,并触发对截取框中的内容进行图像截取;如图3B中的界面4所示,用户的确认操作可以是点击确认按键,如果用户点击取消按键,则取消本次搜索;用户点击确认按键后,电子设备对当前界面中截取框里的内容进行图像截取(也可以称为屏幕截取),并得到截取图像,如图3B中的界面5所示,界面5展示了一个截取图像,界面5以用户截取当前界面中展示的一个题目为例进行示意,并不代表本发明局限于此;电子设备调用操作控件(即悬浮图标)对应的目标应用对截取图像进行图像识别得到识别结果,该识别结果可以包括对截取图像进行文字识别后获得的文字,和/或对图像数据进行目标元素识别后获得的目标元素,在识别结果中提取关键词得到关键信息,基于关键信息进行搜索,结合图3B,截取图像包含一个题目,搜索可以搜索该题目的答案;如图3B中界面6所示,在预设展示窗口展示答案,预设展示窗口悬浮于当前界面,用户可以通过拖拽调整预设展示窗口的大小和位置,不影响用户浏览当前界面的内容。界面1到界面6示例性展示了截屏搜题的过程,因为设置了操作控件,可以使得用户通过触发操作触发对当前界面展示的内容进行采集,打破了在应用程序内部进行数据采集的方式,用户不需要打开应用程序,在浏览任意一个界面时,都可以通过对操作控件的触发操作触发数据采集,进而完成搜索等操作,丰富了电子设备可以实现的功能。当然,此处只是示例性说明,本发明提供的数据处理方法也可以应用于其他场景下。
结合3C所示,图3C为本发明实施例二提供的一种翻译的场景示意图,图3C所示的场景是基于实施例二提供的数据处理方法,对步骤202中第二个示例所描述的翻译的一种具体场景示意,结合图3C中的界面1,操作控件展示为一个预设展示控件,即图3C中界面底部的控件,此场景中只是以预设展示控件为例进行示例性说明,并不代表本发明局限于此,用户可以通过对该预设展示控件的触发操作实现翻译,该预设展示控件悬浮显示于当前界面之上,当前界面可以是任意一个界面,图3C中的界面1,展示了一篇英文,当然,这只是示例性说明,并不代表本发明局限于此;如图3C中的界面2,用户的触发操作可以是点击该预设展示控件中的翻译按键,在本示例中,该翻译按键为虚拟按键,通过触控操作点击该翻译按键,触发进行翻译,翻译之前,先要对当前界面进行截取,如图3C中的界面3,即屏幕截取界面;界面3中,虚线框表示截取框,用户可以通过对截取框的拖拽操作调整截取框的位置和大小,需要说明的是,截取框下方可以显示确认和取消按键,当然,确认按键和取消按键是虚拟按键,点击确认按键和取消按键都可以通过触控操作实现,用户通过确认操作可以确认完成对截取框大小、位置的调整,并触发对截取框中的内容进行图像截取;如图3C中的界面4所示,用户的确认操作可以是点击确认按键,如果用户点击取消按键,则取消本次翻译;用户点击确认按键后,电子设备对当前界面中截取框里的内容进行图像截取(也可以称为屏幕截取),并得到截取图像,如图3C中的界面5所示,界面5展示了一个截取图像,界面5以用户截取当前界面中展示的一篇英文为例进行示意,并不代表本发明局限于此;电子设备调用操作控件(即预设展示控件)对应的目标应用对截取图像进行图像识别得到识别结果,该识别结果可以包括对截取图像进行文字识别后获得的文字,在本示例中,将识别得到的文字作为目标信息,基于目标信息进行翻译,翻译的目标语言可以由用户设定,本示例中以英文翻译为中文进行示例性说明;如图3C中界面6所示,在预设展示控件展示翻译结果,即翻译好的中文,预设展示控件悬浮于当前界面,用户可以通过拖拽调整预设展示控件的大小和位置,不影响用户浏览当前界面的内容。界面1到界面6示例性展示了截屏翻译的过程,因为设置了操作控件,可以使得用户通过触发操作触发对当前界面展示的内容进行采集,打破了在应用程序内部进行数据采集的方式,用户不需要打开应用程序,在浏览任意一个界面时,都可以通过对操作控件的触发操作触发数据采集,进而完成翻译等操作,丰富了电子设备可以实现的功能。当然,此处只是示例性说明,本发明提供的数据处理方法也可以应用于其他场景下。
实施例三
基于上述实施例一描述的数据处理方法,本发明实施例三提供一种数据处理方法,实施例三中以对音频进行记录为例进行示例性说明,并不代表本发明局限于此,如图4所示,该方法包括以下步骤:
步骤401、触发对当前界面展示的内容进行音频处理时,根据截取框对当前界面展示的音频内容进行音频数据截取,得到采集数据。
步骤401是基于实施例一的步骤201中的描述,对“触发目标信息对应的操作控件,对当前界面展示的内容进行采集得到采集数据”在音频搜索的场景下的进一步详细说明。
可选地,根据截取框对当前界面展示的音频内容进行音频数据截取,得到采集数据,包括:
在当前界面中展示截取框;接收用户对截取框的长度调整操作和/或位置调整操作,使用调整后的截取框对当前界面展示的音频内容进行音频数据截取,得到采集数据。
如图4A所示,图4A为本发明实施例三提供的一种音频截取效果示意图,图4A中,截取框的两端分别设置两个可以在时间轴上移动的图标,拖动两端的图标可以改变截取框在时间轴上的位置和时间长度,以此确定截取那一段音频数据。当然,图4A只是示例性说明,并不代表本发明局限于此。
步骤402、调用目标应用对采集数据进行人工智能识别,并根据识别结果获取目标信息。
步骤403、将目标信息转化为可编辑的记录结果。
此处步骤403与实施例一中步骤202中第一个示例相同,此处不再赘述。
步骤404、基于当前界面,通过预设展示控件展示可编辑的记录结果。
步骤404与实施例一中步骤203相同,此处不再赘述。
结合4B所示,图4B为本发明实施例三提供的一种记录的场景示意图,图4B所示的场景是基于本发明实施例三提供的数据处理方法,对步骤202中第三个示例所描述的记录的一种具体场景示意,结合图4B中的界面1,操作控件展示为一个预设展示控件,即图4B中界面底部的控件,此场景中只是以预设展示控件为例进行示例性说明,并不代表本发明局限于此,用户可以通过对该预设展示控件的触发操作实现记录,该预设展示控件悬浮显示于当前界面之上,当前界面可以是任意一个界面,图4B中的界面1是一个音频播放界面,当然,这只是示例性说明,并不代表本发明局限于此;如图4B中的界面2,用户的触发操作可以是点击该预设展示控件中的记录按键,在本示例中,该记录按键为虚拟按键,通过触控操作点击该记录按键,触发进行记录,记录之前,先要对当前界面播放的音频数据进行截取,如图4B中的界面3,两个实心三角形标记表示截取框,分别对应截取的音频数据的起始时刻和终止时刻,用户可以通过对截取框的拖拽操作调整截取框的位置和长度,需要说明的是,截取框下方可以显示确认和取消按键,当然,确认按键和取消按键是虚拟按键,点击确认按键和取消按键都可以通过触控操作实现,用户通过确认操作可以确认完成对截取框大小、长度的调整,并触发对截取框中的内容进行音频数据截取;如图4B中的界面4所示,用户的确认操作可以是点击确认按键,如果用户点击取消按键,则取消本次记录;用户点击确认按键后,电子设备对当前界面中截取框里的内容进行音频数据截取,并得到截取的音频数据;电子设备调用操作控件(即预设展示控件)对应的目标应用对截取的音频数据进行图像识别得到识别结果,该识别结果可以包括对截取的音频数据进行文字识别后获得的文字,在本示例中,将识别得到的文字作为目标信息,基于目标信息进行记录,生成可编辑的记录结果;如图4B中界面5所示,在预设展示控件展示可编辑的记录结果,预设展示控件悬浮于当前界面,用户可以通过拖拽调整预设展示控件的大小和位置,对于可编辑的记录结果,如果预设展示控件太小,用户编辑不方便,可以通过拖拽将其放大,如图4B中界面6所示,将预设展示控件放大后,用户可编辑的区域也比较大,方便用户编辑。通过预设展示控件触发记录,将不可编辑的音频数据转换为可编辑的文字,方便用户编辑,完成记录,丰富了电子设备可以实现的功能。当然,此处只是示例性说明,本发明提供的数据处理方法也可以应用于其他场景下。
在本实施例中,采集数据可以包括截取的音频数据,可以利用音频识别模型对音频数据进行识别得到识别结果,需要说明的是,本实施例中,识别结果可以包括对音频数据进行识别后的文字或音频信息,目标信息包括对音频数据进行目标信息提取后获得的音频目标信息,或将音频数据转换为文字后,对文字进行目标信息提取后获得的文字目标信息。
实施例四
结合上述实施例一至实施例三所描述的数据处理方法,实施例四列举两个具体的应用场景对操作控件进行说明,操作控件可以包括预设展示控件或悬浮图标,当然,此处只是示例性说明,操作控件可以有多种形式,不同形式之间可以进行切换,本对此不做限制。实施例四的两个应用场景中的说明可以用于解释说明实施例一至实施例三所描述的任意一个数据处理方法。
可选地,在第一个应用场景中,以预设展示控件为例,预设展示控件包含至少一个标签页,本发明任一实施例的数据处理方法,还包括:
若检测到对操作控件的目标标签页被触发,则显示目标标签页的内容,操作控件包括至少一个标签页。
如图5A所示,图5A为本发明实施例四提供的一种预设展示控件的标签页效果示意图,一个标签页可以对应一个功能,在用户选择对应标签页时,预设展示控件展示对应的功能显示的结果,即通过对应的操作实现该功能所得到的操作结果。
预设展示控件的大小可以调整,当用户将预设展示控件的高度调整到最小时,预设展示控件只显示几个快捷选项,如图5B所示,图5B为本发明实施例四提供的一种预设展示控件的效果示意图,可以包括最小化、退出、菜单、快捷识屏的选项等。用户点击退出,可以关闭预设展示控件,用户点击快捷识屏,可以进行屏幕识别,用户点击菜单,可以显示至少一个选项,用户通过触控操作选择这些选项,即可实现的对应的功能。如图5C所示,图5C为本发明实施例四提供的一种预设展示控件的显示效果示意图,图5C中,展示了四个选项,即四个功能,一个选项对应一个功能,包括人工智能识别、搜索、翻译、记录、图像上传,与悬浮图标的四个选项对应。
可选地,在用户点击最小化时,可以从预设展示控件切换至悬浮图标,可选地,在一种实现方式中,本发明任一实施例的数据处理方法还包括:
在检测到对预设展示控件的第一切换操作时,将预设展示控件隐藏,并切换为显示悬浮图标。
可选地,在第二个应用场景中,操作控件为悬浮图标,检测到对悬浮图标的触发操作时,显示悬浮图标包括的至少一个选项;若至少一个选项中的目标选项被触发,基于当前界面展示的内容,获取与目标选项相匹配的目标信息。需要说明的是,悬浮图标的至少一个选项可以和预设展示控件的至少一个选项相对应。一个选项对应一个功能,包括人工智能识别、搜索、翻译、记录、图像上传等。
如图6A所示,图6A为本发明实施例四提供的一种悬浮图标的触发效果示意图;图6A中,在用户点击悬浮图标时,悬浮图标周围显示出四个功能选项(即至少一个选项,一个功能选项即为一个选项),当然,图6A是示例说明,也可以有更多的功能选项,用户选择功能选项即可实现对应的功能。用户可以通过单击悬浮图标,触发显示四个功能选项,用户可以通过长按悬浮图标,触发显示四个功能选项。需要说明的是,在一种实现方式中,用户在长按悬浮图标时,还可以通过拖拽移动悬浮图标的位置,如图6B所示,图6B为本发明实施例四提供的一种悬浮图标的移动效果示意图。
可选地,在一种实现方式中,本发明任一实施例的数据处理方法还包括:在检测到用于指示隐藏悬浮图标的操作时,将悬浮图标隐藏于当前界面的边缘。
可选地,指示隐藏悬浮图标的操作可以是将悬浮图标拖拽至当前界面的边缘,在用户将悬浮图标拖拽至当前界面的边缘时,悬浮图标隐藏,如图6C所示,图6C为本发明实施例四提供的一种悬浮图标的隐藏效果示意图,在本发明中,悬浮图标隐藏指的是悬浮图标在当前界面的边缘只显示一部分,不完全显示,可以避免影响用户浏览当前界面的内容,本发明中,悬浮图标隐藏并不是完全不显示悬浮图标。
可选地,在一种实现方式中,本发明任一实施例的数据处理方法还包括:检测操作位置的移动轨迹,根据移动轨迹控制悬浮图标根据移动轨迹显示动态特效。
参照图6D所示,图6D为本发明实施例四提供的一种悬浮图标的动态特效示意图,图6D中,悬浮图标包含一个实心圆点,该实心圆点在悬浮图标中指向用户的操作位置,在用户的操作位置变化时,该实心圆点在悬浮图标中随着用户操作位置的变化而变化,动态特效可以提高使用过程中的用户体验,当然,图6D只是示例性说明,并不代表本发明局限于此。
可选地,在一种实现方式中,本发明任一实施例的数据处理方法还包括:在检测到对悬浮图标的第二切换操作时,将悬浮图标隐藏,并切换为显示预设展示窗口。
第二切换操作可以是用户选择任意一个功能的操作,即用户选择任一功能时,从悬浮图标切换为预设展示控件。
实施例五
结合上述实施例一至实施例四所描述的方法,本发明实施例五提供一种数据处理装置,用于执行上述实施例一至实施例四所描述的方法,参照图7所示,该数据处理装置70包括:
获取模块701,用于触发目标信息对应的操作控件,获取当前界面展示的目标信息;
处理模块702,用于根据目标信息执行目标操作;
显示模块703,用于在当前界面,展示目标操作结果。
可选地,在一种实现方式中,获取模块701,用于触发目标信息对应的操作控件,显示操作控件包括的至少一个选项;接收对至少一个选项中与目标信息匹配的目标选项的触发操作,基于当前界面展示的内容,获取与目标选项相匹配的目标信息。
可选地,在一种实现方式中,操作控件包括预设展示窗口,显示模块703,用于确定获取到目标操作对应的目标操作结果,触发显示预设展示窗口;在预设展示窗口展示目标操作结果。
可选地,在一种实现方式中,预设展示窗口包括至少一个标签页,显示模块703,用于在预设展示窗口中与目标操作对应的标签页展示目标操作结果。
可选地,在一种实现方式中,显示模块703,用于接收对预设展示窗口的大小调整操作和/或位置调整操作;根据调整后的大小和/或位置在当前界面显示预设展示窗口,并在调整后的预设展示窗口中展示目标操作结果。
可选地,在一种实现方式中,显示模块703,用于接收对预设展示窗口的切换操作,将预设展示窗口缩小为悬浮图标;在当前界面的边缘显示悬浮图标。
可选地,在一种实现方式中,处理模块702,用于对目标信息中所指示的目标物品进行价格对比得到目标物品的价格对比结果,目标操作结果包括价格对比结果。
可选地,在一种实现方式中,价格对比结果包括目标物品的至少一个购买链接,显示模块702,用于根据对购买链接的触发操作,显示购买链接所对应的页面。
可选地,在一种实现方式中,处理模块702,用于获取评论信息,并根据评论信息对目标信息添加评论得到评论结果,目标操作结果包括评论结果。
可选地,在一种实现方式中,处理模块702,用于对目标信息进行搜索,得到与目标信息对应的搜索结果,目标操作结果包括搜索结果。
可选地,在一种实现方式中,处理模块702,用于对目标信息进行翻译,得到与目标信息对应的翻译结果,目标操作结果包括翻译结果。
可选地,在一种实现方式中,处理模块702,用于将目标信息转化为可编辑的记录结果,目标操作结果包括可编辑的记录结果;显示模块703,用于在当前界面展示可编辑的记录结果,并显示至少一个编辑工具选项。
可选地,在一种实现方式中,显示模块703,用于触发目标信息对应的操作控件,显示截取框;获取模块701,用于接收对截取框的调整操作;根据调整后的截取框对当前界面展示的内容进行采集得到采集数据;
对采集数据进行人工智能识别,并根据识别结果获取目标信息。
可选地,在一种实现方式中,获取模块701,用于接收对截取框的大小调整操作和/或位置调整操作,对当前界面中与截取框对应的内容区域进行图像截取,得到采集数据。
可选地,在一种实现方式中,获取模块701,用于接收对截取框的长度调整操作和/或位置调整操作,对当前界面中与截取框对应的内容区域进行音频截取,得到采集数据。
可选地,在一种实现方式中,获取模块701,用于对当前界面展示的内容进行内容区域检测,并在当前界面中的内容区域展示截取框;根据对截取框的大小调整操作和/或位置调整操作,使用调整后的截取框对检测到的内容区域进行图像截取,得到采集数据。
可选地,在一种实现方式中,获取模块701,用于触发目标信息对应的操作控件,根据触发的时间在当前界面展示的视频中进行视频帧截取,得到采集数据。
可选地,在一种实现方式中,采集数据包括采集到的图像数据,目标信息包括对图像数据进行文字识别后获得的文字,或对图像数据进行目标元素识别后获得的目标元素。
可选地,在一种实现方式中,采集数据包括采集到的音频数据,目标信息包括对音频数据进行关键信息提取后获得的音频关键信息,或将音频数据转换为文字后,对文字进行关键信息提取后获得的文字关键信息。
可选地,在一种实现方式中,处理模块702,用于调用操作控件所属的目标应用对目标信息执行目标操作,得到目标操作结果。
本发明实施例提供的数据处理装置,触发目标信息对应的操作控件,获取当前界面展示的目标信息;根据目标信息执行目标操作;在当前界面,展示目标操作结果。通过本发明实施例,设备可以获取到当前界面展示的目标信息进行目标操作,获取信息的方式更加灵活,可以实现更多功能。
实施例六
结合上述实施例一至实施例四所描述的方法,本发明实施例六提供一种电子设备,用于执行上述实施例一至实施例四所描述的方法,参照图8所示,图8为本发明实施例六提供的一种电子设备的结构框图。
如图8所示,该电子设备80可以包括:处理器(processor)802、通信接口(Communications Interface)804、存储器(memory)806、以及通信总线808。
其中:
处理器802、通信接口804、以及存储器806通过通信总线808完成相互间的通信。
通信接口804,用于与其它电子设备如终端设备或服务器进行通信。
处理器802,用于执行程序810,具体可以执行上述数据处理方法实施例中的相关步骤。
具体地,程序810可以包括程序代码,该程序代码包括计算机操作指令。
处理器802可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器806,用于存放程序810。存储器806可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序810具体可以用于使得处理器802执行前述实施例一至实施例四所描述的方法。
程序810中各步骤的具体实现可以参见上述数据处理方法实施例中的相应步骤和单元中对应的描述,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
本发明实施例提供的电子设备,触发目标信息对应的操作控件,获取当前界面展示的目标信息;根据目标信息执行目标操作;在当前界面,展示目标操作结果。通过本发明实施例,设备可以获取到当前界面展示的目标信息进行目标操作,获取信息的方式更加灵活,可以实现更多功能。
实施例七、
结合上述实施例一至实施例四所描述的方法,本发明实施例七提供一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明任一实施例所描述的方法。
本发明实施例提供的计算机存储介质,在存储的计算机程序被执行时,触发目标信息对应的操作控件,获取当前界面展示的目标信息;根据目标信息执行目标操作;在当前界面,展示目标操作结果。通过本发明实施例,设备可以获取到当前界面展示的目标信息进行目标操作,获取信息的方式更加灵活,可以实现更多功能。
需要指出,根据实施的需要,可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤,也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤,以实现本发明实施例的目的。
上述根据本发明实施例的方法可在硬件、固件中实现,或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码,或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码,从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解,计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如,RAM、ROM、闪存等),当所述软件或计算机代码被计算机、处理器或硬件访问且执行时,实现在此描述的数据处理方法。此外,当通用计算机访问用于实现在此示出的数据处理方法的代码时,代码的执行将通用计算机转换为用于执行在此示出的数据处理方法的专用计算机。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明实施例的范围。
以上实施方式仅用于说明本发明实施例,而并非对本发明实施例的限制,有关技术领域的普通技术人员,在不脱离本发明实施例的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本发明实施例的范畴,本发明实施例的专利保护范围应由权利要求限定。
Claims (21)
1.一种数据处理方法,包括:
触发目标信息对应的操作控件,获取当前界面展示的所述目标信息;
根据所述目标信息执行目标操作;
在所述当前界面,展示目标操作结果。
2.根据权利要求1所述的方法,其中,所述触发目标信息对应的操作控件,获取当前界面展示的所述目标信息,包括:
触发所述目标信息对应的操作控件,显示所述操作控件包括的至少一个选项;
接收对所述至少一个选项中与所述目标信息匹配的目标选项的触发操作,基于当前界面展示的内容,获取与所述目标选项相匹配的所述目标信息。
3.根据权利要求1或2所述的方法,其中,所述操作控件包括预设展示窗口,所述在所述当前界面,展示目标操作结果,包括:
确定获取到所述目标操作对应的所述目标操作结果,触发显示所述预设展示窗口;
在所述预设展示窗口展示所述目标操作结果。
4.根据权利要求3所述的方法,其中,所述预设展示窗口包括至少一个标签页,所述在所述预设展示窗口展示所述目标操作结果,包括:
在所述预设展示窗口中与所述目标操作对应的标签页展示所述目标操作结果。
5.根据权利要求3所述的方法,其中,所述方法还包括:
接收对所述预设展示窗口的大小调整操作和/或位置调整操作;
根据调整后的大小和/或位置在所述当前界面显示所述预设展示窗口,并在调整后的所述预设展示窗口中更新所述目标操作结果的展示。
6.根据权利要求3所述的方法,其中,所述操作控件包括悬浮图标,所述方法还包括:
接收对所述预设展示窗口的切换操作,将所述预设展示窗口缩小为所述悬浮图标;在所述当前界面的边缘显示所述悬浮图标。
7.根据权利要求1所述的方法,其中,所述根据所述目标信息执行目标操作,包括:
对所述目标信息中所指示的目标物品进行价格对比得到所述目标物品的价格对比结果,所述目标操作结果包括所述价格对比结果。
8.根据权利要求7所述的方法,其中,所述价格对比结果包括所述目标物品的至少一个购买链接;所述方法还包括:
根据对所述购买链接的触发操作,显示所述购买链接所对应的页面。
9.根据权利要求1所述的方法,其中,所述根据所述目标信息执行目标操作,包括:
获取评论信息,并根据所述评论信息对所述目标信息添加评论得到评论结果,所述目标操作结果包括所述评论结果。
10.根据权利要求1所述的方法,其中,所述根据所述目标信息执行目标操作,包括:
对所述目标信息进行搜索,得到与所述目标信息对应的搜索结果,所述目标操作结果包括所述搜索结果。
11.根据权利要求1所述的方法,其中,所述根据所述目标信息执行目标操作,包括:
将所述目标信息转化为可编辑的记录结果,所述目标操作结果包括所述可编辑的记录结果;
在所述当前界面,展示目标操作结果,包括:
在所述当前界面展示所述可编辑的记录结果,并显示至少一个编辑工具选项。
12.根据权利要求7-11所述的方法,其中,所述触发目标信息对应的操作控件,获取当前界面展示的所述目标信息,包括:
触发所述目标信息对应的所述操作控件,显示截取框;
接收对所述截取框的调整操作,根据调整后的所述截取框对所述当前界面展示的内容进行采集得到采集数据;
对所述采集数据进行人工智能识别,并根据识别结果获取所述目标信息。
13.根据权利要求12所述的方法,其中,所述接收对所述截取框的调整操作,根据调整后的所述截取框对所述当前界面展示的内容进行采集得到采集数据,包括:
接收对所述截取框的大小调整操作和/或位置调整操作,对所述当前界面中与所述截取框对应的内容区域进行图像截取,得到所述采集数据。
14.根据权利要求12所述的方法,其中,所述接收对所述截取框的调整操作,根据调整后的所述截取框对所述当前界面展示的内容进行采集得到采集数据,包括:
接收对所述截取框的长度调整操作和/或位置调整操作,对所述当前界面中与所述截取框对应的内容区域进行音频截取,得到所述采集数据。
15.根据权利要求12所述的方法,其中,所述触发目标信息对应的操作控件,获取当前界面展示的所述目标信息,包括:
触发所述目标信息对应的所述操作控件,根据触发的时间在所述当前界面展示的视频中进行视频帧截取,得到所述采集数据。
16.根据权利要求12所述的方法,其中,所述采集数据包括采集到的图像数据,所述目标信息包括对所述图像数据进行文字识别后获得的文字,或对所述图像数据进行目标元素识别后获得的目标元素。
17.根据权利要求12所述的方法,其中,所述采集数据包括采集到的音频数据,所述目标信息包括对所述音频数据进行关键信息提取后获得的音频关键信息,或将所述音频数据转换为文字后,对所述文字进行关键信息提取后获得的文字关键信息。
18.根据权利要求1所述的方法,其中,所述根据所述目标信息执行目标操作,包括:
调用所述操作控件所属的目标应用对所述目标信息执行所述目标操作,得到所述目标操作结果。
19.一种数据处理装置,包括:
获取模块,用于触发目标信息对应的操作控件,获取当前界面展示的所述目标信息;
处理模块,用于根据所述目标信息执行目标操作;
显示模块,用于在所述当前界面,展示目标操作结果。
20.一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-18中任一项所述的数据处理方法对应的操作。
21.一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现如权利要求1-18中任一所述的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010329488.8A CN113552977A (zh) | 2020-04-23 | 2020-04-23 | 数据处理方法、装置、电子设备及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010329488.8A CN113552977A (zh) | 2020-04-23 | 2020-04-23 | 数据处理方法、装置、电子设备及计算机存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113552977A true CN113552977A (zh) | 2021-10-26 |
Family
ID=78129471
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010329488.8A Pending CN113552977A (zh) | 2020-04-23 | 2020-04-23 | 数据处理方法、装置、电子设备及计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113552977A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114546229A (zh) * | 2022-01-14 | 2022-05-27 | 阿里巴巴(中国)有限公司 | 信息处理方法、截屏方法及电子设备 |
CN114596575A (zh) * | 2022-03-09 | 2022-06-07 | 广州小宇宙科技有限公司 | 基于终端设备的搜题方法、设备、***及介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109034115A (zh) * | 2018-08-22 | 2018-12-18 | Oppo广东移动通信有限公司 | 视频识图方法、装置、终端及存储介质 |
KR20190031000A (ko) * | 2017-09-15 | 2019-03-25 | 삼성전자주식회사 | 전자 단말기용 스크린샷 방법 및 스크린샷 장치 |
CN110059207A (zh) * | 2019-04-04 | 2019-07-26 | Oppo广东移动通信有限公司 | 图像信息的处理方法、装置、存储介质及电子设备 |
CN110225387A (zh) * | 2019-05-20 | 2019-09-10 | 北京奇艺世纪科技有限公司 | 一种信息搜索方法、装置及电子设备 |
CN110471599A (zh) * | 2019-08-14 | 2019-11-19 | 广东小天才科技有限公司 | 屏幕取词搜索方法、装置、电子设备和存储介质 |
WO2020048425A1 (zh) * | 2018-09-03 | 2020-03-12 | 聚好看科技股份有限公司 | 一种基于截屏图像生成图标的方法、装置、计算设备及存储介质 |
-
2020
- 2020-04-23 CN CN202010329488.8A patent/CN113552977A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190031000A (ko) * | 2017-09-15 | 2019-03-25 | 삼성전자주식회사 | 전자 단말기용 스크린샷 방법 및 스크린샷 장치 |
CN109034115A (zh) * | 2018-08-22 | 2018-12-18 | Oppo广东移动通信有限公司 | 视频识图方法、装置、终端及存储介质 |
WO2020048425A1 (zh) * | 2018-09-03 | 2020-03-12 | 聚好看科技股份有限公司 | 一种基于截屏图像生成图标的方法、装置、计算设备及存储介质 |
CN110059207A (zh) * | 2019-04-04 | 2019-07-26 | Oppo广东移动通信有限公司 | 图像信息的处理方法、装置、存储介质及电子设备 |
CN110225387A (zh) * | 2019-05-20 | 2019-09-10 | 北京奇艺世纪科技有限公司 | 一种信息搜索方法、装置及电子设备 |
CN110471599A (zh) * | 2019-08-14 | 2019-11-19 | 广东小天才科技有限公司 | 屏幕取词搜索方法、装置、电子设备和存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114546229A (zh) * | 2022-01-14 | 2022-05-27 | 阿里巴巴(中国)有限公司 | 信息处理方法、截屏方法及电子设备 |
CN114546229B (zh) * | 2022-01-14 | 2023-09-22 | 阿里巴巴(中国)有限公司 | 信息处理方法、截屏方法及电子设备 |
CN114596575A (zh) * | 2022-03-09 | 2022-06-07 | 广州小宇宙科技有限公司 | 基于终端设备的搜题方法、设备、***及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10991054B2 (en) | Method and device for acquiring transaction record, and computer readable storage medium | |
US20170193112A1 (en) | Transformation And Presentation Of On-Demand Native Application Crawling Results | |
CN111381751A (zh) | 一种文本处理方法及装置 | |
KR20170014353A (ko) | 음성 기반의 화면 내비게이션 장치 및 방법 | |
KR101855147B1 (ko) | 사용자 선호도 분석 방법 및 그를 위한 디바이스 | |
US11900046B2 (en) | Intelligent feature identification and presentation | |
CN111857508B (zh) | 任务管理方法、装置及电子设备 | |
CN112954046B (zh) | 信息发送方法、信息发送装置和电子设备 | |
US20220375460A1 (en) | Method and apparatus for generating interaction record, and device and medium | |
CN107291465A (zh) | 页面显示方法、装置及存储介质 | |
CN102663055A (zh) | 浏览器导航的实现方法、装置及浏览器 | |
CN112882623B (zh) | 文本处理方法、装置、电子设备及存储介质 | |
CN114610197A (zh) | 一种应用退出时的显示方法及终端 | |
CN113552977A (zh) | 数据处理方法、装置、电子设备及计算机存储介质 | |
CN112817817A (zh) | 埋点信息查询方法、装置、计算机设备和存储介质 | |
CN111401323A (zh) | 文字翻译方法、装置、存储介质及电子设备 | |
CN110580486A (zh) | 一种数据处理方法、装置、电子设备和可读介质 | |
CN114816180A (zh) | 一种内容浏览引导方法、装置、电子设备和存储介质 | |
CN113099033A (zh) | 信息发送方法、信息发送装置和电子设备 | |
KR20150097250A (ko) | 태그 정보를 이용한 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체 | |
CN112689177B (zh) | 一种实现快速交互的方法及显示设备 | |
US20230351091A1 (en) | Presenting Intelligently Suggested Content Enhancements | |
CN111796736B (zh) | 应用程序的分享方法、装置和电子设备 | |
CN113434073A (zh) | 活动窗口的控制方法、装置、电子设备及可读存储介质 | |
CN112286613A (zh) | 界面显示方法及界面显示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |