CN110059207A - 图像信息的处理方法、装置、存储介质及电子设备 - Google Patents

图像信息的处理方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN110059207A
CN110059207A CN201910272638.3A CN201910272638A CN110059207A CN 110059207 A CN110059207 A CN 110059207A CN 201910272638 A CN201910272638 A CN 201910272638A CN 110059207 A CN110059207 A CN 110059207A
Authority
CN
China
Prior art keywords
image
information
voice messaging
current display
display interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910272638.3A
Other languages
English (en)
Inventor
黄千洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910272638.3A priority Critical patent/CN110059207A/zh
Publication of CN110059207A publication Critical patent/CN110059207A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例公开一种图像信息的处理方法、装置、存储介质及电子设备,其中,本申请实施例通过获取语音信息,根据语音信息的语义生成截图指令;根据截图指令截取当前显示界面的图像以得到目标图像;提取出目标图像的特征参数,根据特征参数确定出目标图像对应的展示信息;将展示信息显示至当前显示界面上。以此通过获取语音信息直接在当前显示界面上显示与当前显示界面的图像相关的展示信息,操作快捷,提高了图像信息的处理效率。

Description

图像信息的处理方法、装置、存储介质及电子设备
技术领域
本申请涉及信息处理领域,尤其涉及一种图像信息的处理方法、装置、存储介质及电子设备。
背景技术
随着电子技术的发展,网络购物已经成为一种热门的新型购物方式,由于网络购物中商品的多样性和网络购物的便捷性,网络购物已经成为越来越多用户的选择,用户可以通过商品的关键词或者商品的图像在网络购物的服务器中搜索到相关的商品信息,从而快速的买到合适的商品。
但是,目前在网络购物过程中通过商品图像获取到相关的商品信息时,往往需要先手动截取或从网络上下载该商品图像,然后通过相关的图像上传接口将该商品图像上传至网络购物的后台服务器进行搜索,才能得到相关的商品信息,操作过程繁琐,导致处理的效率低。
发明内容
本申请实施例提供了一种图像信息的处理方法、装置、存储介质及电子设备,可以减少通过图像查找商品信息的步骤,从而提高图像信息的处理效率。
第一方面,本申请实施例提供了一种图像信息的处理方法,包括:
获取语音信息,根据所述语音信息的语义生成截图指令;
根据截图指令截取当前显示界面的图像以得到目标图像;
提取出所述目标图像的特征参数,根据所述特征参数确定出所述目标图像对应的展示信息;
将所述展示信息显示至所述当前显示界面上。
第二方面,本申请实施例提供了一种图像信息的处理装置,包括:
获取模块,用于获取语音信息,根据所述语音信息的语义生成截图指令;
截取模块,用于根据截图指令截取当前显示界面的图像以得到目标图像;
确定模块,用于提取出所述目标图像的特征参数,根据所述特征参数确定出所述目标图像对应的展示信息;
显示模块,用于将所述展示信息显示至所述当前显示界面上。
第三方面,本申请实施例提供的存储介质,其上存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如本申请任一实施例提供的所述图像信息的处理方法。
第四方面,本申请实施例提供的电子设备,包括处理器和存储器,所述存储器有计算机程序,所述处理器通过调用所述计算机程序,用于执行如本申请任一实施例提供的所述图像信息的处理方法。
本申请实施例通过获取语音信息,根据所述语音信息的语义生成截图指令;根据截图指令截取当前显示界面的图像以得到目标图像;提取出所述目标图像的特征参数,根据所述特征参数确定出所述目标图像对应的展示信息;将所述展示信息显示至所述当前显示界面上。以此通过语音信息直接在当前显示界面上显示展示信息,操作快捷,提高了图像信息的处理效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的图像信息的处理方法的流程示意图。
图2为本申请实施例提供的图像信息的处理方法的另一流程示意图。
图3为本申请实施例提供的图像信息的处理方法的应用场景示意图。
图4为本申请实施例提供的图像信息的处理方法的另一应用场景示意图。
图5为本申请实施例提供的图像信息的处理装置的模块示意图。
图6为本申请实施例提供的图像信息的处理装置的另一模块示意图。
图7为本申请实施例提供的电子设备的结构示意图。
图8为本申请实施例提供的电子设备的另一结构示意图。
具体实施例
请参照图式,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
本文所使用的术语「模块」可看做为在该运算***上执行的软件对象。本文该的不同组件、模块、引擎及服务可看做为在该运算***上的实施对象。而本文该的装置及方法优选的以软件的方式进行实施,当然也可在硬件上进行实施,均在本申请保护范围之内。
本申请实施例提供一种图像信息的处理方法,该图像信息的处理方法的执行主体可以是本申请实施例提供的图像信息的处理装置,或者集成了该图像信息的处理装置的电子设备,其中该图像信息的处理装置可以采用硬件或者软件的方式实现。其中,电子设备可以是智能手机、平板电脑、掌上电脑(PDA,Personal Digital Assistant)等。
请参阅图1,图1为本申请实施例所提供的图像信息的处理方法的流程示意图,该图像信息的处理方法可以包括以下步骤:
在步骤S101中,获取语音信息,根据语音信息的语义生成截图指令。
其中,获取用户的语音信息,并对该语音信息的语义进行分析,当该语音信息的语义满足预设条件时,生成截图指令。例如,用户输入的语音信息为“这个东西多少钱”或者“这个多贵”,电子设备对该语音信息的语义进行分析以得到该语音信息为询问购买的语义,此时该语音信息的语义满足预设条件时,根据该语音信息的语义生成截图指令。
在一些实施方式中,获取语音信息,根据该语音信息的语义生成截图指令的步骤,可以包括:
(1)启动语音助手,获取语音信息,并分析语音信息的语义;
(2)当分析到该语音信息的语义中包括预设关键词时,生成截图指令。
其中,当接收到语音助手的启动指令时,启动语音助手,通过语音助手接收用户的语音信息,如用户输入的语音信息为“这个东西多少钱”,对上述语音信息的语义进行分析以得到上述语音信息为购买、价格相关的语义,当分析到该语音信息的语义中包括预设关键词如钱、价格、多少钱、多贵、买、卖等相关关键词时,生成截图指令。
在步骤S102中,根据截图指令截取当前显示界面的图像以得到目标图像。
其中,根据截图指令可以直接截取当前显示界面的图像,以得到包含当前整个屏幕显示内容的目标图像,或者生成截图指令后接收用户对屏幕的触摸指令,根据触摸指令选取当前显示界面的目标区域,并截取当前显示界面中目标区域的显示内容以得到目标图像。进一步的,目标图像的格式可以为联合照片专家组(Joint Photographic ExpertGroup,JPEG)或者绘图交换文件(Drawing Exchange Format,DXF)等等格式。
在一些实施方式中,根据截图指令截取当前显示界面的图像以得到目标图像的步骤,之后还可以包括:在当前显示界面上显示该目标图像,并可以对目标图像进行预设操作,例如分享该目标图像、保存或删除该目标图像等等,需要说明的是,获取该目标图像后该目标图像可以是以缓存的方式保存在该终端内,在用户选择删除该目标图像后,该目标图像被删除不再进行后续的图像信息的处理步骤。
在步骤S103中,提取出目标图像的特征参数,根据特征参数确定出目标图像对应的展示信息。
其中,可以利用卷积神经网络(Convolutional Neural Networks,CNN)提取出目标图像的全局特征和局部特征,并根据全局特征和局部特征确定出目标图像的展示信息。进一步的,全局特征是指图像的整体属性,常见的全局特征包括颜色特征、纹理特征和形状特征。局部特征则是从图像局部区域中抽取的特征,包括边缘、角点、线、曲线和特别属性的区域等。常见的局部特征包括角点类和区域类两大类描述方式。例如,目标图像为带有特殊黑色花纹的白色衣服,根据该目标图像的全局特征可以搜索出带有各式黑色花纹的白色衣服图像,此时搜索的图像中的黑色花纹并非准确的为目标图像中的特殊黑色花纹,仅根据全局特征进行图像搜索会导致搜索结果不准确,但是将特征参数结合了局部特征,即结合了特殊黑色花纹的线条特征后,便能准确的匹配出带有特殊黑色花纹的白色衣服的图像,从而提高图像的搜索的准确率。
进一步的,该展示信息可以为目标图像相应的商品信息或者是物体详情信息等等,结合局部特征和全局特征在网络上查找出相应的物体对应的商品信息或者物体详情信息作为展示信息。
在步骤S104中,将展示信息显示至当前显示界面上。
其中,可以将展示信息以及目标图像一同显示至该当前显示界面上,例如,可以将展示信息覆盖至目标图像上进行显示,或者将展示信息和目标图像分别按照一定比例显示至当前显示界面的不同显示区域。
在一些实施方式中,将展示信息显示至该当前显示界面上的步骤,可以包括:
(1)将该目标图像按预设比例缩小,将缩小后的目标图像显示至当前显示界面的第一显示区域;
(2)将该展示信息显示至该当前显示界面的第二显示区域。
其中,具体的可以将目标图像按预设比例进行缩小,例如缩小至原图像的二分之一,或者按照第一显示区域的面积自适应进行目标图像的缩小,使得将完整的目标图像显示在当前显示界面的第一显示区域,并将缩小后的目标图像显示至当前显示界面的第一显示区域。同时,将获取的目标图像相应的商品信息或者是物体详情信息等相关的展示信息显示至当前显示界面的第二显示区域。
由上可知,本申请实施例提供的图像信息的处理方法,通过获取语音信息,根据该语音信息的语义生成截图指令;根据截图指令截取当前显示界面的图像以得到目标图像;提取出该目标图像的特征参数,根据该特征参数确定出该目标图像对应的展示信息;将该展示信息显示至该当前显示界面上。以此通过获取语音信息直接在当前显示界面上显示与当前显示界面的图像相关的展示信息,操作快捷,从而提高了图像信息的处理效率。
根据上述实施例所描述的方法,以下将举例进一步详细说明。
请参阅图2,图2为本申请实施例提供的图像信息的处理方法的另一流程示意图。并请一同参阅图3和图4,图3为本申请实施例提供的图像信息的处理方法的应用场景示意图,图4为本申请实施例提供的图像信息的处理方法的另一应用场景示意图。具体而言,该图像信息的处理方法包括:
在步骤S201中,启动语音助手,获取语音信息,并分析语音信息的语义。
其中,如图3中当前显示界面的第一显示内容1所示,用户在通过移动终端浏览相关图片信息时,在浏览到某一图片并想知道该图片信息中物体的商品信息的情况时,可以直接启动语音助手10,通过语音助手10获取相关的商品信息,例如用户想知道当前显示界面的第一显示内容1中的马克杯的商品信息时,可以直接启动语音助手10,并说出“这个杯子多少钱”等相关语音信息,语音助手便可对该马克杯的图像进行搜索以得到相关的商品信息。
具体的,当语音助手10在接收到语音助手10的启动指令时,启动语音助手10,该语音助手10以预设的图标显示至当前显示界面上或者该语音助手10也可以在后台运行不显示至当前显示界面,通过该语音助手10获取用户输入的语音信息,并分析该语音信息的语义。例如,用户输入的语音信息为“这个多少钱”,可以分析出该语音信息的语义与购买、价格相关。其中,语言助手10的启动指令的生成方式可以包括长按功能键、长按屏幕或者接收到预设启动语音时生成语音助手启动指令。
在步骤S202中,当分析到语音信息的语义中包括预设关键词时,生成截图指令。
其中,当分析到语音信息中的语义包括与购买和价格相关的预设关键词时,生成截图指令。该预设关键词可以为多贵、多少钱、买、卖等关键词。例如,用户输入的语音信息为“这个东西多少钱”,可以分析出该语音信息的语义中包括预设关键词“多少钱”,此时判定为该语音信息的语义中包括预设关键词,故可根据语音信息生成截图指令。
在步骤S203中,根据截图指令截取当前显示界面的图像以得到截图图像。
其中,根据截图指令可以直接截取当前显示界面的图像,以得到包含当前整个屏幕显示内容的截图图像,或者生成截图指令后接收用户对屏幕的触摸指令,根据触摸指令选取当前显示界面的目标区域,并截取当前显示界面中目标区域的显示内容以得到截图图像。进一步的,截图图像的格式可以为联合照片专家组或者绘图交换文件等等格式。此时,当执行根据截图指令截取当前显示界面的图像以得到截图图像的过程时,当前显示界面的显示内容变成如图3所示的当前显示界面的第二显示内容2,即当前显示界面的显示内容为该截图图像。
在一些实施方式中,根据截图指令截取当前显示界面的图像以得到截图图像的步骤,之后还包括:接收用户的选定指令,根据选定指令确定出目标图像,并直接执行步骤S208。例如,获取用户对截图图像的框选指令,根据该指令所对应的选取框的位置信息确定出目标图像。
在一些实施方式中,根据截图指令截取当前显示界面的图像以得到截图图像的步骤,还包括:当截图失败时,在预设时间后重新自动生成截图指令,并根据截图指令重新截取当前显示界面的图像以得到截图图像。进一步的,记录截图失败的次数,当截图失败的次数大于预设值时,关闭语音助手结束该图像信息处理的步骤。例如,当截图失败时,在1秒后自动生成截图指令,根据该截图指令重新截取当前显示界面的图像以得到截图图像。另外当截图失败的次数大于5次后,结束截图并关闭语音助手以结束该图像信息的处理步骤。
在步骤S204中,对截图图像进行图像分割,生成多个子分割图像。
其中,可以对该截图图像进行物体检测,根据不同物体对应的特征参数确定出该截图图像中的一个或多个物体,并生成相应的物体框,根据该物体框对截图图像进行图像分割,生成含有不同物体的多个子分割图像。
在步骤S205中,对多个子分割图像进行物体检测,以确定每一子分割图像相应的物体信息。
其中,对多个子分割图像进行物体检测,通过卷积神经网络提取出每一子分割图像的特征参数,根据特征参数确定出每一子分割图像的物体信息。
在步骤S206中,当检测到语音信息的语义中包括物体信息,根据物体信息从多个子分割图像中确定出相应的目标分割图像。
其中,对语音信息进行语义分析时,当检测到语音信息的语义中包括物体信息时,则根据物体信息从上述多个子分割图像中确定出目标分割图像。例如,获取的语音信息为“这个杯子多少钱”,可以检测到该语音信息的语义中包括“杯子”这个物体信息,此时可以确定杯子为截图图像的目标物体信息,获取子分割图像中物体信息为杯子的子分割图像为目标分割图像。
在步骤S207中,将目标分割图像作为目标图像。
其中,将确定的含有目标物体信息的目标分割图像作为目标图像,以节省处理的时间。
在步骤S208中,提取出目标图像的特征参数,根据特征参数确定出目标图像对应的展示信息。
其中,为了更好的说明本申请,该展示信息以商品信息为例进行说明,提取出目标图像的全局特征和局部特征,并根据全局特征和局部特征确定出目标图像的展示信息。例如,提取出马克杯该目标图像的颜色特征、相关花纹特征和杯子形状特征作为全局特征,提取出马克杯中花纹线条走向特征以及线条交叉点特征作为局部特征,并根据颜色特征、相关花纹特征、杯子形状特征、花纹线条走向特征以及线条交叉点特征从网络服务器端搜索确定出相应的一个或多个与该颜色特征、相关花纹特征、杯子形状特征、花纹线条走向特征以及线条交叉点特征相似的商品信息,具体的,该商品信息在搜索时如图4中当前显示界面的第三显示内容3的所示,需要进行短时间的信息加载,且此时目标图像以预设比例缩小后显示至当前显示界面的第一显示区域20。
在一些实施方式中,根据特征参数确定出目标图像对应的展示信息的步骤之后,还包括:当根据特征参数无法确定出相应的展示信息时,通过语音助手生成提示消息;在当前显示界面生成相应的选定框,接收用户对该选定框的调整,以得到目标选定框;获取目标选定框的位置信息,根据该位置信息重新确定目标图像,并返回执行步骤S208以重新生成展示信息。
在步骤S209中,将目标图像按预设比例缩小,将缩小后的目标图像显示至当前显示界面的第一显示区域。
其中,如图4当前显示界面的第三显示内容3所示,在步骤S207确定目标图像后,可以将目标图像按预设比例缩小,并将缩小后的目标图像显示至当前显示界面的第一显示区域20,例如,将目标图像缩小至原图像大小的三分之一,将缩小后的目标图像显示至当前显示界面的第一显示区域20。
在步骤S210中,根据用户的购买记录信息、商品的评价信息、商品价格信息或商品销量信息对展示信息进行排序处理。
其中,如图4中当前显示界面的第四显示内容4所示,通过相应的排序算法根据用户的购买记录、商品评价信息或商品销量信息对商品信息进行排序处理,例如,根据用户的购买记录将用户购买过的商品优先排在商品信息的前列,或者根据评价信息,将评价高的商品排在商品信息的前列,又或者将销量高的商品优先排至该商品信息的前列。
在一些实施方式中,还可以结合商品的价格信息、商品的商家地点信息或优惠信息对商品信息进行排序,例如,将距离最近的商家的商品排在该商品信息的前列,或者将按照商品价格将价格低的商品信息排在该商品信息的前列,又或者将优惠力度最大的商品信息优先排在该商品信息的前列。
在步骤S211中,将排序后的商品信息显示至当前显示界面的第二显示区域。
其中,如图4中当前显示界面的第四显示内容4所示,将排序后的多条商品信息依次显示在当前显示界面的第二显示区域30,具体的,显示的商品信息的内容可以包括商品图像、商品价格、商品名称或销量等等。进一步的,用户可以通过点击当前显示界面的第二显示区域30的商品信息获取到该商品的购买信息,以完成该商品的购买。
在一些实施方式中,将排序后的商品信息显示至当前显示界面的第二显示区域的步骤之后,还包括:接收用户对屏幕的滑动动作,以生成信息滑动指令,根据该信息滑动指令控制当前显示界面的第二显示区域显示不同的商品信息。例如,当用户在第二显示区域手指向上滑动时,此时该第二显示区域显示的商品信息更新为新的商品信息,以便用户的对新的商品信息的查阅。
由上可知,本申请实施例提供的图像信息的处理方法,通过获取语音信息,根据该语音信息的语义生成截图指令;根据截图指令截取当前显示界面的图像以得到目标图像;提取出该目标图像的特征参数,根据该特征参数确定出该目标图像对应的展示信息;将该展示信息显示至该当前显示界面上。以此通过获取语音信息直接在当前显示界面上显示与当前显示界面的图像相关的展示信息,操作快捷,提高了图像信息的处理效率。
为便于更好的实施本申请实施例提供的图像信息的处理方法,本申请实施例还提供一种基于上述图像信息的处理方法的装置。其中名词的含义与上述图像信息的处理方法中相同,具体实现细节可以参考方法实施例中的说明。
请参阅图5,图5为本申请实施例提供的图像信息的处理装置的模块示意图。具体而言,该图像信息的处理装置300,包括:获取模块31、截取模块32、确定模块33和显示模块34。
获取模块31,用于获取语音信息,根据该语音信息的语义生成截图指令。
其中,获取模块31通过获取用户的语音信息,并对该语音信息的语义进行分析,当该语音信息的语义满足预设条件时,生成截图指令。例如,用户输入的语音信息为“这个东西多少钱”或者“这个多贵”,电子设备对该语音信息的语义进行分析以得到该语音信息为询问购买的语义,此时根据该语音信息的语义生成截图指令。
截取模块32,用于根据截图指令截取当前显示界面的图像以得到目标图像。
其中,截取模块32根据截图指令可以直接截取当前显示界面的图像,以得到包含当前整个屏幕显示内容的目标图像;或者生成截图指令后接收用户对屏幕的触摸指令,根据触摸指令选取当前显示界面的目标区域,并截取当前显示界面中目标区域的显示内容以得到目标图像。进一步的,目标图像的格式可以为联合照片专家组或者绘图交换文件等等格式。
确定模块33,用于提取出该目标图像的特征参数,根据该特征参数确定出该目标图像对应的展示信息。
其中,确定模块33可以利用卷积神经网络提取出目标图像的全局特征和局部特征,并根据全局特征和局部特征确定出目标图像的展示信息。进一步的,全局特征是指图像的整体属性,常见的全局特征包括颜色特征、纹理特征和形状特征。局部特征则是从图像局部区域中抽取的特征,包括边缘、角点、线、曲线和特别属性的区域等。常见的局部特征包括角点类和区域类两大类描述方式。
例如,目标图像为带有特殊黑色花纹的白色衣服,根据该目标图像的全局特征可以搜索出带有各式黑色花纹的白色衣服图像,此时搜索的图像中的黑色花纹并非准确的为目标图像中的特殊黑色花纹,仅根据全局特征进行图像搜索会导致搜索结果不准确,但是将特征参数结合了局部特征,即结合了特殊黑色花纹的线条特征后,便能准确的匹配出带有特殊黑色花纹的白色衣服的图像,从而提高图像的搜索的准确率。
显示模块34,用于将该展示信息显示至该当前显示界面上。
其中,显示模块34可以用于将展示信息以及目标图像一同显示至该当前显示界面上。
在一些实施方式中,请参阅图6,图6为本申请实施例提供的图像信息的处理装置的另一模块示意图。该图像信息的处理装置300的获取模块31,包括:获取子模块311和分析子模块312。
获取子模块311,用于启动语音助手,获取语音信息,并分析该语音信息的语义。
其中,获取子模块311用于当接收到语音助手的启动指令时,启动语音助手,在预设时间内获取用户的语音信息,并分析该语音信息的语义,例如,当接收到语音助手的启动语音时,启动语音助手,获取启动语音助手后的30秒的时间内语音信息,并分析该语音信息的语义。
分析子模块312,用于当分析到该语音信息的语义中包括预设关键词时,生成截图指令。
其中,分析子模块312用于当分析到该语音信息的语义中包括预设关键词时,生成截图指令。例如该语音信息为“这个东西的价格”,当分析到该语音信息的语义中包括预设关键词“价格”,此时根据语音信息的语义生成截图指令。
在一些实施方式中,该截取模块32具体用于根据截图指令截取当前显示界面的图像以得到截图图像;对截图图像进行图像分割,生成多个子分割图像,并确定出该子分割图像中的目标分割图像;将该目标分割图像作为目标图像。
在一些实施方式中,该确定模块33具体用于对该多个子分割图像进行物体检测,以确定每一子分割图像相应的物体信息;当检测到该语音信息的语义中包括该物体信息时,根据该物体信息从该多个子分割图像中确定出相应的目标分割图像。
在一些实施方式中,该显示模块33具体用于将该目标图像按预设比例缩小,将缩小后的目标图像显示至该当前显示界面的第一显示区域;将该展示信息显示至该当前显示界面的第二显示区域。
在一些实施方式中,在将该展示信息显示至该当前显示界面的第二显示区域时,该显示模块33还用于根据用户的购买记录信息、商品的评价信息、商品价格信息或商品销量信息对该商品信息进行排序处理;将排序后的商品信息显示至该当前显示界面的第二显示区域。
由上可知,本申请实施例提供的图像信息的处理装置,获取模块31通过获取语音信息,根据该语音信息的语义生成截图指令;截取模块32根据截图指令截取当前显示界面的图像以得到目标图像;确定模块33提取出该目标图像的特征参数,根据该特征参数确定出该目标图像对应的展示信息;显示模块34将该展示信息显示至该当前显示界面上。以此通过获取语音信息直接在当前显示界面上显示与当前显示界面的图像相关的展示信息,操作快捷,提高了图像信息的处理效率。
根据上述实施例所描述图像信息的处理方法,以下将举例进一步详细说明。
本申请实施例还提供一种电子设备。请参阅图7,电子设备500包括处理器501以及存储器502。其中,处理器501与存储器502电性连接。
该处理器500是电子设备500的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或加载存储在存储器502内的计算机程序,以及调用存储在存储器502内的数据,执行电子设备500的各种功能并处理数据,从而对电子设备500进行整体监控。
该存储器502可用于存储软件程序以及模块,处理器501通过运行存储在存储器502的计算机程序以及模块,从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器502可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器502还可以包括存储器控制器,以提供处理器501对存储器502的访问。
在本申请实施例中,电子设备500中的处理器501会按照如下的步骤,将一个或一个以上的计算机程序的进程对应的指令加载到存储器502中,并由处理器501运行存储在存储器502中的计算机程序,从而实现各种功能,如下:获取语音信息,根据该语音信息的语义生成截图指令;
根据截图指令截取当前显示界面的图像以得到目标图像;
提取出该目标图像的特征参数,根据该特征参数确定出该目标图像对应的展示信息;
将该展示信息显示至该当前显示界面上。
在一些实施方式中,当获取语音信息,根据该语音信息的语义生成截图指令时,处理器501可以具体执行以下步骤:
启动语音助手,获取语音信息,并分析该语音信息的语义;
当分析到该语音信息的语义中包括预设关键词时,生成截图指令。
在一些实施方式中,当根据截图指令截取当前显示界面的图像以得到目标图像时,处理器501可以具体执行以下步骤:
根据截图指令截取当前显示界面的图像以得到截图图像;
对截图图像进行图像分割,生成多个子分割图像,并确定出该子分割图像中的目标分割图像;
将该目标分割图像作为目标图像。
在一些实施方式中,当确定出该子分割图像中的目标分割图像时,处理器501可以具体执行以下步骤:
对该多个子分割图像进行物体检测,以确定每一子分割图像相应的物体信息;
当检测到该语音信息的语义中包括该物体信息时,根据该物体信息从该多个子分割图像中确定出相应的目标分割图像。
在一些实施方式中,当将该展示信息显示至该当前显示界面上时,处理器501可以具体执行以下步骤:
将该目标图像按预设比例缩小,将缩小后的目标图像显示至该当前显示界面的第一显示区域;
将该展示信息显示至该当前显示界面的第二显示区域。
在一些实施方式中,当展示信息包括商品信息,该将该展示信息显示至该当前显示界面的第二显示区域时,处理器501可以具体执行以下步骤:
根据用户的购买记录信息、商品的评价信息、商品价格信息或商品销量信息对该展示信息进行排序处理;
将排序后的商品信息显示至该当前显示界面的第二显示区域。
由上可知,本申请实施例提供的电子设备,通过获取语音信息,根据语音信息的语义生成截图指令;根据截图指令截取当前显示界面的图像以得到目标图像;提取出目标图像的特征参数,根据特征参数确定出目标图像对应的展示信息;将展示信息显示至当前显示界面上。以此通过获取语音信息直接在当前显示界面上显示与当前显示界面的图像相关的展示信息,操作快捷,提高了图像信息的处理效率。
请一并参阅图8,在某些实施方式中,电子设备500还可以包括:显示器503、射频电路504、音频电路505以及电源506。其中,其中,显示器503、射频电路504、音频电路505以及电源506分别与处理器501电性连接。
该显示器503可以用于显示由用户输入的信息或提供给用户的信息以及各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示器503可以包括显示面板,在某些实施方式中,可以采用液晶显示器(Liquid CrystalDisplay,LCD)、或者有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板。
该射频电路504可以用于收发射频信号,以通过无线通信与网络设备或其他电子设备建立无线通讯,与网络设备或其他电子设备之间收发信号。
该音频电路505可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。
该电源506可以用于给电子设备500的各个部件供电。在一些实施例中,电源506可以通过电源管理***与处理器501逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
尽管图8中未示出,电子设备500还可以包括摄像头、蓝牙模块等,在此不再赘述。
本申请实施例还提供一种存储介质,该存储介质存储有计算机程序,当该计算机程序在计算机上运行时,使得该计算机执行上述任一实施例中的图像信息的处理方法,比如:获取语音信息,根据该语音信息的语义生成截图指令;根据截图指令截取当前显示界面的图像以得到目标图像;提取出该目标图像的特征参数,根据该特征参数确定出该目标图像对应的展示信息;将该展示信息显示至该当前显示界面上。
在本申请实施例中,存储介质可以是磁碟、光盘、只读存储器(Read Only Memory,ROM,)、或者随机存取记忆体(Random Access Memory,RAM)等。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
需要说明的是,对本申请实施例的图像信息的处理方法而言,本领域普通测试人员可以理解实现本申请实施例的图像信息的处理方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,如存储在电子设备的存储器中,并被该电子设备内的至少一个处理器执行,在执行过程中可包括如图像信息的处理方法的实施例的流程。其中,该的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。
对本申请实施例的图像信息的处理装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。该集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,该存储介质譬如为只读存储器,磁盘或光盘等。
以上对本申请实施例所提供的一种图像信息的处理方法、装置、存储介质及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像信息的处理方法,其特征在于,包括:
获取语音信息,根据所述语音信息的语义生成截图指令;
根据截图指令截取当前显示界面的图像以得到目标图像;
提取出所述目标图像的特征参数,根据所述特征参数确定出所述目标图像对应的展示信息;
将所述展示信息显示至所述当前显示界面上。
2.根据权利要求1所述的方法,其特征在于,所述获取语音信息,根据所述语音信息的语义生成截图指令的步骤,包括:
启动语音助手,获取语音信息,并分析所述语音信息的语义;
当分析到所述语音信息的语义中包括预设关键词时,生成截图指令。
3.根据权利要求1或2所述的方法,其特征在于,所述根据截图指令截取当前显示界面的图像以得到目标图像的步骤,包括:
根据截图指令截取当前显示界面的图像以得到截图图像;
对截图图像进行图像分割,生成多个子分割图像,并确定出所述子分割图像中的目标分割图像;
将所述目标分割图像作为目标图像。
4.根据权利要求3所述的方法,其特征在于,所述确定出所述子分割图像中的目标分割图像的步骤,包括:
对所述多个子分割图像进行物体检测,以确定每一子分割图像相应的物体信息;
当检测到所述语音信息的语义中包括所述物体信息时,根据所述物体信息从所述多个子分割图像中确定出相应的目标分割图像。
5.根据权利要求1所述的方法,其特征在于,所述将所述展示信息显示至所述当前显示界面上的步骤,包括:
将所述目标图像按预设比例缩小,将缩小后的目标图像显示至所述当前显示界面的第一显示区域;
将所述展示信息显示至所述当前显示界面的第二显示区域。
6.根据权利要求5所述的方法,其特征在于,所述展示信息包括商品信息,所述将所述展示信息显示至所述当前显示界面的第二显示区域的步骤,包括:
根据用户的购买记录信息、商品的评价信息、商品价格信息或商品销量信息对所述商品信息进行排序处理;
将排序后的商品信息显示至所述当前显示界面的第二显示区域。
7.一种图像信息的处理装置,其特征在于,包括:
获取模块,用于获取语音信息,根据所述语音信息的语义生成截图指令;
截取模块,用于根据截图指令截取当前显示界面的图像以得到目标图像;
确定模块,用于提取出所述目标图像的特征参数,根据所述特征参数确定出所述目标图像对应的展示信息;
显示模块,用于将所述展示信息显示至所述当前显示界面上。
8.根据权利要求7所述的装置,其特征在于,所述获取模块,包括:
获取子模块,用于启动语音助手,获取语音信息,并分析所述语音信息的语义;
分析子模块,用于当分析到所述语音信息的语义中包括预设关键词时,生成截图指令。
9.一种存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在计算机上运行时,使得所述计算机执行如权利要求1所述的图像信息的处理方法。
10.一种电子设备,包括处理器和存储器,所述存储器有计算机程序,其特征在于,所述处理器通过调用所述计算机程序,用于执行如权利要求1所述的图像信息的处理方法。
CN201910272638.3A 2019-04-04 2019-04-04 图像信息的处理方法、装置、存储介质及电子设备 Pending CN110059207A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910272638.3A CN110059207A (zh) 2019-04-04 2019-04-04 图像信息的处理方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910272638.3A CN110059207A (zh) 2019-04-04 2019-04-04 图像信息的处理方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN110059207A true CN110059207A (zh) 2019-07-26

Family

ID=67318383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910272638.3A Pending CN110059207A (zh) 2019-04-04 2019-04-04 图像信息的处理方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN110059207A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111128139A (zh) * 2019-12-18 2020-05-08 苏州思必驰信息科技有限公司 无侵入式语音测试方法及装置
CN112287691A (zh) * 2020-11-10 2021-01-29 深圳市天彦通信股份有限公司 会议录音方法及相关设备
CN112702638A (zh) * 2019-10-23 2021-04-23 阿里巴巴集团控股有限公司 信息的处理方法、装置、***和视频播放设备的控制方法
CN113296722A (zh) * 2021-04-17 2021-08-24 中天智领(北京)科技有限公司 显示一体机的控制方法、装置、计算机存储介质及显示一体机
CN113542206A (zh) * 2020-11-27 2021-10-22 腾讯科技(深圳)有限公司 一种图像处理方法、装置及计算机可读存储介质
CN113552977A (zh) * 2020-04-23 2021-10-26 阿里巴巴集团控股有限公司 数据处理方法、装置、电子设备及计算机存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102074235A (zh) * 2010-12-20 2011-05-25 上海华勤通讯技术有限公司 视频语音识别并检索的方法
CN102707879A (zh) * 2012-04-17 2012-10-03 上海量明科技发展有限公司 选择截图区域图像轮廓的方法、客户端及***
CN104346370A (zh) * 2013-07-31 2015-02-11 阿里巴巴集团控股有限公司 图像搜索、获取图像文本信息的方法及装置
CN105373552A (zh) * 2014-08-25 2016-03-02 中兴通讯股份有限公司 基于显示终端的数据处理方法
CN105608230A (zh) * 2016-02-03 2016-05-25 南京云创大数据科技股份有限公司 一种基于图像检索的商家信息推荐***及方法
CN106201177A (zh) * 2016-06-24 2016-12-07 维沃移动通信有限公司 一种操作执行方法及移动终端
CN106775561A (zh) * 2016-12-07 2017-05-31 广东小天才科技有限公司 一种截题方法、装置及智能设备
CN107480236A (zh) * 2017-08-08 2017-12-15 深圳创维数字技术有限公司 一种信息查询方法、装置、设备和介质
CN108416018A (zh) * 2018-03-06 2018-08-17 北京百度网讯科技有限公司 截屏搜索方法、装置及智能终端

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102074235A (zh) * 2010-12-20 2011-05-25 上海华勤通讯技术有限公司 视频语音识别并检索的方法
CN102707879A (zh) * 2012-04-17 2012-10-03 上海量明科技发展有限公司 选择截图区域图像轮廓的方法、客户端及***
CN104346370A (zh) * 2013-07-31 2015-02-11 阿里巴巴集团控股有限公司 图像搜索、获取图像文本信息的方法及装置
CN105373552A (zh) * 2014-08-25 2016-03-02 中兴通讯股份有限公司 基于显示终端的数据处理方法
CN105608230A (zh) * 2016-02-03 2016-05-25 南京云创大数据科技股份有限公司 一种基于图像检索的商家信息推荐***及方法
CN106201177A (zh) * 2016-06-24 2016-12-07 维沃移动通信有限公司 一种操作执行方法及移动终端
CN106775561A (zh) * 2016-12-07 2017-05-31 广东小天才科技有限公司 一种截题方法、装置及智能设备
CN107480236A (zh) * 2017-08-08 2017-12-15 深圳创维数字技术有限公司 一种信息查询方法、装置、设备和介质
CN108416018A (zh) * 2018-03-06 2018-08-17 北京百度网讯科技有限公司 截屏搜索方法、装置及智能终端

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112702638A (zh) * 2019-10-23 2021-04-23 阿里巴巴集团控股有限公司 信息的处理方法、装置、***和视频播放设备的控制方法
CN111128139A (zh) * 2019-12-18 2020-05-08 苏州思必驰信息科技有限公司 无侵入式语音测试方法及装置
CN113552977A (zh) * 2020-04-23 2021-10-26 阿里巴巴集团控股有限公司 数据处理方法、装置、电子设备及计算机存储介质
CN112287691A (zh) * 2020-11-10 2021-01-29 深圳市天彦通信股份有限公司 会议录音方法及相关设备
CN112287691B (zh) * 2020-11-10 2024-02-13 深圳市天彦通信股份有限公司 会议录音方法及相关设备
CN113542206A (zh) * 2020-11-27 2021-10-22 腾讯科技(深圳)有限公司 一种图像处理方法、装置及计算机可读存储介质
CN113542206B (zh) * 2020-11-27 2023-07-04 腾讯科技(深圳)有限公司 一种图像处理方法、装置及计算机可读存储介质
CN113296722A (zh) * 2021-04-17 2021-08-24 中天智领(北京)科技有限公司 显示一体机的控制方法、装置、计算机存储介质及显示一体机

Similar Documents

Publication Publication Date Title
CN110059207A (zh) 图像信息的处理方法、装置、存储介质及电子设备
US11328004B2 (en) Method and system for intelligently suggesting tags for documents
US20170255650A1 (en) Data access based on content of image recorded by a mobile device
CN108319489A (zh) 应用页面的启动方法、装置、存储介质及电子设备
RU2740785C2 (ru) Способ и оборудование обработки изображений, электронное устройство и графический пользовательский интерфейс
US20150339373A1 (en) Graphical interface for relevance-based rendering of electronic messages from multiple accounts
CN107291962B (zh) 搜索方法、装置、存储介质及电子设备
RU2703956C1 (ru) Способ управления мультимедийными файлами, электронное устройство и графический пользовательский интерфейс
CN108363792A (zh) 应用页面的链接生成方法、装置、存储介质及电子设备
CN105653636A (zh) 一种信息处理方法和装置、一种用于信息处理的装置
WO2021208633A1 (zh) 物品名称确定方法、装置、计算机设备及存储介质
CN108334608A (zh) 应用页面的链接生成方法、装置、存储介质及电子设备
CN105378728A (zh) 用于表示和操纵元数据的装置和方法
US10515289B2 (en) System and method of generating a semantic representation of a target image for an image processing operation
CN109086680A (zh) 图像处理方法、装置、存储介质和电子设备
CN112954046B (zh) 信息发送方法、信息发送装置和电子设备
CN111611490A (zh) 资源搜索方法、装置、设备及存储介质
CN112163428A (zh) 语义标签的获取方法、装置、节点设备及存储介质
CN111464716A (zh) 一种证件扫描方法、装置、设备及存储介质
US9201900B2 (en) Related image searching method and user interface controlling method
WO2017107855A1 (zh) 一种图片搜索方法及装置
CN107368550A (zh) 信息获取方法、装置、介质、电子设备、服务器及***
CN106991179A (zh) 数据删除方法、装置及移动终端
WO2021017238A1 (zh) 一种文本生成方法和装置
CN106294549A (zh) 一种图像处理方法及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190726

RJ01 Rejection of invention patent application after publication