CN111311554B - 图文内容的内容质量确定方法、装置、设备及存储介质 - Google Patents
图文内容的内容质量确定方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111311554B CN111311554B CN202010071020.3A CN202010071020A CN111311554B CN 111311554 B CN111311554 B CN 111311554B CN 202010071020 A CN202010071020 A CN 202010071020A CN 111311554 B CN111311554 B CN 111311554B
- Authority
- CN
- China
- Prior art keywords
- text
- content
- image
- picture
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Information Transfer Between Computers (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种图文内容的内容质量确定方法、装置、设备及存储介质,属于计算机技术领域。本申请通过获取图文内容,该图文内容包括文本信息和至少一个图片;基于该图文内容的显示效果图,确定该图文内容的排版特征;基于该文本信息与该至少一个图片之间的匹配度,确定该图文内容的图文匹配特征;基于该排版特征、该图文匹配特征、该图文内容的文本特征以及图片特征,确定该图文内容的内容质量信息。在上述过程中,从显示效果、图文匹配度等多个维度,对图文内容的内容质量进行检测,无需人工干预,提高了内容质量确定的效率和准确率。
Description
技术领域
本申请涉及计算机技术领域,特别涉及一种图文内容的内容质量确定方法、装置、设备及存储介质。
背景技术
随着互联网技术的发展,出现了越来越多的内容创作平台,用户可以通过内容创作平台在网络中发布内容,使网络中所呈现的内容越来越个性化、多元化。在目前的网络环境中,用户既是内容的浏览者,也是内容的创作者,但是,用户所上传内容的质量往往参差不齐,由人工对用户创作内容的质量进行评估、审核会消耗大量的人力资源,且效率较低。因此,如何高效、准确地确定用户所上传内容的内容质量信息,是一个重要研究方向。
发明内容
本申请实施例提供了一种图文内容的内容质量确定方法、装置、设备及存储介质,可以高效、准确地确定用户所上传内容的内容质量。该技术方案如下:
一方面,提供了一种图文内容的内容质量确定方法,该方法包括:
获取图文内容,该图文内容包括文本信息和至少一个图片;
基于该图文内容的显示效果图,确定该图文内容的排版特征;
基于该文本信息与该至少一个图片之间的匹配度,确定该图文内容的图文匹配特征;
基于该排版特征、该图文匹配特征、该图文内容的文本特征以及图片特征,确定该图文内容的内容质量信息。
在一种可能实现方式中,该质对该排版特征、该图文匹配特征、该文本特征、该图片特征中的任意两个特征进行融合,得到多个中间融合特征,包括:
分别对该排版特征、该图文匹配特征、该文本特征、该图片特征进行自编码;
对自编码后的该排版特征、该图文匹配特征、该文本特征、该图片特征中的任意两个特征进行融合,得到该多个中间融合特征。
在一种可能实现方式中,该图片特征确定模块用于:
分别对各个该图片进行特征提取,得到各个该图片的语义特征、视觉特征和图片质量特征;
对任一该图片的该语义特征、该视觉特征和该图片质量特征进行拼接,得到任一该图片的中间图片特征;
基于至少一个该中间图片特征,确定该图文内容对应的该图片特征。
一方面,提供了一种图文内容的内容质量确定方法,该方法包括:
响应于对图文内容的显示指令,获取该图文内容;
获取该图文内容对应的内容质量信息;
在该图文内容的展示页面中,显示该图文内容的该内容质量信息。
一方面,提供了一种图文内容的内容质量确定装置,该装置包括:
获取模块,用于获取图文内容,该图文内容包括文本信息和至少一个图片;
排版特征确定模块,用于基于该图文内容的显示效果图,确定该图文内容的排版特征;
图文匹配特征确定模块,用于基于该文本信息与该至少一个图片之间的匹配度,确定该图文内容的图文匹配特征;
质量确定模块,用于基于该排版特征、该图文匹配特征、该图文内容的文本特征以及图片特征,确定该图文内容的内容质量信息。
在一种可能实现方式中,该排版特征确定模块用于:
获取该图文内容对应的排版样式;
基于该排版样式对该图文内容进行渲染,得到该图文内容的显示效果图;
对该显示效果图进行特征提取,得到该图文内容的排版特征。
在一种可能实现方式中,该图文匹配特征确定模块用于:
基于该文本信息与该至少一个图片确定至少一个图文匹配对,一个该图文匹配对包括一个图片以及该一个图片对应的一段文本信息;
确定各个该图文匹配对中该一个图片和该一段文本信息之间的图文匹配值;
基于至少一个该图文匹配值,得到该图文内容的图文匹配特征。
在一种可能实现方式中,该图文匹配特征确定模块用于:
对任一该图文匹配对中该一个图片的各个目标区域进行特征提取,得到该一个图片对应的第一特征;
基于任一该图文匹配对中该一段文本信息的各个词组、该一段文本信息的上下文特征,得到该一段文本信息对应的第二特征;
基于该第一特征与该第二特征之间的相似度,确定该图文匹配值,该图文匹配值与该相似度正相关。
在一种可能实现方式中,该质量确定模块用于:
对该排版特征、该图文匹配特征、该文本特征、该图片特征进行特征融合,得到该图文内容的内容特征;
基于该内容特征确定该图文内容的该内容质量信息。
在一种可能实现方式中,该质量确定模块用于:
对该排版特征、该图文匹配特征、该文本特征、该图片特征中的任意两个特征进行融合,得到多个中间融合特征;
对该排版特征、该图文匹配特征、该文本特征、该图片特征以及该多个中间融合特征,进行拼接,得到该内容特征。
在一种可能实现方式中,该质量确定模块用于:
分别对该排版特征、该图文匹配特征、该文本特征、该图片特征进行自编码;
对自编码后的该排版特征、该图文匹配特征、该文本特征、该图片特征中的任意两个特征进行融合,得到该多个中间融合特征。
在一种可能实现方式中,该装置还包括:
图片特征确定模块,用于分别对各个该图片进行特征提取,基于各个该图片的特征提取结果,确定该图文内容对应的图片特征;
文本特征确定模块,用于对该文本信息进行特征提取,基于提取到的该文本信息的语义特征和统计特征,确定该图文内容的文本特征,该统计特征基于该文本信息中各个词组的出现频率以及该各个词组的权重确定。
在一种可能实现方式中,该图片特征确定模块用于:
分别对各个该图片进行特征提取,得到各个该图片的语义特征、视觉特征和图片质量特征;
对任一该图片的该语义特征、该视觉特征和该图片质量特征进行拼接,得到任一该图片的中间图片特征;
基于至少一个该中间图片特征,确定该图文内容对应的该图片特征。
在一种可能实现方式中,该装置还包括:
显示模块,用于将该图文内容的该内容质量信息在目标页面进行显示。
在一种可能实现方式中,该目标页面为该图文内容的展示页面;或,该目标页面为该图文内容的质量展示页面。
一方面,提供了一种图文内容的内容质量确定装置,该装置包括:
内容获取模块,用于响应于对图文内容的显示指令,获取该图文内容;
质量获取模块,用于获取该图文内容对应的内容质量信息;
显示模块,用于在该图文内容的展示页面中,显示该图文内容的该内容质量信息。
在一种可能实现方式中,该质量获取模块用于:
向服务器发送质量确定请求,该质量确定请求携带该图文内容的地址信息;
接收该服务器返回的该内容质量信息,该内容质量信息为该服务器响应于该质量确定请求,基于该图文内容的排版特征、图文匹配特征、该图文内容的文本特征以及图片特征所确定的内容质量信息。
一方面,提供了一种计算机设备,该计算机设备包括一个或多个处理器和一个或多个存储器,该一个或多个存储器中存储有至少一条程序代码,该至少一条程序代码由该一个或多个处理器加载并执行以实现该图文内容的内容质量确定方法所执行的操作。
一方面,提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条程序代码,该至少一条程序代码由处理器加载并执行以实现该图文内容的内容质量确定方法所执行的操作。
本申请实施例提供的技术方案,通过获取图文内容,该图文内容包括文本信息和至少一个图片;基于该图文内容的显示效果图,确定该图文内容的排版特征;基于该文本信息与该至少一个图片之间的匹配度,确定该图文内容的图文匹配特征;基于该排版特征、该图文匹配特征、该图文内容的文本特征以及图片特征,确定该图文内容的内容质量信息。在上述过程中,从显示效果、图文匹配度等多个维度,对图文内容的内容质量进行检测,无需人工干预,提高了内容质量确定的效率和准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种内容服务***的示意图;
图2是本申请实施例提供的一种图文内容的内容质量确定方法的流程图;
图3是本申请实施例提供的一种自编码方法的示意图;
图4是本申请实施例提供的一种内容质量确定方法的框架图;
图5是本申请实施例提供的一种内容质量信息的显示方式示意图;
图6是本申请实施例提供的另一种内容质量信息的显示方式示意图;
图7是本申请实施例提供的一种内容质量信息显示方法的流程图;
图8是本申请实施例提供的一种图文内容的内容质量确定装置的结构示意图;
图9是本申请实施例提供的一种图文内容的内容质量确定装置的结构示意图;
图10是本申请实施例提供的一种终端的结构示意图;
图11是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
人工智能(Artificial Intelligence,AI):是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。本申请实施例提供的技术方案涉及计算机视觉、自认语言处理以及机器学习等技术。
其中,计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、OCR(Optical Character Recognition,光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(Three Dimensional,三维)技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别等生物特征识别技术。本申请实施例提供的方案主要涉及计算机视觉中的图像处理、图像语义理解技术,通过图像处理、图像语义理解技术对待评估内容中的图像进行分析,确定图像质量,进而确定待检测的内容的质量。
自然语言处理(Nature Language processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。本申请实施例提供的方案主要涉及自然语言处理中的文本处理、语义理解技术,通过文本处理、语义理解技术对待检测内容中的文本信息进行分析,确定文本质量,进而确定待检测的内容的质量。
图1是本申请实施例提供的一种内容服务***的示意图,参见图1,该内容服务***100包括:终端110和内容服务平台140。
终端110通过无线网络或有线网络与内容服务平台140相连。终端110可以是智能手机、游戏主机、台式计算机、平板电脑、电子书阅读器、MP4(Moving Picture ExpertsGroup Audio Layer IV,动态影像专家压缩标准音频层面4)播放器和膝上型便携计算机中的至少一种。终端110安装和运行有支持内容发布、内容浏览的应用程序。该应用程序可以是浏览器、社交类应用程序、资讯类应用程序等。示例性的,终端110是用户使用的终端,终端110中运行的应用程序内登录有用户账号。
内容服务平台140包括一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种。内容服务平台140用于为支持内容发布、内容浏览的应用程序提供后台服务。可选地,内容服务平台140承担主要内容质量检测工作,终端110承担次要内容质量检测工作;或者,内容服务平台140承担次要内容质量检测工作,终端110承担主要内容质量检测工作;或者,内容服务平台140或终端110分别可以单独承担内容质量检测工作。
可选地,内容服务平台140包括:接入服务器、内容服务器和数据库。接入服务器用于为终端110提供接入服务。内容服务器用于提供内容质量检测有关的后台服务。内容服务器可以是一台或多台。当内容服务器是多台时,存在至少两台内容服务器用于提供不同的服务,和/或,存在至少两台内容服务器用于提供相同的服务,比如以负载均衡方式提供同一种服务,本申请实施例对此不加以限定。内容服务器中可以设置有图文匹配模型、排版特征提取模型、内容质量检测模型等。
终端110可以泛指多个终端中的一个,本实施例仅以终端110来举例说明。
本领域技术人员可以知晓,上述终端的数量可以更多或更少。比如上述终端可以仅为一个,或者上述终端为几十个或几百个,或者更多数量,此时上述图像检测***还包括其他终端。本申请实施例对终端的数量和设备类型不加以限定。
图2是本申请实施例提供的一种图文内容的内容质量确定方法的流程图。该方法可以应用于上述终端或者服务器,而终端和服务器均可以视为一种计算机设备,因此,在本申请实施例中,以计算机设备作为执行主体。本申请实施例以该计算机设备为服务器为例,对该内容质量确定方法进行介绍,参见图2,该实施例具体可以包括以下步骤:
201、计算机设备获取图文内容。
其中,该图文内容可以包括文本信息和至少一个图片,当然,还可以包括视频、动态图片等,本申请实施例对此不作限定。该图文内容可以为存储在计算机中的一组图文内容,也可以为该计算机设备从网络中获取的一组图文内容,例如,该一组图文内容可以为用户通过任一内容发布平台发布到网络中的图文内容,当然,还可以为用户在该计算机设备中所输入的图文内容,本申请实施例对具体采用哪种图文内容不作限定。
在本申请实施例中,该计算机设备可以为目标应用程序对应的后台服务器,该目标应用程序可以支持图文内容发布,例如,社交类应用程序、资讯类应用程序、浏览器等。在一种可能实现方式中,当用户在任一终端上通过该目标应用程序发布图文内容时,即可触发检测指令,终端可以将用户发布的图文内容和该检测指令,发送至该计算机设备,该计算机设备可以基于该检测指令获取图文内容,执行后续的内容质量检测步骤。在一种可能实现方式中,通过该目标应用程序所发布的图文内容可以存储在指定的内容数据库中,该计算机设备可以按照预设周期,从该内容数据库中获取图文内容,执行后续的内容质量检测步骤。其中,该指定的内容数据库、预设周期均可以由开发人员进行设备,本申请实施例对此不做限定。
当然,该计算机设备也可以为安装和运行有该目标应用程序的终端,该计算机设备检测到有图文内容发布时,即可执行后续的内容质量检测步骤。本申请实施例对该计算机设备的类型不作限定,在本申请实施例中,以该计算机设备是服务器为例进行说明。
需要说明的是,上述对计算机设备获取图文内容的描述,仅是一种示例性描述,本申请实施例对具体采用哪种方法获取图文内容不作限定。
202、计算机设备基于该图文内容的显示效果图,确定该图文内容的排版特征。
其中,该显示效果图可以为该图文内容加载至目标应用程序的内容展示页面时,该内容展示页面的页面截图。例如,任一用户在该目标应用程序中查看该图文内容时,该计算机设备需将该图文内容、该图文内容对应的排版样式加载至内容显示页面,该内容显示页面可以显示已排版的图文内容,对该内容显示页面即可得到该显示效果图。该排版特征可以用于指示该图文内容的显示效果图图在排版维度的特征,例如,文字间距、段落间距、图文间距、字符颜色等方面的特征,不同的图文内容排版样式对应于不同的排版特征。
在一种可能实现方式中,该计算机设备获取该图文内容的显示效果图,进而得到排版特征的过程具体可以包括以下步骤:
步骤一、计算机设备获取该图文内容对应的排版样式。
其中,该排版样式可以为用户在编辑该图文内容时所设置的,也可以为目标应用程序默认设置的固定格式,本申请实施例对此不作限定。
在一种可能实现方式中,用户在任一终端通过该目标应用程序发布图文内容时,该任一终端可以将该图文内容以及该图文内容的排版样式以HTML(Hyper Text MarkupLanguage,超级文本标记语言)文件的形式,一同提交至该图文发布平台所对应的后台服务器,也即是该计算机设备。在该HTML文件中,可以以排版标签的形式对该图文内容的排版样式进行标记,例如,该排版标签可以包括换行标签、对齐方式标签等。该计算机设备获取到该图文内容对应的HTML文件,读取HTML文件中的排版标签即可获取到该图文内容对应的排版样式。当然,该图文内容和该排版样式也可以基于其他形式的文件进行发布,本申请实施例对此不作限定。
步骤二、计算机设备基于该排版样式对该图文内容进行渲染,得到该图文内容的显示效果图。
在一种可能实现方式中,该计算机设备中可以搭建有图片生成器,该图片生成器可以基于该图文内容以及该排版样式,生成前端页面图片,即该图文内容的显示效果图。其中,该图片生成器可以为基于可脚本编程的WebKit(浏览器引擎)或Puppeteer(运行环境库)搭建的,该计算机设备可以基于WebKit或Puppeteer所提供的JavaScript API(JavaScript Application Programming Interface,应用程序编程接口),读取该图文内容的HTML文件,将该图文内容填充到浏览器引擎页面中,计算机设备可以基于该图文内容和该排版样式进行页面渲染,得到该图文内容的内容展示页面,对该内容展示页面进行导出或截图,得到该图文内容的显示效果图。在一种可能实现方式中,该计算机设备可以将该图文内容的显示效果图存储至目标存储地址,该目标存储地址可以由开发人员进行设置。该计算机设备对各个图文内容的显示效果图进行存储,在后续的特征提取过程中,可以对渲染好的显示效果图进行批量处理,提高处理效率。
步骤三、计算机设备对该显示效果图进行特征提取,得到该图文内容的排版特征。
在一种可能实现方式中,该计算机设备可以将该目标位置所存储的至少一个显示效果图输入排版特征提取模型,由该排版特征提取模型对各个显示效果图进行特征提取。其中,该排版特征提取模型可以为基于训练好的深度学习网络构建的,该深度学习网络可以为ResNet(Residual Network,残差网络)、VGG(Visual Geometry Group Network,视觉几何网络)等,本申请实施例对此不作限定。该排版特征提取模型可以包括多个用于特征提取的运算层,例如,该运算层可以为卷积层、池化层等,一个运算层可以对应于至少一组权重参数,各组权重参数的数值可以在模型训练时确定。在一种可能实现方式中,该计算机设备将该显示效果图输入该排版特征提取模型后,该排版特征提取模型可以对该显示效果图进行预处理,将该显示效果图转化为由多个像素值组成的数字矩阵;该计算机设备可以通过该排版特征提取模型中的各个运算层,对该数字矩阵进行卷积运算,得到该显示效果图对应的排版特征,其中,该排版特征可以表示为一个特征向量,当然特可以表示为一个特征矩阵,本申请实施例对此不作限定。
以一个卷积层为例对上述卷积运算过程进行说明,一个卷积层可以包括一个或多个卷积核,每个卷积核对应一个扫描窗口,该扫描窗口的大小与该卷积核的大小相同,在卷积核进行卷积运算的过程中,该扫描窗口可以按照目标步长在数字矩阵上滑动,依次扫描该数字矩阵的各个区域,其中,该目标步长可以由开发人员进行设置。以一个卷积核为例,在卷积运算的过程中,当该卷积核的扫描窗口滑动至数字矩阵的任一区域时,该计算机设备读取该区域中的各个数值,将该卷积核与该各个数值进行点乘运算,再对各个乘积进行累加,得到一个新的数值。之后,该卷积核的扫描窗口按照目标步长滑动至数字矩阵的下一区域,再次进行卷积运算,输出一个新的数值,直至该特征图的全部区域扫描完毕,将输出的全部新的数值组成一个新的数字矩阵,作为下一个卷积层的输入。
需要说明的是,上述对通过图文内容的显示效果图获取排版特征的说明,仅是一种排版特征获取方法的示例性说明,本申请实施例对具体采用哪种排版特征获取方法不作限定。对于图文内容来说,排版样式对其视觉效果有重要影响,良好的排版可以提升图文内容的阅读体验,在本申请实施例中,融合了排版特征这一维度,来进行后续的内容质量确定过程,考虑到了图文内容的整体视觉效果,使获取到的内容质量信息更加全面、准确。
在本申请实施例提供的内容质量确定方法中,基于内容浏览用户的角度,融合的图文内容的显示效果,来评估内容质量,且通过图文内容展示页面的渲染图,来直观地表现图文内容的显示效果,可以提高内容质量评估结果的准确性。
203、计算机设备基于该文本信息与该至少一个图片之间的匹配度,确定该图文内容的图文匹配特征。
其中,该图文匹配特征可以用于指示图片与文本信息之间的匹配度,该匹配度可以体现在文本信息是否描述了图片中的对象,图片所传达的语义信息与文本所传达的语义信息是否相符等。一段文本信息与不同图片之间的匹配度不同,得到的图文匹配特征也不同。
在一种可能实现方式中,上述步骤203具体可以包括以下步骤:
步骤一、计算机设备基于该文本信息与该至少一个图片确定至少一个图文匹配对,一个图文匹配对包括一个图片以及一个图片对应的一段文本信息。
在本申请实施例中,该计算机设备可以将图文内容中位于该一个图片的目标位置的文本信息作为该一个图片对应的一段文本信息,其中,该目标位置可以由开发人员进行设置,例如,该目标位置可以设置为该一个图片的下方区域,即该计算机设备可以获取该一个图片下方的一段文本信息,与该一个图片组成一个图文匹配对。
步骤二、计算机设备确定各个该图文匹配对中一个图片和一段文本信息之间的图文匹配值。
在一种可能实现方式中,该计算机设备可以基于图文匹配模型确定该图文匹配值。在本申请实施例中,以该图文匹配模型为SCAN(Stacked Cross Attention Nets,叠加交叉注意网络)为例进行说明:
首先,该计算机设备可以通过该图文匹配模型对任一图文匹配对中一个图片的各个目标区域进行特征提取,得到一个图片对应的第一特征。例如,该图文匹配模型可以基于注意力机制对一个图片产生N(N为正整数)个目标区域,一个目标区域可以包括一个目标对象,例如,该目标对象可以为图片中的人物、动物等,该图文匹配模型可以对各个目标区域进行特征提取,得到多个区域特征,将该多个区域特征作为该一个图片对应的第一特征。需要说明的是,上述对获取第一特征的方法的描述,仅是一种示例性描述,本申请实施例对具体采用哪种方法获取图片的第一特征不作限定。
然后,该计算机设备可以基于该任一图文匹配对中该一段文本信息的各个词组、该一段文本信息的上下文特征,得到该一段文本信息对应的第二特征。在一种可能实现方式中,该计算机设备可以将该一段文本信息中的各个词组分别映射为初始向量,例如,可以通过One-Hot(独热)编码的方法将文本转换为向量,当然,也可以通过其他方法将文本转换为向量,本申请实施例对此不作限定。该计算机设备可以基于各个词组对应的初始向量以及该一段文本信息的上下文信息,得到各个词组对应的词组特征。在一种可能实现方式中,该上下文信息可以基于双向GRU(Gate Recurrent Unit,门循环单元)获得,例如,该计算机设备可以基于该双向GRU对各个词组的初始向量进行转换,使各个词组均对应于一个M维向量,该M维向量可以包括该文本信息的上下文信息,其中,M为正整数,M的具体数值可以由开发人员进行设置,本申请实施例对此不作限定。在本申请实施例中,可以将该多个M维向量作为该第二特征。需要说明的是,上述对获取第二特征的方法的描述,仅是一种示例性描述,本申请实施例对具体采用哪种方法获取文本信息的第二特征不作限定。
最后,该计算机设备可以基于该第一特征与该第二特征之间的相似度,确定该图文匹配值,该图文匹配值与该相似度正相关。在本申请实施例中,该计算机设备可以通过图文匹配模型计算各个区域特征与词组特征之间的相似度数值,例如,该计算机设备可以计算各个区域特征与词组特征之间的余弦距离作为该相似度数值。在一种可能实现方式中,该计算机设备可以将获取到的多个相似度数值进行平均池化处理,得到该图文匹配对对应的图文匹配值。
需要说明的是,上述对获取该图文匹配值的方法的描述,仅是一种示例性描述,本申请实施例对具体采用哪种方法获取该图文匹配值不作限定。
步骤三、计算机设备基于至少一个图文匹配值,得到该图文内容的图文匹配特征。
在一种可能实现方式中,该计算机设备可以对该图文内容所对有那个的各个图文匹配值进行拼接,得到一个向量,即为该图文内容的图文匹配特征。当然,也可以对各个图文匹配值赋予不同的权重,再进行拼接,进而得到该图文匹配特征。本申请实施例对该图文匹配特征的具体获取方法不作限定。
204、计算机设备分别对各个图片进行特征提取,基于各个图片的特征提取结果,确定该图文内容对应的图片特征。
在一种可能实现方式中,该计算机设备可以分别对各个该图片进行特征提取,得到各个该图片的语义特征、视觉特征和图片质量特征;对任一图片的该语义特征、该视觉特征和该图片质量特征进行拼接,得到任一图片的中间图片特征;基于至少一个该中间图片特征,确定该图文内容对应的该图片特征。
其中,图片的语义特征可以用于指示图片所包含的语义信息,例如,图片所包含的对象等,该语义特征可以表示为向量的形式。在一种可能实现方式中,该计算机设备可以基于bottom-up(自下而上)的卷积神经网络或者图片描述网络(Image Captioning Nets)来提取图片的语义特征。该视觉特征可以用于指示图片的色彩分布状况和形状分布状况,在一种可能实现方式中,该计算机设备可以基于ResNet或者VGG等深度学习网络来提取图片的视觉特征,当然,也可基于传统计算机视觉的方法,例如主成分分析(PCA,PrincipalComponents Analysis)方法、奇异值分解(SVD,Singular Value Decomposition)方法等,来获取该视觉特征。该图片质量特征可以用于指示图片的清晰度、图片美感的信息,通常图片的质量越高,图片所带来的视觉体验越好。在一种可能实现方式中,该计算机设备可以基于NIMA(Neural Image Assessment,神经图像评价)网络提取该图片质量特征,该图片质量特征可以表示为一个向量。需要说明的是,本申请实施例对该语义特征、该视觉特征和该图片质量特征的具体获取方式不作限定。
在一种可能实现方式中,该计算机设备可以获取图文内容中各个图片的中间图片特征,对各个中间图片特征进行拼接,得到该图片特征。例如,可以按照第一目标顺序对各个中间图片特征首尾相接,得到该图片特征。其中,该第一目标顺序可以由开发人员进行设置,本申请实施例对此不作限定。当然,该计算机设备也可以对不同图片的中间图片特征赋予不同的权重,再进行拼接,例如,图片在图文内容中出现的位置越前,该图片对应的权重越大,本申请实施例对此不作限定。
需要说明的是,上述对图片特征获取方法的描述,仅是一种示例性描述,本申请实施例对具体采用哪种方法获取图文内容的图片特征不作限定。
对于图文内容来说,图片质量对图文内容的显示效果有重要影响,高质量的图片可以提高图文内容的阅读体验。在本申请实施例提供的技术方案,融合了各个图片的图片特征,丰富了内容质量评估的维度,使获取到的内容质量信息更加准确。
205、计算机设备对文本信息进特征提取,确定该图文内容对应的文本特征。
在一种可能实现方式中,计算机设备可以对该文本信息进行特征提取,基于提取到的该文本信息的语义特征和统计特征,确定该图文内容的文本特征。其中,该统计特征可以基于该文本信息中各个词组的出现频率以及该各个词组的权重确定。通常质量高的内容中选词会更加多样化,质量低的内容的选词则会比较局限,因此,统计特征在一定程度上可以体现内容的质量。在一种可能实现方式中,该文本信息的语义特征可以基于BERT(Bidirectional Encoder Representation from Transformers,转换器的双向编码表示)模型获取,该统计特征可以基于TF-IDF(term frequency–inverse document frequency,词频-逆文本频率指数)计算得到,该TF-IDF技术可以用于评估一个字词对于一个文件集或一个语料库中的其中一份文件的重要程度。需要说明的是,本申请实施例对文本信息的语义特征和统计特征的获取方法不作限定。
在一种可能实现方式中,该计算机设备可以对该语义特征和该统计特征进行拼接,得到该图文内容的文本特征。例如,该计算机设备可以按照第二目标顺序对该语义特征和统计特征相连接,当该语义特征和该统计特征表示为向量时,该计算机设备可以按照第二目标顺序将两个向量相连接,得到一个高维度的向量,即文本特征。其中,该第二目标顺序可以由开发人员进行设置,本申请实施例对此不作限定。当然,该计算机设备还可以对文本信息的各个特征赋予不同的权重,对加权运算后的特征进行连接,得到文本特征。需要说明的是,上述对特征拼接方法的描述仅是一种示例性描述,本申请实施例对基于哪种特征拼接方法的到该文本特征不作限定。
需要说明的是,上述对文本特征获取方法的描述,仅是一种示例性描述,本申请实施例对具体采用哪种方法获取该文本特征不作限定。
需要说明的是,在本申请实施例中,采用先获取排版特征,再获取图文匹配特征,再获取图片特征,最后获取文本特征的顺序进行描述,在一些实施例中,也可以基于其他顺序获取图文内容的各个特征,当然,也可以同时获取该各个特征,本申请实施例对各个特征的获取顺序不作限定。
206、计算机设备对该排版特征、该图文匹配特征、该文本特征、该图片特征进行特征融合,得到该图文内容的内容特征。
在一种可能实现方式中,该步骤206具体可以包括以下步骤:
步骤一、计算机设备对该排版特征、该图文匹配特征、该文本特征、该图片特征中的任意两个特征进行融合,得到多个中间融合特征。
在一种可能实现方式中,该计算机设备可以对排版特征、图文匹配特征、文本特征、图片特征中的任意两个特征进行点乘运算,得到多个中间融合特征,当然,该计算机设备也可以通过其他方式得到中间融合特征,本申请实施例对此不做限定。
在一种可能实现方式中,为提高各个特征的表达效果,提高后续运算过程的准确率,该计算机设备可以分别对该排版特征、该图文匹配特征、该文本特征、该图片特征进行自编码;对自编码后的该排版特征、该图文匹配特征、该文本特征、该图片特征中的任意两个特征进行融合,得到该多个中间融合特征。在一种可能实现方式中,该自编码过程可以基于训练好的自编码器完成,例如,Denoising Auto-encoder(降噪自动编码器)等,该自编码器可以对输入信息,也即是各个特征,进行表征学习,使输出的特征具备更好的表达效果。该自编码器可以包括编码模块和解码模块,编码模块和解码模块均可以包括一个或多个神经元,各个神经元可以对输入信息进行逻辑运算,来对输入信息进行转换。图3是本申请实施例提供的一种自编码方法的示意图,参见图3,该计算机设备可以基于自编码器301,对各个特征进行进一步转换,该自编码器可以包括编码模块302和解码模块303,该编码模块302可以将输入转换为内部表示304,该解码模块303可以将内部表示304转换为输出。
步骤二、计算机设备对该排版特征、该图文匹配特征、该文本特征、该图片特征以及该多个中间融合特征,进行拼接,得到该内容特征。例如,该计算机设备可以按照第三目标顺序对该图文内容的各个特征相连接,当该图文内容的各个特征表示为向量时,该计算机设备可以按照第三目标顺序将各个向量相连接,得到一个高维度的向量,作为该内容特征。其中,该第三目标顺序可以由开发人员进行设置,本申请实施例对此不作限定。当然,该计算机设备还可以对图文内容的各个特征赋予不同的权重,对加权运算后的特征进行连接,得到内容特征。需要说明的是,上述对内容特征获取方法的描述,仅是一种示例性描述,本申请实施例对具体采用哪种内容特征获取方法不作限定。
207、计算机设备基于该内容特征确定该图文内容的该内容质量信息。
在一种可能实现方式中,该内容质量信息可以表现为评分形式,即一个图文内容可以对应于一个评分,评分越高,图文内容的内容质量越好。当然,该内容质量信息还可以包括图文内容的各个维度所对应的评分,例如,排版维度的评分、图文匹配维度的评分、图片维度的评分、文本维度的评分等,本申请实施例对此不作限定。在本申请实施例中以该内容质量信息表现为一个评分的形式进行说明。
在一种可能实现方式中,该计算机设备可以基于训练好的内容质量检测模型确定该图文内容的内容质量信息。例如,该内容质量检测模型可以基于图文内容所对应的质量评分以及该图文内容的内容特征进行训练,也即是,将内容特征输入该质量检测模型,基于该质量检测模型的输出结果与质量评分之间的误差,对该质量检测模型中的各个参数进行调整,直到该质量检测模型的输出结果满足目标条件,得到训练好的质量检测模型。其中,该目标条件可由开发人员进行设置,本申请实施例对此不作限定。该质量评分可以通过显式评估获得,即人工标注每篇图文内容的质量评分,也可以通过隐式评估获取,即基于每篇图文内容的点击率、评论数、点赞数等,得到该质量评分。在本申请实施例中,该内容质量检测模型可以为基于深度神经网络或Logistic Regression(逻辑回归)模型构建的,当然,也可以为基于其他模型结构构建的,本申请实施例对此不作限定。
在一种可能实现方式中,该计算机设备可以将至少一个图文内容所对应的内容特征输入该质量检测模型,由该质量检测模型中的至少一个运算层对内容特征进行卷积运算,得到内容质量信息,例如,图文内容对应的评分等。本申请实施例对该质量检测模型的具体运算过程不作限定。
需要说明的是,上述步骤206和步骤207,是基于该排版特征、该图文匹配特征、该图文内容的文本特征以及图片特征,确定该图文内容的内容质量信息的步骤。该计算机设备可以基于排版样式、图文匹配度、图片质量、文本质量等多个维度,来综合确定图文内容的内容质量信息,使内容质量检测结果更准确。
图4是本申请实施例提供的一种内容质量确定方法的框架图,参见图4,对于图文内容401,可以提取该图文内容401的图片特征、文本特征、排版特征以及图文匹配特征,通过特征转换模块402,分别对各个特征进行转换,对转换后的特征进行特征融合,得到该图文内容401的内容特征,将该内容特征输入内容质量检测模型403,得到内容质量信息,也即是内容质量评分。在本申请实施例中,当有图文内容分发给该计算机设备,也即是该目标应用程序的后台服务器时,该计算机设备即可基于该图文内容确定其内容质量信息。在一些应用场景中,该计算机设备基于该内容质量信息对图文内容进行推荐,确定图文内容是否在目标应用程序中显示,或者,该计算机设备可以将该内容质量信息推送给内容审核人员,由内容审核人员基于该内容质量信息对图文内容进行筛选。
上述所有可选技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
本申请实施例提供的技术方案,通过获取图文内容,该图文内容包括文本信息和至少一个图片;基于该图文内容的显示效果图,确定该图文内容的排版特征;基于该文本信息与该至少一个图片之间的匹配度,确定该图文内容的图文匹配特征;基于该排版特征、该图文匹配特征、该图文内容的文本特征以及图片特征,确定该图文内容的内容质量信息。在上述过程中,从显示效果、图文匹配度等多个维度,对图文内容的内容质量进行检测,无需人工干预,提高了内容质量确定的效率和准确率。
本申请增加了内容质量评估过程中所参考的维度,对多维度的特征进行融合,得到图文内容的内容质量信息,使输出结果更加全面、准确。
上述实施例主要接介绍了图文内容的内容质量确定方法,在本申请实施例中,该计算机设备可以将该图文内容的该内容质量信息在目标页面进行显示,也即是该计算机设备可以将该内容质量信息推送至用户终端,由用户终端在目标页面对内容质量信息进行显示。其中,该目标页面为该图文内容的展示页面,也可以为该图文内容的质量展示页面。该用户终端可以为开发人员所使用的终端,也可以为其他用户所使用的终端。
图5是本申请实施例提供的一种内容质量信息的显示方式示意图,参见图5,该目标页面501为该图文内容的展示页面,该页面501显示有该图文内容,该目标界面的第一区域502可以显示有该内容质量信息,在一种可能实现方式中,该内容质量信息可以表示为一个评分,该评分可以以水印的形式显示在该目标页面中。其中,该第一区域可以为该目标页面的任一区域,本申请实施例对该第一目标区域的具***置不作限定。
图6是本申请实施例提供的另一种内容质量信息的显示方式示意图,参见图6,该目标页面601为该图文内容的质量展示页面,该目标页面601中可以各个图文内容的示意图602,在各个示意图602的第二目标区域可以显示有各个图文内容所对应的内容质量信息603,例如,该内容质量信息可以包括图文内容对应的总评分,还可以包括排版维度、图文匹配维度的多个维度的评分,本申请实施例对该内容质量信息的具体内容不作限定。其中,该第二目标区域的位置可以由开发人员进行设置,本申请实施例对此不作限定,例如,可以设置为各个图文内容的示意图的右侧区域。
本申请实施例提供的技术方案可以应用于UGC(User Generated Content,用户生成内容)、PGC(Professional Generated Content,专业生产内容)等场景,为用户创作的内容提供准确的质量评估。也可以应用到其他多模态内容理解的应用场景,例如,应用于新闻、资讯类应用程序中,对新闻、资讯的内容进行理解,为用户推荐优质内容,也可以应用于评论筛选场景,对用户提供的包含图文内容的评论进行筛选。还可以对声音、视频等进行解析,对包含声音、视频的内容进行质量评估,可以应用于图文、音频、视频等格式的广告投放等场景。
在本申请实施例中,用户在目标应用程序中浏览图文内容时,可以看到该图文内容的质量信息。其中,该目标应用程序可以为资讯类应用程序、社交类应用程序等。参见图7,图7是本申请实施例提供的一种内容质量信息显示方法的流程图,在一种可能实现方式中,该方法具体可以包括以下步骤:
701、终端响应于对图文内容的显示指令,获取该图文内容。
其中,该终端可以为用户所使用的计算机设备,例如,该终端可以为手机、电脑等,该终端可以安装和运行有该目标应用程序。
在一种可能实现方式中,该终端可以获取图文内容的链接或以超链接的形式来显示图文内容的标题等,用户对任一链接的触发操作均可以触发该显示指令,该终端可以基于该显示指令获取图文内容。其中,该触发操作可以为点击操作、长按操作等,本申请实施例对此不作限定。
702、终端获取该图文内容对应的内容质量信息。
在一种可能实现方式中,该终端可以向服务器发送质量确定请求,该质量确定请求携带该图文内容的地址信息,该终端可以接收该服务器返回的该内容质量信息,该内容质量信息为该服务器响应于该质量确定请求,基于该图文内容的排版特征、图文匹配特征、该图文内容的文本特征以及图片特征所确定的内容质量信息。其中,该服务器可以为该目标应用程序的后台服务器。在一种可能实现方式中,该服务器可以按照目标周期,将图文内容的质量信息推送至该目标应用程序。该目标周期可以由开发人员进行设置,本申请实施例对此不作限定。
在一种可能实现方式中,该终端检测到用户查看任一图文内容时,可以获取被查看的图文内容,确定该图文内容的内容质量信息。
需要说明的是,上述确定该内容质量信息的方法,与上述步骤202至步骤207中确定该内容质量信息的方法同理,在此不作赘述。
703、终端在该图文内容的展示页面中,显示该图文内容的该内容质量信息。
在一种可能实现方式中,该计算机设备可以在该展示页面的第三区域显示该内容质量信息,其中,该第三区域的具***置可以由开发人员进行设置,本申请实施例对此不作限定。
本申请实施例提供的技术方案,使用户在浏览内容时,可以查看到内容质量信息,从内容质量维度来判断是否继续阅读,提高用户的阅读体验。对于该目标应用程序,也即是内容展示平台来说,可以基于该内容质量信息,为用户推荐质量更好的内容。
上述所有可选技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
图8是本申请实施例提供的一种图文内容的内容质量确定装置的结构示意图,参见图8,该装置包括:
获取模块801,用于获取图文内容,该图文内容包括文本信息和至少一个图片;
排版特征确定模块802,用于基于该图文内容的显示效果图,确定该图文内容的排版特征;
图文匹配特征确定模块803,用于基于该文本信息与该至少一个图片之间的匹配度,确定该图文内容的图文匹配特征;
质量确定模块804,用于基于该排版特征、该图文匹配特征、该图文内容的文本特征以及图片特征,确定该图文内容的内容质量信息。
在一种可能实现方式中,该排版特征确定模块802用于:
获取该图文内容对应的排版样式;
基于该排版样式对该图文内容进行渲染,得到该图文内容的显示效果图;
对该显示效果图进行特征提取,得到该图文内容的排版特征。
在一种可能实现方式中,该图文匹配特征确定模块803用于:
基于该文本信息与该至少一个图片确定至少一个图文匹配对,一个该图文匹配对包括一个图片以及该一个图片对应的一段文本信息;
确定各个该图文匹配对中该一个图片和该一段文本信息之间的图文匹配值;
基于至少一个该图文匹配值,得到该图文内容的图文匹配特征。
在一种可能实现方式中,该图文匹配特征确定模块803用于:
对任一该图文匹配对中该一个图片的各个目标区域进行特征提取,得到该一个图片对应的第一特征;
基于任一该图文匹配对中该一段文本信息的各个词组、该一段文本信息的上下文特征,得到该一段文本信息对应的第二特征;
基于该第一特征与该第二特征之间的相似度,确定该图文匹配值,该图文匹配值与该相似度正相关。
在一种可能实现方式中,该质量确定模块804用于:
对该排版特征、该图文匹配特征、该文本特征、该图片特征进行特征融合,得到该图文内容的内容特征;
基于该内容特征确定该图文内容的该内容质量信息。
在一种可能实现方式中,该质量确定模块804用于:
对该排版特征、该图文匹配特征、该文本特征、该图片特征中的任意两个特征进行融合,得到多个中间融合特征;
对该排版特征、该图文匹配特征、该文本特征、该图片特征以及该多个中间融合特征,进行拼接,得到该内容特征。
在一种可能实现方式中,该质量确定模块804用于:
分别对该排版特征、该图文匹配特征、该文本特征、该图片特征进行自编码;
对自编码后的该排版特征、该图文匹配特征、该文本特征、该图片特征中的任意两个特征进行融合,得到该多个中间融合特征。
在一种可能实现方式中,该装置还包括:
图片特征确定模块,用于分别对各个该图片进行特征提取,基于各个该图片的特征提取结果,确定该图文内容对应的图片特征;
文本特征确定模块,用于对该文本信息进行特征提取,基于提取到的该文本信息的语义特征和统计特征,确定该图文内容的文本特征,该统计特征基于该文本信息中各个词组的出现频率以及该各个词组的权重确定。
在一种可能实现方式中,该图片特征确定模块用于:
分别对各个该图片进行特征提取,得到各个该图片的语义特征、视觉特征和图片质量特征;
对任一该图片的该语义特征、该视觉特征和该图片质量特征进行拼接,得到任一该图片的中间图片特征;
基于至少一个该中间图片特征,确定该图文内容对应的该图片特征。
在一种可能实现方式中,该装置还包括:
显示模块,用于将该图文内容的该内容质量信息在目标页面进行显示。
在一种可能实现方式中,该目标页面为该图文内容的展示页面;或,该目标页面为该图文内容的质量展示页面。
本申请实施例提供的装置,通过获取图文内容,该图文内容包括文本信息和至少一个图片;基于该图文内容的显示效果图,确定该图文内容的排版特征;基于该文本信息与该至少一个图片之间的匹配度,确定该图文内容的图文匹配特征;基于该排版特征、该图文匹配特征、该图文内容的文本特征以及图片特征,确定该图文内容的内容质量信息。应用上述装置,从显示效果、图文匹配度等多个维度,对图文内容的内容质量进行检测,无需人工干预,提高了内容质量确定的效率和准确率。
图9是本申请实施例提供的一种图文内容的内容质量确定装置的结构示意图,参见图9,该装置包括:
内容获取模块901,用于响应于对图文内容的显示指令,获取该图文内容;
质量获取模块902,用于获取该图文内容对应的内容质量信息;
显示模块903,用于在该图文内容的展示页面中,显示该图文内容的该内容质量信息。
在一种可能实现方式中,该质量获取模块902用于:
向服务器发送质量确定请求,该质量确定请求携带该图文内容的地址信息;
接收该服务器返回的该内容质量信息,该内容质量信息为该服务器响应于该质量确定请求,基于该图文内容的排版特征、图文匹配特征、该图文内容的文本特征以及图片特征所确定的内容质量信息。
需要说明的是:上述实施例提供的图文内容的内容质量确定装置在处理图文内容的内容质量确定业务时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的图文内容的内容质量确定装置与图文内容的内容质量确定方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
上述技术方案所提供的计算机设备可以实现为终端或服务器,例如,图10是本申请实施例提供的一种终端的结构示意图。该终端1000可以是:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1000还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端1000包括有:一个或多个处理器1001和一个或多个存储器1002。
处理器1001可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1001可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1001也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1001可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1001还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1002可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1002还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1002中的非暂态的计算机可读存储介质用于存储至少一条程序代码,该至少一条程序代码用于被处理器1001所执行以实现本申请中方法实施例提供的图文内容的内容质量确定方法。
在一些实施例中,终端1000还可选包括有:***设备接口1003和至少一个***设备。处理器1001、存储器1002和***设备接口1003之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口1003相连。具体地,***设备包括:射频电路1004、显示屏1005、摄像头组件1006、音频电路1007和电源1009中的至少一种。
***设备接口1003可被用于将I/O(Input/Output,输入/输出)相关的至少一个***设备连接到处理器1001和存储器1002。在一些实施例中,处理器1001、存储器1002和***设备接口1003被集成在同一芯片或电路板上;在一些其他实施例中,处理器1001、存储器1002和***设备接口1003中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1004用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1004通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1004将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1004包括:天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1004可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1004还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1005用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1005是触摸显示屏时,显示屏1005还具有采集在显示屏1005的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1001进行处理。此时,显示屏1005还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1005可以为一个,设置终端1000的前面板;在另一些实施例中,显示屏1005可以为至少两个,分别设置在终端1000的不同表面或呈折叠设计;在一些实施例中,显示屏1005可以是柔性显示屏,设置在终端1000的弯曲表面上或折叠面上。甚至,显示屏1005还可以设置成非矩形的不规则图形,也即异形屏。显示屏1005可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1006用于采集图像或视频。可选地,摄像头组件1006包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1006还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1007可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1001进行处理,或者输入至射频电路1004以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1000的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1001或射频电路1004的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1007还可以包括耳机插孔。
电源1009用于为终端1000中的各个组件进行供电。电源1009可以是交流电、直流电、一次性电池或可充电电池。当电源1009包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端1000还包括有一个或多个传感器1010。该一个或多个传感器1010包括但不限于:加速度传感器1011、陀螺仪传感器1012、压力传感器1013、光学传感器1015以及接近传感器1016。
加速度传感器1011可以检测以终端1000建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1011可以用于检测重力加速度在三个坐标轴上的分量。处理器1001可以根据加速度传感器1011采集的重力加速度信号,控制显示屏1005以横向视图或纵向视图进行用户界面的显示。加速度传感器1011还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1012可以检测终端1000的机体方向及转动角度,陀螺仪传感器1012可以与加速度传感器1011协同采集用户对终端1000的3D动作。处理器1001根据陀螺仪传感器1012采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1013可以设置在终端1000的侧边框和/或显示屏1005的下层。当压力传感器1013设置在终端1000的侧边框时,可以检测用户对终端1000的握持信号,由处理器1001根据压力传感器1013采集的握持信号进行左右手识别或快捷操作。当压力传感器1013设置在显示屏1005的下层时,由处理器1001根据用户对显示屏1005的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
光学传感器1015用于采集环境光强度。在一个实施例中,处理器1001可以根据光学传感器1015采集的环境光强度,控制显示屏1005的显示亮度。具体地,当环境光强度较高时,调高显示屏1005的显示亮度;当环境光强度较低时,调低显示屏1005的显示亮度。在另一个实施例中,处理器1001还可以根据光学传感器1015采集的环境光强度,动态调整摄像头组件1006的拍摄参数。
接近传感器1016,也称距离传感器,通常设置在终端1000的前面板。接近传感器1016用于采集用户与终端1000的正面之间的距离。在一个实施例中,当接近传感器1016检测到用户与终端1000的正面之间的距离逐渐变小时,由处理器1001控制显示屏1005从亮屏状态切换为息屏状态;当接近传感器1016检测到用户与终端1000的正面之间的距离逐渐变大时,由处理器1001控制显示屏1005从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图10中示出的结构并不构成对终端1000的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图11是本申请实施例提供的一种服务器的结构示意图,该服务器1100可因配置或性能不同而产生比较大的差异,可以包括一个或多个处理器(Central Processing Units,CPU)1101和一个或多个的存储器1102,其中,该一个或多个存储器1102中存储有至少一条程序代码,该至少一条程序代码由该一个或多个处理器1101加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器1100还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器1100还可以包括其他用于实现设备功能的部件,在此不做赘述。
在示例性实施例中,还提供了一种计算机可读存储介质,例如包括至少一条程序代码的存储器,上述至少一条程序代码可由处理器执行以完成上述实施例中的图文内容的内容质量确定方法。例如,该计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、只读光盘(Compact Disc Read-OnlyMemory,CD-ROM)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来至少一条程序代码相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
上述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (24)
1.一种图文内容的内容质量确定方法,其特征在于,所述方法包括:
获取图文内容,所述图文内容包括文本信息和至少一个图片;
获取所述图文内容对应的排版样式;
基于所述排版样式对所述图文内容进行渲染,得到所述图文内容的显示效果图;
对所述显示效果图进行特征提取,得到所述图文内容的排版特征;
基于所述文本信息与所述至少一个图片之间的匹配度,确定所述图文内容的图文匹配特征;
基于所述排版特征、所述图文匹配特征、所述图文内容的文本特征以及图片特征,确定所述图文内容的内容质量信息。
2.根据权利要求1所述的方法,其特征在于,所述基于所述文本信息与所述至少一个图片之间的匹配度,确定所述图文内容的图文匹配特征,包括:
基于所述文本信息与所述至少一个图片确定至少一个图文匹配对,一个所述图文匹配对包括一个图片以及所述一个图片对应的一段文本信息;
确定各个所述图文匹配对中所述一个图片和所述一段文本信息之间的图文匹配值;
基于至少一个所述图文匹配值,得到所述图文内容的图文匹配特征。
3.根据权利要求2所述的方法,其特征在于,所述确定各个所述图文匹配对中所述一个图片和所述一段文本信息之间的图文匹配值,包括:
对任一所述图文匹配对中所述一个图片的各个目标区域进行特征提取,得到所述一个图片对应的第一特征;
基于任一所述图文匹配对中所述一段文本信息的各个词组、所述一段文本信息的上下文特征,得到所述一段文本信息对应的第二特征;
基于所述第一特征与所述第二特征之间的相似度,确定所述图文匹配值,所述图文匹配值与所述相似度正相关。
4.根据权利要求1所述的方法,其特征在于,所述基于所述排版特征、所述图文匹配特征、所述图文内容的文本特征以及图片特征,确定所述图文内容的内容质量信息,包括:
对所述排版特征、所述图文匹配特征、所述文本特征、所述图片特征进行特征融合,得到所述图文内容的内容特征;
基于所述内容特征确定所述图文内容的所述内容质量信息。
5.根据权利要求4所述的方法,其特征在于,所述对所述排版特征、所述图文匹配特征、所述文本特征、所述图片特征进行特征融合,得到所述图文内容的内容特征,包括:
对所述排版特征、所述图文匹配特征、所述文本特征、所述图片特征中的任意两个特征进行融合,得到多个中间融合特征;
对所述排版特征、所述图文匹配特征、所述文本特征、所述图片特征以及所述多个中间融合特征,进行拼接,得到所述内容特征。
6.根据权利要求5所述的方法,其特征在于,所述对所述排版特征、所述图文匹配特征、所述文本特征、所述图片特征中的任意两个特征进行融合,得到多个中间融合特征,包括:
分别对所述排版特征、所述图文匹配特征、所述文本特征、所述图片特征进行自编码;
对自编码后的所述排版特征、所述图文匹配特征、所述文本特征、所述图片特征中的任意两个特征进行融合,得到所述多个中间融合特征。
7.根据权利要求1所述的方法,其特征在于,所述基于所述排版特征、所述图文匹配特征、所述图文内容的文本特征以及图片特征,确定所述图文内容的内容质量信息之前,所述方法还包括:
分别对各个所述图片进行特征提取,基于各个所述图片的特征提取结果,确定所述图文内容对应的图片特征;
对所述文本信息进行特征提取,基于提取到的所述文本信息的语义特征和统计特征,确定所述图文内容的文本特征,所述统计特征基于所述文本信息中各个词组的出现频率以及所述各个词组的权重确定。
8.根据权利要求1所述的方法,其特征在于,所述基于所述排版特征、所述图文匹配特征、所述图文内容的文本特征以及图片特征,确定所述图文内容的内容质量信息之后,所述方法还包括:
将所述图文内容的所述内容质量信息在目标页面进行显示。
9.根据权利要求8所述的方法,其特征在于,所述目标页面为所述图文内容的展示页面;或,所述目标页面为所述图文内容的质量展示页面。
10.一种图文内容的内容质量确定方法,其特征在于,所述方法包括:
响应于对图文内容的显示指令,获取所述图文内容,所述图文内容包括文本信息和至少一个图片;
获取所述图文内容对应的内容质量信息;其中,所述内容质量信息是基于所述图文内容的排版特征、所述图文内容的图文匹配特征、所述图文内容的文本特征以及图片特征确定的,所述排版特征是通过对所述图文内容的显示效果图进行特征提取得到的,所述显示效果图是基于所述图文内容对应的排版样式对所述图文内容进行渲染得到的,所述图文内容的图文匹配特征是基于所述文本信息与所述至少一个图片之间的匹配度确定的;
在所述图文内容的展示页面中,显示所述图文内容的所述内容质量信息。
11.根据权利要求10所述的方法,其特征在于,所述获取所述图文内容对应的内容质量信息包括:
向服务器发送质量确定请求,所述质量确定请求携带所述图文内容的地址信息;
接收所述服务器返回的所述内容质量信息,所述内容质量信息为所述服务器响应于所述质量确定请求,基于所述图文内容的排版特征、图文匹配特征、所述图文内容的文本特征以及图片特征所确定的内容质量信息。
12.一种图文内容的内容质量确定装置,其特征在于,所述装置包括:
获取模块,用于获取图文内容,所述图文内容包括文本信息和至少一个图片;
排版特征确定模块,用于获取所述图文内容对应的排版样式;基于所述排版样式对所述图文内容进行渲染,得到所述图文内容的显示效果图;对所述显示效果图进行特征提取,得到所述图文内容的排版特征;
图文匹配特征确定模块,用于基于所述文本信息与所述至少一个图片之间的匹配度,确定所述图文内容的图文匹配特征;
质量确定模块,用于基于所述排版特征、所述图文匹配特征、所述图文内容的文本特征以及图片特征,确定所述图文内容的内容质量信息。
13.根据权利要求12所述的装置,其特征在于,所述图文匹配特征确定模块,用于:
基于所述文本信息与所述至少一个图片确定至少一个图文匹配对,一个所述图文匹配对包括一个图片以及所述一个图片对应的一段文本信息;
确定各个所述图文匹配对中所述一个图片和所述一段文本信息之间的图文匹配值;
基于至少一个所述图文匹配值,得到所述图文内容的图文匹配特征。
14.根据权利要求13所述的装置,其特征在于,所述图文匹配特征确定模块,用于:
对任一所述图文匹配对中所述一个图片的各个目标区域进行特征提取,得到所述一个图片对应的第一特征;
基于任一所述图文匹配对中所述一段文本信息的各个词组、所述一段文本信息的上下文特征,得到所述一段文本信息对应的第二特征;
基于所述第一特征与所述第二特征之间的相似度,确定所述图文匹配值,所述图文匹配值与所述相似度正相关。
15.根据权利要求12所述的装置,其特征在于,所述质量确定模块,用于:
对所述排版特征、所述图文匹配特征、所述文本特征、所述图片特征进行特征融合,得到所述图文内容的内容特征;
基于所述内容特征确定所述图文内容的所述内容质量信息。
16.根据权利要求15所述的装置,其特征在于,所述质量确定模块,用于:
对所述排版特征、所述图文匹配特征、所述文本特征、所述图片特征中的任意两个特征进行融合,得到多个中间融合特征;
对所述排版特征、所述图文匹配特征、所述文本特征、所述图片特征以及所述多个中间融合特征,进行拼接,得到所述内容特征。
17.根据权利要求16所述的装置,其特征在于,所述质量确定模块,用于:
分别对所述排版特征、所述图文匹配特征、所述文本特征、所述图片特征进行自编码;
对自编码后的所述排版特征、所述图文匹配特征、所述文本特征、所述图片特征中的任意两个特征进行融合,得到所述多个中间融合特征。
18.根据权利要求12所述的装置,其特征在于,所述装置还包括:
图片特征确定模块,用于分别对各个所述图片进行特征提取,基于各个所述图片的特征提取结果,确定所述图文内容对应的图片特征;
文本特征确定模块,用于对所述文本信息进行特征提取,基于提取到的所述文本信息的语义特征和统计特征,确定所述图文内容的文本特征,所述统计特征基于所述文本信息中各个词组的出现频率以及所述各个词组的权重确定。
19.根据权利要求12所述的装置,其特征在于,所述装置还包括:
显示模块,用于将所述图文内容的所述内容质量信息在目标页面进行显示。
20.根据权利要求19所述的装置,其特征在于,所述目标页面为所述图文内容的展示页面;或,所述目标页面为所述图文内容的质量展示页面。
21.一种图文内容的内容质量确定装置,其特征在于,所述装置包括:
内容获取模块,用于响应于对图文内容的显示指令,获取所述图文内容,所述图文内容包括文本信息和至少一个图片;
质量获取模块,用于获取所述图文内容对应的内容质量信息;其中,所述内容质量信息是基于所述图文内容的排版特征、所述图文内容的图文匹配特征、所述图文内容的文本特征以及图片特征确定的,所述排版特征是通过对所述图文内容的显示效果图进行特征提取得到的,所述显示效果图是基于所述图文内容对应的排版样式对所述图文内容进行渲染得到的,所述图文内容的图文匹配特征是基于所述文本信息与所述至少一个图片之间的匹配度确定的;
显示模块,用于在所述图文内容的展示页面中,显示所述图文内容的所述内容质量信息。
22.根据权利要求21所述的装置,其特征在于,所述质量获取模块,用于:
向服务器发送质量确定请求,所述质量确定请求携带所述图文内容的地址信息;
接收所述服务器返回的所述内容质量信息,所述内容质量信息为所述服务器响应于所述质量确定请求,基于所述图文内容的排版特征、图文匹配特征、所述图文内容的文本特征以及图片特征所确定的内容质量信息。
23.一种计算机设备,其特征在于,所述计算机设备包括一个或多个处理器和一个或多个存储器,所述一个或多个存储器中存储有至少一条程序代码,所述至少一条程序代码由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求9任一项所述的图文内容的内容质量确定方法所执行的操作;或如权利要求10至权利要求11任一项所述的图文内容的内容质量确定方法所执行的操作。
24.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行以实现如权利要求1至权利要求9任一项所述的图文内容的内容质量确定方法所执行的操作;或如权利要求10至权利要求11任一项所述的图文内容的内容质量确定方法所执行的操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010071020.3A CN111311554B (zh) | 2020-01-21 | 2020-01-21 | 图文内容的内容质量确定方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010071020.3A CN111311554B (zh) | 2020-01-21 | 2020-01-21 | 图文内容的内容质量确定方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111311554A CN111311554A (zh) | 2020-06-19 |
CN111311554B true CN111311554B (zh) | 2023-09-01 |
Family
ID=71148213
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010071020.3A Active CN111311554B (zh) | 2020-01-21 | 2020-01-21 | 图文内容的内容质量确定方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111311554B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111741330B (zh) * | 2020-07-17 | 2024-01-30 | 腾讯科技(深圳)有限公司 | 一种视频内容评估方法、装置、存储介质及计算机设备 |
CN112016604B (zh) * | 2020-08-19 | 2021-03-26 | 华东师范大学 | 一种运用视觉信息的零资源机器翻译方法 |
CN112132075B (zh) * | 2020-09-28 | 2022-07-08 | 腾讯科技(深圳)有限公司 | 图文内容处理方法及介质 |
CN114385892B (zh) * | 2020-10-22 | 2024-04-16 | 腾讯科技(深圳)有限公司 | 一种文章等级识别方法、装置、服务器及存储介质 |
CN114818691A (zh) * | 2021-01-29 | 2022-07-29 | 腾讯科技(深圳)有限公司 | 文章内容的评价方法、装置、设备及介质 |
CN112733835B (zh) * | 2021-03-31 | 2021-06-22 | 杭州科技职业技术学院 | 基于原图像和动态信息融合的息屏画面生成方法 |
CN113159071B (zh) * | 2021-04-20 | 2022-06-21 | 复旦大学 | 一种跨模态图像-文本关联异常检测方法 |
CN113688269B (zh) * | 2021-07-21 | 2023-05-02 | 北京三快在线科技有限公司 | 图文匹配结果确定方法、装置、电子设备及可读存储介质 |
CN113642673B (zh) * | 2021-08-31 | 2023-12-22 | 北京字跳网络技术有限公司 | 图像生成方法、装置、设备及存储介质 |
CN113989404B (zh) * | 2021-11-05 | 2024-06-25 | 北京字节跳动网络技术有限公司 | 图片处理方法、装置、设备、存储介质和程序产品 |
CN114926461A (zh) * | 2022-07-19 | 2022-08-19 | 湖南工商大学 | 一种全盲屏幕内容图像质量评价方法 |
CN117972133B (zh) * | 2024-03-21 | 2024-05-31 | 珠海泰坦软件***有限公司 | 基于大数据的图文检索方法及*** |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103544170A (zh) * | 2012-07-12 | 2014-01-29 | 百度在线网络技术(北京)有限公司 | 浏览质量的评估方法及装置 |
CN103970726A (zh) * | 2014-05-21 | 2014-08-06 | 杨俊贤 | 图文排版实现方法及装置 |
CN108595492A (zh) * | 2018-03-15 | 2018-09-28 | 腾讯科技(深圳)有限公司 | 内容的推送方法和装置、存储介质、电子装置 |
CN108733672A (zh) * | 2017-04-14 | 2018-11-02 | 腾讯科技(深圳)有限公司 | 实现网络信息质量评估的方法和装置 |
CN109947526A (zh) * | 2019-03-29 | 2019-06-28 | 北京百度网讯科技有限公司 | 用于输出信息的方法和装置 |
CN109948401A (zh) * | 2017-12-20 | 2019-06-28 | 北京京东尚科信息技术有限公司 | 用于文本的数据处理方法及其*** |
CN110069649A (zh) * | 2017-09-25 | 2019-07-30 | 腾讯科技(深圳)有限公司 | 图形文件检索方法、装置、设备及计算机可读存储介质 |
CN110140178A (zh) * | 2016-11-23 | 2019-08-16 | 皇家飞利浦有限公司 | 用于知道上下文的图像质量收集和反馈的闭环*** |
CN110275958A (zh) * | 2019-06-26 | 2019-09-24 | 北京市博汇科技股份有限公司 | 网站信息识别方法、装置和电子设备 |
CN110706310A (zh) * | 2019-08-23 | 2020-01-17 | 华为技术有限公司 | 一种图文融合方法、装置及电子设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006331393A (ja) * | 2005-04-28 | 2006-12-07 | Fujifilm Holdings Corp | アルバム作成装置、アルバム作成方法、及びプログラム |
US10942966B2 (en) * | 2017-09-22 | 2021-03-09 | Pinterest, Inc. | Textual and image based search |
-
2020
- 2020-01-21 CN CN202010071020.3A patent/CN111311554B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103544170A (zh) * | 2012-07-12 | 2014-01-29 | 百度在线网络技术(北京)有限公司 | 浏览质量的评估方法及装置 |
CN103970726A (zh) * | 2014-05-21 | 2014-08-06 | 杨俊贤 | 图文排版实现方法及装置 |
CN110140178A (zh) * | 2016-11-23 | 2019-08-16 | 皇家飞利浦有限公司 | 用于知道上下文的图像质量收集和反馈的闭环*** |
CN108733672A (zh) * | 2017-04-14 | 2018-11-02 | 腾讯科技(深圳)有限公司 | 实现网络信息质量评估的方法和装置 |
CN110069649A (zh) * | 2017-09-25 | 2019-07-30 | 腾讯科技(深圳)有限公司 | 图形文件检索方法、装置、设备及计算机可读存储介质 |
CN109948401A (zh) * | 2017-12-20 | 2019-06-28 | 北京京东尚科信息技术有限公司 | 用于文本的数据处理方法及其*** |
CN108595492A (zh) * | 2018-03-15 | 2018-09-28 | 腾讯科技(深圳)有限公司 | 内容的推送方法和装置、存储介质、电子装置 |
CN109947526A (zh) * | 2019-03-29 | 2019-06-28 | 北京百度网讯科技有限公司 | 用于输出信息的方法和装置 |
CN110275958A (zh) * | 2019-06-26 | 2019-09-24 | 北京市博汇科技股份有限公司 | 网站信息识别方法、装置和电子设备 |
CN110706310A (zh) * | 2019-08-23 | 2020-01-17 | 华为技术有限公司 | 一种图文融合方法、装置及电子设备 |
Non-Patent Citations (1)
Title |
---|
基于图像特征匹配的推荐模型研究;刘东苏;霍辰辉;;数据分析与知识发现(第03期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111311554A (zh) | 2020-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111311554B (zh) | 图文内容的内容质量确定方法、装置、设备及存储介质 | |
CN110852100B (zh) | 关键词提取方法、装置、电子设备及介质 | |
CN113515942A (zh) | 文本处理方法、装置、计算机设备及存储介质 | |
CN111339737B (zh) | 实体链接方法、装置、设备及存储介质 | |
CN110555102A (zh) | 媒体标题识别方法、装置及存储介质 | |
CN112632445A (zh) | 网页播放方法、装置、设备及存储介质 | |
CN112269853A (zh) | 检索处理方法、装置及存储介质 | |
CN111835621A (zh) | 会话消息处理方法、装置、计算机设备及可读存储介质 | |
CN113763931B (zh) | 波形特征提取方法、装置、计算机设备及存储介质 | |
CN111931075B (zh) | 一种内容推荐方法、装置、计算机设备及存储介质 | |
CN117392254A (zh) | 图像生成方法、装置、终端及存储介质 | |
CN117436418A (zh) | 指定类型文本的生成方法、装置、设备及存储介质 | |
CN114691860A (zh) | 文本分类模型的训练方法、装置、电子设备及存储介质 | |
CN114780181B (zh) | 资源显示方法、装置、计算机设备及介质 | |
CN113486260B (zh) | 互动信息的生成方法、装置、计算机设备及存储介质 | |
CN114296627B (zh) | 内容显示方法、装置、设备及存储介质 | |
CN115708085B (zh) | 业务处理、神经网络模型的训练方法、装置、设备及介质 | |
CN111639705B (zh) | 一种批量图片标注方法、***、机器可读介质及设备 | |
CN115130456A (zh) | 语句解析、匹配模型的训练方法、装置、设备及存储介质 | |
KR20180033777A (ko) | 번역문과 함께 이미지를 제공하는 방법, 장치 및 컴퓨터 프로그램 | |
CN112115912B (zh) | 图像识别方法、装置、计算机设备及存储介质 | |
CN111368556B (zh) | 翻译模型的性能确定方法、置信度确定方法及装置 | |
CN117009504A (zh) | 实体提取方法、装置、设备、存储介质及产品 | |
CN116467411A (zh) | 问题的答案确定方法、装置、计算机设备及存储介质 | |
CN116956943A (zh) | 基于翻译场景的词对齐方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40024214 Country of ref document: HK |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |