CN107609056A - 一种基于图片识别的问答处理方法与设备 - Google Patents

Abstract

本申请的目的是提供一种基于图片识别的问答处理方法及设备；从问答请求用户提交的目标图片中提取对应的检索信息，其中，所述检索信息包括一个或多个文本信息及所述文本信息在所述图片中的相对位置信息；基于所述检索信息在参考图片库中匹配查询，以获得与所述文本信息及所述相对位置信息相匹配的参考图片；基于所述参考图片对应的问答信息确定所述目标图片所对应问题的回答信息。本申请可以实现对用户提供的、以图片形式表达的问题请求进行识别并处理，从而提高了智能客服设备或应用的服务能力和服务覆盖范围，降低智能处理转人工处理比例，极大地节约了人力资源，提高了用户问题处理的整体效率。

Description

一种基于图片识别的问答处理方法与设备

技术领域

本申请涉及图像处理领域，尤其涉及一种基于图片识别的问答处理的技术。

背景技术

随着计算机网络技术的发展，各种互联网应用，例如网页应用、或是终端应用会提供与互联网用户交互的问答平台或窗口，互联网用户可以通过问答平台或窗口提交在使用应用过程中遇到的问题，以期获得问题的答案，现有技术中，通常是由应用相关的人工客服或是智能客服***对用户提交的问题进行分析和解答，一般情况下智能客服***仅能够通过文本形式的内容与用户进行交流，即需要用户输入文本形式的问题；而人工客服虽然能够对用户提交的各种形式的内容，例如文本形式或是图片形式等多种形式的问题进行处理，但是此种方式的运用需要的人力成本较高，并且问题处理的效率较低，且受不同人工客服的操作经验的影响、易出现整体上问题处理水平不一致的情况。对于用户量较大的互连网应用，通常用户的提问频率较高且问题种类较多，此时，不论是现有的智能客服***，或是人工客服都无法兼顾方便用户操作、提高问题处理的效率、并且降低资源成本等各种有益效果。

发明内容

本申请的一个目的是提供一种基于图片识别的问答处理方法及设备。

根据本申请的一个方面，提供了一种基于图片识别的问答处理方法，包括：

从问答请求用户提交的目标图片中提取对应的检索信息，其中，所述检索信息包括一个或多个文本信息及所述文本信息在所述图片中的相对位置信息；

基于所述检索信息在参考图片库中匹配查询，以获得与所述文本信息及所述相对位置信息相匹配的参考图片；

基于所述参考图片对应的问答信息确定所述目标图片所对应问题的回答信息。

根据本申请的另一个方面，还提供了一种基于图片识别的问答处理设备，包括：

第一装置，用于从问答请求用户提交的目标图片中提取对应的检索信息，其中，所述检索信息包括一个或多个文本信息及所述文本信息在所述图片中的相对位置信息；

第二装置，用于基于所述检索信息在参考图片库中匹配查询，以获得与所述文本信息及所述相对位置信息相匹配的参考图片；

第三装置，用于基于所述参考图片对应的问答信息确定所述目标图片所对应问题的回答信息。

根据本申请的另一个方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如上述的方法被执行。

根据本申请的又一个方面，还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如上述的方法被执行。

根据本申请的再一个方面，还提供了一种计算机设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个计算机程序；

当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述的方法。

与现有技术相比，本申请从问答请求用户提交的目标图片中提取对应的检索信息，进而基于所述检索信息在参考图片库中匹配查询，以获得与所述文本信息及所述相对位置信息相匹配的参考图片，最终将基于所述参考图片对应的问答信息确定所述目标图片所对应问题的回答信息。在此，本申请可以实现由问答处理设备，例如智能客服设备或应用对用户提供的、以图片形式表达的问题请求进行识别并处理，从而提高了智能客服设备或应用的服务能力和服务覆盖范围，降低智能处理转人工处理比例，极大地节约了人力资源，提高了用户问题处理的整体效率；同时，本申请保证了处理问题处理水平的较高一致性；对于用户来说，本申请的实现可以方便用户的提问操作，提升了用户对问题处理过程及结果的满意度。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出了根据本申请一个方面的一种基于图片识别的问答处理方法的流程图；

图2示出了根据本申请另一个方面的一种基于图片识别的问答处理设备的设备示意图；

图3示出了根据本申请一个实施例的一种基于目标图片进行检索信息提取及匹配查询的示例图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

在上下文中所称“计算机设备”，也称为“电脑”，是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能电子设备，其可以包括处理器与存储器，由处理器执行在存储器中预存的存续指令来执行预定处理过程，或是由ASIC、FPGA、DSP等硬件执行预定处理过程，或是由上述二者组合来实现。计算机设备包括但不限于服务器、个人电脑、笔记本电脑、平板电脑、智能手机等。

所述计算机设备包括用户设备与网络设备。其中，所述用户设备包括但不限于电脑、智能手机、PDA等；所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing) 的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中，所述计算机设备可单独运行来实现本发明，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本发明。其中，所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。

需要说明的是，所述用户设备、网络设备和网络等仅为举例，其他现有的或今后可能出现的计算机设备或网络如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时，用以实施必要任务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个) 处理器可以实施必要的任务。

这里所公开的具体结构和功能细节仅仅是代表性的，并且是用于描述本发明的示例性实施例的目的。但是本发明可以通过许多替换形式来具体实现，并且不应当被解释成仅仅受限于这里所阐述的实施例。

应当理解的是，虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说，在不背离示例性实施例的范围的情况下，第一单元可以被称为第二单元，并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。

应当理解的是，当一个单元被称为“连接”或“耦合”到另一单元时，其可以直接连接或耦合到所述另一单元，或者可以存在中间单元。与此相对，当一个单元被称为“直接连接”或“直接耦合”到另一单元时，则不存在中间单元。应当按照类似的方式来解释被用于描述单元之间的关系的其他词语 (例如“处于...之间”相比于“直接处于...之间”，“与...邻近”相比于“与...直接邻近”等等)。

这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/ 或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。

还应当提到的是，在一些替换实现方式中，所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说，取决于所涉及的功能/动作，相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。

本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作***，如 android操作***、iOS操作***等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络) 等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。

本申请实施例提供了一种基于图片识别的问答处理方法，所述方法可以在相应的问答处理设备中实现。所述问答处理设备可以包括但不限于上述网络设备。所述问答处理设备还可以包括用于处理用户问答的程序应用。在一种实现方式中，所述问答处理方法适用于为用户提供针对问题请求的解答服务的场景，所述问答处理设备可以包括智能客服设备或应用。

图1示出了根据本发明一个方面的一种基于图片识别的问答处理方法的流程图。其中，所述方法包括步骤S11、步骤S12和步骤S13。

在步骤S11中，从问答请求用户提交的目标图片中提取对应的检索信息，其中，所述检索信息包括一个或多个文本信息及所述文本信息在所述图片中的相对位置信息。

在一种实现方式中，问答请求用户提交的目标图片用于对应、表达该所述用户的问题请求，所述问题请求可以包括该问答请求用户在使用各种互联网应用，例如网页应用、或是终端应用过程中遇到的各类问题，所述目标图片可以来自于问答请求用户对应用界面的截图，例如，当应用界面呈现出提示信息时，该用户可以将包含了提示信息的界面以图片形式保存，并作为目标图片上传。在此，该用户并不需要直接以文本形式输入自己希望表达的问题请求，而是可以直接上传包含了问题请求、或是对应问题请求的目标图片，后续将由问题处理设备自动对目标图片进行处理来确定用户的问题请求，并确定问题请求对应的答案或解决方案，由此，可以简化用户操作。

在一种实现方式中，可以对问答请求用户提交的目标图片进行文字识别以解析出对应的检索信息，例如采用OCR字符识别方法对所述目标图片进行文本识别。在一种实现方式中，可以采用在图片上从上至下、从左至右的位置顺序提取出一个或多个文本信息，其中，将所述从上至下、从左至右的位置顺序依次标记即得到所述相对位置信息，每个相对位置信息对应属于该位置的所述文本信息。在一种实现方式中，所述检索信息可以表示为目标图片、目标图片对应的一个或多个相对位置信息，及所述每个相对位置信息对应的文本信息。在此，图3示出了根据本申请一个实施例的一种基于目标图片进行检索信息提取及匹配查询的示例图。其中，对于目标图片进行文字识别可以得到相对位置信息：位置1、位置2、位置3、位置 4......，以及对应相对位置信息的文本信息，即文本1、文本2、文本3、文本4......以此类推。

进一步，在一种实现方式中，对于从目标图片中提取出的全部文本信息可以进行去除干扰信息的操作，即删除掉与目标图片所对应问题关联度较低的文本信息，例如一些高频干扰项。一个实际的举例是：用户在用户设备端的应用中进行申请额度操作时，遇到信息提示，基于用户上传的目标图片，依次解析出多个文本信息：

***；上午11:49；申请额度；身份验证；信息确认；请输入百度钱包支付密码，以验证身份；忘记密码；提示；密码输入有误，还可以输入4次；我知道了。

在此，即可以参考已有的干扰项信息库，排出掉“***”，“上午11:49”等与目标图片所对应问题关联度较低的高频文本信息。进而，基于去除掉干扰信息的一个或多个文本信息及其对应的相对位置信息确定出检索信息。

接着，在步骤S12中，基于所述检索信息在参考图片库中匹配查询，以获得与所述文本信息及所述相对位置信息相匹配的参考图片。

所述参考图片库中包含多个参考图片。在一种实现方式中，可以为所述参考图片匹配相应的问答信息，所述问答信息包括与所述参考图片匹配的一个或多个问题，所述每个问题可以匹配一个或多个答案。在此，所述问题可以是通过参考图片的内容直接得到的、还可以是通过对参考图片的内容进行分析综合确定的。在一种实现方式中，所述参考图片与问答信息之间匹配关系可以通过机器学习自动建立并更新；在一种实现方式中，还可以通过人工操作确定所述参考图片与问答信息之间的匹配关系；在一种实现方式中，还可以将机器学习和人工操作组合应用已确定所述匹配关系。

在一种实现方式中，可以基于所述检索信息中的一个或多个文本信息及所述文本信息的相对位置信息，结合参考图片库对应的倒排索引信息检索图片库中与所述目标图片相匹配的参考图片。在此，所述倒排索引信息包括一个或多个文本、所述文本对应的一个或多个图片、及所述文本在对应图片中的相对位置信息。在此，可以通过所述倒排索引信息，选择出与所述检索信息中所述文本信息及所述相对位置信息相匹配的候选参考图片为所述参考图片。

在一个实施例中，步骤S12包括步骤S121(未示出)、步骤S122(未示出)和步骤S123(未示出)。

具体地，在步骤S121中，基于所述文本信息在参考图片库中匹配查询，以获得一个或多个候选参考图片，每个候选参考图片与所述一个或多个文本信息中至少一个相匹配。

在此，所述候选参考图片是从参考图片库中众多图片中筛选出来的与所述一个或多个文本信息中至少一个相匹配的图片。所述候选参考图片与所述一个或多个文本信息中至少一个相匹配可以包括所述候选参考图片存在至少一个参考文本与所述文本信息相匹配。在一种实现方式中，所述候选参考图片中可以包括一个或多个与所述文本信息相匹配的参考文本，还可以包括一个或多个与所述文本信息不匹配的其他文本。优选地，所述相匹配包括文本信息相一致。在一种实现方式中，将所述检索信息中的各个文本信息依次在所述参考图片库中检索，例如通过倒排索引信息进行检索，可以检索出与所述文本信息相匹配的参考文本，将所述参考文本对应的图片确定为候选参考图片。在此，可以参考图3，在一种实现方式中，基于从目标图片中提取的文本信息，如图中的文本1、文本2、文本3、文本4......进行匹配查询，查询出与所述文本信息匹配的参考文本，即文本 1、文本2、文本3、文本4......，基于所述参考文本对应的图片信息，确定出候选参考图片，图片1、图片2、图片3......。其中，候选参考图片1 与文本信息1匹配，候选参考图片2与文本信息1、文本信息2、文本信息3匹配，候选参考图片3与文本信息4匹配......。

接着，在步骤S122中，根据所述文本信息及所述相对位置信息，以及参考文本在所述候选参考图片中的相对位置，确定所述候选参考图片与所述目标图片的匹配度信息，其中，所述参考文本与所述文本信息相匹配。

在此，若确定的所述候选参考图片只有一个，可以确定所述候选参考图片即为所述参考图片。若所述候选参考图片有多个，可以通过计算每个候选参考图片与所述目标图片的匹配度信息，确定匹配度信息高的作为参考图片。

一个用于确定所述候选参考图片与所述目标图片的匹配度信息的实施例如下：

若所述目标图片对应N个相对位置上的N个文本信息，所述候选参考图片也对应N个相对位置上的N个文本，所述文本可以包括与所述文本信息相匹配的若干个参考文本，还可以包括若干个与所述文本信息不匹配的其他文本，则计算所述目标图片中每个相对位置信息对应的文本信息与所述候选参考图片中相应的相对位置信息对应的参考文本或其他文本的文本相似度；接着，将所述目标图片的全部相对位置信息对应的所述文本相似度相加后除以文本信息数量，以求得所述候选参考图片与所述目标图片的匹配度信息。

表a

例如，参考表a，当N取3时，目标图片中位置1-文本信息1、位置2-文本信息2、位置3-文本信息3；相应的候选参考图片1中位置1- 参考文本1、位置2-参考文本2、位置3-其他文本1，则计算：(文本信息1和参考文本1的文本相似度+文本信息2和参考文本2的文本相似度+文本信息3和其他文本2的文本相似度)/文本信息数量，即得到所述候选参考图片与所述目标图片的匹配度信息。

进一步，为了避免相匹配的所述文本信息与参考信息、其各自的相对位置信息出现错位，保证匹配的准确性，可以通过参考候选参考图片的各个相对位置信息、调整目标图片与候选参考图片的文本匹配顺序，计算出多组备选的候选参考图片与所述目标图片的匹配度信息，并从中选取最大值，作为所述匹配度信息。

继续参考表a，则可以计算出以下几组备选的候选参考图片与所述目标图片的匹配度信息：

(文本信息1和参考文本1的文本相似度+文本信息2和参考文本2 的文本相似度+文本信息3和其他文本2的文本相似度)/文本信息数量；

(文本信息1和参考文本2的文本相似度+文本信息2和参考文本3 的文本相似度+0)/文本信息数量；

(文本信息1和参考文本3的文本相似度+0+0)/文本信息数量；

(0+文本信息2和参考文本1的文本相似度+文本信息3和参考文本 2的文本相似度)/文本信息数量；

(0+0+文本信息3和参考文本1的文本相似度)/文本信息数量。

进而，从上述各组备选的候选参考图片与所述目标图片的匹配度信息中，选取最大值作为所述匹配度信息。在本申请中，所述N为任意正整数，上述的计算方法在N为任意正整数时，推定适用。

在一种实现方式中，可以采用欧式距离的相应算法，计算所述文本相似度，在此，本领域技术人员应该能够理解，所述文本相似度的算法仅为举例，其他现有或今后可能出现的文本相似度的算法如可适用本申请，也以引用的方式包含于此。

又一个用于确定所述候选参考图片与所述目标图片的匹配度信息的实施例如下：在步骤122中，根据所述文本信息的相对位置信息与所述参考文本在所述候选参考图片中的相对位置是否相一致，确定所述候选参考图片与所述目标图片的匹配度信息。在此，当所述候选参考图片的参考文本与所述一个或多个文本信息相匹配时，确定所述参考文本与相匹配的所述文本信息在各自图片中的相对位置信息是否一致。例如，表a中，文本信息1在目标图片的位置1、文本信息2在目标图片的位置2，若所述参考信息1与所述文本信息1匹配、参考信息2与所述文本信息2匹配，则由于参考信息1、参考信息2分别在参考图片的位置1和位置2，即所述文本信息的相对位置信息与所述参考文本在所述候选参考图片中的相对位置相一致，此时可以确定所述候选参考图片与所述目标图片的匹配度信息较高。在一种实现方式中，可以累计所述相对位置相一致的次数以确定对应的匹配度信息，并设置相一致次数越多，则所述匹配度信息越大。

又一个用于确定所述候选参考图片与所述目标图片的匹配度信息的实施例如下：在步骤122中，若所述候选参考图片包括多个所述参考文本，根据所述多个文本信息对应的文本顺序信息与所述多个参考文本对应的文本顺序信息是否相匹配，确定所述候选参考图片与所述目标图片的匹配度信息，其中，所述多个文本信息对应的文本顺序信息与所述多个参考文本对应的文本顺序信息分别由其中各文本对应的相对位置确定。

一个举例是：若所述候选参考图片包括参考文本1、参考文本2、参考文本3，分别对应于候选参考图片中的位置2、位置3、位置4，而与所述参考文本1、参考文本2、参考文本3分别对应相同的目标图片的文本信息1、文本信息2、文本信息3，其各自对应于目标图片的位置1、位置 2、位置3。此时，基于所述参考图片中的位置2、位置3、位置4的位置顺序，可以确定，所述参考文本1、参考文本2、参考文本3的文本顺序信息即为参考文本1至参考文本2至参考文本3；同样，基于所述目标图片中的位置1、位置2、位置3的位置顺序，可以确定，所述文本信息1、文本信息2、文本信息3的文本顺序即为文本信息1至文本信息2至文本信息3。因此，相对比可确定，所述多个文本信息对应的文本顺序信息与所述多个参考文本对应的文本顺序信息相匹配，优选地，所述相匹配包括相一致。进而，确定所述候选参考图片与所述目标图片的匹配度信息，例如，可以确定完全相一致计为1、完全不一致计为0。又如，可以按照相一致顺序对应的文本数量确定不同的匹配度信息。如，有N个所述参考文本对应的文本顺序，与相对应的N个所述文本新的文本顺序一致，则确定一个对应的匹配度信息，同样，对于有N+1个所述参考文本对应的文本顺序，与相对应的N+1个所述文本新的文本顺序一致，，则确定另一个对应的匹配度信息，并且设置后一种的匹配度信息为较大。

又一个用于确定所述候选参考图片与所述目标图片的匹配度信息的实施例如下：若所述候选参考图片有多个，基于所述候选参考图片中参考文本与所述目标图片的文本信息相匹配次数确定所述匹配度信息，所述相匹配次数越多，则所述匹配度信息越大。进而，确定所述相匹配次数最多的候选参考图片为所述参考图片。

进一步，又一个用于确定所述候选参考图片与所述目标图片的匹配度信息的实施例如下：若是基于所述相匹配次数确定出匹配度信息最大的候选参考图片信息至少有两个，则可以进一步，根据所述文本信息的相对位置信息与所述参考文本在所述候选参考图片中的相对位置是否相一致，确定所述候选参考图片与所述目标图片的匹配度信息；或者，若所述候选参考图片包括多个所述参考文本，根据所述多个文本信息对应的文本顺序信息与所述多个参考文本对应的文本顺序信息是否相匹配，确定所述候选参考图片与所述目标图片的匹配度信息，其中，所述多个文本信息对应的文本顺序信息与所述多个参考文本对应的文本顺序信息分别由其中各文本对应的相对位置确定。

接着，在步骤S123中，根据所述匹配度信息在所述一个或多个候选参考图片中确定与所述文本信息及所述相对位置信息相匹配的参考图片。在此，所述匹配度信息越大，则对应的所述候选参考图片与所述目标图片的相似度越高，因此，将其确定为所述参考图片时，其对应的问答信息与所述问答请求用户希望通过所述目标图片表达的问题的匹配的准确度才会越高。

本申请从问答请求用户提交的目标图片中提取对应的检索信息，进而基于所述检索信息在参考图片库中匹配查询，以获得与所述文本信息及所述相对位置信息相匹配的参考图片，最终将基于所述参考图片对应的问答信息确定所述目标图片所对应问题的回答信息。在此，本申请可以实现由问答处理设备，例如智能客服设备或应用对用户提供的、以图片形式表达的问题请求进行识别并处理，从而提高了智能客服设备或应用的服务能力和服务覆盖范围，降低智能处理转人工处理比例，极大地节约了人力资源，提高了用户问题处理的整体效率；同时，本申请保证了处理问题处理水平的较高一致性；对于用户来说，本申请的实现可以方便用户的提问操作，提升了用户对问题处理过程及结果的满意度。

在本申请的一个实施例中，在步骤S13中，若检索到所述参考图片，基于所述参考图片对应的问答信息确定所述目标图片所对应问题的回答信息；否则向问答请求用户发送问题描述请求，其中，所述问题描述请求用于指示用户确定所述问题请求。在实际应用中，存在检索不到所述参考图片的情况，例如，基于所述目标图片提取出的文本信息，匹配查询不到对应的参考图片的参考文本。此时可以向问答请求用户发送问题描述请求，以引导所述问答请求用户描述、或确定所述问题请求，例如，向问答请求用户发送“请问您的问题是什么？”等文本信息，后续可以由人工客服，或是智能客服与所述问答请求用户进行交互。

在本申请的一个实施例中，在步骤S13中，若基于所述参考图片对应的问答信息确定出所述目标图片对应至少两个问题，将所述至少两个问题提供至所述问答请求用户；接着，获取所述问答请求用户从至少两个问题中选择的问题；接着确定问答请求用户选择的所述问题的回答信息。例如，通过所述匹配查询操作，若是确定了一个参考图片，可能存在该参考图片对应于两个以上问题的情况；又如，若是匹配查询出两个以上的参考图片，如存在多个相似度信息一致的候选参考图片，都确定为所述参考图片，并且所述参考图片对应的问题的总数量在两个以上，则此时，可以将所述至少两个问题提供至所述问答请求用户，所述问答请求用户选择出其实际希望请求的问题，并将所选择的问题告知所述问答处理设备1，接着，所述问答处理设备1确定问答请求用户选择的所述问题的回答信息。

在本申请的一个实施例中，所述方法还包括步骤S14(未示出)，在步骤S14中，将所述回答信息反馈至所述问答请求用户。进一步，所述方法还可以包括步骤S15(未示出)和步骤S16(未示出)。在步骤S15中，可以获取所述问答请求用户基于所述回答信息提交的反馈信息。接着，在步骤S16中，若反馈信息包括所述目标图片所对应问题已解决，将所述目标图片更新入参考图片库。在此，所述参考图片库可以基于更新的目标图片的一个或多个文本信息、所述文本信息在所述图片中的相对位置信息更新所述倒排索引信息。在此，还可以建立并保存所述目标图片与所述问答信息之间的对应关系。或者，若反馈信息包括所述目标图片所对应问题未解决，将所述目标图片标记为待解决问题，在此，可以设置一定周期后，对所述标记为待解决问题的目标图片进行再次匹配查询；还可以将标记为待解决问题的目标图片转为人工客服处理。

本申请实施例提供了一种基于图片识别的问答处理方法，所述方法可以在相应的问答处理设备中实现。所述问答处理设备可以包括但不限于上述网络设备。所述问答处理设备还可以包括用于处理用户问答的程序应用。在一种实现方式中，所述问答处理方法适用于为用户提供针对问题请求的解答服务的场景，所述问答处理设备可以包括智能客服设备或应用。

图2示出了根据本申请另一个方面的一种基于图片识别的问答处理设备的设备示意图。其中，所述问答处理设备1包括第一装置21、第二装置22 和第三装置23。

所述第一装置21可以从问答请求用户提交的目标图片中提取对应的检索信息，其中，所述检索信息包括一个或多个文本信息及所述文本信息在所述图片中的相对位置信息。

在一种实现方式中，问答请求用户提交的目标图片用于对应、表达该所述用户的问题请求，所述问题请求可以包括该问答请求用户在使用各种互联网应用，例如网页应用、或是终端应用过程中遇到的各类问题，所述目标图片可以来自于问答请求用户对应用界面的截图，例如，当应用界面呈现出提示信息时，该用户可以将包含了提示信息的界面以图片形式保存，并作为目标图片上传。在此，该用户并不需要直接以文本形式输入自己希望表达的问题请求，而是可以直接上传包含了问题请求、或是对应问题请求的目标图片，后续将由问题处理设备自动对目标图片进行处理来确定用户的问题请求，并确定问题请求对应的答案或解决方案，由此，可以简化用户操作。

在一种实现方式中，可以对问答请求用户提交的目标图片进行文字识别以解析出对应的检索信息，例如采用OCR字符识别方法对所述目标图片进行文本识别。在一种实现方式中，可以采用在图片上从上至下、从左至右的位置顺序提取出一个或多个文本信息，其中，将所述从上至下、从左至右的位置顺序依次标记即得到所述相对位置信息，每个相对位置信息对应属于该位置的所述文本信息。在一种实现方式中，所述检索信息可以表示为目标图片、目标图片对应的一个或多个相对位置信息，及所述每个相对位置信息对应的文本信息。在此，图3示出了根据本申请一个实施例的一种基于目标图片进行检索信息提取及匹配查询的示例图。其中，对于目标图片进行文字识别可以得到相对位置信息：位置1、位置2、位置3、位置 4......，以及对应相对位置信息的文本信息，即文本1、文本2、文本3、文本4......以此类推。

进一步，在一种实现方式中，对于从目标图片中提取出的全部文本信息可以进行去除干扰信息的操作，即删除掉与目标图片所对应问题关联度较低的文本信息，例如一些高频干扰项。一个实际的举例是：用户在用户设备端的应用中进行申请额度操作时，遇到信息提示，基于用户上传的目标图片，依次解析出多个文本信息：

***；上午11:49；申请额度；身份验证；信息确认；请输入百度钱包支付密码，以验证身份；忘记密码；提示；密码输入有误，还可以输入4次；我知道了。

在此，即可以参考已有的干扰项信息库，排出掉“***”，“上午11:49”等与目标图片所对应问题关联度较低的高频文本信息。进而，基于去除掉干扰信息的一个或多个文本信息及其对应的相对位置信息确定出检索信息。

在此，所述第二装置22基于所述检索信息在参考图片库中匹配查询，以获得与所述文本信息及所述相对位置信息相匹配的参考图片。

所述参考图片库中包含多个参考图片。在一种实现方式中，可以为所述参考图片匹配相应的问答信息，所述问答信息包括与所述参考图片匹配的一个或多个问题，所述每个问题可以匹配一个或多个答案。在此，所述问题可以是通过参考图片的内容直接得到的、还可以是通过对参考图片的内容进行分析综合确定的。在一种实现方式中，所述参考图片与问答信息之间匹配关系可以通过机器学习自动建立并更新；在一种实现方式中，还可以通过人工操作确定所述参考图片与问答信息之间的匹配关系；在一种实现方式中，还可以将机器学习和人工操作组合应用已确定所述匹配关系。

在一种实现方式中，可以基于所述检索信息中的一个或多个文本信息及所述文本信息的相对位置信息，结合参考图片库对应的倒排索引信息检索图片库中与所述目标图片相匹配的参考图片。在此，所述倒排索引信息包括一个或多个文本、所述文本对应的一个或多个图片、及所述文本在对应图片中的相对位置信息。在此，可以通过所述倒排索引信息，选择出与所述检索信息中所述文本信息及所述相对位置信息相匹配的候选参考图片为所述参考图片。

在一个实施例中，所述第二装置22可以包括第一单元221(未示出)、第二单元S222(未示出)和第三单元S223(未示出)。

具体地，第一单元221可以基于所述文本信息在参考图片库中匹配查询，以获得一个或多个候选参考图片，每个候选参考图片与所述一个或多个文本信息中至少一个相匹配。

在此，所述候选参考图片是从参考图片库中众多图片中筛选出来的与所述一个或多个文本信息中至少一个相匹配的图片。所述候选参考图片与所述一个或多个文本信息中至少一个相匹配可以包括所述候选参考图片存在至少一个参考文本与所述文本信息相匹配。在一种实现方式中，所述候选参考图片中可以包括一个或多个与所述文本信息相匹配的参考文本，还可以包括一个或多个与所述文本信息不匹配的其他文本。优选地，所述相匹配包括文本信息相一致。在一种实现方式中，将所述检索信息中的各个文本信息依次在所述参考图片库中检索，例如通过倒排索引信息进行检索，可以检索出与所述文本信息相匹配的参考文本，将所述参考文本对应的图片确定为候选参考图片。在此，可以参考图3，在一种实现方式中，基于从目标图片中提取的文本信息，如图中的文本1、文本2、文本3、文本4......进行匹配查询，查询出与所述文本信息匹配的参考文本，即文本 1、文本2、文本3、文本4......，基于所述参考文本对应的图片信息，确定出候选参考图片，图片1、图片2、图片3......。其中，候选参考图片1 与文本信息1匹配，候选参考图片2与文本信息1、文本信息2、文本信息3匹配，候选参考图片3与文本信息4匹配......。

在此，第二单元222可以根据所述文本信息及所述相对位置信息，以及参考文本在所述候选参考图片中的相对位置，确定所述候选参考图片与所述目标图片的匹配度信息，其中，所述参考文本与所述文本信息相匹配。

在此，若确定的所述候选参考图片只有一个，可以确定所述候选参考图片即为所述参考图片。若所述候选参考图片有多个，可以通过计算每个候选参考图片与所述目标图片的匹配度信息，确定匹配度信息高的作为参考图片。

一个用于确定所述候选参考图片与所述目标图片的匹配度信息的实施例如下：

若所述目标图片对应N个相对位置上的N个文本信息，所述候选参考图片也对应N个相对位置上的N个文本，所述文本可以包括与所述文本信息相匹配的若干个参考文本，还可以包括若干个与所述文本信息不匹配的其他文本，则计算所述目标图片中每个相对位置信息对应的文本信息与所述候选参考图片中相应的相对位置信息对应的参考文本或其他文本的文本相似度；接着，将所述目标图片的全部相对位置信息对应的所述文本相似度相加后除以文本信息数量，以求得所述候选参考图片与所述目标图片的匹配度信息。

表a

例如，参考表a，当N取3时，目标图片中位置1-文本信息1、位置2-文本信息2、位置3-文本信息3；相应的候选参考图片1中位置1- 参考文本1、位置2-参考文本2、位置3-其他文本1，则计算：(文本信息1和参考文本1的文本相似度+文本信息2和参考文本2的文本相似度+文本信息3和其他文本2的文本相似度)/文本信息数量，即得到所述候选参考图片与所述目标图片的匹配度信息。

进一步，为了避免相匹配的所述文本信息与参考信息、其各自的相对位置信息出现错位，保证匹配的准确性，可以通过参考候选参考图片的各个相对位置信息、调整目标图片与候选参考图片的文本匹配顺序，计算出多组备选的候选参考图片与所述目标图片的匹配度信息，并从中选取最大值，作为所述匹配度信息。

继续参考表a，则可以计算出以下几组备选的候选参考图片与所述目标图片的匹配度信息：

(文本信息1和参考文本1的文本相似度+文本信息2和参考文本2 的文本相似度+文本信息3和其他文本2的文本相似度)/文本信息数量；

(文本信息1和参考文本2的文本相似度+文本信息2和参考文本3 的文本相似度+0)/文本信息数量；

(文本信息1和参考文本3的文本相似度+0+0)/文本信息数量；

(0+文本信息2和参考文本1的文本相似度+文本信息3和参考文本 2的文本相似度)/文本信息数量；

(0+0+文本信息3和参考文本1的文本相似度)/文本信息数量。

进而，从上述各组备选的候选参考图片与所述目标图片的匹配度信息中，选取最大值作为所述匹配度信息。在本申请中，所述N为任意正整数，上述的计算方法在N为任意正整数时，推定适用。

在一种实现方式中，可以采用欧式距离的相应算法，计算所述文本相似度，在此，本领域技术人员应该能够理解，所述文本相似度的算法仅为举例，其他现有或今后可能出现的文本相似度的算法如可适用本申请，也以引用的方式包含于此。

又一个用于确定所述候选参考图片与所述目标图片的匹配度信息的实施例如下：第二单元222可以根据所述文本信息的相对位置信息与所述参考文本在所述候选参考图片中的相对位置是否相一致，确定所述候选参考图片与所述目标图片的匹配度信息。在此，当所述候选参考图片的参考文本与所述一个或多个文本信息相匹配时，确定所述参考文本与相匹配的所述文本信息在各自图片中的相对位置信息是否一致。例如，表a中，文本信息1在目标图片的位置1、文本信息2在目标图片的位置2，若所述参考信息1与所述文本信息1匹配、参考信息2与所述文本信息2匹配，则由于参考信息1、参考信息2分别在参考图片的位置1和位置2，即所述文本信息的相对位置信息与所述参考文本在所述候选参考图片中的相对位置相一致，此时可以确定所述候选参考图片与所述目标图片的匹配度信息较高。在一种实现方式中，可以累计所述相对位置相一致的次数以确定对应的匹配度信息，并设置相一致次数越多，则所述匹配度信息越大。

又一个用于确定所述候选参考图片与所述目标图片的匹配度信息的实施例如下：若所述候选参考图片包括多个所述参考文本，根据所述多个文本信息对应的文本顺序信息与所述多个参考文本对应的文本顺序信息是否相匹配，第二单元222可以确定所述候选参考图片与所述目标图片的匹配度信息，其中，所述多个文本信息对应的文本顺序信息与所述多个参考文本对应的文本顺序信息分别由其中各文本对应的相对位置确定。

一个举例是：若所述候选参考图片包括参考文本1、参考文本2、参考文本3，分别对应于候选参考图片中的位置2、位置3、位置4，而与所述参考文本1、参考文本2、参考文本3分别对应相同的目标图片的文本信息1、文本信息2、文本信息3，其各自对应于目标图片的位置1、位置 2、位置3。此时，基于所述参考图片中的位置2、位置3、位置4的位置顺序，可以确定，所述参考文本1、参考文本2、参考文本3的文本顺序信息即为参考文本1至参考文本2至参考文本3；同样，基于所述目标图片中的位置1、位置2、位置3的位置顺序，可以确定，所述文本信息1、文本信息2、文本信息3的文本顺序即为文本信息1至文本信息2至文本信息3。因此，相对比可确定，所述多个文本信息对应的文本顺序信息与所述多个参考文本对应的文本顺序信息相匹配，优选地，所述相匹配包括相一致。进而，确定所述候选参考图片与所述目标图片的匹配度信息，例如，可以确定完全相一致计为1、完全不一致计为0。又如，可以按照相一致顺序对应的文本数量确定不同的匹配度信息。如，有N个所述参考文本对应的文本顺序，与相对应的N个所述文本新的文本顺序一致，则确定一个对应的匹配度信息，同样，对于有N+1个所述参考文本对应的文本顺序，与相对应的N+1个所述文本新的文本顺序一致，，则确定另一个对应的匹配度信息，并且设置后一种的匹配度信息为较大。

又一个用于确定所述候选参考图片与所述目标图片的匹配度信息的实施例如下：若所述候选参考图片有多个，基于所述候选参考图片中参考文本与所述目标图片的文本信息相匹配次数确定所述匹配度信息，所述相匹配次数越多，则所述匹配度信息越大。进而，确定所述相匹配次数最多的候选参考图片为所述参考图片。

进一步，又一个用于确定所述候选参考图片与所述目标图片的匹配度信息的实施例如下：若是基于所述相匹配次数确定出匹配度信息最大的候选参考图片信息至少有两个，则可以进一步，根据所述文本信息的相对位置信息与所述参考文本在所述候选参考图片中的相对位置是否相一致，确定所述候选参考图片与所述目标图片的匹配度信息；或者，若所述候选参考图片包括多个所述参考文本，根据所述多个文本信息对应的文本顺序信息与所述多个参考文本对应的文本顺序信息是否相匹配，确定所述候选参考图片与所述目标图片的匹配度信息，其中，所述多个文本信息对应的文本顺序信息与所述多个参考文本对应的文本顺序信息分别由其中各文本对应的相对位置确定。

在此，第三单元223可以根据所述匹配度信息在所述一个或多个候选参考图片中确定与所述文本信息及所述相对位置信息相匹配的参考图片。在此，所述匹配度信息越大，则对应的所述候选参考图片与所述目标图片的相似度越高，因此，将其确定为所述参考图片时，其对应的问答信息与所述问答请求用户希望通过所述目标图片表达的问题的匹配的准确度才会越高。

本申请从问答请求用户提交的目标图片中提取对应的检索信息，进而基于所述检索信息在参考图片库中匹配查询，以获得与所述文本信息及所述相对位置信息相匹配的参考图片，最终将基于所述参考图片对应的问答信息确定所述目标图片所对应问题的回答信息。在此，本申请可以实现由问答处理设备，例如智能客服设备或应用对用户提供的、以图片形式表达的问题请求进行识别并处理，从而提高了智能客服设备或应用的服务能力和服务覆盖范围，降低智能处理转人工处理比例，极大地节约了人力资源，提高了用户问题处理的整体效率；同时，本申请保证了处理问题处理水平的较高一致性；对于用户来说，本申请的实现可以方便用户的提问操作，提升了用户对问题处理过程及结果的满意度。

在本申请的一个实施例中，若检索到所述参考图片，第三装置23可以基于所述参考图片对应的问答信息确定所述目标图片所对应问题的回答信息；否则向问答请求用户发送问题描述请求，其中，所述问题描述请求用于指示用户确定所述问题请求。在实际应用中，存在检索不到所述参考图片的情况，例如，基于所述目标图片提取出的文本信息，匹配查询不到对应的参考图片的参考文本。此时可以向问答请求用户发送问题描述请求，以引导所述问答请求用户描述、或确定所述问题请求，例如，向问答请求用户发送“请问您的问题是什么？”等文本信息，后续可以由人工客服，或是智能客服与所述问答请求用户进行交互。

在本申请的一个实施例中，若基于所述参考图片对应的问答信息确定出所述目标图片对应至少两个问题，第三装置23可以将所述至少两个问题提供至所述问答请求用户；接着，第三装置23可以获取所述问答请求用户从至少两个问题中选择的问题；接着，第三装置23可以确定问答请求用户选择的所述问题的回答信息。例如，通过所述匹配查询操作，若是确定了一个参考图片，可能存在该参考图片对应于两个以上问题的情况；又如，若是匹配查询出两个以上的参考图片，如存在多个相似度信息一致的候选参考图片，都确定为所述参考图片，并且所述参考图片对应的问题的总数量在两个以上，则此时，可以将所述至少两个问题提供至所述问答请求用户，所述问答请求用户选择出其实际希望请求的问题，并将所选择的问题告知所述问答处理设备1，接着，所述问答处理设备1确定问答请求用户选择的所述问题的回答信息。

在本申请的一个实施例中，所述问答处理设备1还包括第四装置(未示出)，第四装置可以将所述回答信息反馈至所述问答请求用户。进一步，所述问答处理设备1还可以包括第五装置(未示出)和第六装置(未示出)。所述第五装置可以获取所述问答请求用户基于所述回答信息提交的反馈信息。接着，若反馈信息包括所述目标图片所对应问题已解决，所述第六装置可以将所述目标图片更新入参考图片库。在此，所述参考图片库可以基于更新的目标图片的一个或多个文本信息、所述文本信息在所述图片中的相对位置信息更新所述倒排索引信息。在此，还可以建立并保存所述目标图片与所述问答信息之间的对应关系。或者，若反馈信息包括所述目标图片所对应问题未解决，所述第六装置可以将所述目标图片标记为待解决问题，在此，可以设置一定周期后，对所述标记为待解决问题的目标图片进行再次匹配查询；还可以将标记为待解决问题的目标图片转为人工客服处理。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。

本发明还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。

本发明还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个计算机程序；

当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (19)

1.一种基于图片识别的问答处理方法，包括：

从问答请求用户提交的目标图片中提取对应的检索信息，其中，所述检索信息包括一个或多个文本信息及所述文本信息在所述图片中的相对位置信息；

基于所述检索信息在参考图片库中匹配查询，以获得与所述文本信息及所述相对位置信息相匹配的参考图片；

基于所述参考图片对应的问答信息确定所述目标图片所对应问题的回答信息。

2.根据权利要求1所述的方法，其中，所述基于所述检索信息在参考图片库中匹配查询，以获得与所述文本信息及所述相对位置信息相匹配的参考图片包括：

基于所述文本信息在参考图片库中匹配查询，以获得一个或多个候选参考图片，每个候选参考图片与所述一个或多个文本信息中至少一个相匹配；

根据所述文本信息及所述相对位置信息，以及参考文本在所述候选参考图片中的相对位置，确定所述候选参考图片与所述目标图片的匹配度信息，其中，所述参考文本与所述文本信息相匹配；

根据所述匹配度信息在所述一个或多个候选参考图片中确定与所述文本信息及所述相对位置信息相匹配的参考图片。

3.根据权利要求2所述的方法，其中，所述根据所述文本信息及所述相对位置信息，以及参考文本在所述候选参考图片中的相对位置，确定所述候选参考图片与所述目标图片的匹配度信息包括：

根据所述文本信息的相对位置信息与所述参考文本在所述候选参考图片中的相对位置是否相一致，确定所述候选参考图片与所述目标图片的匹配度信息。

4.根据权利要求2所述的方法，其中，所述根据所述文本信息及所述相对位置信息，以及参考文本在所述候选参考图片中的相对位置，确定所述候选参考图片与所述目标图片的匹配度信息包括：

若所述候选参考图片包括多个所述参考文本，根据所述多个文本信息对应的文本顺序信息与所述多个参考文本对应的文本顺序信息是否相匹配，确定所述候选参考图片与所述目标图片的匹配度信息，其中，所述多个文本信息对应的文本顺序信息与所述多个参考文本对应的文本顺序信息分别由其中各文本对应的相对位置确定。

5.根据权利要求1所述的方法，其中，所述基于所述参考图片对应的问答信息确定所述目标图片所对应问题的回答信息包括：

若检索到所述参考图片，基于所述参考图片对应的问答信息确定所述目标图片所对应问题的回答信息；否则向问答请求用户发送问题描述请求，其中，所述问题描述请求用于指示用户确定所述问题请求。

6.根据权利要求1所述的方法，其中，所述基于所述参考图片对应的问答信息确定所述目标图片所对应问题的回答信息包括：

若基于所述参考图片对应的问答信息确定出所述目标图片对应至少两个问题，将所述至少两个问题提供至所述问答请求用户；

获取所述问答请求用户从至少两个问题中选择的问题；

确定问答请求用户选择的所述问题的回答信息。

7.根据权利要求1所述的方法，其中，所述方法还包括：

将所述回答信息反馈至所述问答请求用户。

8.根据权利要求7所述的方法，其中，所述方法还包括：

获取所述问答请求用户基于所述回答信息提交的反馈信息；

若反馈信息包括所述目标图片所对应问题已解决，将所述目标图片更新入参考图片库；或者，

若反馈信息包括所述目标图片所对应问题未解决，将所述目标图片标记为待解决问题。

9.一种基于图片识别的问答处理设备，包括：

第一装置，用于从问答请求用户提交的目标图片中提取对应的检索信息，其中，所述检索信息包括一个或多个文本信息及所述文本信息在所述图片中的相对位置信息；

第二装置，用于基于所述检索信息在参考图片库中匹配查询，以获得与所述文本信息及所述相对位置信息相匹配的参考图片；

第三装置，用于基于所述参考图片对应的问答信息确定所述目标图片所对应问题的回答信息。

10.根据权利要求9所述的设备，其中，所述第二装置包括：

第一单元，用于基于所述文本信息在参考图片库中匹配查询，以获得一个或多个候选参考图片，每个候选参考图片与所述一个或多个文本信息中至少一个相匹配；

第二单元，用于根据所述文本信息及所述相对位置信息，以及参考文本在所述候选参考图片中的相对位置，确定所述候选参考图片与所述目标图片的匹配度信息，其中，所述参考文本与所述文本信息相匹配；

第三单元，用于根据所述匹配度信息在所述一个或多个候选参考图片中确定与所述文本信息及所述相对位置信息相匹配的参考图片。

11.根据权利要求10所述的设备，其中，所述第二单元用于：

根据所述文本信息的相对位置信息与所述参考文本在所述候选参考图片中的相对位置是否相一致，确定所述候选参考图片与所述目标图片的匹配度信息。

12.根据权利要求10所述的设备，其中，所述第二单元用于：

若所述候选参考图片包括多个所述参考文本，根据所述多个文本信息对应的文本顺序信息与所述多个参考文本对应的文本顺序信息是否相匹配，确定所述候选参考图片与所述目标图片的匹配度信息，其中，所述多个文本信息对应的文本顺序信息与所述多个参考文本对应的文本顺序信息分别由其中各文本对应的相对位置确定。

13.根据权利要求9所述的设备，其中，所述第三装置用于：

若检索到所述参考图片，基于所述参考图片对应的问答信息确定所述目标图片所对应问题的回答信息；否则向问答请求用户发送问题描述请求，其中，所述问题描述请求用于指示用户确定所述问题请求。

14.根据权利要求9所述的设备，其中，所述第三装置用于：

若基于所述参考图片对应的问答信息确定出所述目标图片对应至少两个问题，将所述至少两个问题提供至所述问答请求用户；

获取所述问答请求用户从至少两个问题中选择的问题；

确定问答请求用户选择的所述问题的回答信息。

15.根据权利要求9所述的设备，其中，所述设备还包括：

第四装置，用于将所述回答信息反馈至所述问答请求用户。

16.根据权利要求15所述的设备，其中，所述设备还包括：

第五装置，用于获取所述问答请求用户基于所述回答信息提交的反馈信息；

第六装置，用于若反馈信息包括所述目标图片所对应问题已解决，将所述目标图片更新入参考图片库；或者，若反馈信息包括所述目标图片所对应问题未解决，将所述目标图片标记为待解决问题。

17.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如权利要求1至8中任一项所述的方法被执行。

18.一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如权利要求1至8中任一项所述的方法被执行。

19.一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个计算机程序；

当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至8中任一项所述的方法。