CN116561276A - 知识问答方法、装置、设备及存储介质 - Google Patents
知识问答方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116561276A CN116561276A CN202310506317.1A CN202310506317A CN116561276A CN 116561276 A CN116561276 A CN 116561276A CN 202310506317 A CN202310506317 A CN 202310506317A CN 116561276 A CN116561276 A CN 116561276A
- Authority
- CN
- China
- Prior art keywords
- picture
- question
- text
- information
- knowledge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000008569 process Effects 0.000 claims description 32
- 230000003993 interaction Effects 0.000 claims description 19
- 238000013519 translation Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000004576 sand Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 244000025254 Cannabis sativa Species 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010428 oil painting Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Library & Information Science (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种知识问答方法、装置、设备及存储介质,方法包括:获取用户输入的图片及与图片相关的问题文本,获取图片的描述信息,并将描述信息作为问答知识提供给大语言模型,使得大语言模型能够理解图片中的图像内容,将其作为知识问答对话的上下文信息,在此基础上,将用户输入的问题文本作为提示指令输入给大语言模型,大语言模型能够基于前述理解的图片中的图像内容,对该问题文本进行理解及回复。本申请支持多模态的问题输入,用户可以基于图片进行知识问答,扩展了知识问答的应用场景。并且,按照本申请的方案可以使得大语言模型能够理解图片的图像内容,基于此能够更加准确的给出问题文本所匹配的答复内容。
Description
技术领域
本申请涉及大语言模型技术领域,更具体的说,是涉及一种知识问答方法、装置、设备及存储介质。
背景技术
知识问答是指,用户向机器提出指令,由机器针对用户提出的指令给出对应的答复内容的过程。
传统的知识问答一般是基于知识库或知识图谱来检索用户的指令,找到知识库中或知识图谱中匹配的答案,并输出给用户。近年来,伴随着人工智能技术的发展,尤其是大语言模型的提出,通过将大语言模型与知识问答相结合,可以大大提升知识问答的准确性。其中,大语言模型(Large language model,LLM)是指基于Transformer结构的深度神经网络模型,其具备超强的语义理解及多轮对话能力,常见的大语言模型如GPT4以及其它企业研发的大语言模型等。
但是,目前基于大语言模型的知识问答方案,还仅局限于文本输入到文本输出,或文本输入到图片输出,对于输入信息的模态过于单一,这也限制了知识问答的应用场景。
发明内容
鉴于上述问题,提出了本申请以便提供一种知识问答方法、装置、设备及存储介质,以实现多模态的问答输入信息,能够支持用户以图片、文本的形式作为知识问答的输入,并给出匹配的答复内容。具体方案如下:
第一方面,提供了一种知识问答方法,包括:
获取用户输入的图片及与图片相关的问题文本,所述问题文本用于描述用户当前轮提出的问题;
获取所述图片的描述信息,所述描述信息用于描述所述图片中的图像内容;
将所述描述信息作为问答知识输入给预配置的大语言模型;
以所述问题文本作为提示指令prompt,输入至所述大语言模型,得到大语言模型输出的针对所述问题文本的答复内容。
优选地,还包括:
识别所述图片中的文本信息;
则将所述描述信息作为问答知识输入给预配置的大语言模型的过程,具体包括:
将所述文本信息及所述描述信息共同作为问答知识输入给所述大语言模型。
优选地,在将所述文本信息及所述描述信息共同作为问答知识输入给所述大语言模型之前,还包括:
识别所述文本信息的语种类型,作为源语种;
在检测满足对所述文本信息进行翻译的条件时,对源语种的所述文本信息进行翻译,得到目标语种的翻译后文本信息,所述目标语种为与所述用户匹配的语种;
则将所述文本信息及所述描述信息共同作为问答知识输入给所述大语言模型的过程,包括:
将所述翻译后文本信息及所述描述信息共同作为问答知识输入给所述大语言模型。
优选地,检测是否满足对所述文本信息进行翻译的条件的过程,包括:
利用所述大语言模型识别所述问题文本是否包含文本翻译意图,若是,则确定满足对所述文本信息进行翻译的条件;
或,
在所述源语种不同于所述用户所匹配的目标语种时,确定满足对所述文本信息进行翻译的条件。
优选地,所述图片及所述图片相关的问题文本为在同一轮问答交互中输入,或,所述图片及所述图片相关的问题文本在不同轮问答交互中输入,且所述图片的输入时间早于所述问题文本。
优选地,在所述图片相关的问题文本的意图为对所述图片中的内容进行翻译时,所述大语言模型输出的针对所述问题文本的答复内容为所述翻译后文本信息。
优选地,在所述图片相关的问题文本的意图为将译文还原到所述图片中时,所述大语言模型输出的针对所述问题文本的答复内容为对所述图片编辑后的图片,所述编辑后的图片为将所述翻译后文本信息按照在所述图片中的对应位置替换掉原始的文本信息后的图片。
优选地,将所述文本信息及所述描述信息共同作为问答知识输入给所述大语言模型,包括:
获取预配置的知识提示指令模板,所述知识提示指令模板包括图片信息槽及图片描述内容槽;
将所述文本信息填充至所述图片信息槽中,以及,将所述描述信息填充至所述图片描述内容槽,得到编辑后的知识提示指令,并输入给预配置的大语言模型。
优选地,所述获取用户输入的图片及与图片相关的问题文本,包括:
显示问答界面,所述问答界面上包含图片输入控件及文本对话框;
响应用户通过所述图片输入控件上传图片的操作,得到用户输入的图片;
响应用户在所述文本对话框输入问题文本的操作,得到用户输入的与图片相关的问题文本。
优选地,所述获取用户输入的图片,包括:
获取用户输入的视频,并从所述视频中提取视频帧图片;
获取所述图片的描述信息的过程,包括:
获取各视频帧图片的描述信息;
识别所述图片中包含的文本信息的过程,包括:
识别各视频帧图片中包含的文本信息;
将所述文本信息及所述描述信息共同作为问答知识输入给所述大语言模型的过程,包括:
将每一视频帧图片的时间戳及其包含的文本信息、对应的描述信息,共同作为问答知识输入给预配置的大语言模型。
第二方面,提供了一种知识问答装置,包括:
输入信息获取单元,用于获取用户输入的图片及与图片相关的问题文本,所述问题文本用于描述用户当前轮提出的问题;
图片描述单元,用于获取所述图片的描述信息,所述描述信息用于描述所述图片中的图像内容;
知识输入单元,用于将所述描述信息作为问答知识输入给预配置的大语言模型;
问答交互单元,用于以所述问题文本作为提示指令prompt,输入至所述大语言模型,得到大语言模型输出的针对所述问题文本的答复内容。
第三方面,提供了一种知识问答设备,包括:存储器和处理器;
所述存储器,用于存储程序;
所述处理器,用于执行所述程序,实现如前所述的知识问答方法的各个步骤。
第四方面,提供了一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如前所述的知识问答方法的各个步骤。
借由上述技术方案,本申请的知识问答过程支持用户通过文本及图片的模式输入问题,在此基础上获取用户输入的图片的描述信息,该描述信息用于描述图片中的图像内容,并将描述信息作为问答知识提供给大语言模型,使得大语言模型能够理解图片中的图像内容语义,将其作为知识问答对话的上下文信息,在此基础上,将用户输入的问题文本作为提示指令prompt输入给大语言模型,大语言模型能够基于前述理解的图片中的图像内容语义,对该问题文本进行理解及回复,得到答复内容。由上可知,本实施例支持多模态的问题输入形式,用户可以基于图片进行知识问答,扩展了知识问答的应用场景。并且,按照本申请的方案可以使得大语言模型能够理解图片中的图像内容语义,基于此能够更加准确的给出问题文本所匹配的答复内容。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本申请的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本申请实施例提供的一种知识问答方法流程示意图;
图2-图8示例了几种不同的知识问答交互界面示意图;
图9为本申请实施例提供的另一种知识问答方法流程示意图;
图10为本申请实施例提供的又一种知识问答方法流程示意图;
图11为本申请实施例提供的一种知识问答装置结构示意图;
图12为本申请实施例提供的一种知识问答设备的结构示意图。
具体实施方式
在介绍本申请方案之前,首先对本文中涉及到的英文进行解释:
Prompt:指示指令。在与AI(如大语言模型)进行对话时,需要向AI发送的指令,其可以是一段文字描述,比如你和AI对话时输入的“请帮我推荐一首流行音乐”,也可以是按照一定格式的参数描述,比如让AI按照一定格式进行绘图,需要描述相关绘图参数。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请提供了一种知识问答方案,可以适用于各种形式的知识问答的场景,示例如:智能机器人等硬件设备提供的人机对话场景、各类型应用提供的知识问答场景等。
本申请方案可以基于具备数据处理能力的终端实现,该终端可以是手机、电脑、学习机、智能机器人等。
接下来,结合图1所述,本申请的知识问答方法可以包括如下步骤:
步骤S100、获取用户输入的图片及与图片相关的问题文本。
具体地,在知识问答场景中,用户可以通过图片、文本的形式输入问题。其中,问题文本用于描述用户当前轮提出的问题,该问题可以是与图片相关的问题。
在一次知识问答的过程中,用户与机器之间可以进行多轮交互,则本步骤中用户输入的图片及问题文本可以是在同一轮知识问答交互中输入。除此之外,图片和问题文本还可以是在不同轮问答交互中输入,且图片的输入时间早于问题文本,也即,用户可以在某一轮问答交互中先输入图片,在下一轮问答交互中再输入与图片相关的问题文本。
可以理解的是,针对同一张输入图片,用户可以在多轮问答交互中输入不同的问题文本。
参照图2-图5,用户可以在第一轮问答交互中,同时输入一张图片及对应的问题文本:“这幅图中有哪些元素”。当然,除此之外,还可以是在第一轮问答交互中先输入图片。在第二轮问答交互中再输入问题文本:“这幅图中有哪些元素”,具体交互形式本申请不做限制。
进一步参照图5可知,针对同一张输入图片,用户可以和机器进行多轮的问答交互,如图5中,用户在第二轮中可以进一步输入问题文本:“这幅图能联想到哪些诗句”,则机器可以输出对应的诗句内容。
步骤S110、获取所述图片的描述信息。
具体地,本申请可以调用相应的图片描述生成引擎,对图片中的图像内容进行描述,得到图片的描述信息。描述信息用于描述图片中的图像内容。
图像描述生成(Image Caption)是一个融合计算机视觉、自然语言处理和机器学习的综合问题,它类似于翻译一副图片为一段描述文字。图像描述生成任务,需要利用模型去理解图片的内容并且还需要用自然语言去表达它们之间的关系。除此之外,模型还需要能够抓住图像的语义信息,并且生成可读的句子。
步骤S120、将所述描述信息作为问答知识输入给预配置的大语言模型。
具体地,为了使得大语言模型能够理解用户针对图片所提出的问题,本步骤中将获取的图片的描述信息作为问答知识,输入给大语言模型,以使得大语言模型能够理解图片中的图像内容,将其作为知识问答对话的上下文信息,从而更好的理解用户当前轮及后续输入的与图片相关的问题文本,并给出正确的回复。
一种可选的实现方式中,可以将描述信息作为大语言模型的Prompt知识输入。具体地,本申请可以预先配置一种指示提示指令模板,用于通过Prompt的形式向大语言模型输入知识信息。知识提示指令模板中可以包括图片描述内容槽,用于填充描述信息。在此基础上,本步骤中可以将获取的输入图片的描述信息填充至知识提示指令模板中的图片描述内容槽中,得到编辑后的知识提示指令Prompt,并输入给大语言模型。
示例性的,针对图3示例的输入图片,获取的描述信息可以是:“太阳在沙漠上落下,背景是一片广阔的沙丘和沙漠地形,可以看到一些沙子、石头和植物等细节。天空呈现出橙色和粉红色的渐变,看起来非常美丽。地面上有一些岩石和沙子,还有一些小草和灌木丛。图片中的时间似乎已经很晚了,夕阳正在落下。”,则将文本信息填充到图片描述内容槽后,得到的编辑后的知识提示指令Prompt为:“请记住以下内容:这是一幅图片,图片描述内容如下:太阳在沙漠上落下,背景是一片广阔的沙丘和沙漠地形,可以看到一些沙子、石头和植物等细节。天空呈现出橙色和粉红色的渐变,看起来非常美丽。地面上有一些岩石和沙子,还有一些小草和灌木丛。图片中的时间似乎已经很晚了,夕阳正在落下。”。
步骤S130、以所述问题文本作为提示指令prompt,输入至所述大语言模型,得到大语言模型输出的针对所述问题文本的答复内容。
具体地,在完成上述步骤S120之后,大语言模型已经理解了图片中图像内容,在此基础上,可以将用户输入的问题文本作为prompt,输入至大语言模型,得到大语言模型输出的针对该问题文本的答复内容。
本申请实施例提供的知识问答方法,支持用户通过文本及图片的模式输入问题,在此基础上获取用户输入的图片的描述信息,该描述信息用于描述图片中的图像内容,并将描述信息作为问答知识提供给大语言模型,使得大语言模型能够理解图片中的图像内容语义,将其作为知识问答对话的上下文信息,在此基础上,将用户输入的问题文本作为提示指令prompt输入给大语言模型,大语言模型能够基于前述理解的图片中的图像内容语义,对该问题文本进行理解及回复,得到答复内容。由上可知,本实施例支持多模态的问题输入形式,用户可以基于图片进行知识问答,扩展了知识问答的应用场景。并且,按照本申请的方案可以使得大语言模型能够理解图片中的图像内容语义,基于此能够更加准确的给出问题文本所匹配的答复内容。
参照图2所示,本实施例提供了一种获取用户输入的图片及图片相关的问题文本的可选实现方式。
本实施例中可以提供一问答界面,显示给用户。在该问答界面上包含有图片输入控件M1,及文本对话框M2。
本实施例中可以响应用户通过图片输入控件M1上传图片的操作,得到用户输入的图片。以及,可以响应用户在文本对话框M2中输入问题文本的操作,得到用户输入的与图片相关的问题文本。
对于图片输入控件M1,用户在触发该控件后可以显示弹窗,在弹窗中支持用户选择本地的图片文件进行上传,也可以支持用户通过拖拽的方式将目标图片拖拽到指定区域内,完成图片的上传。图片上传之后进入图片缓存区,效果如图3所示。此时用户可以通过点击“发送”控件,将上传的图片上传给机器,完成图片的输入过程。除此之外,用户还可以在文本对话框M2中输入问题文本,如图4所示,输入的问题文本为“这幅图里有哪些元素”。在输入问题文本之后,可以点击“发送”控件,完成图片和问题文本的输入过程。
在本申请的一些实施例中,进一步提供了另一种知识问答方法,在前述实施例的基础上,本实施例中可以进一步增加对图片中包含的文本信息进行识别,及作为问答知识提供给大语言模型的过程。参照图9,具体方法可以包括如下步骤:
步骤S200、获取用户输入的图片及与图片相关的问题文本。
步骤S210、获取所述图片的描述信息。
步骤S200-S210与前述实施例中步骤S100-S110一一对应,详细参照前文介绍,此处不再赘述。
步骤S220、识别所述图片中的文本信息。
具体地,用户输入的图片中除了包含图像内容之外,还可能包含有文本信息,示例如字幕、图像摘要、介绍信息等,这些信息对于理解图片也属于一种较为重要的信息。为此,本步骤中可以调用相应的图片识别引擎,对图片中的文本信息进行识别,示例如调用OCR引擎对图片进行OCR识别,得到识别后的文本信息。
其中,步骤S210和步骤S220的执行顺序可以颠倒或不分先后的并行执行,图9仅示例了一种可选的顺序流程。
步骤S230、将所述文本信息及所述描述信息共同作为问答知识输入给所述大语言模型。
具体地,相比于图1示例的流程,本实施例中可以将文本信息及描述信息组合,组合结果作为问答知识输入给大语言模型。一种可选的实现方式中,本实施例中可以获取预配置的知识提示指令模板,所述知识提示指令模板包括图片信息槽及图片描述内容槽。进一步将所述文本信息填充至所述图片信息槽中,以及,将所述描述信息填充至所述图片描述内容槽,得到编辑后的知识提示指令,并输入给预配置的大语言模型。
步骤S240、以所述问题文本作为提示指令prompt,输入至所述大语言模型,得到大语言模型输出的针对所述问题文本的答复内容。
本实施例提供的知识问答方法,在获取用户输入图片的描述信息并作为问答知识输入给大语言模型的基础上,还可以进一步识别输入图片中包含的文本信息,在此基础上,可以将文本信息与描述信息共同作为问答知识输入给大语言模型,使得大语言模型可以加深对输入图片的理解,从而更好的理解用户输入的相关问题文本,并给出准确的回复。
需要说明的是,本实施例提供的知识问答方法,在问题输入上支持多模态输入方式,除了上述实施例介绍的图片、文本输入模态之外,还可以支持视频模态的输入。
在获取到用户输入的视频之后,可以从视频中提取视频帧图片,进而识别各视频帧图片中包含的文本信息,示例如视频帧图片中显示的字幕信息等,以及,可以获取各视频帧图片的描述信息。其中,从视频中提取的视频帧图片,可以是视频中每一帧图片,也可以是关键帧图片。
在此基础上,为了使得大语言模型可以学习到视频中包含的文本信息及视频帧图像的内容语义,可以将每一视频帧图片中识别到的文本信息、每一视频帧图片对应的描述信息,作为问答知识输入给大语言模型。当然,考虑到不同视频帧图片的时间戳不同,且该时间戳信息和文本信息、描述信息存在关联关系,也属于一种知识信息,因此可以将每一视频帧图片的时间戳及视频帧图片中包含的文本信息、视频帧图片对应的描述信息进行组合,将组合后的信息作为问答知识输入给大语言模型。
在视频输入模态下,用户可以针对输入视频进行提问,示例如“请翻译下视频中出现的字幕”、“请介绍下视频中出现的油画的创作背景”等。
在本申请的一些实施例中,考虑到在不同应用地区、不同应用场景,用户所倾向使用的语种可能不同,并且不同的大语言模型在训练阶段所使用的训练数据的语种也可能不同,其对不同语种的知识的理解能力也有所差异。为此,本实施例提供的知识问答方法中,可以增加对语种识别及处理的过程,具体步骤可以参照图10所示:
步骤S300、获取用户输入的图片及与图片相关的问题文本。
步骤S310、获取所述图片的描述信息。
步骤S200-S210与前述实施例中步骤S100-S110一一对应,详细参照前文介绍,此处不再赘述。
步骤S320、识别所述图片中的文本信息。
步骤S330、识别文本信息的语种类型,作为源语种。
步骤S340、检测是否满足对文本信息进行翻译的条件,若是,执行步骤S350-S360,若否,执行步骤S370。
对于检测是否满足对文本信息进行翻译的条件的过程,本申请实施例中提供了几种不同的实现方式,如下:
可以利用大语言模型识别问题文本是否包含文本翻译意图,若是,则确定满足对文本信息进行翻译的条件。
具体地,大语言模型可以理解并识别用户输入的问题文本的意图,若确定问题文本的意图中包含文本翻译意图(如图7示例的问题文本“帮我把这张菜单内容翻译成中文”),则可以确定满足对文本信息进行翻译的条件,也即可以对源语种的文本信息进行翻译,翻译为目标语种。
此外,还可以在识别到的源语种不同于用户所匹配的目标语种时,确定满足对文本信息进行翻译的条件。
其中,目标语种为与用户匹配的语种。本实施例中可以采用多种不同的方式确定与用户匹配的目标语种,包括但不限于以下几种方式:
1、将用户输入的问题文本的语种作为目标语种。
2、将默认设置的语种作为目标语种。
3、通过传感器识别当前用户身份,并查询存储的与当前用户身份对应的目标语种。
步骤S350、对源语种的文本信息进行翻译,得到目标语种的翻译后文本信息。
具体地,在大语言模型具备翻译能力的情况下,可以调用大语言模型对源语种的文本信息进行翻译。除此之外,还可以调用其它翻译引擎对源语种的文本信息进行翻译。
步骤S360、将翻译后文本信息及所述描述信息共同作为问答知识输入给大语言模型。
步骤S370、将文本信息及所述描述信息共同作为问答知识输入给大语言模型。
步骤S380、以问题文本作为提示指令prompt,输入至大语言模型,得到大语言模型输出的针对问题文本的答复内容。
本实施例提供的知识问答方法中,增加了对文本信息的语种进行识别的过程,并且若检测到满足对文本信息进行翻译的条件时,可以对源语种的文本信息进行翻译,得到与用户匹配的目标语种的翻译后文本信息。同时,可以将目标语种的翻译后文本信息作为问答知识,输入给大语言模型,使得大语言模型可以更好的理解图片中包含的文本信息。
另一种可选的实现方式中,在上述步骤S350之后,步骤S360中还可以同时将翻译后文本信息、翻译前的文本信息以及所述描述信息一起输入到大语言模型中,使得大语言模型可以基于两个语种的文本信息进行图片内容的理解。
在本申请的一些实施例中,介绍了本申请的知识问答方法的一些可选示例场景。如图5所示:
用户输入的问题文本为“这幅图中有哪些元素”,也即问题文本的意图为分析图片的组成元素时,对应的大语言模型输出的针对该问题文本的答复内容为图片的描述信息,如图所示“这幅图片包含以下元素:1、太阳:在图片的中心位置,是一个圆形的黄色物体……”
如图6所示:
用户输入的图片中包含图像内容,以及英文的文本信息。输入的问题文本为“讲一讲这幅画的创作背景”。
若用户匹配的目标语种为中文,则本实施例中会对输入图片进行文本识别、翻译,得到翻译后文本信息,以及,获取输入图片的描述信息。将翻译后文本信息、描述信息组成问答知识,输入给大语言模型,最后将问题文本作为prompt,输入至大语言模型,得到大语言模型输出的答复内容。
如图7所示:
在用户输入的图片相关的问题文本的意图为对图片中的内容进行翻译时,对应的大语言模型输出的针对问题文本的答复内容为翻译后文本信息。用户输入的问题文本为“帮我把这张菜单内容翻译成中文”,图7示例的对英文菜单中的内容进行翻译后,输出的翻译后菜单(需要说明的是,图7仅作为一种参考示例而非真实交互界面,其仅示例了图片中部分文本信息的翻译结果)。当然,还可以同时输出翻译前的文本信息。
如图8所示:
用户输入的问题文本为“帮我把翻译的内容还原到图片中”,该问题文本的意图为将译文还原到图片中,大语言模型输出的针对问题文本的答复内容为对图片编辑后的图片,该编辑后的图片为将翻译后文本信息按照在图片中的对应位置替换掉原始的文本信息后的图片。具体地,编辑后图片中原始的英文内容被翻译后的中文内容所替代。
这里需要说明的是,在大语言模型具备图像编辑能力的情况下,可以通过大语言模型完成对图片编辑的过程。在大语言模型不具备图像编辑能力的情况下,可以向***输出指令,由***响应该指令进而调用第三方的图像编辑引擎,完成对图像编辑的操作。大语言模型可以理解用户的问题文本的意图,将该意图解析成图像编辑引擎所能够识别的图像编辑指令,通过***将该图像编辑指令发送给图像编辑引擎,以使得后者可以按照图像编辑指令进行图像编辑,并得到编辑后图像,最终显示给用户。对于图像的编辑,不局限于图8示例的对图像内文字的编辑,用户还可以通过问题文本的形式,下达对图像中其它元素的编辑指令,包括但不限于:对图像中的元素进行删除、新增、移动位置、调整大小等。
当然,上述图5-图8仅示例了几种可选的基于图片进行知识问答的场景,除此之外,用户还可以输入其他类型的问题,本实施例中并未进行穷尽。
下面对本申请实施例提供的知识问答装置进行描述,下文描述的知识问答装置与上文描述的知识问答方法可相互对应参照。
参见图11,图11为本申请实施例公开的一种知识问答装置结构示意图。
如图11所示,该装置可以包括:
输入信息获取单元11,用于获取用户输入的图片及与图片相关的问题文本,所述问题文本用于描述用户当前轮提出的问题;
图片描述单元12,用于获取所述图片的描述信息,所述描述信息用于描述所述图片中的图像内容;
知识输入单元13,用于将所述描述信息作为问答知识输入给预配置的大语言模型;
问答交互单元14,用于以所述问题文本作为提示指令prompt,输入至所述大语言模型,得到大语言模型输出的针对所述问题文本的答复内容。
可选的,本申请的装置还可以包括:
图片识别单元12,用于识别所述图片中包含的文本信息;
则知识输入单元具体用于:将所述文本信息及所述描述信息共同作为问答知识输入给所述大语言模型。
可选的,本申请的装置还可以包括:
源语种识别单元,用于识别所述文本信息的语种类型,作为源语种;
翻译单元,用于在检测满足对所述文本信息进行翻译的条件时,对源语种的所述文本信息进行翻译,得到目标语种的翻译后文本信息,所述目标语种为与所述用户匹配的语种;
对应的知识输入单元具体用于:将所述翻译后文本信息及所述描述信息共同作为问答知识输入给所述大语言模型。
可选的,上述翻译单元检测是否满足对所述文本信息进行翻译的条件的过程,可以包括:
利用所述大语言模型识别所述问题文本是否包含文本翻译意图,若是,则确定满足对所述文本信息进行翻译的条件;
或,
在所述源语种不同于所述用户所匹配的目标语种时,确定满足对所述文本信息进行翻译的条件。
可选的,在输入信息获取单元所获取的所述图片相关的问题文本的意图为对所述图片中的内容进行翻译时,所述大语言模型输出的针对所述问题文本的答复内容为所述翻译后文本信息。
可选的,在输入信息获取单元所获取的所述图片相关的问题文本的意图为将译文还原到所述图片中时,所述大语言模型输出的针对所述问题文本的答复内容为对所述图片编辑后的图片,所述编辑后的图片为将所述翻译后文本信息按照在所述图片中的对应位置替换掉原始的文本信息后的图片。
可选的,上述知识输入单元将所述文本信息及所述描述信息共同作为问答知识输入给所述大语言模型的过程,可以包括:
获取预配置的知识提示指令模板,所述知识提示指令模板包括图片信息槽及图片描述内容槽;
将所述文本信息填充至所述图片信息槽中,以及,将所述描述信息填充至所述图片描述内容槽,得到编辑后的知识提示指令,并输入给预配置的大语言模型。
可选的,上述输入信息获取单元获取用户输入的图片及与图片相关的问题文本的过程,可以包括:
显示问答界面,所述问答界面上包含图片输入控件及文本对话框;
响应用户通过所述图片输入控件上传图片的操作,得到用户输入的图片;
响应用户在所述文本对话框输入问题文本的操作,得到用户输入的与图片相关的问题文本。
另一种可选的,上述输入信息获取单元获取用户输入的图片的过程,可以包括:获取用户输入的视频,并从所述视频中提取视频帧图片;则,图片描述单元获取所述图片的描述信息的过程,可以包括:获取各视频帧图片的描述信息;则,图片识别单元识别所述图片中包含的文本信息的过程,可以包括:识别各视频帧图片中包含的文本信息;则上述知识输入单元将所述文本信息及所述描述信息共同作为问答知识输入给所述大语言模型的过程,可以包括:将每一视频帧图片的时间戳及其包含的文本信息、对应的描述信息,共同作为问答知识输入给预配置的大语言模型。
本申请实施例提供的知识问答装置可应用于知识问答设备,如手机、电脑、学习机、智能机器人等。可选的,图12示出了知识问答设备的硬件结构框图,参照图12,知识问答设备的硬件结构可以包括:至少一个处理器1,至少一个通信接口2,至少一个存储器3和至少一个通信总线4;
在本申请实施例中,处理器1、通信接口2、存储器3、通信总线4的数量为至少一个,且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信;
处理器1可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路等;
存储器3可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatilememory)等,例如至少一个磁盘存储器;
其中,存储器存储有程序,处理器可调用存储器存储的程序,所述程序用于:
获取用户输入的图片及与图片相关的问题文本,所述问题文本用于描述用户当前轮提出的问题;
获取所述图片的描述信息,所述描述信息用于描述所述图片中的图像内容;
将所述描述信息作为问答知识输入给预配置的大语言模型;
以所述问题文本作为提示指令prompt,输入至所述大语言模型,得到大语言模型输出的针对所述问题文本的答复内容。
可选的,所述程序的细化功能和扩展功能可参照上文描述。
本申请实施例还提供一种存储介质,该存储介质可存储有适于处理器执行的程序,所述程序用于:
获取用户输入的图片及与图片相关的问题文本,所述问题文本用于描述用户当前轮提出的问题;
获取所述图片的描述信息,所述描述信息用于描述所述图片中的图像内容;
将所述描述信息作为问答知识输入给预配置的大语言模型;
以所述问题文本作为提示指令prompt,输入至所述大语言模型,得到大语言模型输出的针对所述问题文本的答复内容。
可选的,所述程序的细化功能和扩展功能可参照上文描述。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间可以根据需要进行组合,且相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (13)
1.一种知识问答方法,其特征在于,包括:
获取用户输入的图片及与图片相关的问题文本,所述问题文本用于描述用户当前轮提出的问题;
获取所述图片的描述信息,所述描述信息用于描述所述图片中的图像内容;
将所述描述信息作为问答知识输入给预配置的大语言模型;
以所述问题文本作为提示指令prompt,输入至所述大语言模型,得到大语言模型输出的针对所述问题文本的答复内容。
2.根据权利要求1所述的方法,其特征在于,还包括:
识别所述图片中的文本信息;
则将所述描述信息作为问答知识输入给预配置的大语言模型的过程,具体包括:
将所述文本信息及所述描述信息共同作为问答知识输入给所述大语言模型。
3.根据权利要求2所述的方法,其特征在于,在将所述文本信息及所述描述信息共同作为问答知识输入给所述大语言模型之前,还包括:
识别所述文本信息的语种类型,作为源语种;
在检测满足对所述文本信息进行翻译的条件时,对源语种的所述文本信息进行翻译,得到目标语种的翻译后文本信息,所述目标语种为与所述用户匹配的语种;
则将所述文本信息及所述描述信息共同作为问答知识输入给所述大语言模型的过程,包括:
将所述翻译后文本信息及所述描述信息共同作为问答知识输入给所述大语言模型。
4.根据权利要求3所述的方法,其特征在于,检测是否满足对所述文本信息进行翻译的条件的过程,包括:
利用所述大语言模型识别所述问题文本是否包含文本翻译意图,若是,则确定满足对所述文本信息进行翻译的条件;
或,
在所述源语种不同于所述用户所匹配的目标语种时,确定满足对所述文本信息进行翻译的条件。
5.根据权利要求1所述的方法,其特征在于,所述图片及所述图片相关的问题文本为在同一轮问答交互中输入,或,所述图片及所述图片相关的问题文本在不同轮问答交互中输入,且所述图片的输入时间早于所述问题文本。
6.根据权利要求3所述的方法,其特征在于,在所述图片相关的问题文本的意图为对所述图片中的内容进行翻译时,所述大语言模型输出的针对所述问题文本的答复内容为所述翻译后文本信息。
7.根据权利要求3所述的方法,其特征在于,在所述图片相关的问题文本的意图为将译文还原到所述图片中时,所述大语言模型输出的针对所述问题文本的答复内容为对所述图片编辑后的图片,所述编辑后的图片为将所述翻译后文本信息按照在所述图片中的对应位置替换掉原始的文本信息后的图片。
8.根据权利要求2所述的方法,其特征在于,将所述文本信息及所述描述信息共同作为问答知识输入给所述大语言模型,包括:
获取预配置的知识提示指令模板,所述知识提示指令模板包括图片信息槽及图片描述内容槽;
将所述文本信息填充至所述图片信息槽中,以及,将所述描述信息填充至所述图片描述内容槽,得到编辑后的知识提示指令,并输入给预配置的大语言模型。
9.根据权利要求1-8任一项所述的方法,其特征在于,所述获取用户输入的图片及与图片相关的问题文本,包括:
显示问答界面,所述问答界面上包含图片输入控件及文本对话框;
响应用户通过所述图片输入控件上传图片的操作,得到用户输入的图片;
响应用户在所述文本对话框输入问题文本的操作,得到用户输入的与图片相关的问题文本。
10.根据权利要求2所述的方法,其特征在于,所述获取用户输入的图片,包括:
获取用户输入的视频,并从所述视频中提取视频帧图片;
获取所述图片的描述信息的过程,包括:
获取各视频帧图片的描述信息;
识别所述图片中包含的文本信息的过程,包括:
识别各视频帧图片中包含的文本信息;
将所述文本信息及所述描述信息共同作为问答知识输入给所述大语言模型的过程,包括:
将每一视频帧图片的时间戳及其包含的文本信息、对应的描述信息,共同作为问答知识输入给预配置的大语言模型。
11.一种知识问答装置,其特征在于,包括:
输入信息获取单元,用于获取用户输入的图片及与图片相关的问题文本,所述问题文本用于描述用户当前轮提出的问题;
图片描述单元,用于获取所述图片的描述信息,所述描述信息用于描述所述图片中的图像内容;
知识输入单元,用于将所述描述信息作为问答知识输入给预配置的大语言模型;
问答交互单元,用于以所述问题文本作为提示指令prompt,输入至所述大语言模型,得到大语言模型输出的针对所述问题文本的答复内容。
12.一种知识问答设备,其特征在于,包括:存储器和处理器;
所述存储器,用于存储程序;
所述处理器,用于执行所述程序,实现如权利要求1~10中任一项所述的知识问答方法的各个步骤。
13.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求1~10中任一项所述的知识问答方法的各个步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310506317.1A CN116561276A (zh) | 2023-05-05 | 2023-05-05 | 知识问答方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310506317.1A CN116561276A (zh) | 2023-05-05 | 2023-05-05 | 知识问答方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116561276A true CN116561276A (zh) | 2023-08-08 |
Family
ID=87497624
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310506317.1A Pending CN116561276A (zh) | 2023-05-05 | 2023-05-05 | 知识问答方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116561276A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116881427A (zh) * | 2023-09-05 | 2023-10-13 | 腾讯科技(深圳)有限公司 | 问答处理方法、装置、电子设备及存储介质 |
CN117217315A (zh) * | 2023-09-22 | 2023-12-12 | 深圳智现未来工业软件有限公司 | 一种利用大语言模型生成高质量问答数据的方法及装置 |
CN117216312A (zh) * | 2023-11-06 | 2023-12-12 | 长沙探月科技有限公司 | 提问素材的生成方法、装置、电子设备和存储介质 |
CN117391201A (zh) * | 2023-12-08 | 2024-01-12 | 荣耀终端有限公司 | 问答方法、装置及电子设备 |
US11875123B1 (en) * | 2023-07-31 | 2024-01-16 | Intuit Inc. | Advice generation system |
CN117573841A (zh) * | 2024-01-12 | 2024-02-20 | 北京一平方科技有限公司 | 基于大语言模型的知识引导问答方法和装置 |
CN117725893A (zh) * | 2023-09-27 | 2024-03-19 | 书行科技(北京)有限公司 | 交互内容生成方法、装置、电子设备和可读存储介质 |
CN117891927A (zh) * | 2024-03-15 | 2024-04-16 | 中国电子技术标准化研究院 | 基于大语言模型的问答方法、装置、电子设备及存储介质 |
-
2023
- 2023-05-05 CN CN202310506317.1A patent/CN116561276A/zh active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11875123B1 (en) * | 2023-07-31 | 2024-01-16 | Intuit Inc. | Advice generation system |
CN116881427A (zh) * | 2023-09-05 | 2023-10-13 | 腾讯科技(深圳)有限公司 | 问答处理方法、装置、电子设备及存储介质 |
CN116881427B (zh) * | 2023-09-05 | 2023-12-01 | 腾讯科技(深圳)有限公司 | 问答处理方法、装置、电子设备及存储介质 |
CN117217315A (zh) * | 2023-09-22 | 2023-12-12 | 深圳智现未来工业软件有限公司 | 一种利用大语言模型生成高质量问答数据的方法及装置 |
CN117725893A (zh) * | 2023-09-27 | 2024-03-19 | 书行科技(北京)有限公司 | 交互内容生成方法、装置、电子设备和可读存储介质 |
CN117216312A (zh) * | 2023-11-06 | 2023-12-12 | 长沙探月科技有限公司 | 提问素材的生成方法、装置、电子设备和存储介质 |
CN117216312B (zh) * | 2023-11-06 | 2024-01-26 | 长沙探月科技有限公司 | 提问素材的生成方法、装置、电子设备和存储介质 |
CN117391201A (zh) * | 2023-12-08 | 2024-01-12 | 荣耀终端有限公司 | 问答方法、装置及电子设备 |
CN117573841A (zh) * | 2024-01-12 | 2024-02-20 | 北京一平方科技有限公司 | 基于大语言模型的知识引导问答方法和装置 |
CN117573841B (zh) * | 2024-01-12 | 2024-05-03 | 北京一平方科技有限公司 | 基于大语言模型的知识引导问答方法和装置 |
CN117891927A (zh) * | 2024-03-15 | 2024-04-16 | 中国电子技术标准化研究院 | 基于大语言模型的问答方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116561276A (zh) | 知识问答方法、装置、设备及存储介质 | |
US11605226B2 (en) | Video data processing method and apparatus, and readable storage medium | |
CN116561277A (zh) | 知识问答方法、装置、设备及存储介质 | |
CN108021320B (zh) | 一种电子设备题目搜索方法及电子设备 | |
CN103838566A (zh) | 信息处理装置和信息处理方法 | |
CN104281847A (zh) | 一种点读方法、装置及设备 | |
CN109710750A (zh) | 一种搜题方法及学习设备 | |
WO2020136959A1 (ja) | マンガ生成システムおよびマンガ生成方法 | |
CN113283336A (zh) | 一种文本识别方法与*** | |
CN111488186A (zh) | 数据处理方法、装置、电子设备及计算机存储介质 | |
CN112668608A (zh) | 一种图像识别方法、装置、电子设备及存储介质 | |
CN116450202A (zh) | 页面配置方法、装置、计算机设备及计算机可读存储介质 | |
CN113592881B (zh) | 图片指代性分割方法、装置、计算机设备和存储介质 | |
CN111325212A (zh) | 模型训练方法、装置、电子设备和计算机可读存储介质 | |
CN109408175B (zh) | 通用高性能深度学习计算引擎中的实时交互方法及*** | |
CN115115740A (zh) | 思维导图识别方法、装置、设备、介质及程序产品 | |
KR102003221B1 (ko) | 필기 이미지 데이터 생성 시스템 및 이를 이용한 필기 이미지 데이터 생성 방법 | |
CN117995184A (zh) | 一种低注意力下的人机交互方法、装置、设备及存储介质 | |
CN117216202A (zh) | 多模态模型的生成方法、多模态处理方法及设备 | |
CN116895087A (zh) | 人脸五官的筛选方法、装置和人脸五官的筛选*** | |
CN111008295A (zh) | 书页检索方法、装置、电子设备和存储介质 | |
CN116311322A (zh) | 一种文档版面要素检测方法、装置、存储介质及设备 | |
CN111144141A (zh) | 基于拍照功能的翻译方法 | |
CN115454554A (zh) | 文本描述的生成方法、装置、终端及存储介质 | |
CN111582281B (zh) | 一种图片显示优化的方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |