WO2021139283A1 - 基于深度学习技术的知识图谱问答方法、装置及设备 - Google Patents

基于深度学习技术的知识图谱问答方法、装置及设备 Download PDF

Info

Publication number
WO2021139283A1
WO2021139283A1 PCT/CN2020/119375 CN2020119375W WO2021139283A1 WO 2021139283 A1 WO2021139283 A1 WO 2021139283A1 CN 2020119375 W CN2020119375 W CN 2020119375W WO 2021139283 A1 WO2021139283 A1 WO 2021139283A1
Authority
WO
WIPO (PCT)
Prior art keywords
attribute
entity
vector
knowledge graph
question
Prior art date
Application number
PCT/CN2020/119375
Other languages
English (en)
French (fr)
Inventor
张圣
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2021139283A1 publication Critical patent/WO2021139283A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • This application relates to the field of natural language processing in artificial intelligence, and in particular to a method, device and equipment for question answering based on deep learning technology in a knowledge graph.
  • Question answering system is a system used to answer natural language questions raised by people.
  • users questions can basically be divided into fact-type questions and opinion-type questions.
  • Fact-type questions refer to questions that have standard answers, such as “hepatitis B vaccine”. What is the principle of immunity?”.
  • Factual questions are the one that is paid more attention to in the question and answer system, but the most commonly used in the question and answer system at present
  • the technology is a question and answer system based on information retrieval technology, which mainly uses keywords to search and extract answers. Due to the complexity of natural language texts, this method has a low accuracy of question and answer.
  • the main purpose of this application is to provide a knowledge graph question answering method, device and equipment based on deep learning technology, aiming to solve the technical problems of poor effect and high hardware cost of the knowledge graph based question answering system in the prior art.
  • this application proposes a knowledge graph question answering method based on deep learning technology, including:
  • a structured query of the knowledge graph is generated according to the entity information and the standard attributes, the answers are searched in the knowledge graph, and the answers obtained are returned to the user.
  • an embodiment of the present application also provides a knowledge graph question answering device based on deep learning technology, including:
  • the receiving unit is used to receive the user's question sentences
  • the entity recognition unit is configured to perform entity recognition on the question sentence by using a sequence labeling model based on LSTM+CRF to obtain the entity information in the question sentence;
  • the attribute recognition unit is configured to use an attribute recognition model based on the attention mechanism to perform attribute recognition on the question sentence to obtain attribute information in the question sentence;
  • the attribute processing unit is used to perform attribute expansion and attribute standardization on the attribute information to obtain standard attributes corresponding to the knowledge graph;
  • the query unit is used to generate a structured query of the knowledge graph according to the entity information and the standard attribute, query the answer in the knowledge graph, and return the query answer to the user.
  • the present application also provides a computer device, including a memory and a processor, the memory stores a computer program, and when the processor executes the computer program, a knowledge graph question-and-answer method based on deep learning technology is implemented, wherein, the steps of the knowledge graph question answering method based on deep learning technology include:
  • a structured query of the knowledge graph is generated according to the entity information and the standard attributes, the answers are searched in the knowledge graph, and the answers obtained are returned to the user.
  • the present application also provides a computer-readable storage medium on which a computer program is stored.
  • a knowledge graph question answering method based on deep learning technology is realized, wherein the The steps of the knowledge graph question answering method of deep learning technology include:
  • a structured query of the knowledge graph is generated according to the entity information and the standard attributes, the answers are searched in the knowledge graph, and the answers obtained are returned to the user.
  • the knowledge graph question-and-answer method, device and computer equipment based on deep learning technology of the present application reduce the complexity and corresponding time of the model through physical conceptualization, and reduce the hardware cost, and are well operated through multi-layer Bi-LSTM and Attention operations.
  • the semantic information of the entity layer, the phrase layer, and the question layer is integrated into the model, which improves the effect of the model and the accuracy of question and answer.
  • FIG. 1 is a schematic flowchart of a method for question answering based on deep learning technology in a knowledge graph according to an embodiment of the application;
  • FIG. 2 is a schematic block diagram of the structure of a knowledge graph question answering device based on deep learning technology according to an embodiment of the application;
  • FIG. 3 is a schematic block diagram of the structure of a computer device according to an embodiment of the application.
  • This application relates to the field of natural language processing in artificial intelligence.
  • an embodiment of this application provides a knowledge graph question answering method based on deep learning technology, which includes the steps:
  • step S1 in order to realize the question and answer method of the knowledge graph, the user's question sentence needs to be received first.
  • text input there are two common input methods, text input and voice input.
  • voice input question sentences voice recognition must be performed first, and the voice input by the user is converted into corresponding text, which is convenient for the model to process.
  • entity recognition is mainly to identify the entities in natural sentences. Subsequent operations such as attribute expansion and knowledge graph query require the support of entity recognition.
  • the entity recognition model used here is a more mature sequence labeling model based on LSTM+CRF (Long Short Term Memory+Conditional Random Field).
  • the input of the entity recognition model is the word sequence of the sentence, and the output is the entity information in the sentence, which is recognized by the entity
  • the model input "Who is Huang Huawei's wife" as an example, the word sequence converted into the model is (Huang, Xiao, Ming,, wife, son, is, who,?) entity recognition output: (B, I, I, O, O, O, O, O), where B represents the beginning word of the entity, I represents the middle or end word of the entity, and O represents a word that is not an entity.
  • the output of the model is that Huang Xiaoming is predicted to be the physical part.
  • a deep learning model based on RNN (recurrent neural network) and attention mechanism is used to identify the attributes in the user's question sentences.
  • Attributes are attributes (relationship categories) in the knowledge graph.
  • attribute extension is to extend attributes (relation types in the knowledge graph).
  • Many relationships in the knowledge graph cannot be directly expressed using a specific attribute (relation), but require multiple attributes to express.
  • the relationship of spouse of (spouse) is expressed through three attributes, marriage ⁇ person ⁇ name.
  • more relationships (attributes) can be expressed by extending the attributes of the knowledge graph.
  • the attributes are standardized through the existing attribute standardization database, such as spouses, wife, husbands, husbands, spouses, etc., can be standardized as spouses.
  • attribute standardization the complexity of the system can be reduced, and the standardized attributes facilitate more accurate knowledge map query.
  • the user’s question obtains the relationship (attribute) type through the entity recognition part of the entity and other information based on the attribute model prediction part, the attributes are standardized, and the attributes are expanded to obtain the final attribute category (relationship category), thereby Convert entity information and standard attributes into structured queries of the knowledge graph, query in the knowledge graph, and finally return the answer to the user's question to the user.
  • the step of using a sequence tagging model based on LSTM+CRF to perform entity recognition on the question sentence to obtain the entity information in the question sentence includes:
  • the entity recognition model input Who is Huang Xiaoming's wife?
  • the word sequence converted into the model is (Huang, Xiao, Ming, the, wife, son, who, who,?).
  • the entity recognition result output (B, I, I, O, O, O, O, O), where B represents the beginning word of the entity, I represents the middle or end word of the entity, and O represents a word that is not an entity.
  • the output of the model is that "Huang Xiaoming" is predicted as the physical part.
  • the step of using an attribute recognition model based on an attention mechanism to perform attribute recognition on the question sentence, and obtaining attribute information in the question sentence includes:
  • the user’s question sentence is segmented first to obtain the word sequence of the sentence, and the word vector w 1 , w 2 ..., w n of each word is obtained through Word Embedding.
  • word vector After the mapping operation is then mapped into physical concept concepts corresponding word vectors e 1, e 2 ..., e n, word vector carries the word semantic information, but the whole problem may be acquired through the concept of mapping entity sentences deeper semantics.
  • Bi-LSTM can learn the semantic information before and after the corresponding word very well.
  • the entity layer information for Attention operation can well integrate the entity layer semantic information into the model. Then input the sequence characterization vector obtained in the previous layer to the Bi-LSTM layer again, and use the characterization vector Phrase of the phrase layer to perform the Attention operation, and do an operation that approximates a weighted sum to obtain the characterization vector Vector.
  • the representation vector Vector is a good combination of entity layer semantics, phrase layer semantics, and question layer semantics.
  • the learned representation vector Vector is subjected to a fully connected layer and Softmax operation to obtain the relationship (attribute) category in the sentence (user question) corresponding to the knowledge graph.
  • the processing of the entity layer Entity and phrase layer Phrase is as follows:
  • Entity layer semantics Entity Entity is one of the basic units of natural language. Entity semantics based on the knowledge graph is understood as upper-level semantic calculations, especially the entity semantics in the question.
  • the semantic analysis of the entity layer in this application uses a semantic community search model to obtain semantic information of the entity layer.
  • Phrase Short text is one of the most common forms of natural language. It serves as a link between entities and more complex text units (such as questions). Short texts already have basic grammatical structure and contextual semantic information. Here, verb templates are mainly used for fine-grained semantic representation, and contextual information is used to conceptualize entities.
  • Model input (direction, acting, directing, directing, passing, which, some, film, film, writing, product,?)
  • the step of performing attribute expansion and attribute standardization on the identified attributes to obtain the standard attributes corresponding to the knowledge graph includes:
  • the attribute words in the knowledge graph may have multiple expressions, so expanding the attributes in the triples can improve the coverage of the question and answer system.
  • the method of calculating the relevance of related attribute words in the knowledge graph is used to expand the attribute words.
  • the method for calculating the correlation between the first attribute word and the plurality of second attribute words may adopt converting the attribute word into a semantic vector and performing semantic relevance analysis to generate the plurality of second attribute words and The relevance ranking and/or relevance between the first attribute words are then determined according to a preset relevance threshold and/or relevance ranking screening strategy to determine one or more third attribute words.
  • third attribute words count the number of occurrences of each third attribute word in the knowledge graph, and use the most frequently used attribute word as the standard attribute, that is, attribute words with the same semantics. Use the most commonly used attribute word as the standard predicate, and determine it as Standard attributes.
  • the step of generating a structured query of a knowledge graph based on the entity information and the standard attribute, querying the answer in the knowledge graph, and returning the queried answer to the user includes:
  • knowledge data is stored in the form of (S, P, O) triples, and the corresponding representations are entities, attributes (relationships), and attribute values (relationship categories).
  • the entity and its corresponding The attribute values may all be expressed in the form of entities.
  • who is Huang Xiaoming’s wife may be expressed as (Huang Huaweing, spouse, and Yang Ying) in the knowledge graph, that is, the subject and object in the question are acceptable in some cases Exchangeable, according to the entity and attribute results output by the model, if the entity information is regarded as the subject, the object in the triplet is used as the answer to the question; if the entity information is regarded as the object, the three The subject in the tuple serves as the answer to the question.
  • a user satisfaction evaluation system for answers can also be set up, so that the question-and-answer system can make self-improvement based on the user's evaluation or make suggestions for the construction and update of the knowledge graph.
  • the step of prompting the system that the question has not been included includes:
  • the problem is sent to manual processing, and the results of manual processing are updated to the knowledge graph.
  • the question answering system of the knowledge graph cannot match the answer to the question due to various reasons, the question can be recorded and sent to manual processing, and then the knowledge graph is actively updated by the manual.
  • the current knowledge graph is based on a variety of huge data sources, and the knowledge coverage is relatively wide.
  • the unsolvable problems can be recorded and then handed over to the system developers to deal with and make improvements to the causes of the problems, so as to improve the comprehensiveness and accuracy of the knowledge graph intelligent question answering.
  • the label data of the attribute recognition model based on the attention mechanism is a conceptualized label data set
  • the step of obtaining the conceptualized label data set includes:
  • the conceptualized label data set is obtained.
  • the problem in the label data of the initial attribute recognition model is identified and conceptualized to obtain a set of conceptualized label data. For example: "What is the immunization principle of hepatitis A vaccine?" "What is the immunization principle of hepatitis B vaccine?” and other similar questions, through entity identification, you can get the hepatitis A vaccine and hepatitis B vaccine in question as entities, and map through the entity concept, hepatitis A vaccine, hepatitis B
  • the concept of a vaccine is a vaccine, so all questions of the label data set can be conceptualized as: What is the principle of vaccine immunity?
  • entity conceptualization a large amount of redundant data can be removed, the size of the label data set can be reduced by about 10-50 times, the complexity of the model can be effectively reduced, the training speed and response speed of the model can be improved, and the hardware cost can be reduced.
  • information such as the model used for entity recognition and attribute recognition, knowledge graph related data and other information can be stored in the blockchain, and the above-mentioned deep learning technology-based knowledge graph question and answer can be implemented in the blockchain network. method.
  • Blockchain is a new application mode of computer technology such as distributed data storage, point-to-point transmission, consensus mechanism, and encryption algorithm.
  • Blockchain essentially a decentralized database, is a series of data blocks associated with cryptographic methods. Each data block contains a batch of network transaction information for verification. The validity of the information (anti-counterfeiting) and generation of the next block.
  • the blockchain can include the underlying platform of the blockchain, the platform product service layer, and the application service layer.
  • the underlying platform of the blockchain can include processing modules such as user management, basic services, smart contracts, and operation monitoring.
  • the user management module is responsible for the identity information management of all blockchain participants, including the maintenance of public and private key generation (account management), key management, and maintenance of the correspondence between the user’s real identity and the blockchain address (authority management), etc.
  • authorization supervise and audit certain real-identity transactions, and provide risk control rule configuration (risk control audit); basic service modules are deployed on all blockchain node devices to verify the validity of business requests, After completing the consensus on the valid request, it is recorded on the storage.
  • the basic service For a new business request, the basic service first performs interface adaptation analysis and authentication processing (interface adaptation), and then encrypts the business information through the consensus algorithm (consensus management), After encryption, it is completely and consistently transmitted to the shared ledger (network communication), and recorded and stored; the smart contract module is responsible for contract registration and issuance, contract triggering and contract execution.
  • interface adaptation interface adaptation
  • consensus algorithm consensus algorithm
  • the smart contract module is responsible for contract registration and issuance, contract triggering and contract execution.
  • the operation monitoring module is mainly responsible for the deployment of the product release process , Configuration modification, contract settings, cloud adaptation, and visual output of real-time status during product operation, such as: alarms, monitoring network conditions, monitoring node equipment health status, etc.
  • the knowledge graph question answering method based on deep learning technology in the embodiment of the application reduces the complexity and corresponding time of the model through entity conceptualization, and reduces the hardware cost. Moreover, the entity layer is well integrated through multi-layer Bi-LSTM and Attention operations. The semantic information of, phrase layer and question layer is integrated into the model, which improves the effect of the model and the accuracy of question and answer.
  • an embodiment of the present application also provides a knowledge graph question answering device based on deep learning technology, including:
  • the receiving unit 1 is used to receive question sentences from the user;
  • the entity recognition unit 2 is configured to use a sequence labeling model based on LSTM+CRF to perform entity recognition on the question sentence to obtain entity information in the question sentence;
  • the attribute recognition unit 3 is configured to use an attribute recognition model based on the attention mechanism to perform attribute recognition on the question sentence to obtain attribute information in the question sentence;
  • the attribute processing unit 4 is configured to perform attribute expansion and attribute standardization on the attribute information to obtain standard attributes corresponding to the knowledge graph;
  • the query unit 5 is configured to generate a structured query of the knowledge graph according to the entity information and the standard attribute, and finally return the answer to the user's question to the user.
  • the entity recognition unit 2 includes:
  • the word segmentation unit is used to segment the question sentence, input it into the Token Embedding layer of the entity recognition model, and convert the word into a word vector;
  • the first hidden vector generating unit is used to input the word vector to the Bi-LSTM layer of the entity recognition model to obtain the first hidden vector;
  • the predicted label sequence generating unit is used to input the first hidden vector to the CRF layer of the entity recognition model to obtain the predicted label sequence;
  • the entity information determining unit is configured to determine the entity information in the question sentence according to the predicted label sequence.
  • the attribute recognition unit 3 includes:
  • the word vector obtaining unit is used to perform word segmentation processing on the question sentence to obtain a word sequence, and obtain the word vector w 1 , w 2 ..., w n of each word through Word Embedding;
  • Second concealed vector obtaining unit for the concept of word vectors e 1, e 2 ..., e n is input to the Bi-LSTM layer attributes recognition model, and characterized using the vector Entity performs physical layer obtained in the second hidden Attention vector h 1 , h 2 ..., h n ;
  • the representation vector acquisition unit is used to re-input the second hidden vectors h 1 , h 2 ..., h n to the Bi-LSTM layer of the attribute recognition model, and use the representation vector Phrase of the phrase layer to perform Attention operations, and perform Attention operations on the output Perform weighted summation of the three hidden vectors to obtain the characterization vector Vector;
  • the attribute information obtaining unit is used to input the characterization vector Vector into the fully connected layer of the attribute recognition model and perform the Softmax operation to obtain the attribute information in the question sentence.
  • the attribute processing unit 4 includes:
  • the extraction unit is used to extract the entity and the first attribute word in the user's question sentence
  • the searching unit is configured to search for multiple second attribute words matching the entity in the knowledge graph according to the entity in the user question sentence;
  • the determining unit is used to calculate the degree of relevance between the first attribute word and the plurality of second attribute words, and filter the plurality of second attribute words according to the degree of relevance, and determine one or more first attribute words Three-attribute words
  • the statistical unit is used to count the number of times each third attribute word appears in the knowledge graph if there are multiple third attribute words, and the one with the most times is used as the standard attribute.
  • the query unit 5 includes:
  • Retrieval unit used to treat the entity information as a subject or an object, combine it with the standard attributes to generate a SPARQL query, retrieve and find the corresponding triples from the knowledge graph;
  • the first answer generating unit is configured to use the object in the triple as the answer to the question if the entity information is regarded as the subject;
  • the second answer generating unit is configured to use the subject in the triple as the answer to the question if the entity information is regarded as an object;
  • the prompt unit is used for prompting that the system has not yet included the question if the corresponding triplet is not retrieved.
  • the various components of the deep learning technology-based knowledge graph question answering device proposed in this application can realize the functions of any one of the above-mentioned deep learning technology-based knowledge graph question answering methods, and the specific structure No longer.
  • an embodiment of the present application also provides a computer device.
  • the computer device may be a server, and its internal structure may be as shown in FIG. 3.
  • the computer equipment includes a processor, a memory, a network interface, and a database connected through a system bus. Among them, the processor designed by the computer is used to provide calculation and control capabilities.
  • the memory of the computer device includes a non-volatile storage medium and an internal memory.
  • the non-volatile storage medium stores an operating system, a computer program, and a database.
  • the memory provides an environment for the operation of the operating system and the computer program in the non-volatile storage medium.
  • the database of the computer equipment is used to store data such as knowledge graphs.
  • the network interface of the computer device is used to communicate with an external terminal through a network connection.
  • the computer program is executed by the processor to realize a knowledge graph question answering method based on deep learning technology.
  • the processor executes the above-mentioned knowledge graph question and answer method based on deep learning technology, including: receiving a user's question sentence; using a sequence tagging model based on LSTM+CRF to perform entity recognition on the question sentence to obtain the entity in the question sentence Information; use the attribute recognition model based on the attention mechanism to identify the attribute of the question sentence to obtain the attribute information in the question sentence; perform attribute expansion and attribute standardization on the attribute information to obtain the standard corresponding to the knowledge graph Attribute; According to the entity information and the standard attributes, generate a structured query of the knowledge graph, query the answer in the knowledge graph, and return the query answer to the user.
  • the step of using a sequence tagging model based on LSTM+CRF to perform entity recognition on the question sentence to obtain the entity information in the question sentence includes: first segmenting the question sentence and inputting the entity recognition
  • the Token Embedding layer of the model converts words into word vectors; the word vector is input to the Bi-LSTM layer of the entity recognition model to obtain the first hidden vector; the first hidden vector is input to the CRF layer of the entity recognition model to obtain the predicted label Sequence: Determine the entity information in the question sentence according to the predicted label sequence.
  • the step of using an attribute recognition model based on an attention mechanism to perform attribute recognition on the question sentence, and obtaining attribute information in the question sentence includes:
  • vectors e 1, e 2 ..., e n is input to the Bi-LSTM layer attributes recognition model, and characterized using the vector Entity performs physical layer obtained in the second hidden Attention vectors h 1, h 2 ..., h n;
  • the characterization vector Vector is input to the fully connected layer of the attribute recognition model and the Softmax operation is performed to obtain the attribute information in the question sentence.
  • the step of performing attribute expansion and attribute standardization on the identified attributes to obtain the standard attributes corresponding to the knowledge graph includes:
  • the step of generating a structured query of a knowledge graph based on the entity information and the standard attribute, querying the answer in the knowledge graph, and returning the queried answer to the user includes:
  • the object in the triplet is used as the answer to the question;
  • the subject in the triplet is used as the answer to the question;
  • the system prompts that the question has not been included.
  • the step of prompting the system that the question has not been included includes:
  • the problem is sent to manual processing, and the results of manual processing are updated to the knowledge graph.
  • the step of prompting the system that the question has not been included includes:
  • the problem is sent to manual processing, and the results of manual processing are updated to the knowledge graph.
  • the label data of the attribute recognition model based on the attention mechanism is a conceptualized label data set
  • the step of obtaining the conceptualized label data set includes:
  • the conceptualized label data set is obtained.
  • An embodiment of the present application also provides a computer-readable storage medium.
  • the computer-readable storage medium may be non-volatile or volatile.
  • a computer program is stored thereon. When the computer program is executed by a processor, Implementing a knowledge graph question answering method based on deep learning technology, including the steps of: receiving a user's question sentence; using a sequence labeling model based on LSTM+CRF to perform entity recognition on the question sentence to obtain the entity information in the question sentence; Using an attribute recognition model based on the attention mechanism to perform attribute recognition on the question sentence to obtain attribute information in the question sentence; perform attribute expansion and attribute standardization on the attribute information to obtain standard attributes corresponding to the knowledge graph; A structured query of the knowledge graph is generated according to the entity information and the standard attributes, the answers are searched in the knowledge graph, and the answers obtained are returned to the user.
  • the step of using a sequence tagging model based on LSTM+CRF to perform entity recognition on the question sentence to obtain the entity information in the question sentence includes: first segmenting the question sentence and inputting the entity recognition
  • the Token Embedding layer of the model converts words into word vectors; the word vector is input to the Bi-LSTM layer of the entity recognition model to obtain the first hidden vector; the first hidden vector is input to the CRF layer of the entity recognition model to obtain the predicted label Sequence: Determine the entity information in the question sentence according to the predicted label sequence.
  • the step of using an attribute recognition model based on an attention mechanism to perform attribute recognition on the question sentence, and obtaining attribute information in the question sentence includes:
  • vectors e 1, e 2 ..., e n is input to the Bi-LSTM layer attributes recognition model, and characterized using the vector Entity performs physical layer obtained in the second hidden Attention vectors h 1, h 2 ..., h n;
  • the characterization vector Vector is input to the fully connected layer of the attribute recognition model and the Softmax operation is performed to obtain the attribute information in the question sentence.
  • the step of performing attribute expansion and attribute standardization on the identified attributes to obtain the standard attributes corresponding to the knowledge graph includes:
  • the step of generating a structured query of a knowledge graph based on the entity information and the standard attribute, querying the answer in the knowledge graph, and returning the queried answer to the user includes:
  • the object in the triplet is used as the answer to the question;
  • the subject in the triplet is used as the answer to the question;
  • the system prompts that the question has not been included.
  • the step of prompting the system that the question has not been included includes:
  • the problem is sent to manual processing, and the results of manual processing are updated to the knowledge graph.
  • the step of prompting the system that the question has not been included includes:
  • the problem is sent to manual processing, and the results of manual processing are updated to the knowledge graph.
  • the method before the step of using the attribute recognition model based on the attention mechanism to perform attribute recognition on the question sentence, and obtaining the attribute information in the question sentence, the method further includes:
  • the problem in the label data of the initial attribute recognition model is identified through entity recognition and entity conceptualization, and a conceptualized label data set is obtained.
  • Non-volatile memory may include read only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
  • Volatile memory may include random access memory (RAM) or external cache memory.
  • RAM is available in many forms, such as static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), dual-rate SDRAM (SSRSDRAM), enhanced SDRAM (ESDRAM), synchronous Link (Synchlink) DRAM (SLDRAM), memory bus (Rambus) direct RAM (RDRAM), direct memory bus dynamic RAM (DRDRAM), and memory bus dynamic RAM (RDRAM), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及人工智能中的自然语言处理领域，揭示了一种基于深度学习技术的知识图谱问答方法包括：接收用户的问题语句；利用基于LSTM+CRF的序列标注模型对所述问题语句进行实体识别，得到所述问题语句中的实体信息；利用属性识别模型对问题语句进行属性识别，得到问题语句中的属性信息；对属性信息进行属性拓展和属性标准化，得到对应到知识图谱中的标准属性；根据实体信息和标准属性生成知识图谱的结构化查询，在知识图谱中查询答案，将查询到的答案返回给用户。模型和知识图谱信息可以存储于区块链中。本申请通过多层Bi-LSTM及Attention操作很好地将实体层、短语层、问题层的语义信息融入到模型中，提高了模型的效果和问答的准确性。

Description

基于深度学习技术的知识图谱问答方法、装置及设备
本申请要求于2020年6月16日提交中国专利局、申请号为202010550506.5，发明名称为“基于深度学习技术的知识图谱问答方法、装置及设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及到人工智能中的自然语言处理领域，特别是涉及到一种基于深度学习技术的知识图谱问答方法、装置及设备。
背景技术
问答***是用来回答人提出的自然语言的问题的***，对于问答***而言用户的问题基本可以分成事实型问题和观点型问题，事实型问题是指存在标准答案的问题，比如“乙肝疫苗的免疫原理是什么？”。观点型问题的答案一般不存在唯一标准答案，比如“疫苗是打国内的好还是国外的好？”，事实型问题是在问答***中关注较多的一种，但目前问答***中最常用的技术是基于信息检索技术的问答***，主要是通过关键词搜索以及提取答案，由于自然语言文本的复杂性，该方法实现问答准确率很低。
目前已经出现了基于知识图谱的问答技术，然而，发明人意识到，现有的基于知识图谱问答技术，实际应用落地过程中多是基于设计的规则，或者是简单的机器学习模型，基于复杂模型复杂度较高，真实上线需要机器和时间成本高，效果提升不明显。
技术问题
本申请的主要目的为提供一种基于深度学习技术的知识图谱问答方法、装置及设备，旨在解决现有技术中基于知识图谱的问答***效果较差、硬件成本较高的技术问题。
技术解决方案
为了实现上述发明目的，第一方面本申请提出一种基于深度学习技术的知识图谱问答方法，包括：
接收用户的问题语句；
利用基于LSTM+CRF的序列标注模型对所述问题语句进行实体识别，得到所述问题语句中的实体信息；
利用基于注意力机制的属性识别模型对所述问题语句进行属性识别，得到所述问题语句中的属性信息；
对所述属性信息进行属性拓展和属性标准化，得到对应到知识图谱中的标准属性；
根据所述实体信息和所述标准属性生成知识图谱的结构化查询，在知识图谱中查询答案，将查询到的答案返回给用户。
第二方面，本申请实施例还提供一种基于深度学习技术的知识图谱问答装置，包括：
接收单元，用于接收用户的问题语句；
实体识别单元，用于利用基于LSTM+CRF的序列标注模型对所述问题语句进行实体识别，得到所述问题语句中的实体信息；
属性识别单元，用于利用基于注意力机制的属性识别模型对所述问题语句进行属性识别，得到所述问题语句中的属性信息；
属性处理单元，用于对所述属性信息进行属性拓展和属性标准化，得到对应到知识图谱中的标准属性；
查询单元，用于根据所述实体信息和所述标准属性生成知识图谱的结构化查询，在知识图谱中查询答案，将查询到的答案返回给用户。
第三方面，本申请还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现一种基于深度学习技术的知识图谱问答方法，其中，所述基于深度学习技术的知识图谱问答方法的步骤包括：
接收用户的问题语句；
利用基于LSTM+CRF的序列标注模型对所述问题语句进行实体识别，得到所述问题语句中的实体信息；
利用基于注意力机制的属性识别模型对所述问题语句进行属性识别，得到所述问题语句中的属性信息；
对所述属性信息进行属性拓展和属性标准化，得到对应到知识图谱中的标准属性；
根据所述实体信息和所述标准属性生成知识图谱的结构化查询，在知识图谱中查询答案，将查询到的答案返回给用户。
第四方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现一种基于深度学习技术的知识图谱问答方法，其中，所述基于深度学习技术的知识图谱问答方法的步骤包括：
接收用户的问题语句；
利用基于LSTM+CRF的序列标注模型对所述问题语句进行实体识别，得到所述问题语句中的实体信息；
利用基于注意力机制的属性识别模型对所述问题语句进行属性识别，得到所述问题语句中的属性信息；
对所述属性信息进行属性拓展和属性标准化，得到对应到知识图谱中的标准属性；
根据所述实体信息和所述标准属性生成知识图谱的结构化查询，在知识图谱中查询答案，将查询到的答案返回给用户。
有益效果
本申请的基于深度学习技术的知识图谱问答方法、装置和计算机设备，通过实体概念化，降低了模型的复杂程度和相应时间，降低了硬件成本，并且通过多层Bi-LSTM及Attention操作很好地将实体层、短语层、问题层的语义信息融入到模型中，提高了模型的效果和问答的准确性。
附图说明
图1为本申请一实施例的基于深度学习技术的知识图谱问答方法的流程示意图；
图2为本申请一实施例的基于深度学习技术的知识图谱问答装置的结构示意框图；
图3为本申请一实施例的计算机设备的结构示意框图。
本发明的最佳实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请涉及人工智能中的自然语言处理领域，参照图1，本申请实施例中提供一种基于深度学习技术的知识图谱问答方法，包括步骤：
S1、接收用户的问题语句；
S2、利用基于LSTM+CRF的序列标注模型对所述问题语句进行实体识别，得到所述问题语句中的实体信息；
S3、利用基于注意力机制的属性识别模型对所述问题语句进行属性识别，得到所述问题语句中的属性信息；
S4、对所述属性信息进行属性拓展和属性标准化，得到对应到知识图谱中的标准属性；
S5、根据所述实体信息和所述标准属性生成知识图谱的结构化查询，在知识图谱中查询答案，将查询到的答案返回给用户。
如上述步骤S1所述，要实现知识图谱的问答方法，首先需要接收用户的问题语句。目前常见的输入方式有两种，文字输入和语音输入，对于语音输入的问题语句首先要进行语音识别，将用户输入的语音转化为对应的文字，方便模型进行处理。
如上述步骤S2所述，实体识别主要是从自然语句中识别出其中的实体，后续的属性拓展、知识图谱查询等操作都需要实体识别的支撑。这里使用的实体识别模型是比较成熟的基于LSTM+CRF(Long Short Term Memory+Conditional Random Field)的序列标注模型，实体识别模型的输入是句子的词序列，输出是句子中实体信息，以实体识别模型输入“黄晓明的妻子是谁”为例，转成模型的word序列也就是(黄，晓，明，的，妻，子，是，谁，？)实体识别输出：(B,I,I,O,O,O,O,O,O)，其中B表示实体的开始word，I表示实体的中间或结束word，O表示不是实体的word。模型的输出也就是黄晓明被预测为实体部分。
如上述步骤S3所述，这里采用的是基于RNN(循环神经网络)以及注意力机制设计的深度学习模型对用户问题语句中的属性进行识别。属性也就是知识图谱中的属性(关系类别)，通过上述模型对用户问题语句进行属性识别，可以预测出用户问题对应到知识图谱中的关系(属性)类别。
如上述步骤S4所述，属性扩展的主要目的是对属性(知识图谱中关系类型)进行扩展。知识图谱中很多关系无法使用某一个具体属性(关系)直接表达，而是需要多个属性进行表达。比如在知识图谱中，对于spouse of(配偶)这个关系是通过三个属性进行表达的，marriage→person→name。这里通过对知识图谱的属性扩展可以表达更多的关系(属性)。通过已有的属性标准化数据库对属性进行标准化，比如夫妻、妻子、丈夫、老公、配偶等可以标准化为配偶。通过属性标准化，可以降低***的复杂度，标准化后的属性便于更加精准知识图谱查询。
如上述步骤S5所述，用户的问题经过实体识别部分的实体等信息以及基于属性模型预测部分得到关系(属性)类型，对属性进行标准化、以及属性扩展得到最终的属性类别(关系类别)，从而将实体信息以及标准属性转换成知识图谱的结构化查询，在知识图谱中进行查询，最终将用户问题的答案返回给用户。
在一个具体的实施例中，所述利用基于LSTM+CRF的序列标注模型对所述问题语句进行实体识别，得到所述问题语句中的实体信息步骤，包括：
S21、先将所述问题语句分词，输入实体识别模型的Token Embedding层，将单词转化为词向量；
S22、将词向量输入到实体识别模型的Bi-LSTM层，得到第一隐藏向量；
S23、将第一隐藏向量输入到实体识别模型的CRF层，得到预测标签序列；
S24、根据预测标签序列确定所述问题语句中的实体信息。
如上述所述，举例说明，实体识别模型输入：黄晓明的妻子是谁？转成模型的word序列也就是(黄，晓，明，的，妻，子，是，谁，？)，经过Token Embedding层编码和Bi-LSTM层后，实体识别结果输出：(B,I,I,O,O,O,O,O,O)，其中B表示实体的开始word，I表示实体的中间或结束word，O表示不是实体的word。模型的输出也就是“黄晓明”被预测为实体部分。
在一个具体的实施例中，所述利用基于注意力机制的属性识别模型对所述问题语句进行属性识别，得到所述问题语句中的属性信息的步骤包括：
S31、对所述问题语句进行分词处理得到词序列，通过Word Embedding获取每个词的词向量w 1，w 2…，w n；
S32、将词向量w 1，w 2…，w n映射成对应的概念词向量e 1，e 2…，e n；
S33、将概念词向量e 1，e 2…，e n输入到属性识别模型的Bi-LSTM层，并使用实体层的表征向量Entity进行Attention操作得到第二隐藏向量h 1，h 2…，h n；
S34、将第二隐藏向量h 1，h 2…，h n再次输入到属性识别模型的Bi-LSTM层，并使用短语层的表征向量Phrase进行Attention操作，并对输出的第三隐藏向量进行加权求和，得到表征向量Vector；
S35、将表征向量Vector输入到属性识别模型的全连接层并进行Softmax操作，得到所述问题语句中的属性信息。
如上所述，首先对用户的问题语句进行分词得到句子的词序列，通过Word Embedding获取每个词的词向量w 1，w 2…，w n。然后经过实体概念映射操作映射成对应的概念的词向量e 1，e 2…，e n，词向量携带了单词语义信息，而且通过实体的概念映射可以获取整个问题句子的更深层的语义。将概念化的词向量输入Bi-LSTM层，并使用实体层的表征向量Entity进行Attention操作得到隐藏向量h 1，h 2…，h n。Bi-LSTM可以很好的学习到对应词前后的语义信息，使用实体层信息进行Attention操作可以很好地将实体层的语义信息融入到模型中。然后将上一层得到的序列表征向量再次输入到Bi-LSTM层，并使用短语层的表征向量Phrase进行Attention操作，做一个近似于加权求和的操作，得到表征向量Vector。这里学习到表征向量Vector很好的融合了实体层语义、短语层语义、问题层语义。最后，将学习到的表征向量Vector经过全连接层以及Softmax操作，得到句子(用户问题)中对应到知识图谱的关系(属性)类别。其中实体层Entity、短语层Phrase的处理如下：
实体层语义Entity：实体是自然语言的基本单位之一，基于知识图谱的实体语义理解为上层语义计算，特别是问题中的实体语义。本申请关于实体层的语义解析这里使用了语义社团搜索模型，获取实体层的语义信息。
短语层语义Phrase：短文本是自然语言的最常见形式之一，起到对实体和更复杂文本单元(如问句)的承接作用，短文本已经有了基本的语法结构和上下文的语义信息。这里主要是使用动词模板用来细粒度的语义表示，并综合使用了上下文信息进行实体的概念化。
以下举例说明：
原始输入：李安执导过哪些电影作品？
问题概念化后：导演执导过哪些电影作品？
模型的输入：(导，演，执，导，过，哪，些，电，影，作，品，？)
模型的输出：代表作品(属性)
在一个具体的实施例中，所述对识别到的属性进行属性拓展和属性标准化，得到对应到知识图谱中的标准属性的步骤包括：
S41、提取用户问题语句中的实体和第一属性词；
S42、根据所述用户问题语句中的实体，在知识图谱中查找与该实体匹配的多个第二属性词；
S43、计算所述第一属性词和多个所述第二属性词的之间的相关度，并根据相关度对多个所述第二属性词进行筛选，确定出一个或多个第三属性词；
S44、如果存在多个第三属性词，统计每个第三属性词在知识图谱中出现的次数，次数最多的作为标准属性。
如上所述，知识图谱中的属性词也就是同一个属性或关系可能有多个表达方式，所以对三元组中的属性进行拓展可以提高问答***的覆盖率。在本实施例中，采用了计算知识图谱中的相关属性词的相关度的方法对属性词进行扩展。其中，所述第一属性词和多个所述第二属性词之间的相关度计算方法可以采用将属性词转换为语义向量并进行语义关联性分析，生成所述多个第二属性词和第一属性词之间相关度的排序和/或相关度，然后根 据预设相关度阈值和/或相关度排序筛选策略，确定出一个或多个第三属性词。如果存在多个第三属性词，统计每个第三属性词在知识图谱中出现的次数，次数最多的作为标准属性，即语义相同的属性词，采用最常用的属性词作为标准谓词，确定为标准属性。
在一个具体的实施例中，所述根据所述实体信息和所述标准属性生成知识图谱的结构化查询，在知识图谱中查询答案，将查询到的答案返回给用户的步骤包括：
S51、将所述实体信息视为主语或宾语，与所述标准属性相结合，生成SPARQL查询，从知识图谱中检索并找到对应的三元组；
S52、若将所述实体信息视为主语，则以该三元组中的宾语作为问题的答案；
S53、若将所述实体信息视为宾语，则以该三元组中的主语作为问题的答案；
S54、若没有检索到对应的三元组，则提示***尚未收录该问题。
如上所述，在知识图谱中，知识数据是以(S、P、O)三元组形式保存的，对应表示为实体、属性(关系)、属性值(关系类别)，其中实体和其对应的属性值可能都是以实体的形式表示的，例如，黄晓明的妻子是谁，在知识图谱中可能表示为(黄晓明、配偶、杨颖)，即问句中的主语和宾语在一些情况下是可以互换的，根据模型输出的实体和属性结果，若将所述实体信息视为主语，则以该三元组中的宾语作为问题的答案；若所述实体信息视为宾语，则以该三元组中的主语作为问题的答案。在一个具体的实施例中，还可以设置用户对答案的满意度评价***，使该问答***根据用户的评价进行自我改进或为知识图谱的构建和更新提出建议。
在一个具体的实施例中，所述若没有检索到对应的三元组，则提示***尚未收录该问题的步骤之后包括：
将问题发送给人工处理，将人工处理的结果更新到知识图谱中。
如上所述，知识图谱的问答***可能基于各种各样的原因不能够匹配到问题答案时，可以将问题记录下来发送给人工处理，然后由人工主动对知识图谱进行更新。目前的知识图谱基于各种庞大的数据来源，知识覆盖面相对广泛，但仍可能因为问题太新没有被收录、用户问题表述难以被机器模型理解、模型算法不够精确等诸多原因造成无法回答用户的问题。这种情况可以记录无法解决的问题后交由***开发人员处理并针对问题产生的原因做出改进，提高知识图谱智能问答的全面性和准确性。
在一个具体的实施例中，所述基于注意力机制的属性识别模型的标签数据是概念化标签数据集，其中，得到所述概念化标签数据集的步骤包括：
对初始标签数据中的问题经过实体识别、实体概念化，得到所述概念化标签数据集。
如上所述，对初始的属性识别模型的标签数据中的问题进行实体识别、实体概念化，得到概念化标签数据集合。比如：“甲肝疫苗的免疫原理是？”“乙肝疫苗的免疫原理是？”等类似问题，通过实体识别，可以得到问题中的甲肝疫苗、乙肝疫苗为实体，通过实体概念映射，甲肝疫苗、乙肝疫苗的概念是疫苗，从而标签数据集中这一类问题都可以概念化为：疫苗的免疫原理是什么？通过实体概念化，可以将去除大量冗余的数据，可以将标签数据集的规模降低10-50倍左右，有效降低模型的复杂程度，提高模型的训练速度和响应速度，降低了硬件成本。
在一个实施例中，用于实体识别和属性识别的模型、知识图谱相关数据等信息均可以存储与区块链中，在区块链网络中实现如上所述的基于深度学习技术的知识图谱问答方法。
如上所述，区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。 其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置(风控审计)；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理(接口适配)，然后通过共识算法将业务信息加密(共识管理)，在加密之后完整一致的传输至共享账本上(网络通信)，并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上(合约注册)，根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能；运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出，例如：告警、监控网络情况、监控节点设备健康状态等。
本申请实施例的基于深度学习技术的知识图谱问答方法，通过实体概念化，降低了模型的复杂程度和相应时间，降低了硬件成本，并且通过多层Bi-LSTM及Attention操作很好地将实体层、短语层、问题层的语义信息融入到模型中，提高了模型的效果和问答的准确性。
参照图2，本申请实施例中还提供一种基于深度学习技术的知识图谱问答装置，包括：
接收单元1，用于接收用户的问题语句；
实体识别单元2，用于利用基于LSTM+CRF的序列标注模型对所述问题语句进行实体识别，得到所述问题语句中的实体信息；
属性识别单元3，用于利用基于注意力机制的属性识别模型对所述问题语句进行属性识别，得到所述问题语句中的属性信息；
属性处理单元4，用于对所述属性信息进行属性拓展和属性标准化，得到对应到知识图谱中的标准属性；
查询单元5，用于根据所述实体信息和所述标准属性生成知识图谱的结构化查询，最终将用户问题的答案返回给用户。
在一个具体的实施例中，所述实体识别单元2包括：
分词单元，用于将所述问题语句分词，输入实体识别模型的Token Embedding层，将单词转化为词向量；
第一隐藏向量生成单元，用于将词向量输入到实体识别模型的Bi-LSTM层，得到第一隐藏向量；
预测标签序列生成单元，用于将第一隐藏向量输入到实体识别模型的CRF层，得到预测标签序列；
实体信息确定单元，用于根据预测标签序列确定所述问题语句中的实体信息。
在一个具体的实施例中，所述属性识别单元3包括：
词向量获取单元，用于对所述问题语句进行分词处理得到词序列，通过Word Embedding获取每个词的词向量w 1，w 2…，w n；
概念词向量获取单元，用于将词向量w 1，w 2…，w n映射成对应的概念词向量e 1，e 2…，e n；
第二隐藏向量获取单元，用于将概念词向量e 1，e 2…，e n输入到属性识别模型的Bi-LSTM层，并使用实体层的表征向量Entity进行Attention操作得到第二隐藏向量h 1，h 2…，h n；
表征向量获取单元，用于将第二隐藏向量h 1，h 2…，h n再次输入到属性识别模型的Bi-LSTM层，并使用短语层的表征向量Phrase进行Attention操作，并对输出的第三隐藏向量进行加权求和，得到表征向量Vector；
属性信息获取单元，用于将表征向量Vector输入到属性识别模型的全连接层并进行 Softmax操作，得到所述问题语句中的属性信息。
在一个具体的实施例中，所述属性处理单元4包括：
提取单元，用于提取用户问题语句中的实体和第一属性词；
查找单元，用于根据所述用户问题语句中的实体，在知识图谱中查找与该实体匹配的多个第二属性词；
确定单元，用于计算所述第一属性词和多个所述第二属性词之间的相关度，并根据相关度对多个所述第二属性词进行筛选，确定出一个或多个第三属性词；
统计单元，用于如果存在多个第三属性词，统计每个第三属性词在知识图谱中出现的次数，次数最多的作为标准属性。
在一个具体的实施例中，所述查询单元5包括：
检索单元：用于将所述实体信息视为主语或宾语，与所述标准属性相结合，生成SPARQL查询，从知识图谱中检索并找到对应的三元组；
第一答案生成单元，用于若将所述实体信息视为主语，则以该三元组中的宾语作为问题的答案；
第二答案生成单元，用于若将所述实体信息视为宾语，则以该三元组中的主语作为问题的答案；
提示单元，用于若没有检索到对应的三元组，则提示***尚未收录该问题。
如上所述，可以理解地，本申请中提出的所述基于深度学习技术的知识图谱问答装置的各组成部分可以实现如上所述基于深度学习技术的知识图谱问答方法任一项的功能，具体结构不再赘述。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于储存知识图谱等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于深度学习技术的知识图谱问答方法。
上述处理器执行上述的基于深度学习技术的知识图谱问答方法，包括：接收用户的问题语句；利用基于LSTM+CRF的序列标注模型对所述问题语句进行实体识别，得到所述问题语句中的实体信息；利用基于注意力机制的属性识别模型对所述问题语句进行属性识别，得到所述问题语句中的属性信息；对所述属性信息进行属性拓展和属性标准化，得到对应到知识图谱中的标准属性；根据所述实体信息和所述标准属性生成知识图谱的结构化查询，在知识图谱中查询答案，将查询到的答案返回给用户。
在一个实施例中，所述利用基于LSTM+CRF的序列标注模型对所述问题语句进行实体识别，得到所述问题语句中的实体信息步骤，包括：先将所述问题语句分词，输入实体识别模型的Token Embedding层，将单词转化为词向量；将词向量输入到实体识别模型的Bi-LSTM层，得到第一隐藏向量；将第一隐藏向量输入到实体识别模型的CRF层，得到预测标签序列；根据预测标签序列确定所述问题语句中的实体信息。
在一个具体的实施例中，所述利用基于注意力机制的属性识别模型对所述问题语句进行属性识别，得到所述问题语句中的属性信息的步骤包括：
对所述问题语句进行分词处理得到词序列，通过Word Embedding获取每个词的词向量w 1，w 2…，w n；
将词向量w 1，w 2…，w n映射成对应的概念词向量e 1，e 2…，e n；
将概念词向量e 1，e 2…，e n输入到属性识别模型的Bi-LSTM层，并使用实体层的表征 向量Entity进行Attention操作得到第二隐藏向量h 1，h 2…，h n；
将第二隐藏向量h 1，h 2…，h n再次输入到属性识别模型的Bi-LSTM层，并使用短语层的表征向量Phrase进行Attention操作，并对输出的第三隐藏向量进行加权求和，得到表征向量Vector；
将表征向量Vector输入到属性识别模型的全连接层并进行Softmax操作，得到所述问题语句中的属性信息。
在一个具体的实施例中，所述对识别到的属性进行属性拓展和属性标准化，得到对应到知识图谱中的标准属性的步骤包括：
提取用户问题语句中的实体和第一属性词；
根据所述用户问题语句中的实体，在知识图谱中查找与该实体匹配的多个第二属性词；
计算所述第一属性词和多个所述第二属性词的之间的相关度，并根据相关度对多个所述第二属性词进行筛选，确定出一个或多个第三属性词；
如果存在多个第三属性词，统计每个第三属性词在知识图谱中出现的次数，次数最多的作为标准属性。
在一个具体的实施例中，所述根据所述实体信息和所述标准属性生成知识图谱的结构化查询，在知识图谱中查询答案，将查询到的的答案返回给用户的步骤包括：
将所述实体信息视为主语或宾语，与所述标准属性相结合，生成SPARQL查询，从知识图谱中检索并找到对应的三元组；
若将所述实体信息视为主语，则以该三元组中的宾语作为问题的答案；
若将所述实体信息视为宾语，则以该三元组中的主语作为问题的答案；
若没有检索到对应的三元组，则提示***尚未收录该问题。
进一步地，所述若没有检索到对应的三元组，则提示***尚未收录该问题的步骤之后包括：
将问题发送给人工处理，将人工处理的结果更新到知识图谱中。
在一个具体的实施例中，所述若没有检索到对应的三元组，则提示***尚未收录该问题的步骤之后包括：
将问题发送给人工处理，将人工处理的结果更新到知识图谱中。
在一个具体的实施例中，所述基于注意力机制的属性识别模型的标签数据是概念化标签数据集，其中，得到所述概念化标签数据集的步骤包括：
对初始标签数据中的问题经过实体识别、实体概念化，得到所述概念化标签数据集。
本申请一实施例还提供一种计算机可读存储介质，所述计算机可读存储介质可以是非易失性，也可以是易失性的，其上存储有计算机程序，计算机程序被处理器执行时实现一种基于深度学习技术的知识图谱问答方法，包括步骤：接收用户的问题语句；利用基于LSTM+CRF的序列标注模型对所述问题语句进行实体识别，得到所述问题语句中的实体信息；利用基于注意力机制的属性识别模型对所述问题语句进行属性识别，得到所述问题语句中的属性信息；对所述属性信息进行属性拓展和属性标准化，得到对应到知识图谱中的标准属性；根据所述实体信息和所述标准属性生成知识图谱的结构化查询，在知识图谱中查询答案，将查询到的答案返回给用户。
在一个实施例中，所述利用基于LSTM+CRF的序列标注模型对所述问题语句进行实体识别，得到所述问题语句中的实体信息步骤，包括：先将所述问题语句分词，输入实体识别模型的Token Embedding层，将单词转化为词向量；将词向量输入到实体识别模型的Bi-LSTM层，得到第一隐藏向量；将第一隐藏向量输入到实体识别模型的CRF层，得到预测标签序列；根据预测标签序列确定所述问题语句中的实体信息。
在一个具体的实施例中，所述利用基于注意力机制的属性识别模型对所述问题语句进行属性识别，得到所述问题语句中的属性信息的步骤包括：
对所述问题语句进行分词处理得到词序列，通过Word Embedding获取每个词的词向量w 1，w 2…，w n；
将词向量w 1，w 2…，w n映射成对应的概念词向量e 1，e 2…，e n；
将概念词向量e 1，e 2…，e n输入到属性识别模型的Bi-LSTM层，并使用实体层的表征向量Entity进行Attention操作得到第二隐藏向量h 1，h 2…，h n；
将第二隐藏向量h 1，h 2…，h n再次输入到属性识别模型的Bi-LSTM层，并使用短语层的表征向量Phrase进行Attention操作，并对输出的第三隐藏向量进行加权求和，得到表征向量Vector；
将表征向量Vector输入到属性识别模型的全连接层并进行Softmax操作，得到所述问题语句中的属性信息。
在一个具体的实施例中，所述对识别到的属性进行属性拓展和属性标准化，得到对应到知识图谱中的标准属性的步骤包括：
提取用户问题语句中的实体和第一属性词；
根据所述用户问题语句中的实体，在知识图谱中查找与该实体匹配的多个第二属性词；
计算所述第一属性词和多个所述第二属性词的之间的相关度，并根据相关度对多个所述第二属性词进行筛选，确定出一个或多个第三属性词；
如果存在多个第三属性词，统计每个第三属性词在知识图谱中出现的次数，次数最多的作为标准属性。
在一个具体的实施例中，所述根据所述实体信息和所述标准属性生成知识图谱的结构化查询，在知识图谱中查询答案，将查询到的答案返回给用户的步骤包括：
将所述实体信息视为主语或宾语，与所述标准属性相结合，生成SPARQL查询，从知识图谱中检索并找到对应的三元组；
若将所述实体信息视为主语，则以该三元组中的宾语作为问题的答案；
若将所述实体信息视为宾语，则以该三元组中的主语作为问题的答案；
若没有检索到对应的三元组，则提示***尚未收录该问题。
进一步地，所述若没有检索到对应的三元组，则提示***尚未收录该问题的步骤之后包括：
将问题发送给人工处理，将人工处理的结果更新到知识图谱中。
在一个具体的实施例中，所述若没有检索到对应的三元组，则提示***尚未收录该问题的步骤之后包括：
将问题发送给人工处理，将人工处理的结果更新到知识图谱中。
在一个具体的实施例中，所述利用基于注意力机制的属性识别模型对所述问题语句进行属性识别，得到所述问题语句中的属性信息的步骤之前还包括：
对初始的属性识别模型的标签数据中问题经过实体识别、实体概念化，得到概念化标签数据集合。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器 总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (20)

  1. 一种基于深度学习技术的知识图谱问答方法，包括：
    接收用户的问题语句；
    利用基于LSTM+CRF的序列标注模型对所述问题语句进行实体识别，得到所述问题语句中的实体信息；
    利用基于注意力机制的属性识别模型对所述问题语句进行属性识别，得到所述问题语句中的属性信息；
    对所述属性信息进行属性拓展和属性标准化，得到对应到知识图谱中的标准属性；
    根据所述实体信息和所述标准属性生成知识图谱的结构化查询，在知识图谱中查询答案，将查询到的答案返回给用户。
  2. 根据权利要求1所述的基于深度学习技术的知识图谱问答方法，其中，所述利用基于LSTM+CRF的序列标注模型对所述问题语句进行实体识别，得到所述问题语句中的实体信息的步骤包括：
    将所述问题语句分词，输入实体识别模型的Token Embedding层，将单词转化为词向量；
    将词向量输入到实体识别模型的Bi-LSTM层，得到第一隐藏向量；
    将第一隐藏向量输入到实体识别模型的CRF层，得到预测标签序列；
    根据预测标签序列确定所述问题语句中的实体信息。
  3. 根据权利要求1所述的基于深度学习技术的知识图谱问答方法，其中，所述利用基于注意力机制的属性识别模型对所述问题语句进行属性识别，得到所述问题语句中的属性信息的步骤包括：
    对所述问题语句进行分词处理得到词序列，通过Word Embedding获取每个词的词向量w 1，w 2…，w n；
    将词向量w 1，w 2…，w n映射成对应的概念词向量e 1，e 2…，e n；
    将概念词向量e 1，e 2…，e n输入到属性识别模型的Bi-LSTM层，并使用实体层的表征向量Entity进行Attention操作得到第二隐藏向量h 1，h 2…，h n；
    将第二隐藏向量h 1，h 2…，h n再次输入到属性识别模型的Bi-LSTM层，并使用短语层的表征向量Phrase进行Attention操作，并对输出的第三隐藏向量进行加权求和，得到表征向量Vector；
    将表征向量Vector输入到属性识别模型的全连接层并进行Softmax操作，得到所述问题语句中的属性信息。
  4. 根据权利要求1所述的基于深度学习技术的知识图谱问答方法，其中，所述对识别到的属性进行属性拓展和属性标准化，得到对应到知识图谱中的标准属性的步骤包括：
    提取用户问题语句中的实体和第一属性词；
    根据所述用户问题语句中的实体，在知识图谱中查找与该实体匹配的多个第二属性词；
    计算所述第一属性词和多个所述第二属性词之间的相关度，并根据相关度对多个所述第二属性词进行筛选，确定出一个或多个第三属性词；
    如果存在多个第三属性词，统计每个第三属性词在知识图谱中出现的次数，次数最多的作为标准属性。
  5. 根据权利要求1所述的基于深度学习技术的知识图谱问答方法，其中，所述根据所述实体信息和所述标准属性生成知识图谱的结构化查询，在知识图谱中查询答案，将查询到的答案返回给用户的步骤包括：
    将所述实体信息视为主语或宾语，与所述标准属性相结合，生成SPARQL查询，从知识图谱中检索并找到对应的三元组；
    若将所述实体信息视为主语，则以该三元组中的宾语作为问题的答案；
    若将所述实体信息视为宾语，则以该三元组中的主语作为问题的答案；
    若没有检索到对应的三元组，则提示***尚未收录该问题。
  6. 根据权利要求1所述的基于深度学习技术的知识图谱问答方法，其中，所述基于注意力机制的属性识别模型的标签数据是概念化标签数据集，其中，得到所述概念化标签数据集的步骤包括：
    对初始标签数据中的问题经过实体识别、实体概念化，得到所述概念化标签数据集。
  7. 一种基于深度学习技术的知识图谱问答装置，包括：
    接收单元，用于接收用户的问题语句；
    实体识别单元，用于利用基于LSTM+CRF的序列标注模型对所述问题语句进行实体识别，得到所述问题语句中的实体信息；
    属性识别单元，用于利用基于注意力机制的属性识别模型对所述问题语句进行属性识别，得到所述问题语句中的属性信息；
    属性处理单元，用于对所述属性信息进行属性拓展和属性标准化，得到对应到知识图谱中的标准属性；
    查询单元，用于根据所述实体信息和所述标准属性生成知识图谱的结构化查询，在知识图谱中查询答案，将查询到的答案返回给用户。
  8. 根据权利要求7所述的基于深度学习技术的知识图谱问答装置，其中，所述属性识别单元包括：
    词向量获取单元，用于对所述问题语句进行分词处理得到词序列，通过Word Embedding获取每个词的词向量w 1，w 2…，w n；
    概念词向量获取单元，用于将词向量w 1，w 2…，w n映射成对应的概念词向量e 1，e 2…，e n；
    第二隐藏向量获取单元，用于将概念词向量e 1，e 2…，e n输入到属性识别模型的Bi-LSTM层，并使用实体层的表征向量Entity进行Attention操作得到第二隐藏向量h 1，h 2…，h n；
    表征向量获取单元，用于将第二隐藏向量h 1，h 2…，h n再次输入到属性识别模型的Bi-LSTM层，并使用短语层的表征向量Phrase进行Attention操作，并对输出的第三隐藏向量进行加权求和，得到表征向量Vector；
    属性信息获取单元，用于将表征向量Vector输入到属性识别模型的全连接层并进行Softmax操作，得到所述问题语句中的属性信息。
  9. 一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现一种基于深度学习技术的知识图谱问答方法，其中，所述基于深度学习技术的知识图谱问答方法的步骤包括：
    接收用户的问题语句；
    利用基于LSTM+CRF的序列标注模型对所述问题语句进行实体识别，得到所述问题语句中的实体信息；
    利用基于注意力机制的属性识别模型对所述问题语句进行属性识别，得到所述问题语句中的属性信息；
    对所述属性信息进行属性拓展和属性标准化，得到对应到知识图谱中的标准属性；
    根据所述实体信息和所述标准属性生成知识图谱的结构化查询，在知识图谱中查询答案，将查询到的答案返回给用户。
  10. 根据权利要求9所述的计算机设备，其中，所述利用基于LSTM+CRF的序列标注模型对所述问题语句进行实体识别，得到所述问题语句中的实体信息的步骤包括：
    将所述问题语句分词，输入实体识别模型的Token Embedding层，将单词转化为词向量；
    将词向量输入到实体识别模型的Bi-LSTM层，得到第一隐藏向量；
    将第一隐藏向量输入到实体识别模型的CRF层，得到预测标签序列；
    根据预测标签序列确定所述问题语句中的实体信息。
  11. 根据权利要求9所述的计算机设备，其中，所述利用基于注意力机制的属性识别模型对所述问题语句进行属性识别，得到所述问题语句中的属性信息的步骤包括：
    对所述问题语句进行分词处理得到词序列，通过Word Embedding获取每个词的词向量w 1，w 2…，w n；
    将词向量w 1，w 2…，w n映射成对应的概念词向量e 1，e 2…，e n；
    将概念词向量e 1，e 2…，e n输入到属性识别模型的Bi-LSTM层，并使用实体层的表征向量Entity进行Attention操作得到第二隐藏向量h 1，h 2…，h n；
    将第二隐藏向量h 1，h 2…，h n再次输入到属性识别模型的Bi-LSTM层，并使用短语层的表征向量Phrase进行Attention操作，并对输出的第三隐藏向量进行加权求和，得到表征向量Vector；
    将表征向量Vector输入到属性识别模型的全连接层并进行Softmax操作，得到所述问题语句中的属性信息。
  12. 根据权利要求9所述的计算机设备，其中，所述对识别到的属性进行属性拓展和属性标准化，得到对应到知识图谱中的标准属性的步骤包括：
    提取用户问题语句中的实体和第一属性词；
    根据所述用户问题语句中的实体，在知识图谱中查找与该实体匹配的多个第二属性词；
    计算所述第一属性词和多个所述第二属性词之间的相关度，并根据相关度对多个所述第二属性词进行筛选，确定出一个或多个第三属性词；
    如果存在多个第三属性词，统计每个第三属性词在知识图谱中出现的次数，次数最多的作为标准属性。
  13. 根据权利要求9所述的计算机设备，其中，所述根据所述实体信息和所述标准属性生成知识图谱的结构化查询，在知识图谱中查询答案，将查询到的答案返回给用户的步骤包括：
    将所述实体信息视为主语或宾语，与所述标准属性相结合，生成SPARQL查询，从知识图谱中检索并找到对应的三元组；
    若将所述实体信息视为主语，则以该三元组中的宾语作为问题的答案；
    若将所述实体信息视为宾语，则以该三元组中的主语作为问题的答案；
    若没有检索到对应的三元组，则提示***尚未收录该问题。
  14. 根据权利要求9所述的计算机设备，其中，所述基于注意力机制的属性识别模型的标签数据是概念化标签数据集，其中，得到所述概念化标签数据集的步骤包括：
    对初始标签数据中的问题经过实体识别、实体概念化，得到所述概念化标签数据集。
  15. 一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现一种基于深度学习技术的知识图谱问答方法，其中，所述基于深度学习技术的知识图谱问答方法的步骤包括：
    接收用户的问题语句；
    利用基于LSTM+CRF的序列标注模型对所述问题语句进行实体识别，得到所述问题语句中的实体信息；
    利用基于注意力机制的属性识别模型对所述问题语句进行属性识别，得到所述问题语句中的属性信息；
    对所述属性信息进行属性拓展和属性标准化，得到对应到知识图谱中的标准属性；
    根据所述实体信息和所述标准属性生成知识图谱的结构化查询，在知识图谱中查询答案，将查询到的答案返回给用户。
  16. 根据权利要求15所述的计算机可读存储介质，其中，所述利用基于LSTM+CRF的序列标注模型对所述问题语句进行实体识别，得到所述问题语句中的实体信息的步骤包括：
    将所述问题语句分词，输入实体识别模型的Token Embedding层，将单词转化为词向量；
    将词向量输入到实体识别模型的Bi-LSTM层，得到第一隐藏向量；
    将第一隐藏向量输入到实体识别模型的CRF层，得到预测标签序列；
    根据预测标签序列确定所述问题语句中的实体信息。
  17. 根据权利要求15所述的计算机可读存储介质，其中，所述利用基于注意力机制的属性识别模型对所述问题语句进行属性识别，得到所述问题语句中的属性信息的步骤包括：
    对所述问题语句进行分词处理得到词序列，通过Word Embedding获取每个词的词向量w 1，w 2…，w n；
    将词向量w 1，w 2…，w n映射成对应的概念词向量e 1，e 2…，e n；
    将概念词向量e 1，e 2…，e n输入到属性识别模型的Bi-LSTM层，并使用实体层的表征向量Entity进行Attention操作得到第二隐藏向量h 1，h 2…，h n；
    将第二隐藏向量h 1，h 2…，h n再次输入到属性识别模型的Bi-LSTM层，并使用短语层的表征向量Phrase进行Attention操作，并对输出的第三隐藏向量进行加权求和，得到表征向量Vector；
    将表征向量Vector输入到属性识别模型的全连接层并进行Softmax操作，得到所述问题语句中的属性信息。
  18. 根据权利要求15所述的计算机可读存储介质，其中，所述对识别到的属性进行属性拓展和属性标准化，得到对应到知识图谱中的标准属性的步骤包括：
    提取用户问题语句中的实体和第一属性词；
    根据所述用户问题语句中的实体，在知识图谱中查找与该实体匹配的多个第二属性词；
    计算所述第一属性词和多个所述第二属性词之间的相关度，并根据相关度对多个所述第二属性词进行筛选，确定出一个或多个第三属性词；
    如果存在多个第三属性词，统计每个第三属性词在知识图谱中出现的次数，次数最多的作为标准属性。
  19. 根据权利要求15所述的计算机可读存储介质，其中，所述根据所述实体信息和所述标准属性生成知识图谱的结构化查询，在知识图谱中查询答案，将查询到的答案返回给用户的步骤包括：
    将所述实体信息视为主语或宾语，与所述标准属性相结合，生成SPARQL查询，从知识图谱中检索并找到对应的三元组；
    若将所述实体信息视为主语，则以该三元组中的宾语作为问题的答案；
    若将所述实体信息视为宾语，则以该三元组中的主语作为问题的答案；
    若没有检索到对应的三元组，则提示***尚未收录该问题。
  20. 根据权利要求15所述的计算机设备，其中，所述基于注意力机制的属性识别模型的标签数据是概念化标签数据集，其中，得到所述概念化标签数据集的步骤包括：
    对初始标签数据中的问题经过实体识别、实体概念化，得到所述概念化标签数据集。
PCT/CN2020/119375 2020-06-16 2020-09-30 基于深度学习技术的知识图谱问答方法、装置及设备 WO2021139283A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010550506.5A CN111506722B (zh) 2020-06-16 2020-06-16 基于深度学习技术的知识图谱问答方法、装置及设备
CN202010550506.5 2020-06-16

Publications (1)

Publication Number Publication Date
WO2021139283A1 true WO2021139283A1 (zh) 2021-07-15

Family

ID=71868702

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/119375 WO2021139283A1 (zh) 2020-06-16 2020-09-30 基于深度学习技术的知识图谱问答方法、装置及设备

Country Status (2)

Country Link
CN (1) CN111506722B (zh)
WO (1) WO2021139283A1 (zh)

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113468077A (zh) * 2021-09-06 2021-10-01 北京无疆脑智科技有限公司 认知能力测试方法、装置、电子设备和存储介质
CN113488180A (zh) * 2021-07-28 2021-10-08 中国医学科学院医学信息研究所 一种临床指南知识建模方法及***
CN113641833A (zh) * 2021-08-17 2021-11-12 同济大学 服务需求匹配方法及装置
CN113672720A (zh) * 2021-09-14 2021-11-19 国网天津市电力公司 一种基于知识图谱和语义相似度的电力审计问答方法
CN113688217A (zh) * 2021-08-24 2021-11-23 山东省人工智能研究院 一种面向搜索引擎知识库的智能问答方法
CN113742494A (zh) * 2021-09-06 2021-12-03 湘潭大学 一种基于标签图转化的领域文本相似度计算方法及***
CN113742495A (zh) * 2021-09-07 2021-12-03 平安科技（深圳）有限公司 基于预测模型的评级特征权重确定方法及装置、电子设备
CN113836286A (zh) * 2021-09-26 2021-12-24 南开大学 一种基于问答匹配的社区孤寡老人情感分析方法及***
CN113886545A (zh) * 2021-09-29 2022-01-04 平安银行股份有限公司 知识问答方法、装置、计算机可读介质及电子设备
CN113987145A (zh) * 2021-10-22 2022-01-28 智联(无锡)信息技术有限公司 一种精准推理用户属性实体的方法、***、设备和存储介质
CN114036275A (zh) * 2021-11-08 2022-02-11 桂林电子科技大学 一种知识图谱嵌入多跳问答方法
CN114090620A (zh) * 2022-01-19 2022-02-25 支付宝(杭州)信息技术有限公司 查询请求的处理方法及装置
CN114281959A (zh) * 2021-10-27 2022-04-05 腾讯科技（深圳）有限公司 语句处理的方法、装置、设备、介质及计算机程序产品
CN114417880A (zh) * 2021-12-31 2022-04-29 福建亿榕信息技术有限公司 一种基于电网实训问答知识库的交互式智能问答方法
CN114416927A (zh) * 2022-01-24 2022-04-29 招商银行股份有限公司 智能问答方法、装置、设备及存储介质
CN114491513A (zh) * 2022-01-18 2022-05-13 武汉大学 基于知识图谱的区块链智能合约重入攻击检测***与方法
CN114491070A (zh) * 2022-01-24 2022-05-13 广东技术师范大学 基于知识图谱节点语义属性的图嵌入方法及***
CN114841070A (zh) * 2022-05-11 2022-08-02 北京航空航天大学 一种智能区块链多分片预测及控制方法
CN114840679A (zh) * 2022-01-25 2022-08-02 华中师范大学 一种基于乐理知识图谱推理的机器人智能导学方法及应用
CN115062587A (zh) * 2022-06-02 2022-09-16 北京航空航天大学 一种基于周围信息的知识图谱嵌入及回复生成方法
CN115687754A (zh) * 2022-10-21 2023-02-03 四川大学 一种基于智能对话的主动式网络信息挖掘方法
CN115795057A (zh) * 2023-01-30 2023-03-14 北京至臻云智能科技有限公司 一种基于ai技术的审计知识处理方法与***
CN115827844A (zh) * 2022-12-12 2023-03-21 之江实验室 一种基于Sparql语句生成的知识图谱问答方法和***
CN115982338A (zh) * 2023-02-24 2023-04-18 中国测绘科学研究院 一种基于查询路径排序的领域知识图谱问答方法及***
CN116028610A (zh) * 2023-02-15 2023-04-28 北京邮电大学 一种超关系知识图谱上的n元复杂查询嵌入方法
CN116596405A (zh) * 2023-07-06 2023-08-15 南方电网数字电网研究院有限公司 纯数据驱动的电力***分析方法及***
CN116610791A (zh) * 2023-07-20 2023-08-18 中国人民解放军国防科技大学 针对结构化信息的基于语义分析的问答方法、***及设备
CN116628315A (zh) * 2023-04-07 2023-08-22 百度在线网络技术（北京）有限公司 搜索方法、深度学习模型的训练方法、装置及电子设备
CN116992008A (zh) * 2023-09-28 2023-11-03 之江实验室 知识图谱多跳问答推理方法、装置和计算机设备
CN117035891A (zh) * 2023-08-17 2023-11-10 慧众合(山东)科技创新发展有限公司 一种基于知识图谱的市场交易***
CN117149983A (zh) * 2023-10-30 2023-12-01 山东高速信息集团有限公司 基于高速公路业务智能对话的方法、装置及设备
CN117171365A (zh) * 2023-11-02 2023-12-05 北京纷扬科技有限责任公司 一种基于知识图谱的故障问题智能定位方法及***
CN117376444A (zh) * 2023-08-30 2024-01-09 长江水上交通监测与应急处置中心 一种基于智能合约的长江航运数据上链方法及***
CN117390169A (zh) * 2023-12-11 2024-01-12 季华实验室 表格数据问答方法、装置、设备及存储介质
CN117668195A (zh) * 2023-12-13 2024-03-08 上海源庐加佳信息科技有限公司 基于大语言模型的数字人***
CN117688189A (zh) * 2023-12-27 2024-03-12 珠江水利委员会珠江水利科学研究院 一种融合知识图谱、知识库和大型语言模型的问答***构建方法
CN117909484A (zh) * 2024-03-19 2024-04-19 华中科技大学 用于施工信息查询的问答Term-BERT模型的构建方法与问答***
CN117993499A (zh) * 2024-04-03 2024-05-07 江西省水利科学院(江西省大坝安全管理中心、江西省水资源管理中心) 一种流域防洪四预平台的多模态知识图谱构建方法
CN118036756A (zh) * 2024-04-15 2024-05-14 北京网智天元大数据科技有限公司 大模型多轮对话的方法、装置、计算机设备及存储介质
CN118093848A (zh) * 2024-04-28 2024-05-28 北京世纪超星信息技术发展有限责任公司 一种基于意图确定逻辑的问答方法和服务器
CN118227804A (zh) * 2024-05-27 2024-06-21 江西微博科技有限公司 一种基于知识图谱实现事项办理的智能导航方法
US12044545B2 (en) 2022-03-01 2024-07-23 Here Global B.V. Method, apparatus, and computer program product for differential variable count entity output head for map generation

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818696A (zh) * 2020-07-28 2021-05-18 薛杨杨 基于深度学***台
CN111985207B (zh) * 2020-08-17 2023-06-06 中国人民解放军战略支援部队信息工程大学 一种访问控制策略的获取方法、装置及电子设备
CN112100346B (zh) * 2020-08-28 2021-07-20 西北工业大学 基于细粒度图像特征和外部知识相融合的视觉问答方法
CN112231418B (zh) * 2020-10-15 2024-06-28 南方电网人工智能科技有限公司 电力标准知识图谱构建方法、装置、计算机设备和介质
CN112199487B (zh) * 2020-10-23 2024-06-21 中国传媒大学 一种基于知识图谱的电影问答查询***及其方法
CN112667820B (zh) * 2020-12-08 2023-04-18 吉林省吉科软信息技术有限公司 全流程可追溯生态链监管知识图谱的深度学习构建方法
CN112765310A (zh) * 2020-12-11 2021-05-07 北京航天云路有限公司 一种基于深度学习与相似度匹配的知识图谱问答的方法
CN112507139B (zh) * 2020-12-28 2024-03-12 深圳力维智联技术有限公司 基于知识图谱的问答方法、***、设备及存储介质
CN112632225B (zh) * 2020-12-29 2022-08-30 天津汇智星源信息技术有限公司 基于案事件知识图谱的语义搜索方法、装置和电子设备
CN112948547B (zh) * 2021-01-26 2024-04-09 中国石油大学(北京) 测井知识图谱构建查询方法、装置、设备及存储介质
CN112883172B (zh) * 2021-02-03 2022-04-12 大连理工大学 一种基于双重知识选择的生物医学问答方法
CN112905884B (zh) * 2021-02-10 2024-05-31 北京百度网讯科技有限公司 生成序列标注模型的方法、设备、介质及程序产品
CN112989002B (zh) * 2021-03-31 2022-08-23 中国工商银行股份有限公司 一种基于知识图谱的问答处理方法、装置及设备
CN112989004B (zh) * 2021-04-09 2022-03-11 苏州爱语认知智能科技有限公司 面向知识图谱问答的查询图排序方法及***
CN113011196B (zh) * 2021-04-28 2023-01-10 陕西文都教育科技有限公司 一种概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型
CN113626215B (zh) * 2021-07-22 2023-08-18 武汉大学 一种基于短语识别的气象场景服务图谱构建方法及***
CN115577091A (zh) * 2022-12-08 2023-01-06 成都晓多科技有限公司 基于知识图谱的复杂条件问题作答方法及***
CN116011548B (zh) * 2023-03-24 2023-06-09 北京澜舟科技有限公司 一种多知识图谱问答模型训练方法、***及存储介质
CN116340547A (zh) * 2023-05-24 2023-06-27 江苏微皓智能科技有限公司 一种对话式报表可视化生产方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170364766A1 (en) * 2014-12-22 2017-12-21 Gonzalo Vaca First-Person Camera Based Visual Context Aware System
CN109408627A (zh) * 2018-11-15 2019-03-01 众安信息技术服务有限公司 一种融合卷积神经网络和循环神经网络的问答方法及***
CN110825721A (zh) * 2019-11-06 2020-02-21 武汉大学 大数据环境下高血压知识库构建与***集成方法
CN110866093A (zh) * 2018-08-10 2020-03-06 珠海格力电器股份有限公司 机器问答方法及装置
CN111177345A (zh) * 2019-12-19 2020-05-19 中国平安财产保险股份有限公司 基于知识图谱的智能问答方法、装置和计算机设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492077B (zh) * 2018-09-29 2020-09-29 北京智通云联科技有限公司 基于知识图谱的石化领域问答方法及***
CN109800411B (zh) * 2018-12-03 2023-07-18 哈尔滨工业大学（深圳） 临床医疗实体及其属性抽取方法
CN109657037A (zh) * 2018-12-21 2019-04-19 焦点科技股份有限公司 一种基于实体类型和语义相似度的知识图谱问答方法及***
CN110287479B (zh) * 2019-05-20 2022-07-22 平安科技（深圳）有限公司 命名实体识别方法、电子装置及存储介质
CN110362660B (zh) * 2019-07-23 2023-06-09 重庆邮电大学 一种基于知识图谱的电子产品质量自动检测方法
CN110941716B (zh) * 2019-11-05 2023-07-18 北京航空航天大学 一种基于深度学习的信息安全知识图谱的自动构建方法
CN111274373B (zh) * 2020-01-16 2021-06-11 山东大学 一种基于知识图谱的电子病历问答方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170364766A1 (en) * 2014-12-22 2017-12-21 Gonzalo Vaca First-Person Camera Based Visual Context Aware System
CN110866093A (zh) * 2018-08-10 2020-03-06 珠海格力电器股份有限公司 机器问答方法及装置
CN109408627A (zh) * 2018-11-15 2019-03-01 众安信息技术服务有限公司 一种融合卷积神经网络和循环神经网络的问答方法及***
CN110825721A (zh) * 2019-11-06 2020-02-21 武汉大学 大数据环境下高血压知识库构建与***集成方法
CN111177345A (zh) * 2019-12-19 2020-05-19 中国平安财产保险股份有限公司 基于知识图谱的智能问答方法、装置和计算机设备

Cited By (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113488180B (zh) * 2021-07-28 2023-07-18 中国医学科学院医学信息研究所 一种临床指南知识建模方法及***
CN113488180A (zh) * 2021-07-28 2021-10-08 中国医学科学院医学信息研究所 一种临床指南知识建模方法及***
CN113641833A (zh) * 2021-08-17 2021-11-12 同济大学 服务需求匹配方法及装置
CN113641833B (zh) * 2021-08-17 2024-04-09 同济大学 服务需求匹配方法及装置
CN113688217A (zh) * 2021-08-24 2021-11-23 山东省人工智能研究院 一种面向搜索引擎知识库的智能问答方法
CN113742494A (zh) * 2021-09-06 2021-12-03 湘潭大学 一种基于标签图转化的领域文本相似度计算方法及***
CN113468077A (zh) * 2021-09-06 2021-10-01 北京无疆脑智科技有限公司 认知能力测试方法、装置、电子设备和存储介质
CN113742494B (zh) * 2021-09-06 2024-03-15 湘潭大学 一种基于标签图转化的领域文本相似度计算方法及***
CN113742495B (zh) * 2021-09-07 2024-02-23 平安科技（深圳）有限公司 基于预测模型的评级特征权重确定方法及装置、电子设备
CN113742495A (zh) * 2021-09-07 2021-12-03 平安科技（深圳）有限公司 基于预测模型的评级特征权重确定方法及装置、电子设备
CN113672720A (zh) * 2021-09-14 2021-11-19 国网天津市电力公司 一种基于知识图谱和语义相似度的电力审计问答方法
CN113836286B (zh) * 2021-09-26 2024-04-05 南开大学 一种基于问答匹配的社区孤寡老人情感分析方法及***
CN113836286A (zh) * 2021-09-26 2021-12-24 南开大学 一种基于问答匹配的社区孤寡老人情感分析方法及***
CN113886545A (zh) * 2021-09-29 2022-01-04 平安银行股份有限公司 知识问答方法、装置、计算机可读介质及电子设备
CN113987145B (zh) * 2021-10-22 2024-02-02 智联网聘信息技术有限公司 一种精准推理用户属性实体的方法、***、设备和存储介质
CN113987145A (zh) * 2021-10-22 2022-01-28 智联(无锡)信息技术有限公司 一种精准推理用户属性实体的方法、***、设备和存储介质
CN114281959B (zh) * 2021-10-27 2024-03-19 腾讯科技（深圳）有限公司 语句处理的方法、装置、设备、介质及计算机程序产品
CN114281959A (zh) * 2021-10-27 2022-04-05 腾讯科技（深圳）有限公司 语句处理的方法、装置、设备、介质及计算机程序产品
CN114036275B (zh) * 2021-11-08 2024-04-02 桂林电子科技大学 一种知识图谱嵌入多跳问答方法
CN114036275A (zh) * 2021-11-08 2022-02-11 桂林电子科技大学 一种知识图谱嵌入多跳问答方法
CN114417880A (zh) * 2021-12-31 2022-04-29 福建亿榕信息技术有限公司 一种基于电网实训问答知识库的交互式智能问答方法
CN114491513A (zh) * 2022-01-18 2022-05-13 武汉大学 基于知识图谱的区块链智能合约重入攻击检测***与方法
CN114090620A (zh) * 2022-01-19 2022-02-25 支付宝(杭州)信息技术有限公司 查询请求的处理方法及装置
CN114491070A (zh) * 2022-01-24 2022-05-13 广东技术师范大学 基于知识图谱节点语义属性的图嵌入方法及***
CN114416927A (zh) * 2022-01-24 2022-04-29 招商银行股份有限公司 智能问答方法、装置、设备及存储介质
CN114416927B (zh) * 2022-01-24 2024-04-02 招商银行股份有限公司 智能问答方法、装置、设备及存储介质
CN114840679A (zh) * 2022-01-25 2022-08-02 华中师范大学 一种基于乐理知识图谱推理的机器人智能导学方法及应用
US12044545B2 (en) 2022-03-01 2024-07-23 Here Global B.V. Method, apparatus, and computer program product for differential variable count entity output head for map generation
CN114841070A (zh) * 2022-05-11 2022-08-02 北京航空航天大学 一种智能区块链多分片预测及控制方法
CN115062587B (zh) * 2022-06-02 2024-05-31 北京航空航天大学 一种基于周围信息的知识图谱嵌入及回复生成方法
CN115062587A (zh) * 2022-06-02 2022-09-16 北京航空航天大学 一种基于周围信息的知识图谱嵌入及回复生成方法
CN115687754A (zh) * 2022-10-21 2023-02-03 四川大学 一种基于智能对话的主动式网络信息挖掘方法
CN115687754B (zh) * 2022-10-21 2024-01-23 四川大学 一种基于智能对话的主动式网络信息挖掘方法
CN115827844B (zh) * 2022-12-12 2023-08-08 之江实验室 一种基于Sparql语句生成的知识图谱问答方法和***
CN115827844A (zh) * 2022-12-12 2023-03-21 之江实验室 一种基于Sparql语句生成的知识图谱问答方法和***
CN115795057B (zh) * 2023-01-30 2023-05-02 北京至臻云智能科技有限公司 一种基于ai技术的审计知识处理方法与***
CN115795057A (zh) * 2023-01-30 2023-03-14 北京至臻云智能科技有限公司 一种基于ai技术的审计知识处理方法与***
CN116028610A (zh) * 2023-02-15 2023-04-28 北京邮电大学 一种超关系知识图谱上的n元复杂查询嵌入方法
CN115982338A (zh) * 2023-02-24 2023-04-18 中国测绘科学研究院 一种基于查询路径排序的领域知识图谱问答方法及***
CN116628315B (zh) * 2023-04-07 2024-03-22 百度在线网络技术（北京）有限公司 搜索方法、深度学习模型的训练方法、装置及电子设备
CN116628315A (zh) * 2023-04-07 2023-08-22 百度在线网络技术（北京）有限公司 搜索方法、深度学习模型的训练方法、装置及电子设备
CN116596405B (zh) * 2023-07-06 2024-03-26 南方电网数字电网研究院有限公司 纯数据驱动的电力***分析方法及***
CN116596405A (zh) * 2023-07-06 2023-08-15 南方电网数字电网研究院有限公司 纯数据驱动的电力***分析方法及***
CN116610791A (zh) * 2023-07-20 2023-08-18 中国人民解放军国防科技大学 针对结构化信息的基于语义分析的问答方法、***及设备
CN116610791B (zh) * 2023-07-20 2023-09-29 中国人民解放军国防科技大学 针对结构化信息的基于语义分析的问答方法、***及设备
CN117035891A (zh) * 2023-08-17 2023-11-10 慧众合(山东)科技创新发展有限公司 一种基于知识图谱的市场交易***
CN117376444A (zh) * 2023-08-30 2024-01-09 长江水上交通监测与应急处置中心 一种基于智能合约的长江航运数据上链方法及***
CN116992008B (zh) * 2023-09-28 2024-01-09 之江实验室 知识图谱多跳问答推理方法、装置和计算机设备
CN116992008A (zh) * 2023-09-28 2023-11-03 之江实验室 知识图谱多跳问答推理方法、装置和计算机设备
CN117149983A (zh) * 2023-10-30 2023-12-01 山东高速信息集团有限公司 基于高速公路业务智能对话的方法、装置及设备
CN117149983B (zh) * 2023-10-30 2024-02-27 山东高速信息集团有限公司 基于高速公路业务智能对话的方法、装置及设备
CN117171365A (zh) * 2023-11-02 2023-12-05 北京纷扬科技有限责任公司 一种基于知识图谱的故障问题智能定位方法及***
CN117171365B (zh) * 2023-11-02 2024-02-02 北京纷扬科技有限责任公司 一种基于知识图谱的故障问题智能定位方法及***
CN117390169A (zh) * 2023-12-11 2024-01-12 季华实验室 表格数据问答方法、装置、设备及存储介质
CN117390169B (zh) * 2023-12-11 2024-04-12 季华实验室 表格数据问答方法、装置、设备及存储介质
CN117668195A (zh) * 2023-12-13 2024-03-08 上海源庐加佳信息科技有限公司 基于大语言模型的数字人***
CN117688189A (zh) * 2023-12-27 2024-03-12 珠江水利委员会珠江水利科学研究院 一种融合知识图谱、知识库和大型语言模型的问答***构建方法
CN117909484A (zh) * 2024-03-19 2024-04-19 华中科技大学 用于施工信息查询的问答Term-BERT模型的构建方法与问答***
CN117909484B (zh) * 2024-03-19 2024-05-28 华中科技大学 用于施工信息查询的问答Term-BERT模型的构建方法与问答***
CN117993499B (zh) * 2024-04-03 2024-06-04 江西省水利科学院(江西省大坝安全管理中心、江西省水资源管理中心) 一种流域防洪四预平台的多模态知识图谱构建方法
CN117993499A (zh) * 2024-04-03 2024-05-07 江西省水利科学院(江西省大坝安全管理中心、江西省水资源管理中心) 一种流域防洪四预平台的多模态知识图谱构建方法
CN118036756A (zh) * 2024-04-15 2024-05-14 北京网智天元大数据科技有限公司 大模型多轮对话的方法、装置、计算机设备及存储介质
CN118093848A (zh) * 2024-04-28 2024-05-28 北京世纪超星信息技术发展有限责任公司 一种基于意图确定逻辑的问答方法和服务器
CN118227804A (zh) * 2024-05-27 2024-06-21 江西微博科技有限公司 一种基于知识图谱实现事项办理的智能导航方法

Also Published As

Publication number Publication date
CN111506722A (zh) 2020-08-07
CN111506722B (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
WO2021139283A1 (zh) 基于深度学习技术的知识图谱问答方法、装置及设备
US20240046043A1 (en) Multi-turn Dialogue Response Generation with Template Generation
CN112612894B (zh) 意图识别模型的训练方法、装置、计算机设备和存储介质
Van Rijsbergen A new theoretical framework for information retrieval
WO2021189921A1 (zh) 医疗领域多轮对话智能问答方法、装置和计算机设备
CN113515613A (zh) 一种集成闲聊、知识和任务问答的智能机器人
CN110717514A (zh) 会话意图识别方法、装置、计算机设备和存储介质
WO2021109690A1 (zh) 多类型问题智能问答方法、***、设备及可读存储介质
CN111552799B (zh) 信息处理方法、装置、电子设备及存储介质
CN112347310A (zh) 事件处理信息的查询方法、装置、计算机设备和存储介质
CN110598070B (zh) 应用类型识别方法及装置、服务器及存储介质
CN109857846B (zh) 用户问句与知识点的匹配方法和装置
CN113204618A (zh) 基于语义增强的信息识别方法、装置、设备及存储介质
CN108874783A (zh) 电力信息运维知识模型构建方法
CN112417887B (zh) 敏感词句识别模型处理方法、及其相关设备
CN112559723A (zh) 一种基于深度学习的faq检索式问答构建方法及***
WO2022001517A1 (zh) 基于谣言预测模型的信息发送方法、装置和计算机设备
CN113821587A (zh) 文本相关性确定方法、模型训练方法、装置及存储介质
CN112836061A (zh) 智能推荐的方法、装置以及计算机设备
CN110597956A (zh) 一种搜索方法、装置及存储介质
CN115374270A (zh) 一种基于图神经网络的法律文本摘要生成方法
Lhasiw et al. A bidirectional LSTM model for classifying Chatbot messages
CN112364136B (zh) 关键词生成方法、装置、设备及存储介质
CN117435714A (zh) 一种基于知识图谱的数据库和中间件问题智能诊断***
CN113821608A (zh) 服务搜索方法、装置和计算机设备以及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20912708

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20912708

Country of ref document: EP

Kind code of ref document: A1