CN117312579A - 一种数据模型搜索分析文本的生成方法及*** - Google Patents

一种数据模型搜索分析文本的生成方法及*** Download PDF

Info

Publication number
CN117312579A
CN117312579A CN202311604071.8A CN202311604071A CN117312579A CN 117312579 A CN117312579 A CN 117312579A CN 202311604071 A CN202311604071 A CN 202311604071A CN 117312579 A CN117312579 A CN 117312579A
Authority
CN
China
Prior art keywords
text
word
generated
model
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311604071.8A
Other languages
English (en)
Other versions
CN117312579B (zh
Inventor
刘京涛
江再玉
刘悦斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yiming Huanyu Technology Beijing Co ltd
Original Assignee
Yiming Huanyu Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yiming Huanyu Technology Beijing Co ltd filed Critical Yiming Huanyu Technology Beijing Co ltd
Priority to CN202311604071.8A priority Critical patent/CN117312579B/zh
Publication of CN117312579A publication Critical patent/CN117312579A/zh
Application granted granted Critical
Publication of CN117312579B publication Critical patent/CN117312579B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种数据模型搜索分析文本的生成方法及***，方法包括：接收一个或多个文本输入；将每个单词转换为向量表示；通过堆叠多个神经网络层构建生成模型；将向量传递到生成模型的初始层，通过前向传播的方式逐层生成下一个单词的概率分布；根据概率分布，使用随机采样方法选择下一个单词作为输出，并将输出添加到生成的文本序列中，返回执行将输入向量传递到生成模型的初始层的步骤，直至生成一个包含指定数量单词的文本序列；输出文本序列作为搜索分析文本的结果。利用本发明实施例，能够更好地捕捉文本数据的语言模式和语义信息，可以应用于大规模文本数据，有效提高文本生成的效率和准确性，具有广泛的应用前景。

Description

一种数据模型搜索分析文本的生成方法及***
技术领域
本发明属于数据分析技术领域，特别是一种数据模型搜索分析文本的生成方法及***。
背景技术
在文本生成领域，通过数据模型搜索和分析文本是一项重要的任务。然而，传统的方法在处理大规模文本数据时面临着效率和准确性的挑战。在现有技术中，常用的方法是使用n-gram模型来分析和生成文本。该模型将文本视为一个序列，通过统计不同n个连续单词的频次来建模文本的语言模式。然而，n-gram模型的局限性在于无法捕捉长距离的依赖关系和语义信息。
首先，n-gram模型无法捕捉长距离的依赖关系。由于n-gram模型仅考虑n个连续的单词，它无法捕捉词与词之间的远距离依赖关系。这导致生成的文本缺乏连贯性和上下文一致性；其次，n-gram模型无法考虑语义信息。由于n-gram模型仅仅基于统计频次，它无法理解单词的含义和语义信息。这导致生成的文本可能在语义上不准确或缺乏逻辑性；此外，n-gram模型在处理大规模文本数据时效率较低。由于n-gram模型需要存储和计算所有可能的n个连续单词的频次，对于大规模文本数据，它需要大量的存储空间和计算资源。
因此，现有技术在处理大规模文本数据时效率和准确性方面存在着一些问题。
发明内容
本发明的目的是提供一种数据模型搜索分析文本的生成方法及***，以解决现有技术中的不足，能够更好地捕捉文本数据的语言模式和语义信息，可以应用于大规模文本数据，能够有效提高文本生成的效率和准确性，具有广泛的应用前景。
本申请的一个实施例提供了一种数据模型搜索分析文本的生成方法，所述方法包括：
接收一个或多个文本输入，其中，每个文本包括一个或多个单词；
将每个单词转换为向量表示；
通过堆叠多个神经网络层构建一个生成模型，其中，每个网络层包括一个或多个神经元，并具有自适应权重和偏差；
将输入向量传递到生成模型的初始层，并通过前向传播的方式逐层生成下一个单词的概率分布；
根据生成的概率分布，使用随机采样方法选择下一个单词作为输出，并将输出添加到生成的文本序列中，返回执行所述将输入向量传递到生成模型的初始层的步骤，直至生成一个包含指定数量单词的文本序列；
输出生成的文本序列作为搜索分析文本的结果。
可选的，所述将每个单词转换为向量表示，包括：
定义映射哈希函数hash(w) = (a * w + b) mod N，其中，所述a、所述b表示映射哈希函数的参数，所述N表示高维哈希空间维度的大小，所述w表示单词；
确定所述映射哈希函数的参数，并确定所述高维哈希空间维度的大小；
针对每个单词，利用所述映射哈希函数，将所述单词映射到所述高维哈希空间中的一个位置，得到一个稀疏向量。
可选的，所述通过堆叠多个神经网络层构建一个生成模型，其中，每个网络层包括一个或多个神经元，并具有自适应权重和偏差，包括：
设置生成模型的层数和每层的神经元数量；
定义生成模型的单元类型；
构建生成模型的多层结构，每一层都包含一定数量的单元；
在每个神经网络层内，为每个单元的权重和偏差设置自适应性；
构建生成模型的输入结构为转换的单词向量序列，并按时间步展开，输出结构为生成模型当前时间步对应单词的概率分布。
可选的，所述将输入向量传递到生成模型的初始层，并通过前向传播的方式逐层生成下一个单词的概率分布，包括：
通过前向传播算法，逐个时间步地生成下一个单词的概率分布，其中，在每个时间步，输入当前单词的向量表示，并结合前一个时间步的隐藏状态进行计算。
本申请的又一实施例提供了一种数据模型搜索分析文本的生成***，所述***包括：
接收模块，用于接收一个或多个文本输入，其中，每个文本包括一个或多个单词；
转换模块，用于将每个单词转换为向量表示；
堆叠模块，用于通过堆叠多个神经网络层构建一个生成模型，其中，每个网络层包括一个或多个神经元，并具有自适应权重和偏差；
生成模块，用于将输入向量传递到生成模型的初始层，并通过前向传播的方式逐层生成下一个单词的概率分布；
添加模块，用于根据生成的概率分布，使用随机采样方法选择下一个单词作为输出，并将输出添加到生成的文本序列中，返回执行所述将输入向量传递到生成模型的初始层的步骤，直至生成一个包含指定数量单词的文本序列；
输出模块，用于输出生成的文本序列作为搜索分析文本的结果。
本申请的又一实施例提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项中所述的方法。
本申请的又一实施例提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项中所述的方法。
与现有技术相比，本发明提供的一种数据模型搜索分析文本的生成方法，通过接收一个或多个文本输入；将每个单词转换为向量表示；通过堆叠多个神经网络层构建一个生成模型；将输入向量传递到生成模型的初始层，并通过前向传播的方式逐层生成下一个单词的概率分布；根据生成的概率分布，使用随机采样方法选择下一个单词作为输出，并将输出添加到生成的文本序列中，返回执行所述将输入向量传递到生成模型的初始层的步骤，直至生成一个包含指定数量单词的文本序列；输出生成的文本序列作为搜索分析文本的结果，从而能够更好地捕捉文本数据的语言模式和语义信息，可以应用于大规模文本数据，能够有效提高文本生成的效率和准确性，具有广泛的应用前景。
附图说明
图1为本发明实施例提供的一种数据模型搜索分析文本的生成方法的流程示意图；
图2为本发明实施例提供的一种数据模型搜索分析文本的生成***的结构示意图；
图3为本发明实施例提供的一种数据模型搜索分析文本的生成方法的计算机终端的硬件结构框图。
实施方式
下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
在现有技术中，常用的方法是使用n-gram模型来分析和生成文本。该模型将文本视为一个序列，通过统计不同n个连续单词的频次来建模文本的语言模式。然而，n-gram模型的局限性在于无法捕捉长距离的依赖关系和语义信息。
为了克服这些问题，本发明提出了一种基于深度学习的数据模型搜索分析文本的生成方法。本方法利用深度学习模型，如循环神经网络（RNN）或者变种如长短期记忆网络（LSTM）或门控循环单元（GRU），来学习文本数据中的语言模式和语义信息。
首先，将文本数据进行预处理，包括分词、去除停用词等。然后，利用深度学习模型对处理后的文本数据进行训练。深度学习模型将文本数据作为输入，通过学习上下文信息和语义特征，输出一个概率分布，表示每个单词在给定上下文条件下的生成概率。根据生成的概率分布，使用随机采样方法选择下一个单词作为输出，并将其添加到生成的文本序列中。通过不断重复这个过程，可以生成完整的文本序列。
与传统的n-gram模型相比，本发明的方法能够更好地捕捉文本数据的语言模式和语义信息。通过使用深度学习模型进行训练和生成，该方法可以应用于大规模文本数据，并具有更高的准确性和生成多样性。
总之，本发明提供了一种基于深度学习的数据模型搜索分析文本的生成方法，能够有效提高文本生成的效率和准确性，具有广泛的应用前景。以下是对本发明实施例的详细说明。
参见图1，本发明的实施例提供了一种数据模型搜索分析文本的生成方法，所述方法可以包括如下步骤：
S101，接收一个或多个文本输入，其中，每个文本包括一个或多个单词；
示例性的，一种具体实现方式如下：
接收一个或多个文本输入，其中每个文本包括一个或多个单词。在实际实施中，可以采用各种方式接收文本输入，例如从文件或数据库中读取文本，通过 API 接口获取文本，或者从用户提供的输入中获取文本。
针对每个文本输入，可以进行预处理步骤，如移除标点符号、特殊字符和数字，转换成小写等。这可以使用文本预处理库或自定义函数来完成。预处理后的文本将成为该步骤的输入。
对于每个文本输入，将其拆分为单词。这可以通过使用空格或其他分隔符来完成。将文本拆分为单词后，每个单词将作为进一步处理的输入。
对于包含多个文本输入的情况，可以选择使用不同的处理方式。可以将每个文本输入视为独立的样本，分别进行处理。另一种方式是将多个文本输入合并为一个输入，并对其进行处理。这取决于具体的应用需求和实施方式。
通过以上实现方式，可以将输入的文本拆分为单词，为后续步骤提供每个单词的输入。这样，基于深度学习的数据模型可以从每个单词的向量表示开始，进行下一步的处理和生成，实现搜索分析文本的生成方法。
S102，将每个单词转换为向量表示；
具体的，可以定义映射哈希函数hash(w) = (a * w + b) mod N，其中，所述a、所述b表示映射哈希函数的参数，所述N表示高维哈希空间维度的大小，所述w表示单词；映射哈希函数能够将输入的单词映射到一个大的哈希空间中。
确定所述映射哈希函数的参数，并确定所述高维哈希空间维度的大小；
参数a和b需要根据具体的需求进行选择。这里给出一种实现步骤：
A1.初始化参数：随机选择一个a和b的初始值。可以使用随机数生成算法从一个合适的范围内随机选择参数的初始值。
B1.计算哈希值的分布：使用选定的参数a和b，将每个单词进行哈希映射，并统计每个位置上的哈希值的分布情况。通过观察哈希值的分布情况，可以初步评估选择的参数是否均匀分布单词。
C1.参数调整：根据哈希值的分布情况，可以通过试验不同的参数值来调整a和b，使得哈希值能够均匀地分布在整个维度空间中。
D1.重复实验：重复步骤B1和C1，直到选择的参数a和b能够使得哈希值较为均匀地分布在整个维度空间中。
E1. 参数验证：最后，通过一些验证集合测试集上单词的哈希结果，验证选择的参数是否能够满足实际需求。
通过以上步骤，我们可以选择合适的参数a和b，使得仿射哈希函数能够将每个单词映射到一个高维稀疏向量，且满足均匀分布的要求。这样的参数选择过程需要结合实际数据和具体应用的需求，进行反复实验和调优。
一种确定哈希空间的维度的详细实现步骤如下：
1.确定单词数量和整体分布：首先需要对要处理的单词进行统计，确定总的单词数量以及它们在语料中的分布情况。这可以通过对语料库进行分词处理，并统计词频来实现。
2.选择合适的维度大小：根据确定的单词数量和其分布情况，选择一个足够大的维度作为哈希空间的维度。一般来说，可以根据单词数量的大小来确定维度的大小。推荐的维度大小为1000维或更高，以确保能够容纳大量的不同单词。
3.考虑哈希空间的稀疏性：由于稀疏向量的特性，可以根据实际需求和计算效率的考量，适当调整哈希空间的维度。通常情况下，维度的选择需要在充分表示单词的基础上尽量保持稀疏性。
4.确定哈希空间的维度后，需要在实际实施过程中重点关注维度的大小对内存和计算消耗的影响，避免出现维度灾难的问题。
通过以上步骤，我们可以根据实际的单词数量和分布情况选择合适的维度大小，以构建一个适合的哈希空间。这样可以确保哈希空间有足够的容量来容纳所有的单词，并在实际应用中保持良好的稀疏性和计算效率。
针对每个单词，利用所述映射哈希函数，将所述单词映射到所述高维哈希空间中的一个位置，得到一个稀疏向量。
对于每个单词，利用选择好的参数a和b、N，使用仿射哈希函数将其映射到高维空间中的某一个位置。
在初始化稀疏向量时，可以将所有位置的值初始化为0。
对于单词w，可以使用其特征或者编码（比如词袋模型中的词频）作为输入计算其哈希函数值hash(w) = (a * w + b) mod N。
将计算得到的哈希值作为索引指向高维空间中的一个位置，将对应的位置上的数值设为1，其余位置保持为0，得到的结果就是单词w对应的稀疏向量表示。
将上述映射操作应用于数据集中的所有单词，得到它们对应的稀疏向量表示。
值得注意的是，由于哈希函数的映射性质，不同的单词可能会映射到同一个位置，从而导致冲突。因此，在实际实现中，需要对冲突进行处理，比如使用多个不同的哈希函数，并将它们的结果合并成一个更长的稀疏向量。具体实现方式包括：
多哈希函数：选择多个不同的哈希函数，每个哈希函数对应一个不同的参数a和b。这些不同的哈希函数会将同一个单词映射到不同的位置。
多个哈希值合并：对于每个单词，使用多个哈希函数计算得到多个哈希值。然后将这些哈希值合并成一个更长的稀疏向量。可以通过简单的拼接或者运用一定的算法将多个哈希值合并成一个更长的向量表示。
S103，通过堆叠多个神经网络层构建一个生成模型，其中，每个网络层包括一个或多个神经元，并具有自适应权重和偏差；
具体的，可以设置生成模型的层数和每层的神经元数量；定义生成模型的单元类型；构建生成模型的多层结构，每一层都包含一定数量的单元；在每个神经网络层内，为每个单元的权重和偏差设置自适应性；构建生成模型的输入结构为转换的单词向量序列，并按时间步展开，输出结构为生成模型当前时间步对应单词的概率分布。
在实际应用中，可以采用多层堆叠的循环神经网络（RNN）或者是Transformer模型。示例性的，以下是一种详细而充分的实现方式：
设置生成模型的层数和神经元数量：根据实际需求，确定生成模型的层数和每层的神经元数量。一般情况下，较深的模型和更宽的神经网络可以提供更强的建模能力。
定义生成模型的单元类型：可以选择使用长短期记忆（LSTM）单元或门控循环单元（GRU）作为构建生成模型的单元类型。这些单元具有记忆性质，能够更好地捕捉序列中的长期依赖关系。
堆叠多个神经网络层：构建生成模型的多层结构，每一层都包含一定数量的LSTM或GRU单元。可以根据实际需求和性能要求，选择适当的层数。例如，可以堆叠3层LSTM单元，每个LSTM单元层内包含128个神经元。
设置自适应权重和偏差：在每个神经网络层内，为每个单元的权重和偏差设置自适应性，即能够根据训练数据自动学习和调整。这可以通过随机初始化每个权重和偏差，在反向传播算法中通过梯度下降法进行优化。
构建生成模型的输入和输出结构：生成模型的输入为步骤b中生成的单词向量序列，按时间步展开；输出为生成模型当前时间步对应单词的概率分布。
前向传播计算概率分布：通过前向传播算法，逐个时间步地生成下一个单词的概率分布。在每个时间步，输入当前单词的向量表示，并结合前一个时间步的隐藏状态进行计算。使用激活函数（如softmax函数）将模型的输出转化为概率分布，表示每个单词的生成概率。
随机采样生成下一个单词：根据生成的概率分布，使用随机采样方法选择下一个单词作为输出，并将其添加到生成的文本序列中。可以使用贪婪采样或者采用更复杂的策略，如基于温度的软最大化（softmax）采样。
通过以上实现方式，生成模型能够利用深层的RNN或Transformer结构，逐步生成文本序列，并根据训练数据自适应调整权重和偏差，提高文本生成的准确性和创造性。
S104，将输入向量传递到生成模型的初始层，并通过前向传播的方式逐层生成下一个单词的概率分布；
具体的，可以通过前向传播算法，逐个时间步地生成下一个单词的概率分布，其中，在每个时间步，输入当前单词的向量表示，并结合前一个时间步的隐藏状态进行计算。
在实际应用中，涉及生成模型中的前向传播计算和采样方法。示例性的，以下是一种详细而充分的实现方式：
1.前向传播计算概率分布：在每个时间步，将输入向量传递到生成模型的初始层，并通过前向传播的方式逐层生成下一个单词的概率分布。下面是一个具体的实现流程：
1a.初始化隐藏状态：将前一个时间步的隐藏状态设置为初始状态，可以全部初始化为零向量或者使用某种特定的初始值。
1b.遍历每个时间步：对于序列中的每个时间步，执行以下操作：
- 输入向量传递：将当前时间步的输入向量传递到生成模型的当前层，并结合前一个时间步的隐藏状态进行计算。可以使用循环神经网络（LSTM、GRU）或Transformer等模型。
- 计算隐藏状态：根据网络层结构和激活函数，在当前层计算输出概率分布的同时，更新当前时间步的隐藏状态。对于LSTM，包括更新单元状态和输出状态；对于GRU或Transformer，更新隐藏状态。
- 计算输出概率分布：将当前隐藏状态作为输入，使用激活函数（如softmax）将模型当前时间步的输出转化为概率分布，表示每个单词的生成概率。
S105，根据生成的概率分布，使用随机采样方法选择下一个单词作为输出，并将输出添加到生成的文本序列中，返回执行所述将输入向量传递到生成模型的初始层的步骤，直至生成一个包含指定数量单词的文本序列；
具体的，2.随机采样生成下一个单词：根据生成的概率分布，使用随机采样方法选择下一个单词作为输出，并将其添加到生成的文本序列中。下面是一个具体的实现流程：
2a.基于概率分布进行采样：根据生成模型输出的概率分布，使用贪婪采样或者基于温度的软最大化（softmax）采样方法，按照概率选择下一个单词，可以使用numpy中的np.random.choice函数来实现。
2b.添加到生成文本序列：将选择的下一个单词添加到生成的文本序列中，作为下一个时间步的输入。
2c.重复步骤2a和2b：重复执行上述采样流程，直到生成所需数量的单词为止，生成完整的文本序列。
通过以上实现方式，生成模型能够逐步生成文本序列，并根据生成的概率分布使用随机采样方法选择下一个单词，并将其添加到生成的文本序列中，最终生成指定数量的文本序列作为搜索分析文本的结果。
在另一种实现方式中，具体实现方式可以如下：
根据生成的概率分布，使用随机采样方法选择下一个单词作为输出。随机采样是根据单词的概率分布进行随机选择，使得选择到具有更高概率的单词的可能性更大。可以通过以下方式进行具体实现：
计算每个单词的累积概率：对于生成的概率分布，可以计算每个单词的累积概率，即上文中所有单词的概率之和。累积概率可以表示为一个递增序列。
生成一个随机数：使用随机数生成器生成一个介于0和1之间的随机数。该随机数将用于选择下一个单词。
利用随机数选择下一个单词：从累积概率序列中选择最小的大于等于随机数的值所对应的单词。这个单词即为所选择的下一个单词。
将选择的单词添加到生成的文本序列中：将所选的单词添加到生成的文本序列中，作为下一步输入的一部分，以便进行下一层的前向传播。
重复步骤，生成一个包含指定数量单词的文本序列。通过不断重复步骤S104和S105，可以生成指定数量的单词。每次重复时，生成的概率分布将会更新，随机采样方法会选择新的下一个单词，并将其添加到文本序列中，直到生成所需数量的单词。
通过以上实现方式，基于深度学习的数据模型可以搜索分析文本并生成具有语言模式和语义信息的文本序列。这种方法能够处理大规模文本数据，提高准确性和生成多样性，并克服了传统n-gram模型中的一些限制。
S106，输出生成的文本序列作为搜索分析文本的结果。
示例性的，一种具体实现方式可以如下：
将生成的文本序列作为搜索分析文本的结果。在完成上述步骤后，生成了一个包含指定数量单词的文本序列。这个文本序列是通过基于深度学习的数据模型生成的具有语言模式和语义信息的文本。
对于单个文本输入情况下，将该文本序列作为搜索分析文本的结果输出。生成的文本序列可以用于搜索引擎的文本摘要、文本分类等任务。
对于多个文本输入情况下，可以将每个文本序列作为对应文本的搜索分析结果输出。这样可以为每个输入文本生成相应的摘要、标签或其他类型的搜索分析结果。
输出的搜索分析文本结果可以根据实际需求进行进一步处理或展示。可以根据搜索引擎的要求进行格式化、过滤或调整，以满足特定的搜索分析需求。
通过以上实现方式，基于深度学习的数据模型搜索分析文本的生成方法可以生成具有语言模式和语义信息的文本序列，并将其作为搜索分析文本的结果输出。这种方法能够处理单个或多个文本输入，生成符合搜索引擎需求的文本摘要、标签等结果，提高搜索分析的效果和质量。
可见，通过接收一个或多个文本输入；将每个单词转换为向量表示；通过堆叠多个神经网络层构建一个生成模型；将输入向量传递到生成模型的初始层，并通过前向传播的方式逐层生成下一个单词的概率分布；根据生成的概率分布，使用随机采样方法选择下一个单词作为输出，并将输出添加到生成的文本序列中，返回执行所述将输入向量传递到生成模型的初始层的步骤，直至生成一个包含指定数量单词的文本序列；输出生成的文本序列作为搜索分析文本的结果，从而能够更好地捕捉文本数据的语言模式和语义信息，可以应用于大规模文本数据，能够有效提高文本生成的效率和准确性，具有广泛的应用前景。
本发明的又一实施例提供了一种数据模型搜索分析文本的生成***，参见图2，所述***可以包括：
接收模块201，用于接收一个或多个文本输入，其中，每个文本包括一个或多个单词；
转换模块202，用于将每个单词转换为向量表示；
堆叠模块203，用于通过堆叠多个神经网络层构建一个生成模型，其中，每个网络层包括一个或多个神经元，并具有自适应权重和偏差；
生成模块204，用于将输入向量传递到生成模型的初始层，并通过前向传播的方式逐层生成下一个单词的概率分布；
添加模块205，用于根据生成的概率分布，使用随机采样方法选择下一个单词作为输出，并将输出添加到生成的文本序列中，返回执行所述将输入向量传递到生成模型的初始层的步骤，直至生成一个包含指定数量单词的文本序列；
输出模块206，用于输出生成的文本序列作为搜索分析文本的结果。
可见，通过接收一个或多个文本输入；将每个单词转换为向量表示；通过堆叠多个神经网络层构建一个生成模型；将输入向量传递到生成模型的初始层，并通过前向传播的方式逐层生成下一个单词的概率分布；根据生成的概率分布，使用随机采样方法选择下一个单词作为输出，并将输出添加到生成的文本序列中，返回执行所述将输入向量传递到生成模型的初始层的步骤，直至生成一个包含指定数量单词的文本序列；输出生成的文本序列作为搜索分析文本的结果，从而能够更好地捕捉文本数据的语言模式和语义信息，可以应用于大规模文本数据，能够有效提高文本生成的效率和准确性，具有广泛的应用前景。
下面以运行在计算机终端上为例对其进行详细说明。图3为本发明实施例提供的一种数据模型搜索分析文本的生成方法的计算机终端的硬件结构框图。如图3所示，计算机终端可以包括一个或多个（图3中仅示出一个）处理器302（处理器302可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）和用于存储数据的存储器304，可选地，上述计算机终端还可以包括用于通信功能的传输装置306以及输入输出设备308。本领域普通技术人员可以理解，图3所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图3中所示更多或者更少的组件，或者具有与图3所示不同的配置。
存储器304可用于存储应用软件的软件程序以及模块，如本申请实施例中的数据模型搜索分析文本的生成方法对应的程序指令/模块，处理器302通过运行存储在存储器304内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器304可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器304可进一步包括相对于处理器302远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置306用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输装置306包括一个网络适配器（Network Interface Controller，NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置306可以为射频（Radio Frequency，RF）模块，其用于通过无线方式与互联网进行通讯。
本发明实施例还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
具体的，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S101，接收一个或多个文本输入，其中，每个文本包括一个或多个单词；
S102，将每个单词转换为向量表示；
S103，通过堆叠多个神经网络层构建一个生成模型，其中，每个网络层包括一个或多个神经元，并具有自适应权重和偏差；
S104，将输入向量传递到生成模型的初始层，并通过前向传播的方式逐层生成下一个单词的概率分布；
S105，根据生成的概率分布，使用随机采样方法选择下一个单词作为输出，并将输出添加到生成的文本序列中，返回执行所述将输入向量传递到生成模型的初始层的步骤，直至生成一个包含指定数量单词的文本序列；
S106，输出生成的文本序列作为搜索分析文本的结果。
具体的，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器（Read-Only Memory，简称为ROM）、随机存取存储器（Random Access Memory，简称为RAM）、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
可见，通过接收一个或多个文本输入；将每个单词转换为向量表示；通过堆叠多个神经网络层构建一个生成模型；将输入向量传递到生成模型的初始层，并通过前向传播的方式逐层生成下一个单词的概率分布；根据生成的概率分布，使用随机采样方法选择下一个单词作为输出，并将输出添加到生成的文本序列中，返回执行所述将输入向量传递到生成模型的初始层的步骤，直至生成一个包含指定数量单词的文本序列；输出生成的文本序列作为搜索分析文本的结果，从而能够更好地捕捉文本数据的语言模式和语义信息，可以应用于大规模文本数据，能够有效提高文本生成的效率和准确性，具有广泛的应用前景。
本发明实施例还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
具体的，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
具体的，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S101，接收一个或多个文本输入，其中，每个文本包括一个或多个单词；
S102，将每个单词转换为向量表示；
S103，通过堆叠多个神经网络层构建一个生成模型，其中，每个网络层包括一个或多个神经元，并具有自适应权重和偏差；
S104，将输入向量传递到生成模型的初始层，并通过前向传播的方式逐层生成下一个单词的概率分布；
S105，根据生成的概率分布，使用随机采样方法选择下一个单词作为输出，并将输出添加到生成的文本序列中，返回执行所述将输入向量传递到生成模型的初始层的步骤，直至生成一个包含指定数量单词的文本序列；
S106，输出生成的文本序列作为搜索分析文本的结果。
具体的，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
可见，通过接收一个或多个文本输入；将每个单词转换为向量表示；通过堆叠多个神经网络层构建一个生成模型；将输入向量传递到生成模型的初始层，并通过前向传播的方式逐层生成下一个单词的概率分布；根据生成的概率分布，使用随机采样方法选择下一个单词作为输出，并将输出添加到生成的文本序列中，返回执行所述将输入向量传递到生成模型的初始层的步骤，直至生成一个包含指定数量单词的文本序列；输出生成的文本序列作为搜索分析文本的结果，从而能够更好地捕捉文本数据的语言模式和语义信息，可以应用于大规模文本数据，能够有效提高文本生成的效率和准确性，具有广泛的应用前景。
以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，以上所述仅为本发明的较佳实施例，但本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。

Claims (10)

1.一种数据模型搜索分析文本的生成方法，其特征在于，所述方法包括：
接收一个或多个文本输入，其中，每个文本包括一个或多个单词；
将每个单词转换为向量表示；
通过堆叠多个神经网络层构建一个生成模型，其中，每个网络层包括一个或多个神经元，并具有自适应权重和偏差；
将输入向量传递到生成模型的初始层，并通过前向传播的方式逐层生成下一个单词的概率分布；
根据生成的概率分布，使用随机采样方法选择下一个单词作为输出，并将输出添加到生成的文本序列中，返回执行所述将输入向量传递到生成模型的初始层的步骤，直至生成一个包含指定数量单词的文本序列；
输出生成的文本序列作为搜索分析文本的结果。
2.根据权利要求1所述的方法，其特征在于，所述将每个单词转换为向量表示，包括：
定义映射哈希函数hash(w) = (a * w + b) mod N，其中，所述a、所述b表示映射哈希函数的参数，所述N表示高维哈希空间维度的大小，所述w表示单词；
确定所述映射哈希函数的参数，并确定所述高维哈希空间维度的大小；
针对每个单词，利用所述映射哈希函数，将所述单词映射到所述高维哈希空间中的一个位置，得到一个稀疏向量。
3.根据权利要求2所述的方法，其特征在于，所述通过堆叠多个神经网络层构建一个生成模型，其中，每个网络层包括一个或多个神经元，并具有自适应权重和偏差，包括：
设置生成模型的层数和每层的神经元数量；
定义生成模型的单元类型；
构建生成模型的多层结构，每一层都包含一定数量的单元；
在每个神经网络层内，为每个单元的权重和偏差设置自适应性；
构建生成模型的输入结构为转换的单词向量序列，并按时间步展开，输出结构为生成模型当前时间步对应单词的概率分布。
4.根据权利要求3所述的方法，其特征在于，所述将输入向量传递到生成模型的初始层，并通过前向传播的方式逐层生成下一个单词的概率分布，包括：
通过前向传播算法，逐个时间步地生成下一个单词的概率分布，其中，在每个时间步，输入当前单词的向量表示，并结合前一个时间步的隐藏状态进行计算。
5.一种数据模型搜索分析文本的生成***，其特征在于，所述***包括：
接收模块，用于接收一个或多个文本输入，其中，每个文本包括一个或多个单词；
转换模块，用于将每个单词转换为向量表示；
堆叠模块，用于通过堆叠多个神经网络层构建一个生成模型，其中，每个网络层包括一个或多个神经元，并具有自适应权重和偏差；
生成模块，用于将输入向量传递到生成模型的初始层，并通过前向传播的方式逐层生成下一个单词的概率分布；
添加模块，用于根据生成的概率分布，使用随机采样方法选择下一个单词作为输出，并将输出添加到生成的文本序列中，返回执行所述将输入向量传递到生成模型的初始层的步骤，直至生成一个包含指定数量单词的文本序列；
输出模块，用于输出生成的文本序列作为搜索分析文本的结果。
6.根据权利要求5所述的***，其特征在于，所述转换模块，具体用于：
定义映射哈希函数hash(w) = (a * w + b) mod N，其中，所述a、所述b表示映射哈希函数的参数，所述N表示高维哈希空间维度的大小，所述w表示单词；
确定所述映射哈希函数的参数，并确定所述高维哈希空间维度的大小；
针对每个单词，利用所述映射哈希函数，将所述单词映射到所述高维哈希空间中的一个位置，得到一个稀疏向量。
7.根据权利要求6所述的***，其特征在于，所述堆叠模块，具体用于：
设置生成模型的层数和每层的神经元数量；
定义生成模型的单元类型；
构建生成模型的多层结构，每一层都包含一定数量的单元；
在每个神经网络层内，为每个单元的权重和偏差设置自适应性；
构建生成模型的输入结构为转换的单词向量序列，并按时间步展开，输出结构为生成模型当前时间步对应单词的概率分布。
8.根据权利要求7所述的***，其特征在于，所述生成模块，具体用于：
通过前向传播算法，逐个时间步地生成下一个单词的概率分布，其中，在每个时间步，输入当前单词的向量表示，并结合前一个时间步的隐藏状态进行计算。
9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1-4中任一项所述的方法。
10.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1-4中任一项所述的方法。
CN202311604071.8A 2023-11-28 2023-11-28 一种数据模型搜索分析文本的生成方法及*** Active CN117312579B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311604071.8A CN117312579B (zh) 2023-11-28 2023-11-28 一种数据模型搜索分析文本的生成方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311604071.8A CN117312579B (zh) 2023-11-28 2023-11-28 一种数据模型搜索分析文本的生成方法及***

Publications (2)

Publication Number Publication Date
CN117312579A true CN117312579A (zh) 2023-12-29
CN117312579B CN117312579B (zh) 2024-02-06

Family

ID=89274039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311604071.8A Active CN117312579B (zh) 2023-11-28 2023-11-28 一种数据模型搜索分析文本的生成方法及***

Country Status (1)

Country Link
CN (1) CN117312579B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110739031A (zh) * 2019-11-18 2020-01-31 中南大学 一种冶金烧结过程的有监督预测方法、装置及存储介质
CN111324744A (zh) * 2020-02-17 2020-06-23 中山大学 一种基于目标情感分析数据集的数据增强方法
US20230107409A1 (en) * 2021-10-05 2023-04-06 Google Llc Ensembling mixture-of-experts neural networks
CN116226494A (zh) * 2023-04-21 2023-06-06 一铭寰宇科技(北京)有限公司 一种用于信息搜索的爬虫***及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110739031A (zh) * 2019-11-18 2020-01-31 中南大学 一种冶金烧结过程的有监督预测方法、装置及存储介质
CN111324744A (zh) * 2020-02-17 2020-06-23 中山大学 一种基于目标情感分析数据集的数据增强方法
US20230107409A1 (en) * 2021-10-05 2023-04-06 Google Llc Ensembling mixture-of-experts neural networks
CN116226494A (zh) * 2023-04-21 2023-06-06 一铭寰宇科技(北京)有限公司 一种用于信息搜索的爬虫***及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张兆晨;冀俊忠;: "基于卷积神经网络的fMRI数据分类方法", 模式识别与人工智能, no. 06 *

Also Published As

Publication number Publication date
CN117312579B (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
CN109948029B (zh) 基于神经网络自适应的深度哈希图像搜索方法
EP3711000B1 (en) Regularized neural network architecture search
KR102302609B1 (ko) 신경망 아키텍처 최적화
CN111814966A (zh) 神经网络架构搜索方法、神经网络应用方法、设备及存储介质
Oloulade et al. Graph neural architecture search: A survey
CN111898730A (zh) 一种利用图卷积神经网络结构加速的结构优化设计方法
CN110020435B (zh) 一种采用并行二进制蝙蝠算法优化文本特征选择的方法
CN113128622B (zh) 基于语义-标签多粒度注意力的多标签分类方法及***
CN112307048B (zh) 语义匹配模型训练方法、匹配方法、装置、设备及存储介质
Zhao et al. Synchronously improving multi-user English translation ability by using AI
CN111898316A (zh) 一种超表面结构设计模型的构建方法及其应用
US11386332B2 (en) Optimization calculation method and information processing apparatus
CN115496144A (zh) 配电网运行场景确定方法、装置、计算机设备和存储介质
WO2022147583A2 (en) System and method for optimal placement of interacting objects on continuous (or discretized or mixed) domains
CN113094899B (zh) 一种随机潮流计算方法、装置、电子设备及存储介质
CN117744760A (zh) 文本信息的识别方法、装置、存储介质及电子设备
Wang et al. Efficient deep convolutional model compression with an active stepwise pruning approach
CN117312579B (zh) 一种数据模型搜索分析文本的生成方法及***
Zhang et al. XNORCONV: CNNs accelerator implemented on FPGA using a hybrid CNNs structure and an inter‐layer pipeline method
CN117079744A (zh) 含能分子人工智能设计方法
CN116797850A (zh) 基于知识蒸馏和一致性正则化的类增量图像分类方法
EP4339832A1 (en) Method for constructing ai integrated model, and inference method and apparatus of ai integrated model
Xia et al. Efficient synthesis of compact deep neural networks
CN116108127A (zh) 一种基于异构图交互和掩码多头注意力机制的文档级事件抽取方法
CN115345106A (zh) 电子器件的Verilog-A模型构建方法、***及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant