CN110457673A - 一种自然语言转换为手语的方法及装置 - Google Patents
一种自然语言转换为手语的方法及装置 Download PDFInfo
- Publication number
- CN110457673A CN110457673A CN201910554752.5A CN201910554752A CN110457673A CN 110457673 A CN110457673 A CN 110457673A CN 201910554752 A CN201910554752 A CN 201910554752A CN 110457673 A CN110457673 A CN 110457673A
- Authority
- CN
- China
- Prior art keywords
- natural language
- language
- participle
- sign language
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 29
- 230000011218 segmentation Effects 0.000 claims abstract description 15
- 238000006243 chemical reaction Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 31
- 238000013136 deep learning model Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 14
- 230000009471 action Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 208000032041 Hearing impaired Diseases 0.000 abstract description 20
- 230000008569 process Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 3
- 230000000739 chaotic effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Library & Information Science (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Machine Translation (AREA)
Abstract
本发明提供了一种自然语言转换为手语的方法及装置，其方法包括：获取待识别的自然语言语句；将所述待识别的自然语言语句进行分词处理，得到自然语言分词，所述自然语言分词包括一个或者多个分词；将所述自然语言分词转换为对应的手语动作，其中，所述自然语言分词中的一个分词对应一个手语动作；按照顺序依次展示所述手语动作。这样通过按照顺序依次展示该手语动作，可以在听障人士在观看视频节目时，通过观看转换后的手语动作，可以及时理解视频节目中语言的含义，可以对听障人士带来很大的帮助。
Description
技术领域
本发明涉及语言处理技术领域，特别是涉及一种自然语言转换为手语的方法及装置。
背景技术
随着社会的不断发展，当前社会的医疗水平也已经得到很大的进步，但由于种种原因，现有社会生活中仍然存在着众多的听障人士。听障人士在人与人之间的交流中，手语一直发挥着不可替代的作用。
然而，发明人在实现本发明的过程中发现，听障人士在观看视频节目时，如果观看的视频节目中不显示字幕，或者无法识别视频节目中显示的字幕，会给听障人士带来很大的困扰。
发明内容
为解决上述技术问题，本发明示出了一种自然语言转换为手语的方法及装置。
第一方面，本发明示出了一种自然语言转换为手语的方法，包括：
获取待识别的自然语言语句；
将所述待识别的自然语言语句进行分词处理，得到自然语言分词，所述自然语言分词包括一个或者多个分词；
将所述自然语言分词转换为对应的手语动作，其中，所述自然语言分词中的一个分词对应一个或者多个手语动作；
按照顺序依次展示所述手语动作。
可选地，该方法还包括：
将所述自然语言分词输入到训练后的第一预设深度学习模型中，输出语序调整后的自然语言分词，并执行所述将所述自然语言分词转换为对应的手语动作的步骤；
或者，将所述手语动作输入到训练后的第二预设深度学习模型中，输出语序调整后的手语动作，并执行所述按照顺序依次展示所述手语动作的步骤。
可选地，所述获取待识别的自然语言语句，包括：
获取待处理的自然语言语句；
对所述待处理的自然语言语句中无效词汇进行过滤，所述无效词汇包括下述的一种或者几种组合：无实际意义的词汇、含义重复的词汇和对应手语中无实际意义的词汇；
将过滤后的待处理的所述自然语言语句作为所述待识别的自然语句。
可选地，所述待处理的自然语言语句为视频中播放的语音语句，所述按照顺序依次展示所述手语动作，包括：
检测所述语音语句的开始时刻和结束时刻；
在所述开始时刻开始展示手语动作，并在所述结束时刻后预设时间段内展示完所述语音语句对应的手语动作。
可选地，所述将所述自然语言分词转换为对应的手语动作，包括：
构建与所述自然语言分词对应的手语动作近义词库；
根据自然语言理解NLU和所述手语动作近义词库，将所述自然语言分词中的分词分别转换为对应的手语动作。
第二方面，本发明实施例还提供了一种自然语言转换为手语的装置，包括：
获取单元，用于获取待识别的自然语言语句；
处理单元，用于将所述待识别的自然语言语句进行分词处理，得到自然语言分词，所述自然语言分词包括一个或者多个分词；
转换单元，用于将所述自然语言分词转换为对应的手语动作，其中，所述自然语言分词中的一个分词对应一个或者多个手语动作；
展示单元，用于按照顺序依次展示所述手语动作。
可选地，该装置还包括：
训练单元，用于将所述自然语言分词输入到训练后的第一预设深度学习模型中，输出语序调整后的自然语言分词；或者用于将所述手语动作输入到训练后的第二预设深度学习模型中，输出语序调整后的手语动作。
可选地，所述获取单元，包括：
获取模块，用于获取待处理的自然语言语句；
过滤模块，用于对所述待处理的自然语言语句中无效词汇进行过滤，所述无效词汇包括下述的一种或者几种组合：无实际意义的词汇、含义重复的词汇和对应手语中无实际意义的词汇；
确定模块，用于将过滤后的待处理的所述自然语言语句作为所述待识别的自然语句。
可选地，所述待处理的自然语言语句为视频中播放的语音语句，所述展示单元，包括：
检测模块，用于检测所述语音语句的开始时刻和结束时刻；
展示模块，用于在所述开始时刻开始展示手语动作，并在所述结束时刻后预设时间段内展示完所述语音语句对应的手语动作。
可选地，所述转换单元，包括：
构建模块，用于构建与所述自然语言分词对应的手语动作近义词库；
转换模块，用于根据自然语言理解NLU和所述手语动作近义词库，将所述自然语言分词中的分词分别转换为对应的手语动作。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述任一所述的自然语言转换为手语的方法的步骤。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的自然语言转换为手语的方法的步骤。
与现有技术相比，本发明提供的自然语言转换为手语的方法及装置，通过获取待识别的自然语言语句，将该语句进行分词处理，并将得到的分词分别转换为对应的手语动作，这样通过按照顺序依次展示该手语动作，可以在听障人士在观看视频节目时，通过观看转换后的手语动作，可以及时理解视频节目中语言的含义，可以对听障人士带来很大的帮助。
附图说明
图1是本发明的一种自然语言转换为手语的方法的步骤流程图；
图2是本发明的一种自然语言转换为手语的方法的另一步骤流程图；
图3为图1中步骤S110的流程图；
图4为图1中步骤S140的流程图；
图5为图1中步骤S130的流程图；
图6是本发明的一种自然语言转换为手语的装置的结构框图；
图7为本发明实施例提供的一种电子设备的结构图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1，示出了本发明的一种自然语言转换为手语的方法的步骤流程图，具体可以包括如下步骤：
步骤S110，获取待识别的自然语言语句。
本发明提供的实施中，示例性的，用户在观看视频节目时，如果该视频节目没有字幕，可以通过获取该视频节目的音频数据，并将该音频数据转换为文本数据，并将该文本数据作为待识别的自然语言语句。另外，如果该视频节目携带有字幕信息，可以直接将该字幕信息作为待识别的自然语言语句。
示例性的，在一个实施例中，可以通过获取当前视频画面中的字幕信息(或者通过将音频数据转换的文本数据，并将该文本数据中包含的信息作为该字幕信息)，将该字幕信息通过本发明实施例提供的该方法转换为手语。
在一个实施例中，还可以通过获取视频中的所有字幕信息(或者通过将音频数据转换的文本数据，并将该文本数据中包含的信息作为该字幕信息)，通过本发明实施例提供的该方法，将该字幕信息逐条转换为手语，并进行存储，在该视频界面进行播放时，对应显示当前画面中字幕信息对应的手语。
步骤S120，将待识别的自然语言语句进行分词处理，得到自然语言分词。
其中，自然语言分词包括一个或者多个分词。
步骤S130，将自然语言分词转换为对应的手语动作。
其中，自然语言分词中的一个分词对应一个或者多个手语动作。
步骤S140，按照顺序依次展示手语动作。
示例性的，该待识别的自然语言语句可以为一句话，需要对这句话进行分词处理。例如，该待识别的自然语言语句为：“今天天气真不错”，可以通过已有的分词处理方式，将其切分为：“今天，天气，真不错”这三个分词，分别查找这三个分词各自对应的手语动作，将这句话转换为对应的手语动作，并依次展示该手语动作。另外，有些情况下，一个自然语言的词汇可能需要由几个手语动作才能完成，因此，自然语言分词中的一个分词对应一个或者多个手语动作。
本发明实施例提供的自然语言转换为手语的方法，通过获取待识别的自然语言语句，将该语句进行分词处理，并将得到的分词分别转换为对应的手语动作，这样通过按照顺序依次展示该手语动作，可以在听障人士在观看视频节目时，通过观看转换后的手语动作，可以及时理解视频节目中语言的含义，可以对听障人士带来很大的帮助。
结合上述实施例，为了更好的展示转换后的手语动作，在本发明提供的又一实施例中，如图2所示，本发明实施例提供的自然语言转换为手语的方法，还可以包括如下步骤：
步骤S150，将手语动作输入到训练后的第二预设深度学习模型中，输出语序调整后的手语动作，并执行步骤S140。
本发明提供的该实施例中，考虑到手语表示相关含义时，按照手语的语法，其展示的分词顺序可能与自然语言不同。为了便于听障人士更好的理解，本发明实施例中，通过将手语动作输入到训练后的预设深度学习模型中，可以对手语动作的展示顺序进行调整，按照听障人士习惯的表达方式展示手语动作，避免在听障人士在观看手语动作时产生困扰。
其中，第二预设深度学习模型是基于大量样本手语动作和语序调整后的手语动作训练得到的。具体的，可以将大量样本手语动作分为两大类，其中，一类为训练数据；另一类数据为测试数据。然后对作为训练数据的样本手语动作的语序进行标定，将标定后的样本手语动作输入到一个深度学习模型中，对该深度学习模型进行训练，得到训练后的深度学习模型；最后，将作为测试数据的样本手语动作输入到该训练后的深度学习模型中，并判断从该训练后的深度学习模型中输出的语序与测试数据的样本手语动作的真实语序是否一致，如果二者一致，可以将该训练后的深度学习模型作为第二预设深度学习模型。如果二者不一致，调整该训练后的深度学习模型的训练参数，直至将作为测试数据的样本手语动作输入到该训练后的深度学习模型后，从该训练后的深度学习模型中输出的语序与作为测试数据的样本手语动作的真实语序一致，并将调整参数后的深度学习模型确定为训练后的第二预设深度学习模型。
另外，本发明实施例提供的自然语言转换为手语的方法，还可以包括将自然语言分词输入到训练后的第一预设深度学习模型中，输出语序调整后的自然语言分词的步骤，然后执行步骤S130。
需要说明的是，第一预设深度学习模型的训练过程与第二预设深度学习模型的训练过程基本一致。不同的是，二者的训练数据不同，第一预设深度学习模型的训练数据为大量样本自然语言分词，在此不再对第一预设深度学习模型的训练过程进行赘述。为了过滤待识别的自然语言语句中的无效词汇，结合上述实施例，在本发明提供的又一实施例中，如图3所示，上述步骤S110具体还可以包括如下步骤：
步骤S111，获取待处理的自然语言语句。
步骤S112，对待处理的自然语言语句中无效词汇进行过滤。
其中，无效词汇包括下述的一种或者几种组合：无实际意义的词汇、含义重复的词汇和对应手语中无实际意义的词汇。
步骤S113，将过滤后的待处理的自然语言语句作为待识别的自然语句。
由于自然语言语句中的词语与手语中的手语动作不是一一对应，并且很多自然语言中的词语也没有实际的一样，无法通过对应的手语动作进行翻译。因此，本发明实施例需要对自然语言语言中的无效词汇进行过滤清除，便于后续更好的将自然语言语句翻译为对应的手语。
具体的，可以通过利用NLP(Natural Language Processing，自然语言处理)对待处理的自然语言语句中无效词汇进行过滤。
结合上述实施例，为了更好的展示转换后的手语动作，在本发明提供的又一实施例中，如图4所示，上述步骤S140还可以包括如下步骤：
步骤S141，检测语音语句的开始时刻和结束时刻。
步骤S142，在开始时刻开始展示手语动作，并在结束时刻后预设时间段内展示完语音语句对应的手语动作。
为了防止在视频中的语句已经播放完了，开始播放下一句了，手语动作还在展示上个语句对应的动作，给听障人士造成困扰的局面，本发明实施例通过限定手语动作的展示时间，在待处理的自然语言语句为视频中播放的语音语句时，在该语音语句的开始时刻和结束时刻后预设时间段内展示完语音语句对应的手语动作，防止手语动作和对应的语音语句不同步的情况发生。
其中，在结束时刻后预设时间段内展示完语音语句对应的手语动作是为了避免因手语动作展示的时间太长，不能完全在语音语句的开始时刻和结束时刻内展示完对应的手语动作时，做出的适当延长，可以根据具体情况设定该预设时间段。
结合上述实施例，在本发明提供的又一实施例中，如图5所示，上述步骤S130还可以包括如下步骤：
步骤S131，构建与自然语言分词对应的手语动作近义词库。
步骤S132，根据自然语言理解NLU和手语动作近义词库，将自然语言分词中的分词分别转换为对应的手语动作。
为了快速的将自然语言中的词汇转换为对应的手语，本发明实施例可以通过构建与自然语言分词对应的手语动作近义词库，获取手语动作近义词库中的对应手语动作。具体的，可以利用NLU(Natural Language Understanding，自然语言理解)技术来实现，由于NLU是十分成熟的技术，这里不再赘述。其中，NLU处理领域非常广泛，包括句子检测，分词，词性标注，句法分析，文本分类/聚类，文字角度，信息抽取/自动摘要，机器翻译，自动问答，文本生成等多个领域。
本发明实施例提供的自然语言转换为手语的方法，通过获取待识别的自然语言语句，将该语句进行分词处理，并将得到的分词分别转换为对应的手语动作，这样通过按照顺序依次展示该手语动作，可以在听障人士在观看视频节目时，通过观看转换后的手语动作，可以及时理解视频节目中语言的含义，可以对听障人士带来很大的帮助。并且本发明实施例通过对展示的手语动作的顺序进行调整，可以更好的让听障人士进行理解。另外，通过对展示所述手语动作的展示时间的限定，可以避免在展示手语动作时造成的展示混乱。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作并不一定是本发明所必须的。
参照图6，示出了本发明的一种自然语言转换为手语的装置的结构框图，该装置具体可以包括：
获取单元10，用于获取待识别的自然语言语句；
处理单元20，用于将所述待识别的自然语言语句进行分词处理，得到自然语言分词，所述自然语言分词包括一个或者多个分词；
转换单元30，用于将所述自然语言分词转换为对应的手语动作，其中，所述自然语言分词中的一个分词对应一个或者多个手语动作；
展示单元40，用于按照顺序依次展示所述手语动作。
在本发明提供的又一实施例中，该装置还包括：
训练单元，用于将所述自然语言分词输入到训练后的第一预设深度学习模型中，输出语序调整后的自然语言分词；或者用于将所述手语动作输入到训练后的第二预设深度学习模型中，输出语序调整后的手语动作。
在本发明提供的又一实施例中，所述获取单元10，包括：
获取模块，用于获取待处理的自然语言语句；
过滤模块，用于对所述待处理的自然语言语句中无效词汇进行过滤，所述无效词汇包括下述的一种或者几种组合：无实际意义的词汇、含义重复的词汇和对应手语中无实际意义的词汇；
确定模块，用于将过滤后的待处理的所述自然语言语句作为所述待识别的自然语句。
在本发明提供的又一实施例中，所述待处理的自然语言语句为视频中播放的语音语句，所述展示单元40，包括：
检测模块，用于检测所述语音语句的开始时刻和结束时刻；
展示模块，用于在所述开始时刻开始展示手语动作，并在所述结束时刻后预设时间段内展示完所述语音语句对应的手语动作。
在本发明提供的又一实施例中，所述转换单元30，包括：
构建模块，用于构建与所述自然语言分词对应的手语动作近义词库；
转换模块，用于根据自然语言理解NLU和所述手语动作近义词库，将所述自然语言分词中的分词分别转换为对应的手语动作。
本发明实施例提供的自然语言转换为手语的装置，通过获取待识别的自然语言语句，将该语句进行分词处理，并将得到的分词分别转换为对应的手语动作，这样通过按照顺序依次展示该手语动作，可以在听障人士在观看视频节目时，通过观看转换后的手语动作，可以及时理解视频节目中语言的含义，可以对听障人士带来很大的帮助。并且本发明实施例通过对展示的手语动作的顺序进行调整，可以更好的让听障人士进行理解。另外，通过对展示所述手语动作的展示时间的限定，可以避免在展示手语动作时造成的展示混乱。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明实施例还提供了一种电子设备，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信，
存储器703，用于存放计算机程序；
处理器701，用于执行存储器703上所存放的程序时，实现本发明实施例提供的自然语言转换为手语的方法。
具体的，该自然语言转换为手语的方法，包括：
获取待识别的自然语言语句；
将所述待识别的自然语言语句进行分词处理，得到自然语言分词，所述自然语言分词包括一个或者多个分词；
将所述自然语言分词转换为对应的手语动作，其中，所述自然语言分词中的一个分词对应一个手语动作；
按照顺序依次展示所述手语动作。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行本发明实施例提供的自然语言转换为手语的方法。
该自然语言转换为手语的方法，包括：
获取待识别的自然语言语句；
将所述待识别的自然语言语句进行分词处理，得到自然语言分词，所述自然语言分词包括一个或者多个分词；
将所述自然语言分词转换为对应的手语动作，其中，所述自然语言分词中的一个分词对应一个手语动作；
按照顺序依次展示所述手语动作。
本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本发明上述实施例提供的自然语言转换为手语的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的自然语言转换为手语的方法及装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (12)
1.一种自然语言转换为手语的方法，其特征在于，包括：
获取待识别的自然语言语句；
将所述待识别的自然语言语句进行分词处理，得到自然语言分词，所述自然语言分词包括一个或者多个分词；
将所述自然语言分词转换为对应的手语动作，其中，所述自然语言分词中的一个分词对应一个或者多个手语动作；
按照顺序依次展示所述手语动作。
2.根据权利要求1所述的方法，其特征在于，还包括：
将所述自然语言分词输入到训练后的第一预设深度学习模型中，输出语序调整后的自然语言分词，并执行所述将所述自然语言分词转换为对应的手语动作的步骤；
或者，将所述手语动作输入到训练后的第二预设深度学习模型中，输出语序调整后的手语动作，并执行所述按照顺序依次展示所述手语动作的步骤。
3.根据权利要求1或2所述的方法，其特征在于，所述获取待识别的自然语言语句，包括：
获取待处理的自然语言语句；
对所述待处理的自然语言语句中无效词汇进行过滤，所述无效词汇包括下述的一种或者几种组合：无实际意义的词汇、含义重复的词汇和对应手语中无实际意义的词汇；
将过滤后的待处理的所述自然语言语句作为所述待识别的自然语言语句。
4.根据权利要求3所述的方法，其特征在于，所述待处理的自然语言语句为视频中播放的语音语句，所述按照顺序依次展示所述手语动作，包括：
检测所述语音语句的开始时刻和结束时刻；
在所述开始时刻开始展示手语动作，并在所述结束时刻后预设时间段内展示完所述语音语句对应的手语动作。
5.根据权利要求1或2所述的方法，其特征在于，所述将所述自然语言分词转换为对应的手语动作，包括：
构建与所述自然语言分词对应的手语动作近义词库；
根据自然语言理解NLU和所述手语动作近义词库，将所述自然语言分词中的分词分别转换为对应的手语动作。
6.一种自然语言转换为手语的装置，其特征在于，包括：
获取单元，用于获取待识别的自然语言语句；
处理单元，用于将所述待识别的自然语言语句进行分词处理，得到自然语言分词，所述自然语言分词包括一个或者多个分词；
转换单元，用于将所述自然语言分词转换为对应的手语动作，其中，所述自然语言分词中的一个分词对应一个或者多个手语动作；
展示单元，用于按照顺序依次展示所述手语动作。
7.根据权利要求6所述的装置，其特征在于，还包括：
训练单元，用于将所述自然语言分词输入到训练后的第一预设深度学习模型中，输出语序调整后的自然语言分词；或者用于将所述手语动作输入到训练后的第二预设深度学习模型中，输出语序调整后的手语动作。
8.根据权利要求6或7所述的装置，其特征在于，所述获取单元，包括：
获取模块，用于获取待处理的自然语言语句；
过滤模块，用于对所述待处理的自然语言语句中无效词汇进行过滤，所述无效词汇包括下述的一种或者几种组合：无实际意义的词汇、含义重复的词汇和对应手语中无实际意义的词汇；
确定模块，用于将过滤后的待处理的所述自然语言语句作为所述待识别的自然语句。
9.根据权利要求8所述的装置，其特征在于，所述待处理的自然语言语句为视频中播放的语音语句，所述展示单元，包括：
检测模块，用于检测所述语音语句的开始时刻和结束时刻；
展示模块，用于在所述开始时刻开始展示手语动作，并在所述结束时刻后预设时间段内展示完所述语音语句对应的手语动作。
10.根据权利要求6或7所述的装置，其特征在于，所述转换单元，包括：
构建模块，用于构建与所述自然语言分词对应的手语动作近义词库；
转换模块，用于根据自然语言理解NLU和所述手语动作近义词库，将所述自然语言分词中的分词分别转换为对应的手语动作。
11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5中任一项所述的自然语言转换为手语的方法的步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的自然语言转换为手语的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910554752.5A CN110457673B (zh) | 2019-06-25 | 2019-06-25 | 一种自然语言转换为手语的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910554752.5A CN110457673B (zh) | 2019-06-25 | 2019-06-25 | 一种自然语言转换为手语的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110457673A true CN110457673A (zh) | 2019-11-15 |
| CN110457673B CN110457673B (zh) | 2023-12-19 |
Family
ID=68481028
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910554752.5A Active CN110457673B (zh) | 2019-06-25 | 2019-06-25 | 一种自然语言转换为手语的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110457673B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111246248A (zh) * | 2020-01-19 | 2020-06-05 | 托普朗宁(北京)教育科技有限公司 | 语句含义的动态呈现方法和装置、电子设备、存储介质 |
| CN111369652A (zh) * | 2020-02-28 | 2020-07-03 | 长沙千博信息技术有限公司 | 一种基于多个单独手语动作产生连续手语动作的方法 |
| CN112329451A (zh) * | 2020-12-03 | 2021-02-05 | 云知声智能科技股份有限公司 | 手语动作视频生成方法、装置、设备及存储介质 |
| CN113326746A (zh) * | 2021-05-13 | 2021-08-31 | 中国工商银行股份有限公司 | 用于人体模型的手语播报方法及装置 |
| CN115484493A (zh) * | 2022-09-09 | 2022-12-16 | 深圳市小溪流科技有限公司 | 一种iptv音视频实时转虚拟手语视频的实时智能流媒体*** |
| WO2023142590A1 (zh) * | 2022-01-30 | 2023-08-03 | 腾讯科技（深圳）有限公司 | 手语视频的生成方法、装置、计算机设备及存储介质 |
| WO2024091266A1 (en) * | 2022-10-25 | 2024-05-02 | Google Llc | System and method for generating visual captions |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101079268A (zh) * | 2006-12-28 | 2007-11-28 | 腾讯科技（深圳）有限公司 | 进行手语合成与显示的***和方法 |
| CN101539994A (zh) * | 2009-04-16 | 2009-09-23 | 西安交通大学 | 一种手语语音互译***及手语语音互译方法 |
| US20100063813A1 (en) * | 2008-03-27 | 2010-03-11 | Wolfgang Richter | System and method for multidimensional gesture analysis |
| US20150317304A1 (en) * | 2013-04-30 | 2015-11-05 | Samsung Electronics Co., Ltd. | Method and system for sign language translation and descriptive video service |
| WO2017065324A1 (ko) * | 2015-10-13 | 2017-04-20 | 주식회사 네오펙트 | 수화교육 시스템, 방법 및 프로그램 |
| US20180046618A1 (en) * | 2016-08-10 | 2018-02-15 | Samsung Electronics Co., Ltd. | Parallel processing-based translation method and apparatus |
| US20180101520A1 (en) * | 2016-10-11 | 2018-04-12 | The Japan Research Institute, Limited | Natural language processing apparatus, natural language processing method, and recording medium |
| US20180158369A1 (en) * | 2016-12-02 | 2018-06-07 | University Of Dammam | Systems and methodologies for assisting communications |
| CN108615009A (zh) * | 2018-04-24 | 2018-10-02 | 山东师范大学 | 一种基于动态手势识别的手语翻译交流*** |
| CN108960126A (zh) * | 2018-06-29 | 2018-12-07 | 北京百度网讯科技有限公司 | 手语翻译的方法、装置、设备及*** |
| CN109190578A (zh) * | 2018-09-13 | 2019-01-11 | 合肥工业大学 | 基于时域卷积网络与循环神经网络融合的手语视频翻译方法 |
| CN109656358A (zh) * | 2018-11-23 | 2019-04-19 | 南京麦丝特精密仪器有限公司 | 一种多维手语识别方法 |
| CN109670073A (zh) * | 2018-12-20 | 2019-04-23 | 科大讯飞股份有限公司 | 一种信息转换方法及装置、交互辅助*** |
| US10289903B1 (en) * | 2018-02-12 | 2019-05-14 | Avodah Labs, Inc. | Visual sign language translation training device and method |
-
2019
- 2019-06-25 CN CN201910554752.5A patent/CN110457673B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101079268A (zh) * | 2006-12-28 | 2007-11-28 | 腾讯科技（深圳）有限公司 | 进行手语合成与显示的***和方法 |
| US20100063813A1 (en) * | 2008-03-27 | 2010-03-11 | Wolfgang Richter | System and method for multidimensional gesture analysis |
| CN101539994A (zh) * | 2009-04-16 | 2009-09-23 | 西安交通大学 | 一种手语语音互译***及手语语音互译方法 |
| US20150317304A1 (en) * | 2013-04-30 | 2015-11-05 | Samsung Electronics Co., Ltd. | Method and system for sign language translation and descriptive video service |
| WO2017065324A1 (ko) * | 2015-10-13 | 2017-04-20 | 주식회사 네오펙트 | 수화교육 시스템, 방법 및 프로그램 |
| US20180046618A1 (en) * | 2016-08-10 | 2018-02-15 | Samsung Electronics Co., Ltd. | Parallel processing-based translation method and apparatus |
| US20180101520A1 (en) * | 2016-10-11 | 2018-04-12 | The Japan Research Institute, Limited | Natural language processing apparatus, natural language processing method, and recording medium |
| US20180158369A1 (en) * | 2016-12-02 | 2018-06-07 | University Of Dammam | Systems and methodologies for assisting communications |
| US10289903B1 (en) * | 2018-02-12 | 2019-05-14 | Avodah Labs, Inc. | Visual sign language translation training device and method |
| CN108615009A (zh) * | 2018-04-24 | 2018-10-02 | 山东师范大学 | 一种基于动态手势识别的手语翻译交流*** |
| CN108960126A (zh) * | 2018-06-29 | 2018-12-07 | 北京百度网讯科技有限公司 | 手语翻译的方法、装置、设备及*** |
| CN109190578A (zh) * | 2018-09-13 | 2019-01-11 | 合肥工业大学 | 基于时域卷积网络与循环神经网络融合的手语视频翻译方法 |
| CN109656358A (zh) * | 2018-11-23 | 2019-04-19 | 南京麦丝特精密仪器有限公司 | 一种多维手语识别方法 |
| CN109670073A (zh) * | 2018-12-20 | 2019-04-23 | 科大讯飞股份有限公司 | 一种信息转换方法及装置、交互辅助*** |
Non-Patent Citations (8)
| Title |
|---|
| NECATI CIHAN CAMGOZ ETC.: "Neural Sign Language Translation", 2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION * |
| NECATI CIHAN CAMGOZ.ETC.: "Neural Sign Language Translation", CVF OPEN ACCESS * |
| 姚登峰等: "基于音系学模型的手语理解", 中文信息学报, no. 01 * |
| 徐琳等: "面向机器翻译的中国手语的理解与合成", 《计算机学报》 * |
| 徐琳等: "面向机器翻译的中国手语的理解与合成", 《计算机学报》, no. 01, 12 January 2000 (2000-01-12) * |
| 曾维佳等: "基于人工神经网络的手语识别***", 信息与电脑(理论版), no. 11 * |
| 李俊宏等: "手语和口语理解及产生的脑机制对比", 心理科学进展, no. 09 * |
| 王军等: "融合注意力机制和连接时序分类的多模态手语识别", 信号处理, no. 09 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111246248A (zh) * | 2020-01-19 | 2020-06-05 | 托普朗宁(北京)教育科技有限公司 | 语句含义的动态呈现方法和装置、电子设备、存储介质 |
| CN111369652A (zh) * | 2020-02-28 | 2020-07-03 | 长沙千博信息技术有限公司 | 一种基于多个单独手语动作产生连续手语动作的方法 |
| CN111369652B (zh) * | 2020-02-28 | 2024-04-05 | 长沙千博信息技术有限公司 | 一种基于多个单独手语动作产生连续手语动作的方法 |
| CN112329451A (zh) * | 2020-12-03 | 2021-02-05 | 云知声智能科技股份有限公司 | 手语动作视频生成方法、装置、设备及存储介质 |
| CN112329451B (zh) * | 2020-12-03 | 2024-02-02 | 云知声智能科技股份有限公司 | 手语动作视频生成方法、装置、设备及存储介质 |
| CN113326746A (zh) * | 2021-05-13 | 2021-08-31 | 中国工商银行股份有限公司 | 用于人体模型的手语播报方法及装置 |
| WO2023142590A1 (zh) * | 2022-01-30 | 2023-08-03 | 腾讯科技（深圳）有限公司 | 手语视频的生成方法、装置、计算机设备及存储介质 |
| CN115484493A (zh) * | 2022-09-09 | 2022-12-16 | 深圳市小溪流科技有限公司 | 一种iptv音视频实时转虚拟手语视频的实时智能流媒体*** |
| WO2024091266A1 (en) * | 2022-10-25 | 2024-05-02 | Google Llc | System and method for generating visual captions |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110457673B (zh) | 2023-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110457673A (zh) | 一种自然语言转换为手语的方法及装置 | |
| TWI719557B (zh) | 基於梯度提升決策樹的模型訓練方法及裝置 | |
| KR102494139B1 (ko) | 뉴럴 네트워크 학습 장치 및 방법과, 음성 인식 장치 및 방법 | |
| WO2019237657A1 (zh) | 用于生成模型的方法和装置 | |
| CN110197658B (zh) | 语音处理方法、装置以及电子设备 | |
| US10978042B2 (en) | Method and apparatus for generating speech synthesis model | |
| US20220036903A1 (en) | Reverberation compensation for far-field speaker recognition | |
| CN105426404A (zh) | 一种音乐信息推荐方法、装置和终端 | |
| US10997965B2 (en) | Automated voice processing testing system and method | |
| CN107229731B (zh) | 用于分类数据的方法和装置 | |
| CN110019962B (zh) | 一种视频文案信息的生成方法及装置 | |
| WO2019169794A1 (zh) | 教学***中的注释内容显示方法以及装置 | |
| CN109582825B (zh) | 用于生成信息的方法和装置 | |
| CN110087143A (zh) | 视频处理方法和装置、电子设备及计算机可读存储介质 | |
| CN107680584B (zh) | 用于切分音频的方法和装置 | |
| CN104700831B (zh) | 分析音频文件的语音特征的方法和装置 | |
| CN110647613A (zh) | 一种课件构建方法、装置、服务器和存储介质 | |
| CN109408175B (zh) | 通用高性能深度学习计算引擎中的实时交互方法及*** | |
| CN108597522B (zh) | 一种语音处理方法及装置 | |
| US20190385590A1 (en) | Generating device, generating method, and non-transitory computer readable storage medium | |
| JP6082657B2 (ja) | ポーズ付与モデル選択装置とポーズ付与装置とそれらの方法とプログラム | |
| CN111460822A (zh) | 主题扩展的方法、装置、设备和存储介质 | |
| Skantze | A testbed for examining the timing of feedback using a map task | |
| CN113990327A (zh) | 说话对象表征提取模型训练方法和说话对象身份识别方法 | |
| CN112951274A (zh) | 语音相似度确定方法及设备、程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |