JP7113474B2 - data segmentation device - Google Patents
data segmentation device Download PDFInfo
- Publication number
- JP7113474B2 JP7113474B2 JP2018148249A JP2018148249A JP7113474B2 JP 7113474 B2 JP7113474 B2 JP 7113474B2 JP 2018148249 A JP2018148249 A JP 2018148249A JP 2018148249 A JP2018148249 A JP 2018148249A JP 7113474 B2 JP7113474 B2 JP 7113474B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- sentence
- unit
- boundary
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Machine Translation (AREA)
Description
本発明は、時系列に連続するシーケンスデータを分割する方法に関し、例えば、文章分割方法(センテンス・セグメンテーション)についての技術に関する。 The present invention relates to a method for segmenting sequence data that is continuous in time series, and for example, to a technique for a sentence segmentation method (sentence segmentation).
機械により同時通訳(リアルタイム通訳)を実現するためには、音声認識と機械翻訳とを実行する必要がある。つまり、自動同時通訳を実現するためには、自動音声認識と機械翻訳とを統合する必要がある。 In order to realize simultaneous interpretation (real-time interpretation) by a machine, it is necessary to perform speech recognition and machine translation. In other words, it is necessary to integrate automatic speech recognition and machine translation in order to realize automatic simultaneous interpretation.
自動音声認識により、取得されるデータ(文章データ)には、文章の区切り(セグメンテーション)が存在しない。一方、機械翻訳では、文章単位に区切られた文章(文章のデータ)が入力される必要がある。 Data (sentence data) acquired by automatic speech recognition does not have sentence breaks (segmentation). On the other hand, in machine translation, it is necessary to input sentences (sentence data) divided into sentence units.
近年、自動音声認識と機械翻訳とを統合するために、自動音声認識により取得されたデータ(文章データ)をリアルタイムで文章単位に分割し、文章単位に区切られた文章(文章のデータ)を取得するための技術が開発されている。 In recent years, in order to integrate automatic speech recognition and machine translation, data (sentence data) acquired by automatic speech recognition is divided into sentence units in real time, and sentences (sentence data) are acquired. Techniques have been developed to do so.
例えば、n-gram言語モデルを用いて会話音声の文章分割(センテンス・セグメンテーション)を自動で実行する技術がある(例えば、非特許文献1を参照)。 For example, there is a technique for automatically executing sentence segmentation of conversational speech using an n-gram language model (see, for example, Non-Patent Document 1).
このようなn-gram言語モデルを用いた手法では、文章の境界(区切り位置)を入力される単語間において発生する隠れイベント(hidden event)とみなす。そして、n-gram言語モデルを用いた手法では、文章の境界(区切り位置)が存在するとみなしたときと、文章の境界(区切り位置)が存在しないとみなしたときとの入力単語の尤度を計算する。具体的には、n-gram言語モデルを用いた手法では、入力される単語(単語データ)を、・・・,wt-1,wt,wt+1,・・・とし、次の2つの(仮定1)、(仮定2)を設定する。
(仮定1):
単語wtの後の位置に文章の境界(区切り位置)は存在せず、入力データは、・・・,wt-1,wt,wt+1,・・・のままであるものとする。
(仮定2):
単語wtの後の位置に文章の境界(区切り位置)が存在し、入力データは、・・・,wt-1,wt,</s>,<s>,wt+1,・・・であるものとする。なお、「</s>」は、文章の終端位置を示し、「<s>」は、文章の開始位置を示している。
In the technique using such an n-gram language model, boundaries (delimitation positions) of sentences are regarded as hidden events that occur between input words. Then, in the method using the n-gram language model, the likelihood of input words when it is assumed that sentence boundaries (delimiter positions) exist and when it is assumed that sentence boundaries (delimiter positions) do not exist is calculated. calculate. Specifically, in the method using the n - gram language model, the input words (word data) are . (Assumption 1) and (Assumption 2) are set.
(Assumption 1):
It is assumed that there is no sentence boundary (delimiter position ) at the position after the word w t , and the input data remains .
(Assumption 2):
A sentence boundary (delimiter position ) exists at a position after the word w t , and the input data is . shall be "</s>" indicates the end position of the text, and "<s>" indicates the start position of the text.
n-gram言語モデルを用いた手法では、上記(仮定1)の確率と(仮定2)の確率とを比較することにより、文章の境界(区切り位置)を予測する。例えば、n-gram言語モデルを用いた手法では、下記数式により規定される単語wtの後に文章の境界が存在する信頼度stに基づいて、文章の境界(区切り位置)を予測する。
o:n-gram言語モデルのオーダー(order)
なお、例えば、「p(</s>|wt-o+2
t)」は、wt-o+2,・・・,wt-1,wtの後に、</s>が存在する確率を示している。他の表記についても同様である。
In the method using the n-gram language model, the sentence boundaries (delimiter positions) are predicted by comparing the probability of (Assumption 1) and the probability of (Assumption 2). For example, in a technique using an n-gram language model, a sentence boundary (delimiter position) is predicted based on the reliability s t that a sentence boundary exists after a word w t defined by the following formula.
o: order of n-gram language model
For example, "p(</s>|w t-o+2 t )" indicates the probability that </s> exists after w t-o+2 , ..., w t-1 , w t . ing. The same applies to other notations.
しかしながら、上記のn-gram言語モデルを用いた手法では、以下の2つの問題点がある。 However, the above method using the n-gram language model has the following two problems.
第1に、n-gram言語モデルを用いた手法では、長い文章の依存性を把握することができない。文章は、通常、n-gramのオーダーよりも長いので、n単語より多い数の単語により構成される文章について、n-gram言語モデルを用いた手法では、当該文章の依存性を適切に判断することができず、その結果、文章の境界を適切に検出することができない。 First, the method using the n-gram language model cannot grasp the dependencies of long sentences. Since sentences are usually longer than the order of n-grams, for sentences composed of more than n words, the method using the n-gram language model appropriately judges the dependency of the sentences. As a result, sentence boundaries cannot be detected properly.
第2に、n-gram言語モデルを用いた手法では、2つのシーケンス(上記(仮定1)および(仮定2))の同時確率(generative probability)を比較することで、文章の境界(区切り位置)を予測するが、同時確率(generative probability)を用いたモデル(生成モデル(generative model))の検出精度(例えば、文章の境界の検出精度)は、条件付き確率を用いたモデル(識別モデル(discriminative model))の検出精度よりも劣る。 Second, in the method using the n-gram language model, by comparing the generative probability of the two sequences (above (hypothesis 1) and (hypothesis 2)), sentence boundaries (delimiter positions) However, the detection accuracy (e.g., sentence boundary detection accuracy) of a model using joint probability (generative model) is higher than that of a model using conditional probability (discriminative model). It is inferior to the detection accuracy of model)).
そこで、本発明は、上記課題に鑑み、シーケンスデータ(例えば、文章)を構成する単位データ数(例えば、単語数)に関係なく、リアルタイムでシーケンスデータ分割処理(例えば、文章分割処理)を実行することができるデータ・セグメンテーション装置を実現することを目的とする。 Therefore, in view of the above problems, the present invention executes sequence data division processing (eg, sentence division processing) in real time regardless of the number of unit data (eg, the number of words) constituting sequence data (eg, sentence). It is an object of the present invention to realize a data segmentation device capable of
上記課題を解決するための第1の発明は、ニューラルネットワーク部と、境界検出部と、を備えるデータ・セグメンテーション装置である。 A first invention for solving the above problems is a data segmentation device comprising a neural network section and a boundary detection section.
ニューラルネットワーク部は、時系列に連続するデータであるシーケンスデータ(例えば、文章)を構成する単位データ(例えば、語データ)を入力し、各要素がシーケンスデータ(例えば、文章)の境界位置である確率を示すデータであるm個(m:自然数)の要素と、もう1つの要素との合計m+1個の要素からなるm+1次元ベクトルデータを出力する。 The neural network unit inputs unit data (e.g., word data) that constitutes sequence data (e.g., sentences), which is data continuous in time series, and each element is a boundary position of the sequence data (e.g., sentences). It outputs m+1-dimensional vector data consisting of m+1 elements in total, including m (m: natural number) elements that are data indicating probability and another element.
境界検出部は、ニューラルネットワーク部から出力されるm+1次元ベクトルデータに基づいて、シーケンスデータ(例えば、文章)の境界位置を決定する。 The boundary detection unit determines boundary positions of sequence data (for example, sentences) based on the m+1-dimensional vector data output from the neural network unit.
このデータ・セグメンテーション装置では、例えば、語データ(例えば、単語データ)を入力とし、文章境界が存在する位置および確率を示すベクトルを出力とするニューラルネットワークによるモデルを用いて学習処理を行い、学習済みモデルを取得する。そして、このセンテンス・セグメンテーション装置では、上記の学習済みモデルを用いて、例えば、文章境界を検出する処理を行う。つまり、このセンテンス・セグメンテーション装置では、各要素が文章の境界位置である確率を示すデータであるm個(m:自然数)の要素の値を調べることで、文章境界が存在する位置を、容易かつ適切に検出することができる。また、このデータ・セグメンテーション装置では、m+1次元ベクトルデータを出力するので、例えば、「もう1つの要素」をm+1次元ベクトルの各要素の総和が、例えば「1」になるように設定することができる。これにより、例えば、ニューラルネットワーク部の出力層をソフトマックス層(活性化関数をSoftmax関数とする出力層)として扱うことが容易となる。 In this data segmentation device, for example, word data (for example, word data) is input, and learning processing is performed using a neural network model that outputs a vector indicating the position and probability of sentence boundaries. Get the model. Then, in this sentence segmentation device, using the learned model, for example, a process of detecting sentence boundaries is performed. In other words, in this sentence segmentation device, by examining the values of m (m: natural number) elements, which are data indicating the probability that each element is a sentence boundary position, the position where the sentence boundary exists can be easily and easily determined. can be properly detected. In addition, since this data segmentation device outputs m+1-dimensional vector data, for example, "another element" can be set so that the sum of each element of the m+1-dimensional vector becomes, for example, "1". . As a result, for example, the output layer of the neural network section can be easily treated as a softmax layer (an output layer whose activation function is the Softmax function).
第2の発明は、第1の発明であって、ニューラルネットワーク部は、再帰型ニューラルネットワークを含む。 A second invention is the first invention, wherein the neural network unit includes a recursive neural network.
これにより、このデータ・セグメンテーション装置では、例えば、長い文章の依存性も考慮することができ、文章を構成する単語数に関係なく、精度の高い文章境界検出処理、センテンス・セグメンテーション処理を実行することができる。 As a result, this data segmentation device can take into consideration the dependency of long sentences, for example, and can perform highly accurate sentence boundary detection processing and sentence segmentation processing regardless of the number of words that make up the sentence. can be done.
第3の発明は、第1または第2の発明であって、m次元の閾値ベクトルを設定する閾値ベクトル設定部をさらに備える。 A third invention is the first or second invention, further comprising a threshold vector setting unit for setting an m-dimensional threshold vector.
境界検出部は、m次元の閾値ベクトルとm+1次元ベクトルデータとに基づいて、シーケンスデータ(例えば、文章)の境界位置を決定する。 The boundary detection unit determines boundary positions of sequence data (for example, sentences) based on the m-dimensional threshold vector and the m+1-dimensional vector data.
第4の発明は、第3の発明であって、境界検出部は、m次元の閾値ベクトルのm個の要素と、m+1次元ベクトルデータのシーケンスデータ(例えば、文章)の境界位置である確率を示すデータであるm個の要素とを、それぞれ、比較することにより、シーケンスデータ(例えば、文章)の境界位置を決定する。 In a fourth invention based on the third invention, the boundary detection unit detects a probability of a boundary position between m elements of an m-dimensional threshold vector and sequence data (for example, sentences) of m+1-dimensional vector data. The boundary positions of the sequence data (for example, sentences) are determined by comparing each of the m elements, which are the indicated data.
これにより、このデータ・セグメンテーション装置では、簡単な比較処理を行うだけで、適切に文章の境界位置を決定(検出)することができる。 As a result, this data segmentation device can appropriately determine (detect) the boundary positions of sentences by simply performing a simple comparison process.
第5の発明は、第4の発明であって、境界検出部は、m次元の閾値ベクトルのm個の要素と、m+1次元ベクトルデータのシーケンスデータ(例えば、文章)の境界位置である確率を示すデータであるm個の要素とを、検出する対象のシーケンスデータ(例えば、文章)の境界位置が現時刻から時間的に近い順に、比較することでシーケンスデータ(例えば、文章)の境界位置を決定する処理を行い、シーケンスデータ(例えば、文章)の境界位置が決定されたとき、以降の比較処理を行わない。 In a fifth invention based on the fourth invention, the boundary detection unit detects the probability of a boundary position between m elements of an m-dimensional threshold vector and sequence data (for example, sentences) of m+1-dimensional vector data. The boundary position of the sequence data (e.g. sentence) is compared by comparing the m elements, which are the data shown, in the order in which the boundary position of the sequence data (e.g. sentence) to be detected is closest to the current time. When the boundary position of the sequence data (for example, sentence) is determined, the subsequent comparison processing is not performed.
これにより、このデータ・セグメンテーション装置では、現時刻tに時間的に近い方から順番に、例えば、ニューラルネットワーク部に入力された単語の後に文章境界があるか否かを判定することができる。そして、このセンテンス・セグメンテーション装置では、閾値ベクトルθを用いて比較処理により、文章境界を検出したら即文章境界検出処理を終了させる。従って、このセンテンス・セグメンテーション装置では、ユーザの発話開始からあまり時間を経過しない間に文章境界検出処理を行うことができるため、リアルタイムで文章分割処理を実行することができる。 As a result, in this data segmentation device, it is possible to determine, for example, whether or not there is a sentence boundary after a word input to the neural network unit, in order from the time closest to the current time t. Then, in this sentence segmentation apparatus, when a sentence boundary is detected by comparison processing using the threshold vector θ, the sentence boundary detection process is terminated immediately. Therefore, in this sentence segmentation apparatus, the sentence boundary detection process can be performed in a short time after the user starts speaking, so the sentence segmentation process can be performed in real time.
第6の発明は、第3から第5のいずれかの発明であって、閾値ベクトル設定部は、値F1を
F1=2×Precision×Recall/(Precision+Recall)
Precision:正しいと予測したデータのうち、実際に正しいデータであった割合
Recall:実際に正しいデータであるもののうち、正しいと予測されたデータの割合
とし、
評価値scoreを
score=F1-α×latency
latency:遅延時間(遅延量)
α:係数
としたとき、
閾値ベクトルθをチューニングするために用いるデータセットにおいて、評価値scoreが所定の値よりも大きな値となるように、閾値ベクトルθを設定する。
A sixth invention is the invention according to any one of the third to fifth inventions, wherein the threshold vector setting unit sets the value F 1 as F 1 =2×Precision×Recall/(Precision+Recall)
Precision: The percentage of data that was actually correct out of the data predicted to be correct Recall: The percentage of data predicted to be correct out of the data that was actually correct,
The evaluation value score is score=F 1 −α×latency
latency: delay time (delay amount)
When α is a coefficient,
The threshold vector θ is set so that the evaluation value score is greater than a predetermined value in the data set used for tuning the threshold vector θ.
このデータ・セグメンテーション装置では、上記によりチューニングされた閾値ベクトルθを用いてデータ・セグメンテーション処理を行うことができる。上記によりチューニングされた閾値ベクトルθは、データ・セグメンテーションの正確さ(accuracy)と遅延時間(latency)とを考慮した評価値に基づいて、最適化されているため、データ・セグメンテーションを実行するときの閾値処理に用いる閾値ベクトルθとして適切である。 In this data segmentation device, data segmentation processing can be performed using the threshold vector θ tuned as described above. The threshold vector θ tuned by the above is optimized based on the evaluation value considering the accuracy and latency of data segmentation, so when performing data segmentation It is appropriate as the threshold vector θ used for threshold processing.
つまり、このデータ・セグメンテーション装置では、上記のようにしてチューニングされた閾値ベクトルθを用いて、例えば、文章境界検出処理、センテンス・セグメンテーション処理を実行することで、高精度かつ低遅延の文章境界検出処理、センテンス・セグメンテーション処理を実現することができる。 In other words, in this data segmentation device, using the threshold vector θ tuned as described above, for example, by executing sentence boundary detection processing and sentence segmentation processing, sentence boundary detection can be performed with high accuracy and low delay. processing, sentence segmentation processing can be implemented.
なお、閾値ベクトルθをチューニングするために用いるデータセットにおいて、評価値scoreが最大となるように、閾値ベクトルθを設定してもよい。 Note that the threshold vector θ may be set such that the evaluation value score is maximized in the data set used for tuning the threshold vector θ.
本発明によれば、シーケンスデータ(例えば、文章)を構成する単位データ数(例えば、単語数)に関係なく、リアルタイムでシーケンスデータ分割処理(例えば、文章分割処理)を実行することができるシーケンスデータ分割方法(例えば、文章分割方法)、データ・セグメンテーション装置を実現することができる。また、当該文章分割方法、センテンス・セグメンテーション装置を利用することで、リアルタイムで精度の高い機械翻訳を行うことができ、さらに、機械によるリアルタイムでの同時通訳を実現することができる。 According to the present invention, sequence data segmentation processing (eg, sentence segmentation processing) can be executed in real time, regardless of the number of unit data (eg, the number of words) constituting sequence data (eg, sentences). A segmentation method (eg, a sentence segmentation method), a data segmentation device can be implemented. In addition, by using the sentence segmentation method and the sentence segmentation device, highly accurate machine translation can be performed in real time, and real-time simultaneous interpretation by a machine can be realized.
[第1実施形態]
第1実施形態について、図面を参照しながら、以下説明する。
[First embodiment]
A first embodiment will be described below with reference to the drawings.
<1.1:同時通訳システムの構成>
図1は、第1実施形態に係る同時通訳システム1000の概略構成図である。
<1.1: Configuration of Simultaneous Interpretation System>
FIG. 1 is a schematic configuration diagram of a
図2は、第1実施形態に係る文章分割装置100のセンテンス分割部2の概略構成図である。
FIG. 2 is a schematic configuration diagram of the
同時通訳システム1000は、図1に示すように、音声認識部Aud1と、文章分割装置100(データ・セグメンテーション装置)と、機械翻訳部MT1とを備える。
The
音声認識部Aud1は、例えば、マイク等の音声入力装置により取得された音声データDinを入力する。そして、音声認識部Aud1は、例えば、音響モデル、言語モデル、辞書のデータベースを有しており、音声データDinに対して、音響モデル、言語モデル、辞書を用いて、音声認識処理を実行し、音声データDinに対応する文章データD1を取得する。そして、音声認識部Aud1は、取得した文章データD1を文章分割装置100に出力する。
The voice recognition unit Aud1 inputs voice data Din acquired by a voice input device such as a microphone. The speech recognition unit Aud1 has, for example, a database of acoustic models, language models, and dictionaries. Sentence data D1 corresponding to voice data Din is obtained. Then, the speech recognition unit Aud1 outputs the acquired sentence data D1 to the
文章分割装置100は、図1に示すように、閾値ベクトル設定部1と、センテンス分割部2とを備える。
The
閾値ベクトル設定部1は、所定のデータセットを用いて、学習することにより、閾値ベクトルθを取得する。そして、閾値ベクトル設定部1は、取得した閾値ベクトルθをセンテンス分割部2に出力する。
The threshold
センテンス分割部2は、図2に示すように、単語取得部21と、ニューラルネットワーク部22と、文章境界検出部23と、センテンス取得部24とを備える。
The
単語取得部21は、音声認識部Aud1から出力される文章データD1を入力する。単語取得部21は、入力された文章データD1から単語データxtを取得し、取得した単語データxtをニューラルネットワーク部22に出力する。
The
ニューラルネットワーク部22は、複数のRNN層(RNN:Recurrent Neural Network)を有するニューラルネットワークにより構成されている。ニューラルネットワーク部22は、図2に示すように、埋込層221と、第1RNN層222と、第2RNN層223と、第3RNN層224と、出力マッピング層225と、ソフトマックス層226とを備える。
The
ニューラルネットワーク部22は、単語取得部21から出力される単語データxtを入力し、単語データxtを用いて、ニューラルネットワークによる処理を実行し、センテンス・セグメンテーション判定用データytを取得する。そして、ニューラルネットワーク部22は、取得したセンテンス・セグメンテーション判定用データytを文章境界検出部23に出力する。
The
埋込層221は、単語データxtに対して、埋め込み処理を行うための行列を用いて、行列変換することで、分散表現データに変換し、取得した分散表現データを第1RNN層222に出力する。
The embedding
第1RNN層222、第2RNN層223および第3RNN層224は、RNNにより構成されている。第1RNN層222は、時刻tにおいて埋込層221から出力される分散表現データxoemb(t)と、時刻t-1において第1RNN層222から出力されたデータxoRNN1(t-1)とを入力する。そして、第1RNN層222は、時刻tにおいて埋込層221から出力される分散表現データと、時刻t-1において第1RNN層222から出力されたデータとを用いて、RNNによる処理を実行する。つまり、第1RNN層222は、
xoRNN1(t)=Wrec×xoRNN1(t-1)+W1×xoemb(t)
Wrec:重み行列
W1:重み行列
に相当する処理を実行し、時刻tの第1RNN層の出力データxoRNN1(t)を取得し、当該データを第2RNN層223に出力する。
The
xo RNN1 (t)=W rec ×xo RNN1 (t−1)+W 1 ×xo emb (t)
W rec : Weight matrix W 1 : Performs processing corresponding to the weight matrix, acquires the output data xo RNN1 (t) of the first RNN layer at time t, and outputs the data to the
第2RNN層223は、時刻tにおいて第1RNN層222から出力されるデータと、時刻t-1において第2RNN層223から出力されたデータとを入力する。そして、第2RNN層223は、時刻tにおいて第1RNN層222から出力されるデータxoRNN1(t)と、時刻t-1において第2RNN層223から出力されたデータxoRNN2(t-1)とを用いて、RNNによる処理を実行する。つまり、第2RNN層223は、
xoRNN2(t)=Wrec2×xoRNN2(t-1)+W2×xoRNN1(t)
Wrec2:重み行列
W2:重み行列
に相当する処理を実行し、時刻tの第2RNN層の出力データxoRNN2(t)を取得し、当該データを第3RNN層224に出力する。
The
xo RNN2 (t)=W rec2 ×xo RNN2 (t−1)+W 2 ×xo RNN1 (t)
W rec2 : Weight matrix W 2 : Performs processing corresponding to the weight matrix, acquires output data xo RNN2 (t) of the second RNN layer at time t, and outputs the data to the
第3RNN層224は、時刻tにおいて第2RNN層223から出力されるデータと、時刻t-1において第3RNN層224から出力されたデータとを入力する。そして、第3RNN層224は、時刻tにおいて第2RNN層223から出力されるデータxoRNN2(t)と、時刻t-1において第3RNN層224から出力されたデータxoRNN3(t-1)とを用いて、RNNによる処理を実行する。つまり、第3RNN層224は、
xoRNN3(t)=Wrec3×xoRNN3(t-1)+W3×xoRNN2(t)
Wrec3:重み行列
W3:重み行列
に相当する処理を実行し、時刻tの第3RNN層の出力データxoRNN3(t)を取得し、当該データを出力マッピング層225に出力する。
The
xo RNN3 (t)=W rec3 ×xo RNN3 (t−1)+W 3 ×xo RNN2 (t)
W rec3 : weight matrix W 3 : performs processing corresponding to the weight matrix, acquires the output data xo RNN3 (t) of the third RNN layer at time t, and outputs the data to the
出力マッピング層225は、例えば、ニューラルネットワークにより構成されている。出力マッピング層225は、第3RNN層224から出力されたデータを入力する。出力マッピング層225は、第3RNN層224の各ノードから出力されるデータに対して重み付けを行い、重み付け後のデータを加算し、さらに、当該加算結果に対して、活性化関数による処理(例えば、tanh(x)による処理)を実行し、ソフトマックス層226のノード数と同じ次元のデータを取得する。そして、出力マッピング層225は、取得したデータをソフトマックス層226に出力する。
The
ソフトマックス層226は、例えば、活性化関数をSoftmax関数として、m+1次元(m:自然数)のベクトルを出力データとして出力する。ソフトマックス層226は、出力マッピング層225から出力されるデータに対して、活性化関数を用いた処理を実行し、m+1次元のベクトルデータを取得する。例えば、ソフトマックス層226のi番目(i:自然数、1≦i≦m+1)のノードの出力値yt(i)は、下記の数式(Softmax関数)により算出される。
ソフトマックス層226は、各ノードに対応する出力値yt(i)を要素とするm+1次元のベクトルデータを取得し、取得したm+1次元のベクトルデータを出力データyt(センテンス・セグメンテーション判定用データyt)として文章境界検出部23に出力する。
The
The
文章境界検出部23は、ニューラルネットワーク部22から出力されるセンテンス・セグメンテーション判定用データytと、閾値ベクトル設定部1から出力される閾値ベクトルθとを入力する。文章境界検出部23は、センテンス・セグメンテーション判定用データytと、閾値ベクトルθとに基づいて、文章境界を検出する処理を実行し、当該処理の検出結果データδtを取得する。そして、文章境界検出部23は、取得した検出結果データδtをセンテンス取得部24に出力する。
The sentence
センテンス取得部24は、音声認識部Aud1から出力される文章データD1と、文章境界検出部23から出力される検出結果データδtとを入力する。センテンス取得部24は、検出結果データδtに基づいて、文章データD1を文章単位に分割する。つまり、センテンス取得部24は、検出結果データδtに基づいて、文章データD1の文章の境界を示すデータ(例えば<EOS>の記号)を付与したデータをデータD2として取得し、取得したデータD2を機械翻訳部MT1に出力する。
The
図1を参照して、機械翻訳部MT1は、文章分割装置100から出力されるデータD2を入力する。機械翻訳部MT1は、データD2に対して、機械翻訳処理を実行し、機械翻訳処理後のデータDoutを取得する。
Referring to FIG. 1, machine translation unit MT1 receives data D2 output from
<1.2:同時通訳システムの動作>
以上のように構成された同時通訳システム1000の動作について説明する。
<1.2: Operation of Simultaneous Interpretation System>
The operation of the
(1.2.1:学習処理)
まず、同時通訳システム1000において、文章分割装置100のニューラルネットワーク部22のニューラルネットワークの学習処理について、説明する。
(1.2.1: learning processing)
First, in the
文章のシーケンスSをS=(S1,S2,・・・)とする。つまり、センテンスSi+1は、センテンスSiに続くセンテンスであるものとする。そして、1つの学習用サンプル(Xi,ni)が(Si,Si+1)から抽出されるものとする。そして、
Si=(w1
i,w2
i,・・・,wni
i)
であり、
(1)1≦t≦niの場合、
xt=wt
i
であり、
(2)ni+1≦t≦ni+mの場合、
xt=wt-ni
i+1
とする。なお、Xi=(x1,x2,・・・,xni+m)であり、Xiは、入力単語のシーケンスである。
Let a sequence S of sentences be S=(S 1 , S 2 , . . . ). That is, sentence S i+1 shall be the sentence following sentence S i . Then, one training sample (X i , n i ) shall be extracted from (S i , S i+1 ). and,
S i =( w 1 i , w 2 i , . . . , w ni i )
and
(1) If 1 ≤ t ≤ n i ,
x t = w t i
and
(2) if n i +1≦t≦n i +m,
x t =w t−ni i+1
and Note that X i =(x 1 , x 2 , . . . , x ni+m ), where X i is the sequence of input words.
データytが教師データ(理想データ)であるとき、ytは、以下のように定義される。
yt
<k>=1 if 1≦t≦ni、k=m+1
yt
<k>=1 if ni+1≦t≦ni+m、k=t-ni
yt
<k>=0 otherwise(上記以外の場合)
したがって、実データyt(訓練用データを入力したときの出力データyt)と教師データとのクロスエントロピーE(S)を最小にするために、以下の基準を採用する。
文章分割装置100のニューラルネットワーク部22では、訓練用データを入力し、出力データytを取得する。そして、取得したデータytについて、上記クロスエントロピーE(S)が所定の基準を満たすように、ニューラルネットワーク部22のニューラルネットワークのパラメータ(各シナプス間の重み付け)を決定する。そして、決定したパラメータ(各シナプス間の重み付け)を用いて、ニューラルネットワーク部22のニューラルネットワークにおいて、学習済みモデルを構築する。
When data yt is teacher data (ideal data), yt is defined as follows.
y t <k> = 1 if 1 ≤ t ≤ n i , k = m + 1
y t <k> =1 if n i +1≦t≦n i +m, k=t−n i
y t <k> = 0 otherwise (otherwise)
Therefore, in order to minimize the cross entropy E(S) between the actual data y t (output data y t when the training data is input) and the teacher data, the following criteria are adopted.
The
例えば、文章データD1が「i‘d like some strawberries how much does it cost」である場合について、図3を用いて説明する。 For example, a case where text data D1 is "i'd like some strawberries how much does it cost" will be described with reference to FIG.
図3は、学習時における文章分割装置100のニューラルネットワーク部22の各層のデータ入出力関係を時系列に展開した図である。
FIG. 3 is a diagram showing the data input/output relationship of each layer of the
図3に示すように、ニューラルネットワーク部22には、文章データD1から出力した以下の単語データxtが入力される。なお、m=3とする。
x1=「i」
x2=「‘d」
x3=「like」
x4=「some」
x5=「strawberries」
x6=「how」
x7=「much」
x8=「does」
そして、ニューラルネットワーク部22の出力は、m+1次元のベクトルである。時刻tのニューラルネットワーク部22の出力は、ytであり、
yt=(yt
<1>,yt
<2>,・・・,yt
<m>,yt
<m+1>)
yt
<1>:単語wt-1(入力データxt-1)の後に文章の境界(区切り)がある確率
yt
<2>:単語wt-2(入力データxt-2)の後に文章の境界(区切り)がある確率
・・・
yt
<m>:単語wt-m(入力データxt-m)の後に文章の境界(区切り)がある確率
yt
<m+1>:ytの全ての要素の加算値を「1」とするための値
yt
<m+1>は、以下の数式を満たす。
上記の場合、図3に示すように、「strawberries」の後に文章の境界があるので、教師データytを以下のデータとして、学習を行う。
y1=y2=y3=y4=y5=(0,0,0,1)
y6=(1,0,0,0)
y7=(0,1,0,0)
y8=(0,0,1,0)
上記以外の訓練用データについても同様にして学習を行う。つまり、上記クロスエントロピーE(S)が所定の基準を満たすように、ニューラルネットワーク部22のニューラルネットワークのパラメータ(各シナプス間の重み付け)を決定する。そして、決定したパラメータ(各シナプス間の重み付け)を用いて、ニューラルネットワーク部22のニューラルネットワークにおいて、学習済みモデルを構築する。
As shown in FIG. 3, the
x 1 = "i"
x 2 = "'d"
x 3 = "like"
x 4 = "some"
x 5 = "strawberries"
x 6 = "how"
x7 = "much"
x 8 = "does"
The output of the
yt = ( yt <1> , yt <2> , ..., yt < m > , yt < m +1> )
y t <1> : Probability of sentence boundary (delimiter) after word w t−1 (input data x t−1 ) y t <2> : Word w t−2 (input data x t−2 ) Probability that there is a sentence boundary (delimiter) after ...
y t <m> : Probability that there is a sentence boundary (separation) after word w t−m (input data x t−m ) y t <m+1> : The sum of all elements of y t The value for y t <m+1> satisfies the following formula.
In the above case, as shown in FIG. 3, since there is a sentence boundary after "strawberries", learning is performed using the following data as teacher data yt .
y1 =y2 = y3=y4= y5 = ( 0,0,0,1 )
y6 = (1,0,0,0)
y7 = (0, 1, 0, 0)
y8 = ( 0,0,1,0 )
Training data other than the above are similarly learned. That is, the neural network parameters (weighting between synapses) of the
(1.2.2:予測処理)
次に、同時通訳システム1000において、上記学習処理により取得した学習済みモデルを用いた予測処理、すなわち、同時通訳処理について説明する。
(1.2.2: prediction processing)
Next, in the
以下では、説明便宜のため、学習用の文章データD1が「i‘d like some strawberries how much does it cost」である場合について、説明する。 For convenience of explanation, a case where the text data D1 for learning is "i'd like some strawberries how much does it cost" will be explained below.
図4は、予測時(実行時)における文章分割装置100のニューラルネットワーク部22の各層のデータ入出力関係を時系列に展開した図である。
FIG. 4 is a diagram showing the data input/output relationship of each layer of the
図4に示すように、ニューラルネットワーク部22には、文章データD1から出力した以下の単語データxtが入力される。なお、m=3とする。
As shown in FIG. 4, the
単語取得部21は、音声認識部Aud1から入力された文章データD1から単語データxt(時刻tにおける単語データxt)を取得する。具体的には、単語取得部21は、t=1~8(1≦t≦8)において、文章データD1から以下の単語データxtを取得し、ニューラルネットワーク部22の埋込層221に入力する。
x1=「i」
x2=「‘d」
x3=「like」
x4=「some」
x5=「strawberries」
x6=「how」
x7=「much」
x8=「does」
埋込層221では、入力された単語データxtに対応する分散表現データが取得される。取得された分散表現データは、第1RNN層222に入力される。
The
x 1 = "i"
x 2 = "'d"
x 3 = "like"
x 4 = "some"
x 5 = "strawberries"
x 6 = "how"
x7 = "much"
x 8 = "does"
The embedding
第1RNN層222は、時刻tにおいて埋込層221から出力される分散表現データxoemb(t)と、時刻t-1において第1RNN層222から出力されたデータxoRNN1(t-1)とを用いて、RNNによる処理を実行する。つまり、第1RNN層222は、
xoRNN1(t)=Wrec×xoRNN1(t-1)+W1×xoemb(t)
Wrec:重み行列
W1:重み行列
に相当する処理を実行し、時刻tの第1RNN層の出力データxoRNN1(t)を取得し、当該データを第2RNN層223に出力する。
The
xo RNN1 (t)=W rec ×xo RNN1 (t−1)+W 1 ×xo emb (t)
W rec : Weight matrix W 1 : Performs processing corresponding to the weight matrix, acquires the output data xo RNN1 (t) of the first RNN layer at time t, and outputs the data to the
第2RNN層223は、時刻tにおいて第1RNN層222から出力されるデータxoRNN1(t)と、時刻t-1において第2RNN層223から出力されたデータxoRNN2(t-1)とを用いて、RNNによる処理を実行する。つまり、第2RNN層223は、
xoRNN2(t)=Wrec2×xoRNN2(t-1)+W2×xoRNN1(t)
Wrec2:重み行列
W2:重み行列
に相当する処理を実行し、時刻tの第2RNN層の出力データxoRNN2(t)を取得し、当該データを第3RNN層224に出力する。
Using the data xo RNN1 (t) output from the
xo RNN2 (t)=W rec2 ×xo RNN2 (t−1)+W 2 ×xo RNN1 (t)
W rec2 : Weight matrix W 2 : Performs processing corresponding to the weight matrix, acquires output data xo RNN2 (t) of the second RNN layer at time t, and outputs the data to the
第3RNN層224は、時刻tにおいて第2RNN層223から出力されるデータxoRNN2(t)と、時刻t-1において第3RNN層224から出力されたデータxoRNN3(t-1)とを用いて、RNNによる処理を実行する。つまり、第3RNN層224は、
xoRNN3(t)=Wrec3×xoRNN3(t-1)+W3×xoRNN2(t)
Wrec3:重み行列
W3:重み行列
に相当する処理を実行し、時刻tの第3RNN層の出力データxoRNN3(t)を取得し、当該データを出力マッピング層225に出力する。
Using the data xo RNN2 (t) output from the
xo RNN3 (t)=W rec3 ×xo RNN3 (t−1)+W 3 ×xo RNN2 (t)
W rec3 : weight matrix W 3 : performs processing corresponding to the weight matrix, acquires the output data xo RNN3 (t) of the third RNN layer at time t, and outputs the data to the
出力マッピング層225は、第3RNN層224の各ノードから出力されるデータに対して重み付けを行い、重み付け後のデータを加算し、さらに、当該加算結果に対して、活性化関数による処理(例えば、tanh(x)による処理)を実行し、ソフトマックス層226のノード数と同じ次元のデータを取得する。そして、出力マッピング層225は、取得したデータをソフトマックス層226に出力する。
The
ソフトマックス層226は、出力マッピング層225から出力されるデータに対して、活性化関数を用いた処理を実行し、m+1次元のベクトルデータを取得する。例えば、ソフトマックス層226のi番目(i:自然数、1≦i≦m+1)のノードの出力値yt(i)は、下記の数式(Softmax関数)により算出される。
ソフトマックス層226は、各ノードに対応する出力値yt(i)を要素とするm+1次元のベクトルデータを取得し、取得したm+1次元のベクトルデータを出力データyt(センテンス・セグメンテーション判定用データyt)として文章境界検出部23に出力する。
The
The
図4の場合、y1~y8は、以下のデータとして取得されたものとする。
y1=(y1
<1>,y1
<2>,y1
<3>,y1
<4>)
=(0.15,0.21,0.18,0.46)
y2=(y2
<1>,y2
<2>,y2
<3>,y2
<4>)
=(0.13,0.24,0.21,0.42)
y3=(y3
<1>,y3
<2>,y3
<3>,y3
<4>)
=(0.25,0.11,0.22,0.42)
y4=(y4
<1>,y4
<2>,y4
<3>,y4
<4>)
=(0.36,0.24,0.21,0.19)
y5=(y5
<1>,y5
<2>,y5
<3>,y5
<4>)
=(0.17,0.19,0.13,0.51)
y6=(y6
<1>,y6
<2>,y6
<3>,y6
<4>)
=(0.33,0.24,0.21,0.22)
y7=(y7
<1>,y7
<2>,y7
<3>,y7
<4>)
=(0.15,0.51,0.12,0.22)
y8=(y8
<1>,y8
<2>,y8
<3>,y8
<4>)
=(0.13,0.24,0.61,0.02)
また、閾値ベクトル設定部1は、所定のデータセットを用いて学習した閾値ベクトルθをセンテンス分割部2に出力する。なお、ここでは、閾値ベクトルθは、
θ=(θ<1>,θ<2>,θ<3>)=(0.4,0.5,0.6)
であるものとする。
In the case of FIG. 4, y 1 to y 8 are obtained as the following data.
y1 = ( y1 < 1 > , y1 <2> , y1< 3 > , y1< 4 > )
= (0.15, 0.21, 0.18, 0.46)
y2 = (y2 <1> , y2 <2> , y2< 3 > , y2 < 4 > )
= (0.13, 0.24, 0.21, 0.42)
y3=(y3 <1> , y3< 2 > , y3 < 3 > , y3 <4> )
= (0.25, 0.11, 0.22, 0.42)
y4 =(y4 <1> , y4 <2> , y4< 3 > , y4 < 4 > )
= (0.36, 0.24, 0.21, 0.19)
y5 = (y5 <1> , y5 <2> , y5 < 3 > , y5< 4 > )
= (0.17, 0.19, 0.13, 0.51)
y6 =( y6 <1> , y6 <2> , y6 <3> , y6 <4> )
= (0.33, 0.24, 0.21, 0.22)
y7 =( y7 <1> , y7 <2> , y7 <3> , y7 <4> )
= (0.15, 0.51, 0.12, 0.22)
y8 = ( y8 <1> , y8 <2> , y8< 3 > , y8< 4 > )
= (0.13, 0.24, 0.61, 0.02)
Also, the threshold
θ=(θ <1> , θ <2> , θ <3> )=(0.4, 0.5, 0.6)
shall be
文章境界検出部23は、ニューラルネットワーク部22から出力されるセンテンス・セグメンテーション判定用データytと、閾値ベクトルθとに基づいて、文章境界を検出する処理を実行する。この処理について、図5のフローチャートを用いて説明する。
The sentence
図5は、文章境界検出処理のフローチャートである。 FIG. 5 is a flow chart of sentence boundary detection processing.
(ステップS1):
ステップS1において、文章境界検出部23は、i=1に設定する処理を行う。
(Step S1):
In step S1, the sentence
(ステップS2):
ステップS2において、文章境界検出部23は、センテンス・セグメンテーション判定用データytのi番目の要素yt
<i>と、閾値ベクトルθのi番目の要素θ<i>との比較処理を行う。そして、yt
<i>>θ<i>である場合、処理をステップS3に進め、yt
<i>>θ<i>ではない場合、処理をステップS4に進める。
(Step S2):
In step S2, the sentence
(ステップS3):
ステップS3において、文章境界検出部23は、文章境界決定処理を行う。具体的には、文章境界検出部23は、yt
<i>>θ<i>であるので、文章境界(文章の区切り位置)が時刻t-iにニューラルネットワーク部22に入力された単語xt-iの後であると判定する。そして、文章境界検出部23は、当該判定結果を含むデータをセンテンス取得部24に出力する。具体的には、文章境界検出部23は、時刻tにおいて、ニューラルネットワーク部22に入力された単語xtの後に文章境界があると判定した場合、δt=1とし、ニューラルネットワーク部22に入力された単語xtの後に文章境界がないと判定した場合、δt=0とする。そして、δtを含むデータをセンテンス取得部24に出力する。
(Step S3):
In step S3, the sentence
例えば、図4の場合、y7
<2>>θ<2>(0.51>0.5)であるので、δ5=1(5=7-2)となり、文章境界検出部23は、x5(「strawberries」)の後に、文章境界があると判定する。
For example, in the case of FIG. 4, since y 7 <2> >θ <2> (0.51>0.5), δ 5 =1 (5=7−2), and the sentence
(ステップS4):
ステップS4において、文章境界検出部23は、値iと値mとを比較し、i>mである場合、処理を終了させ、i>mではない場合、処理をステップS5に進める。
(Step S4):
In step S4, the sentence
ステップS5では、値iを1だけインクリメントし、処理をステップS2に戻す。 In step S5, the value i is incremented by 1, and the process returns to step S2.
文章境界検出部23では、上記のようにして、文章境界検出処理が実行される。
The sentence
上記の通り、文章境界検出部23では、現時刻tに時間的に近い方から順番に、ニューラルネットワーク部22に入力された単語の後に文章境界があるか否かを判定する。そして、文章境界検出部23は、センテンス・セグメンテーション判定用データytと、閾値ベクトルθとの比較処理により、文章境界があると判定したら、即座に文章境界を出力し処理を終了させる。したがって、文章境界検出部23では、高速に文章境界を検出することができる。また、文章境界検出部23では、上記の通り、現時刻tから1~mステップ前の時刻(t-1~t-m)までのm個のデータについてのみ、文章境界検出処理を行うので、文章境界が検出されない場合において、処理が不要に長引くことを防止することができる。
As described above, the sentence
センテンス取得部24は、文章境界検出部23により取得された検出結果データδtに基づいて、文章データD1を文章単位に分割する。例えば、センテンス取得部24は、検出結果データδtに基づいて、文章データD1の文章の境界を示すデータ(<EOS>)を付与したデータをデータD2として取得し、取得したデータD2を機械翻訳部MT1に出力する。例えば、図4の場合、δ5=1であるため、センテンス取得部24は、「strawberries」の後に文章境界があると適切に判定することができる。
The
機械翻訳部MT1は、文章分割装置100から出力されるデータD2に対して、機械翻訳処理を実行し、機械翻訳処理後のデータDoutを取得する。このとき、文章分割装置100から出力されるデータD2は、文章の区切り(文章境界)が明示されているデータであるため、機械翻訳部MT1は、機械翻訳対象とする文章を適切に取得することができる。つまり、機械翻訳部MT1は、文章単位に機械翻訳処理を実行することができる。例えば、図4の場合、δ5=1であり、「strawberries」の後に文章境界があると判定することができるので、機械翻訳部MT1は、「i‘d like some strawberries」を一文と判定した上で翻訳文を出力し、次の一文が「how」から始まることを適切に把握することができる。
The machine translation unit MT1 performs machine translation processing on the data D2 output from the
したがって、機械翻訳部MT1は、文章境界が適切に判断された文章単位に機械翻訳を行うことができ、その結果、精度の高い機械翻訳結果を取得することができる。機械翻訳部MT1により取得された機械翻訳結果データは、データDoutとして出力される。 Therefore, the machine translation unit MT1 can perform machine translation on sentence units whose sentence boundaries are appropriately determined, and as a result, can obtain a highly accurate machine translation result. The machine translation result data acquired by the machine translation unit MT1 is output as data Dout.
以上のように、同時通訳システム1000では、単語データを入力とし、文章境界が存在する位置および確率を示すベクトルを出力とするニューラルネットワークによるモデルを用いて学習処理を行い、学習済みモデルを取得する。そして、同時通訳システム1000では、上記の学習済みモデルを用いて、文章境界を検出する処理を行う。同時通訳システム1000では、閾値ベクトルθを導入し、現時刻tに時間的に近い方から順番に、ニューラルネットワーク部22に入力された単語の後に文章境界があるか否かを判定する。そして、同時通訳システム1000では、閾値ベクトルθを用いて比較処理により、文章境界を検出したら即座に文章境界検出処理を終了させるとともに、平均してユーザの音声入力開始から文章境界検出までの時間(遅延時間)が短いため、リアルタイムで文章分割処理を実行することができる。
As described above, the
また、同時通訳システム1000では、単語データを入力とし、文章境界が存在する位置および確率を示すベクトルを出力とするニューラルネットワークにおいて、RNNを用いているため、長い文章の依存性も考慮することができ、文章を構成する単語数に関係なく、精度の高い文章境界検出処理、センテンス・セグメンテーション処理を実行することができる。
In addition, since the
また、同時通訳システム1000では、上記の通り、精度の高い文章境界検出処理、センテンス・セグメンテーション処理を実行できるので、文章境界を明示したデータを機械翻訳部MT1に入力し、機械翻訳部MT1が当該データに対して、機械翻訳処理を実行することで、精度の高い機械翻訳処理結果をリアルタイムで取得することができる。そして、このようにして取得した機械翻訳結果を、例えば、ディスプレイ等にテキストデータとして表示することで、同時通訳処理(リアルタイム通訳処理)を実行することができる。また、同時通訳システム1000において、上記のようにして取得した機械翻訳結果を、例えば、音声合成処理部により、音声合成処理を行い、機械翻訳結果に対応する合成音声を出力することで、同時通訳処理(リアルタイム通訳処理)を実行することができる。
As described above, the
≪変形例≫
次に、第1実施形態の変形例について、説明する。
<<Modification>>
Next, a modified example of the first embodiment will be described.
本変形例の同時通訳システムでは、閾値ベクトル設定部1において、センテンス・セグメンテーションの正確さ(accuracy)と遅延時間(latency)とを考慮した評価値を導入し、当該評価値に基づいて、閾値ベクトルθをチューニングする方法について、説明する。
In the simultaneous interpretation system of this modified example, the threshold
まず、値F1(F値)を
F1=2×Precision×Recall/(Precision+Recall)
Precision:正しいと予測したデータのうち、実際に正しいデータであった割合
Recall:実際に正しいデータであるもののうち、正しいと予測されたデータの割合
とする。
First, the value F 1 (F value) is F 1 =2×Precision×Recall/(Precision+Recall)
Precision: Percentage of actually correct data out of data predicted to be correct Recall: Percentage of data predicted to be correct out of data that is actually correct.
そして、評価値scoreを
score=F1-α×latency
latency:遅延時間(遅延量)
とする。
Then, the evaluation value score is score=F 1 -α×latency
latency: delay time (delay amount)
and
なお、αは係数であり、例えば、α=0.01である。 Note that α is a coefficient, and for example, α=0.01.
そして、閾値ベクトルθをチューニングするために用いるデータセットにおいて、上記評価値scoreを最大にするように、貪欲法(Greedy Algorithm)を用いたサーチを行う。例えば、図6に疑似コードを示したアルゴリズムにより、閾値ベクトルθをチューニングする。この手法では、その親データの評価値scoreが大きな値となる閾値ベクトルの優先順位を高くする。そして、上記手法では、θ<k>が降順となるようにし、ヒューリスティック手法により探索空間を刈り取る(取り除く)ことで、閾値ベクトルθをチューニングする。 Then, in the data set used for tuning the threshold vector θ, a search is performed using a greedy algorithm so as to maximize the evaluation value score. For example, the algorithm shown in pseudocode in FIG. 6 tunes the threshold vector θ. In this method, a threshold vector having a large evaluation value score of its parent data is given a high priority. Then, in the above method, θ <k> is arranged in descending order, and the threshold vector θ is tuned by pruning (removing) the search space using a heuristic method.
上記によりチューニングされた閾値ベクトルθは、センテンス・セグメンテーションの正確さ(accuracy)と遅延時間(latency)とを考慮した評価値に基づいて、最適化されているため、センテンス・セグメンテーションを実行するときの閾値処理に用いる閾値ベクトルθとして適切である。 The threshold vector θ tuned by the above is optimized based on the evaluation value considering sentence segmentation accuracy and latency, so when executing sentence segmentation It is appropriate as the threshold vector θ used for threshold processing.
つまり、本変形例の同時通訳システムでは、上記のようにしてチューニングされた閾値ベクトルθを用いて、文章境界検出処理、センテンス・セグメンテーション処理を実行することで、高精度かつ低遅延の文章境界検出処理、センテンス・セグメンテーション処理を実現することができる。 In other words, in the simultaneous interpretation system of this modified example, the threshold vector θ tuned as described above is used to execute the sentence boundary detection process and the sentence segmentation process, thereby achieving sentence boundary detection with high accuracy and low delay. processing, sentence segmentation processing can be implemented.
[第2実施形態]
次に、第2実施形態について、説明する。
[Second embodiment]
Next, a second embodiment will be described.
なお、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。 Parts similar to those of the above-described embodiment are given the same reference numerals, and detailed description thereof is omitted.
図7は、第2実施形態に係る話者識別システム2000の概略構成図である。
FIG. 7 is a schematic configuration diagram of a
図8は、第2実施形態に係る話者識別システム2000のデータ分割装置100Aのデータ分割部2Aの概略構成図である。
FIG. 8 is a schematic configuration diagram of the
第2実施形態では、第1実施形態の同時通訳システム1000の文章分割装置100に類似する構成を有するデータ分割装置100Aを用いて、話者識別システム2000を構築し、話者識別処理を実現させる方法について説明する。
In the second embodiment, a
話者識別システム2000は、図7に示すように、第1実施形態の同時通訳システム1000において、音声認識部Aud1を音声特徴量取得部Pre1に置換し、文章分割装置100をデータ分割装置100Aに置換し、機械翻訳部MT1を話者識別部Post1に置換した構成を有している。
As shown in FIG. 7, in the
音声特徴量取得部Pre1は、入力データDin(例えば、音声データ)から時間的に連続した音声特徴量を取得し、取得した音声特徴量を含むデータをデータD1Aとしてデータ分割装置100Aに出力する。
The speech feature acquisition unit Pre1 acquires temporally continuous speech features from the input data Din (for example, speech data), and outputs data including the acquired speech features as data D1A to the
データ分割装置100Aは、図7に示すように、閾値ベクトル設定部1と、データ分割部2Aとを備える。
As shown in FIG. 7, the
閾値ベクトル設定部1は、第1実施形態の閾値ベクトル設定部1と同様の構成を有している。
The threshold
データ分割部2Aは、図8に示すように、単位データ取得部21Aと、ニューラルネットワーク部22と、境界検出部23Aと、分割データ取得部24Aとを備える。
As shown in FIG. 8, the
単位データ取得部21Aは、第1実施形態の単語取得部21と類似の処理を実行する機能部であり、入力されるデータD1A(例えば、時間的に連続した音声特徴量のデータ)から、ニューラルネットワークでの処理単位となるデータ(単位データ)を取得し、取得したデータをデータxtとしてニューラルネットワーク部22に出力する。
The unit
ニューラルネットワーク部22では、学習処理において、第1実施形態と同様の処理が実行される。なお、第1実施形態のニューラルネットワーク部22では、センテンスの区切り位置において教師データytのyt
<k>の値を「1」として学習処理を実行したが、本実施形態のニューラルネットワーク部22では、話者が切り替わった時刻を区切り位置として当該区切り位置において教師データytのyt
<k>の値を「1」として学習処理を実行する。
In the
ニューラルネットワーク部22は、予測処理において、第1実施形態のニューラルネットワーク部22と同様の処理を実行する。
The
境界検出部23Aは、第1実施形態の文章境界検出部23と同様の構成を有しており、ニューラルネットワーク部22から出力されるデータytと、閾値ベクトル設定部1から出力される閾値ベクトルθとに基づいて、第1実施形態と同様の処理により、データ境界(話者が切り替わったタイミング)を検出する。そして、境界検出部23Aは、検出結果データδtを分割データ取得部24Aに出力する。
The boundary detection unit 23A has the same configuration as the sentence
分割データ取得部24Aは、第1実施形態のセンテンス取得部24と同様の構成を有しており、境界検出部23Aにより取得された検出結果データδtに基づいて、データD1Aを話者ごとのデータに分割する。例えば、分割データ取得部24Aは、検出結果データδtに基づいて、データD1Aの境界(話者が変わったタイミング)を示すデータ(例えば、特別な記号)を付与したデータをデータD2Aとして取得し、取得したデータD2Aを話者識別部Post1に出力する。
The divided
話者識別部Post1は、データ分割部2Aから出力されるデータD2Aを入力する。話者識別部Post1は、データD2AからデータD1Aの境界(話者が変わったタイミング)を特定し、話者を識別する処理を実行し、当該識別処理の結果を含むデータDoutを出力する。
The speaker identifying section Post1 receives data D2A output from the
上記により、話者識別システム2000では、時間的に連続するデータから、特定の区切り(本実施形態では、話者の変更)を検出する処理を実行することができる。そして、話者識別システム2000では、第1実施形態と同様の手法を用いているので、検出結果を取得するまでの時間が短く、その結果、リアルタイムで検出処理を実行することができる。
As described above, the
[第3実施形態]
次に、第3実施形態について、説明する。
[Third Embodiment]
Next, a third embodiment will be described.
なお、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。 Parts similar to those of the above-described embodiment are given the same reference numerals, and detailed description thereof is omitted.
図9は、第3実施形態に係る映像識別システム3000の概略構成図である。
FIG. 9 is a schematic configuration diagram of a
図10は、第3実施形態に係る映像識別システム3000のデータ分割装置100Bのデータ分割部2Bの概略構成図である。
FIG. 10 is a schematic configuration diagram of the
第3実施形態では、第2実施形態の話者識別システム2000のデータ分割装置100Aと同様の構成を有するデータ分割装置100Bを用いて、映像識別システム3000を構築し、映像識別処理(シーンチェンジの検出処理)を実現させる方法について説明する。
In the third embodiment, a
映像識別システム3000は、図9に示すように、第2実施形態の話者識別システム2000において、音声特徴量取得部Pre1を映像データ取得部Pre2に置換し、データ分割装置100Aをデータ分割装置100Bに置換し、話者識別部Post1をシーンチェンジ検出部Post2に置換した構成を有している。
As shown in FIG. 9, the
映像データ取得部Pre2は、入力データDin(例えば、映像データ、あるいは、映像データをCNN(Convolutional Neural Network)により圧縮して取得したデータ)から時間的に連続したデータを取得し、取得したデータをデータD1Bとしてデータ分割装置100Bに出力する。
The video data acquisition unit Pre2 acquires temporally continuous data from input data Din (for example, video data or data acquired by compressing video data by a CNN (Convolutional Neural Network)), and converts the acquired data into It is output to the
データ分割装置100Bは、図9に示すように、閾値ベクトル設定部1と、データ分割部2Bとを備える。
As shown in FIG. 9, the
閾値ベクトル設定部1は、第1実施形態の閾値ベクトル設定部1と同様の構成を有している。
The threshold
データ分割部2Bは、図10に示すように、単位データ取得部21Bと、ニューラルネットワーク部22と、境界検出部23Bと、分割データ取得部24Bとを備える。
As shown in FIG. 10, the
単位データ取得部21Bは、第1実施形態の単語取得部21と類似の処理を実行する機能部であり、入力されるデータD1B(例えば、時間的に連続した映像のデータ、あるいは、時間的に連続した映像のデータのCNNによる圧縮後のデータ)から、ニューラルネットワークでの処理単位となるデータ(単位データ)を取得し、取得したデータをデータxtとしてニューラルネットワーク部22に出力する。
The unit
ニューラルネットワーク部22では、学習処理において、第1実施形態と同様の処理が実行される。なお、第1実施形態のニューラルネットワーク部22では、センテンスの区切り位置において教師データytのyt
<k>の値を「1」として学習処理を実行したが、本実施形態のニューラルネットワーク部22では、シーンが切り替わった時刻(シーンチェンジの時刻)を区切り位置として当該区切り位置において教師データytのyt
<k>の値を「1」として学習処理を実行する。
In the
ニューラルネットワーク部22は、予測処理において、第1実施形態のニューラルネットワーク部22と同様の処理を実行する。
The
境界検出部23Bは、第1実施形態の文章境界検出部23と同様の構成を有しており、ニューラルネットワーク部22から出力されるデータytと、閾値ベクトル設定部1から出力される閾値ベクトルθとに基づいて、第1実施形態と同様の処理により、データ境界(シーンが切り替わったタイミング)を検出する。そして、境界検出部23Bは、検出結果データδtを分割データ取得部24Bに出力する。
The boundary detection unit 23B has the same configuration as the sentence
分割データ取得部24Bは、第1実施形態のセンテンス取得部24と同様の構成を有しており、境界検出部23Bにより取得された検出結果データδtに基づいて、データD1Bをシーンごとのデータに分割する。例えば、分割データ取得部24Bは、検出結果データδtに基づいて、データD1Bの境界(シーンが切り替わったタイミング)を示すデータ(例えば、特別な記号)を付与したデータをデータD2Bとして取得し、取得したデータD2Bをシーンチェンジ検出部Post2に出力する。
The divided
シーンチェンジ検出部Post2は、データ分割部2Bから出力されるデータD2Bを入力する。シーンチェンジ検出部Post2は、データD2BからデータD1Bの境界(シーンが切り替わったタイミング)を特定し、シーンチェンジを検出する処理を実行し、当該検出結果を含むデータDoutを出力する。
The scene change detector Post2 receives the data D2B output from the
上記により、映像識別システム3000では、時間的に連続するデータから、特定の区切り(本実施形態では、シーンチェンジ)を検出する処理を実行することができる。そして、映像識別システム3000では、第1実施形態と同様の手法を用いているので、検出結果を取得するまでの時間が短く、その結果、リアルタイムで検出処理を実行することができる。
As described above, the
≪第1変形例≫
次に、第3実施形態の第1変形例について、説明する。
<<First Modification>>
Next, the 1st modification of 3rd Embodiment is demonstrated.
なお、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。 Parts similar to those of the above-described embodiment are given the same reference numerals, and detailed description thereof is omitted.
図11は、第3実施形態の第1変形例に係る映像識別システム3000Aの概略構成図である。
FIG. 11 is a schematic configuration diagram of a
第3実施形態の第1変形例では、第2実施形態の話者識別システム2000のデータ分割装置100Aと同様の構成を有するデータ分割装置100Bを用いて、映像識別システム3000Aを構築し、映像識別処理(人物検出処理)を実現させる方法について説明する。
In the first modification of the third embodiment, a
映像識別システム3000Aは、図11に示すように、第3実施形態の映像識別システム3000において、映像データ取得部Pre2を映像データ取得部Pre3に置換し、シーンチェンジ検出部Post2を人物検出部Post3に置換した構成を有している。
As shown in FIG. 11, the
映像データ取得部Pre3は、入力データDin(例えば、映像データ、あるいは、映像データをCNN(Convolutional Neural Network)により圧縮して取得したデータ)から時間的に連続したデータを取得し、取得したデータをデータD1Bとしてデータ分割装置100Bに出力する。
The image data acquisition unit Pre3 acquires temporally continuous data from input data Din (for example, image data or data acquired by compressing image data by a CNN (Convolutional Neural Network)), and converts the acquired data into It is output to the
データ分割装置100Bでは、第3実施形態と同様の処理が実行される。
The
単位データ取得部21Bは、第1実施形態の単語取得部21と類似の処理を実行する機能部であり、入力されるデータD1B(例えば、時間的に連続した映像のデータ、あるいは、時間的に連続した映像のデータのCNNによる圧縮後のデータ)から、ニューラルネットワークでの処理単位となるデータ(単位データ)を取得し、取得したデータをデータxtとしてニューラルネットワーク部22に出力する。
The unit
ニューラルネットワーク部22では、学習処理において、第1実施形態と同様の処理が実行される。なお、第1実施形態のニューラルネットワーク部22では、センテンスの区切り位置において教師データytのyt
<k>の値を「1」として学習処理を実行したが、本実施形態のニューラルネットワーク部22では、人物が検出された時刻(映像に人物が写り始めた時刻、あるいは、映像から人物が消えた時刻)を区切り位置として当該区切り位置において教師データytのyt
<k>の値を「1」として学習処理を実行する。
In the
ニューラルネットワーク部22は、予測処理において、第1実施形態のニューラルネットワーク部22と同様の処理を実行する。
The
境界検出部23Bは、第1実施形態の文章境界検出部23と同様の構成を有しており、ニューラルネットワーク部22から出力されるデータytと、閾値ベクトル設定部1から出力される閾値ベクトルθとに基づいて、第1実施形態と同様の処理により、データ境界(映像に人物が写り始めた時刻、あるいは、映像から人物が消えた時刻)を検出する。そして、境界検出部23Bは、検出結果データδtを分割データ取得部24Bに出力する。
The boundary detection unit 23B has the same configuration as the sentence
分割データ取得部24Bは、第1実施形態のセンテンス取得部24と同様の構成を有しており、境界検出部23Bにより取得された検出結果データδtに基づいて、データD1Bをシーンごとのデータに分割する。例えば、分割データ取得部24Bは、検出結果データδtに基づいて、データD1Bの境界(映像に人物が写り始めた時刻、あるいは、映像から人物が消えた時刻)を示すデータ(例えば、特別な記号)を付与したデータをデータD2Bとして取得し、取得したデータD2Bを人物検出部Post3に出力する。
The divided
人物検出部Post3は、データ分割部2Bから出力されるデータD2Bを入力する。人物検出部Post3は、データD2BからデータD1Bの境界(映像に人物が写り始めた時刻、あるいは、映像から人物が消えた時刻)を特定し、人物を検出する処理を実行し、当該検出結果を含むデータDoutを出力する。
The person detection unit Post3 receives the data D2B output from the
上記により、映像識別システム3000Aでは、時間的に連続するデータから、特定の区切り(本実施形態では、映像に人物が写り始めた時刻、あるいは、映像から人物が消えた時刻)を検出する処理を実行することができる。そして、映像識別システム3000Aでは、第1実施形態と同様の手法を用いているので、検出結果を取得するまでの時間が短く、その結果、リアルタイムで検出処理を実行することができる。
As described above, the
≪第2変形例≫
次に、第3実施形態の第2変形例について、説明する。
<<Second Modification>>
Next, the 2nd modification of 3rd Embodiment is demonstrated.
なお、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。 Parts similar to those of the above-described embodiment are given the same reference numerals, and detailed description thereof is omitted.
図12は、第3実施形態の第2変形例に係る映像識別システム3000Bの概略構成図である。
FIG. 12 is a schematic configuration diagram of a
第3実施形態の第2変形例では、第2実施形態の話者識別システム2000のデータ分割装置100Aと同様の構成を有するデータ分割装置100Bを用いて、映像識別システム3000Bを構築し、映像識別処理(犯罪行為検出処理)を実現させる方法について説明する。
In the second modification of the third embodiment, a
映像識別システム3000Bは、図12に示すように、第3実施形態の映像識別システム3000において、映像データ取得部Pre2を映像データ取得部Pre4に置換し、シーンチェンジ検出部Post2を犯罪行為検出部Post4に置換した構成を有している。
As shown in FIG. 12, the
映像データ取得部Pre4は、入力データDin(例えば、映像データ、あるいは、映像データをCNN(Convolutional Neural Network)により圧縮して取得したデータ)から時間的に連続したデータを取得し、取得したデータをデータD1Bとしてデータ分割装置100Bに出力する。
The video data acquisition unit Pre4 acquires temporally continuous data from input data Din (for example, video data or data acquired by compressing video data by CNN (Convolutional Neural Network)), and converts the acquired data into It is output to the
データ分割装置100Bでは、第3実施形態と同様の処理が実行される。
The
単位データ取得部21Bは、第1実施形態の単語取得部21と類似の処理を実行する機能部であり、入力されるデータD1B(例えば、時間的に連続した映像のデータ、あるいは、時間的に連続した映像のデータのCNNによる圧縮後のデータ)から、ニューラルネットワークでの処理単位となるデータ(単位データ)を取得し、取得したデータをデータxtとしてニューラルネットワーク部22に出力する。
The unit
ニューラルネットワーク部22では、学習処理において、第1実施形態と同様の処理が実行される。なお、第1実施形態のニューラルネットワーク部22では、センテンスの区切り位置において教師データytのyt
<k>の値を「1」として学習処理を実行したが、本実施形態のニューラルネットワーク部22では、人物が検出された時刻(犯罪行為の開始時刻、あるいは、犯罪行為の終了時刻)を区切り位置として当該区切り位置において教師データytのyt
<k>の値を「1」として学習処理を実行する。
In the
ニューラルネットワーク部22は、予測処理において、第1実施形態のニューラルネットワーク部22と同様の処理を実行する。
The
境界検出部23Bは、第1実施形態の文章境界検出部23と同様の構成を有しており、ニューラルネットワーク部22から出力されるデータytと、閾値ベクトル設定部1から出力される閾値ベクトルθとに基づいて、第1実施形態と同様の処理により、データ境界(映像に人物が写り始めた時刻、あるいは、映像から人物が消えた時刻)を検出する。そして、境界検出部23Bは、検出結果データδtを分割データ取得部24Bに出力する。
The boundary detection unit 23B has the same configuration as the sentence
分割データ取得部24Bは、第1実施形態のセンテンス取得部24と同様の構成を有しており、境界検出部23Bにより取得された検出結果データδtに基づいて、データD1Bをシーンごとのデータに分割する。例えば、分割データ取得部24Bは、検出結果データδtに基づいて、データD1Bの境界(犯罪行為の開始時刻、あるいは、犯罪行為の終了時刻)を示すデータ(例えば、特別な記号)を付与したデータをデータD2Bとして取得し、取得したデータD2Bを犯罪行為検出部Post4に出力する。
The divided
犯罪行為検出部Post4は、データ分割部2Bから出力されるデータD2Bを入力する。犯罪行為検出部Post4は、データD2BからデータD1Bの境界(犯罪行為の開始時刻、あるいは、犯罪行為の終了時刻)を特定し、犯罪行為を検出する処理を実行し、当該検出結果を含むデータDoutを出力する。
The criminal act detection unit Post4 receives the data D2B output from the
上記により、映像識別システム3000Bでは、時間的に連続するデータから、特定の区切り(本実施形態では、犯罪行為の開始時刻、あるいは、犯罪行為の終了時刻)を検出する処理を実行することができる。そして、映像識別システム3000Bでは、第1実施形態と同様の手法を用いているので、検出結果を取得するまでの時間が短く、その結果、リアルタイムで検出処理を実行することができる。
As described above, the
[他の実施形態]
上記実施形態(変形例を含む)で説明した同時通訳システムの各機能部は、1つの装置(システム)により実現されてもよいし、複数の装置により実現されてもよい。
[Other embodiments]
Each functional unit of the simultaneous interpretation system described in the above embodiments (including modifications) may be realized by one device (system) or may be realized by a plurality of devices.
また、上記実施形態において、入力言語が英語である場合について説明したが、入力言語は英語に限定されることはなく、他の言語であってもよい。つまり、上記実施形態(変形例を含む)の同時通訳システムにおいて、翻訳元言語および翻訳先言語は、任意の言語であってよい。 Also, in the above embodiment, the case where the input language is English has been described, but the input language is not limited to English and may be another language. That is, in the simultaneous interpretation system of the above-described embodiments (including modifications), the source language and the destination language may be arbitrary languages.
また上記実施形態で説明した同時通訳システム1000において、各ブロックは、LSIなどの半導体装置により個別に1チップ化されても良いし、一部または全部を含むように1チップ化されても良い。
Further, in the
なおここではLSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。 Although LSI is used here, it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
また集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。 Further, the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. An FPGA (Field Programmable Gate Array) that can be programmed after the LSI is manufactured, or a reconfigurable processor that can reconfigure connections and settings of circuit cells inside the LSI may be used.
また上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置(CPU)により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、ROMにおいて、あるいはRAMに読み出されて実行される。 Also, part or all of the processing of each functional block in each of the above embodiments may be implemented by a program. Part or all of the processing of each functional block in each of the above embodiments is performed by a central processing unit (CPU) in a computer. A program for performing each process is stored in a storage device such as a hard disk or ROM, and is read from the ROM or RAM and executed.
また上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア(OS(オペレーティングシステム)、ミドルウェア、あるいは所定のライブラリとともに実現される場合を含む。)により実現してもよい。さらにソフトウェアおよびハードウェアの混在処理により実現しても良い。 Further, each process of the above embodiments may be realized by hardware, or may be realized by software (including cases where it is realized together with an OS (operating system), middleware, or a predetermined library). Further, it may be realized by mixed processing of software and hardware.
例えば上記実施形態の各機能部をソフトウェアにより実現する場合、図13に示したハードウェア構成(例えばCPU、GPU、ROM、RAM、入力部、出力部、通信部、記憶部(例えば、HDD、SSD等により実現される記憶部)、外部メディア用ドライブ等をバスBusにより接続したハードウェア構成)を用いて各機能部をソフトウェア処理により実現するようにしてもよい。 For example, when each functional unit of the above embodiment is realized by software, the hardware configuration shown in FIG. 13 (eg, CPU, GPU, ROM, RAM, input unit, output unit, communication unit, storage unit (eg, HDD, SSD etc.) and a hardware configuration in which an external media drive and the like are connected via a bus), each functional unit may be realized by software processing.
また上記実施形態の各機能部をソフトウェアにより実現する場合、当該ソフトウェアは、図13に示したハードウェア構成を有する単独のコンピュータを用いて実現されるものであってもよいし、複数のコンピュータを用いて分散処理により実現されるものであってもよい。 Further, when the functional units of the above embodiments are implemented by software, the software may be implemented using a single computer having the hardware configuration shown in FIG. It may be realized by distributed processing using
また上記実施形態における処理方法の実行順序は、必ずしも上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。 Also, the execution order of the processing methods in the above embodiments is not necessarily limited to the description of the above embodiments, and the execution order can be changed without departing from the gist of the invention.
前述した方法をコンピュータに実行させるコンピュータプログラム、及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここでコンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、大容量DVD、次世代DVD、半導体メモリを挙げることができる。 A computer program that causes a computer to execute the method described above and a computer-readable recording medium that records the program are included in the scope of the present invention. Examples of computer-readable recording media include flexible disks, hard disks, CD-ROMs, MOs, DVDs, DVD-ROMs, DVD-RAMs, large-capacity DVDs, next-generation DVDs, and semiconductor memories.
上記コンピュータプログラムは、上記記録媒体に記録されたものに限らず、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。 The computer program is not limited to being recorded on the recording medium, and may be transmitted via an electric communication line, a wireless or wired communication line, a network represented by the Internet, or the like.
なお本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。 The specific configuration of the present invention is not limited to the above-described embodiments, and various changes and modifications are possible without departing from the scope of the invention.
本発明によれば、文章を構成する単語数に関係なく、リアルタイムで文章分割処理を実行することができる文章分割方法、センテンス・セグメンテーション装置を実現することができる。このため本発明は、自然言語処理関連産業分野において有用であり、当該分野において実施することができる。 According to the present invention, it is possible to realize a sentence segmentation method and a sentence segmentation apparatus capable of executing sentence segmentation processing in real time regardless of the number of words constituting a sentence. Therefore, the present invention is useful in the industrial field related to natural language processing and can be implemented in the field.
1000 同時通訳システム
100 文章分割装置(データ・セグメンテーション装置)
1 閾値ベクトル設定部
2 センテンス分割部
21 単語取得部
22 ニューラルネットワーク部
23 文章境界検出部
24 センテンス取得部
1000
1 threshold
Claims (6)
各要素がシーケンスデータの境界位置である確率を示すデータであるm個(m:自然数)の要素と、もう1つの要素との合計m+1個の要素からなるm+1次元ベクトルデータを出力するニューラルネットワーク部と、
前記ニューラルネットワーク部から出力される前記m+1次元ベクトルデータに基づいて、シーケンスデータの境界位置を決定する境界検出部と、
を備えるデータ・セグメンテーション装置。 Enter the unit data that constitutes the sequence data, which is continuous data in time series,
A neural network unit that outputs m+1-dimensional vector data consisting of a total of m+1 elements consisting of m elements (m: natural number), which are data indicating the probability that each element is the boundary position of sequence data, and another element. When,
a boundary detection unit that determines boundary positions of sequence data based on the m+1 dimensional vector data output from the neural network unit;
A data segmentation device comprising:
再帰型ニューラルネットワークを含む、
請求項1に記載のデータ・セグメンテーション装置。 The neural network unit is
including recurrent neural networks,
A data segmentation apparatus according to claim 1.
前記境界検出部は、
前記m次元の閾値ベクトルと前記m+1次元ベクトルデータとに基づいて、シーケンスデータの境界位置を決定する、
請求項1または2に記載のデータ・セグメンテーション装置。 Further comprising a threshold vector setting unit for setting an m-dimensional threshold vector,
The boundary detection unit is
determining a boundary position of sequence data based on the m-dimensional threshold vector and the m+1-dimensional vector data;
Data segmentation apparatus according to claim 1 or 2.
前記m次元の閾値ベクトルのm個の要素と、前記m+1次元ベクトルデータのシーケンスデータの境界位置である確率を示すデータであるm個の要素とを、それぞれ、比較することにより、シーケンスデータの境界位置を決定する、
請求項3に記載のデータ・セグメンテーション装置。 The boundary detection unit is
Boundary of sequence data by comparing m elements of the m-dimensional threshold vector and m elements that are data indicating the probability that the m+1-dimensional vector data is the boundary position of the sequence data. determine the position,
4. A data segmentation apparatus according to claim 3.
前記m次元の閾値ベクトルのm個の要素と、前記m+1次元ベクトルデータのシーケンスデータの境界位置である確率を示すデータであるm個の要素とを、検出する対象のシーケンスデータの境界位置が現時刻から時間的に近い順に、比較することで文章の境界位置を決定する処理を行い、文章の境界位置が決定されたとき、以降の比較処理を行わない、
請求項4に記載のデータ・セグメンテーション装置。 The boundary detection unit is
The boundary positions of the sequence data to be detected are the m elements of the m-dimensional threshold vector and the m elements of data indicating the probability of the boundary positions of the sequence data of the m+1-dimensional vector data. Perform processing to determine the boundary position of the sentence by comparing in order of temporal proximity from the time, and when the boundary position of the sentence is determined, the subsequent comparison processing is not performed.
5. A data segmentation apparatus according to claim 4.
値F1を
F1=2×Precision×Recall/(Precision+Recall)
Precision:正しいと予測したデータのうち、実際に正しいデータであった割合
Recall:実際に正しいデータであるもののうち、正しいと予測されたデータの割合
とし、
評価値scoreを
score=F1-α×latency
latency:遅延時間(遅延量)
α:係数
としたとき、
閾値ベクトルθをチューニングするために用いるデータセットにおいて、前記評価値scoreが所定の値よりも大きな値となるように、閾値ベクトルθを設定する、
請求項3から5のいずれかに記載のデータ・セグメンテーション装置。 The threshold vector setting unit
The value F 1 is set to F 1 =2×Precision×Recall/(Precision+Recall)
Precision: The percentage of data that was actually correct out of the data predicted to be correct Recall: The percentage of data predicted to be correct out of the data that was actually correct,
The evaluation value score is score=F 1 −α×latency
latency: delay time (delay amount)
When α is a coefficient,
setting the threshold vector θ such that the evaluation value score is greater than a predetermined value in the data set used for tuning the threshold vector θ;
A data segmentation device according to any of claims 3-5.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018148249A JP7113474B2 (en) | 2018-08-07 | 2018-08-07 | data segmentation device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018148249A JP7113474B2 (en) | 2018-08-07 | 2018-08-07 | data segmentation device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020024277A JP2020024277A (en) | 2020-02-13 |
JP7113474B2 true JP7113474B2 (en) | 2022-08-05 |
Family
ID=69618578
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018148249A Active JP7113474B2 (en) | 2018-08-07 | 2018-08-07 | data segmentation device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7113474B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10817665B1 (en) * | 2020-05-08 | 2020-10-27 | Coupang Corp. | Systems and methods for word segmentation based on a competing neural character language model |
CN112699689B (en) * | 2021-01-05 | 2024-07-19 | 虎博网络技术(上海)有限公司 | Audio segmentation method and device and electronic equipment |
CN112733927A (en) * | 2021-01-05 | 2021-04-30 | 福州数据技术研究院有限公司 | Fan blade sound boundary positioning method based on one-dimensional convolutional neural network and storage device |
JP7488002B2 (en) | 2021-01-20 | 2024-05-21 | Tvs Regza株式会社 | Image processing device, operation method of image processing device, and image processing program |
WO2023135963A1 (en) * | 2022-01-13 | 2023-07-20 | 株式会社Nttドコモ | Translation device |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4117560B2 (en) | 2001-11-09 | 2008-07-16 | エスケー エナジー 株式会社 | Method for separating normal paraffin from hydrocarbon and use of the separated hydrocarbon |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2764343B2 (en) * | 1990-09-07 | 1998-06-11 | 富士通株式会社 | Clause / phrase boundary extraction method |
JP6495792B2 (en) * | 2015-09-16 | 2019-04-03 | 日本電信電話株式会社 | Speech recognition apparatus, speech recognition method, and program |
-
2018
- 2018-08-07 JP JP2018148249A patent/JP7113474B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4117560B2 (en) | 2001-11-09 | 2008-07-16 | エスケー エナジー 株式会社 | Method for separating normal paraffin from hydrocarbon and use of the separated hydrocarbon |
Non-Patent Citations (2)
Title |
---|
Chenglin Xu et al.,A Bidirectional LSTM Approach with Word Embeddings for Sentence Boundary Detection,Journal of Signal Processing systems[online],2017年09月,[令和4年6月17日検索],インターネット<URL:http://www.nwpu-aslp.org/lxie/papers/2017JSPS-XCL.pdf> |
帖佐克己他,同時音声翻訳のための構文情報を用いた文分割に基づく機械翻訳,情報処理学会研究報告,2016年12月,Vol.2016-NL-229, No.6,pp.1-4 |
Also Published As
Publication number | Publication date |
---|---|
JP2020024277A (en) | 2020-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7113474B2 (en) | data segmentation device | |
JP7005099B2 (en) | Voice keyword recognition methods, devices, computer-readable storage media, and computer devices | |
CN110389996B (en) | Implementing a full sentence recurrent neural network language model for natural language processing | |
JP6980119B2 (en) | Speech recognition methods and their devices, devices, storage media and programs | |
JP5459214B2 (en) | Language model creation device, language model creation method, speech recognition device, speech recognition method, program, and recording medium | |
JP5241379B2 (en) | Method and system for optimal selection strategy for statistical classification in dialogue systems | |
JP4215418B2 (en) | Word prediction method, speech recognition method, speech recognition apparatus and program using the method | |
JP2010537321A (en) | Method and system for optimal selection strategy for statistical classification | |
JP6019604B2 (en) | Speech recognition apparatus, speech recognition method, and program | |
JP2014521115A (en) | Method and apparatus for reliability calculation | |
JP4515054B2 (en) | Method for speech recognition and method for decoding speech signals | |
JP2008203469A (en) | Speech recognition device and method | |
CN109800427B (en) | Word segmentation method, device, terminal and computer readable storage medium | |
KR102345625B1 (en) | Caption generation method and apparatus for performing the same | |
JP7209330B2 (en) | classifier, trained model, learning method | |
KR20190032868A (en) | Method and apparatus for voice recognition | |
JP6230987B2 (en) | Language model creation device, language model creation method, program, and recording medium | |
JP2019219827A (en) | Language model learning device and program thereof and word estimation device and program thereof | |
JP5740368B2 (en) | Discriminative speech recognition accuracy estimation apparatus, discriminative speech recognition accuracy estimation method, and program | |
JP6910002B2 (en) | Dialogue estimation method, dialogue activity estimation device and program | |
US20090222266A1 (en) | Apparatus, method, and recording medium for clustering phoneme models | |
WO2016152132A1 (en) | Speech processing device, speech processing system, speech processing method, and recording medium | |
JP5067777B2 (en) | Translation apparatus, cluster generation apparatus, cluster manufacturing method, and program | |
KR20240089301A (en) | Language-agnostic multilingual end-to-end streaming on-device ASR system | |
CN114756662A (en) | Task-specific text generation based on multimodal input |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210726 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220607 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220628 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220715 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7113474 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |