JP7242797B2 - 語句処理方法、機器及び記憶媒体 - Google Patents

Description

本出願は、コンピュータ技術分野に関し、具体的には、深層学習、自然言語処理などの人工知能技術分野に関し、特に、語句処理方法、機器及び記憶媒体に関する。

現在、語句に対して自然言語処理を行うプロセスにおいて、一般的に、語句における各分割後の単語の単語ベクトルに基づいて自然言語処理の下流タスクを処理し、しかしながら、このような分割後の単語の単語ベクトルに基づいて下流タスクを直接行うという方式によって得られた処理結果は、不正確である。

本出願は、語句処理方法、機器及び記憶媒体を提供する。

本出願の第１の態様によれば、処理対象語句を取得し、前記処理対象語句に対して実行される下流タスクを取得するステップと、前記処理対象語句を単語に分割し、前記処理対象語句の分割後の単語の系列を取得するステップと、前記分割後の単語の系列に対して依存構文解析を行って、前記分割後の単語の系列における各分割後の単語の間の依存構文関係の樹形図を取得するステップと、前記分割後の単語の系列における各分割後の単語に対応する単語ベクトルを決定するステップと、前記依存構文関係の樹形図及び前記各分割後の単語に対応する単語ベクトルを予め設定されたグラフニューラルネットワークに入力し、前記分割後の単語の系列における各分割後の単語の中間語ベクトルを取得するステップと、前記各分割後の単語の中間語ベクトルに対して前記下流タスクを実行し、前記処理対象語句の処理結果を取得するステップと、を含む語句処理方法を提供する。

本出願の他の態様によれば、処理対象語句を取得し、前記処理対象語句に対して実行される下流タスクを取得するための取得モジュールと、前記処理対象語句を単語に分割し、前記処理対象語句の分割後の単語の系列を取得するための単語分割モジュールと、前記分割後の単語の系列に対して依存構文解析を行って、前記分割後の単語の系列における各分割後の単語の間の依存構文関係の樹形図を取得するための依存構文解析モジュールと、前記分割後の単語の系列における各分割後の単語に対応する単語ベクトルを決定するための決定モジュールと、前記依存構文関係の樹形図及び前記各分割後の単語に対応する単語ベクトルを予め設定されたグラフニューラルネットワークに入力し、前記分割後の単語の系列における各分割後の単語の中間語ベクトルを取得するためのグラフニューラルネットワーク処理モジュールと、前記各分割後の単語の中間語ベクトルに対して前記下流タスクを実行し、前記処理対象語句の処理結果を取得するためのタスク実行モジュールと、を備える語句処理装置を提供する。

本出願の他の態様によれば、電子機器を提供し、前記電子機器は、少なくとも１つのプロセッサと、該少なくとも１つのプロセッサに通信可能に接続されるメモリと、を備え、前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令が、前記少なくとも１つのプロセッサが本出願の語句処理方法を実行できるように、前記少なくとも１つのプロセッサによって実行される。

本出願の他の態様によれば、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令が、コンピュータに本出願の実施例に開示された語句処理方法を実行させることに用いられる。

本出願の他の態様によれば、コンピュータプログラムを提供し、前記コンピュータプログラムがプロセッサによって実行される場合、本出願の語句処理方法が実現される。

上記出願における１つの実施例は、以下の利点又は有益な効果を有する。
処理対象語句を処理するプロセスにおいて、処理対象語句の分割後の単語の系列に対して依存構文解析を行って、分割後の単語の系列における各分割後の単語の間の依存構文関係の樹形図を取得し、依存構文関係の樹形図及び分割後の単語の系列に対応する各分割後の単語の単語ベクトルを予め設定されたグラフニューラルネットワークに入力し、系列における各分割後の単語の中間語ベクトルを単語に分割し、そして、各分割後の単語の中間語ベクトルに対して下流タスクを実行し、処理対象語句の処理結果を取得する。これにより、構文情報が含まれる中間語ベクトルが得られ、構文情報が含まれる中間語ベクトルに基づいて下流タスク処理を実行することにより、下流タスクが処理対象語句の処理結果を正確に取得するようにして、下流タスクの処理効果を向上させる。

なお、本部分に記載された内容は、本出願の実施例の肝心または重要な特徴を限定することを意図するものではなく、本出願の範囲を限定するものでもない。本出願の他の特徴は、以下の説明によって容易に理解されやすくなる。

図面は、本技術案をよりよく理解するために使用され、本出願を限定するものではない。
本出願の１つの実施例に係る語句処理方法の概略フローチャートである。 ステップ１０６の詳細な概略フローチャートの１つである。 ステップ１０６の詳細な概略フローチャートの１つである。 本出願の１つの実施例に係る語句処理装置の概略構成図である。 本出願の他の実施例に係る語句処理装置の概略構成図である。 本出願の別の実施例に係る語句処理装置の概略構成図である。 本出願の実施例の語句処理方法を実現するための電子機器のブロック図である。

以下、図面と併せて本出願の例示的な実施例を説明し、理解を容易にするためにその中には本出願の実施例の様々な詳細事項が含まれ、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本出願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができる。同様に、わかりやすくかつ簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。

以下、図面を参照して本出願の実施例の語句処理方法、機器及び記憶媒体を説明する。

図１は、本出願の１つの実施例に係る語句処理方法の概略フローチャートである。

図１に示すように、当該語句処理方法は、以下のステップを含むことができる。

ステップ１０１において、処理対象語句を取得し、処理対象語句に対して実行される下流タスクを取得する。

ここで、処理対象語句は、いずれかの語句であってもよく、当該実施例は、これを具体的に限定しない。

ここで、上記語句処理方法の実行主体は、語句処理装置であって、当該語句処理装置は、ソフトウェア及び／又はハードウェアによって実現でき、当該実施例における語句処理装置は、電子機器に配置してもよく、当該電子機器は、端末装置、サーバなどを備えることができるが、これらに限定されない。

ステップ１０２において、処理対象語句を単語に分割し、処理対象語句の分割後の単語の系列を取得する。

本実施例において、上記分割後の単語の系列の１つの可能な実現方式は、処理対象語句を単語に分割し、複数の候補分割後の単語の系列を取得し、予め設定された統計的言語モデルに基づいて各候補分割後の単語の系列に対してルート検索を行い、各候補分割後の単語の系列に対応するパススコアを取得し、パススコアに基づいて複数の候補分割後の単語の系列からスコアが最も高い候補分割後の単語の系列を選択し、前記処理対象語句の分割後の単語の系列とする。

ここで、統計的言語モデルは、実際の業務ニーズに応じて選択することができ、例えば、統計的言語モデルは、Ｎ次元モデル（すなわち、Ｎ－Ｇｒａｍモデル）であってもよい。

ステップ１０３において、分割後の単語の系列に対して依存構文解析を行って、分割後の単語の系列における各分割後の単語の間の依存構文関係の樹形図を取得する。

いくつかの実施例において、分割後の単語の系列を予め設定された依存構文解析モデルに入力し、依存構文解析モデルによって分割後の単語の系列に対して依存構文解析を行って、分割後の単語の系列における各分割後の単語の間の依存構文関係の樹形図を取得することができる。

ここで、依存構文関係の樹形図におけるノードは、分割後の単語の系列における各分割後の単語に対応し、かつ、依存構文関係の樹形図には、ノードとノードとの依存関係もあり、ここで、ノードとノードとの依存関係は、対応する分割後の単語と単語との依存関係を表す。

ここで、依存関係は、主述関係、動賓関係、間接賓語関係、前置目的語、兼語、定語中心語関係、状況語中心語構造、動補構造、並列関係、前置語賓語関係、独立構造、核心関係などを含むことができるが、これらに限定されず、当該実施例は、依存関係を具体的に限定しない。

ステップ１０４において、分割後の単語の系列における各分割後の単語に対応する単語ベクトルを決定する。

いくつかの実施例において、従来の単語ベクトル処理モデルによって分割後の単語の系列における各分割後の単語をベクトル表示し、分割後の単語の系列における各分割後の単語の単語ベクトルを取得することができる。

ステップ１０５において、依存構文関係の樹形図及び各分割後の単語に対応する単語ベクトルを予め設定されたグラフニューラルネットワークに入力し、分割後の単語の系列における各分割後の単語の中間語ベクトルを取得する。

なお、本実施例におけるグラフニューラルネットワークは、依存構文関係の樹形図及び各分割後の単語に対応する単語ベクトルに基づいて、分割後の単語と単語との依存関係を、対応する分割後の単語の単語ベクトルに表示し、各分割後の単語の中間語ベクトルを取得することができ、ここで、中間単語ベクトルは、依存関係に基づいて得られたものである。

ここで、グラフニューラルネットワーク（Ｇｒａｐｈ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＧＮＮ）は、グラフ構造に直接作用するニューラルネットワークであり、ソーシャルネットワーク、ナレッジグラフ、推奨システム乃至生命科学などの各分野においてますます広く応用されている。ＧＮＮは、空間に基づくグラフニューラルネットワークであり、そのアテンションメカニズムは、特徴情報を統合する際、アテンションメカニズムをノード近傍の重みの決定に用いるものである。ＧＮＮネットワークの入力は、ノードのベクトル及びノードの隣接マトリクスである。

構文解析結果は、ツリー構造（ツリーは、グラフの１つの特殊な構造）であるため、構文結果は、自然にグラフニューラルネットワークで表すことができ、したがって、先ずユーザデータに対して依存構文解析を行って、結果を隣接マトリクスによって表す。例えば、「ＸＸ（実際の応用において、１つの具体的な会社の名称）は、１つのハイテック会社である」という処理対象語句を例とすると、構文解析モデルによって当該処理語句を構文解析し、当該処理語句に対応する依存構文関係の樹形図を取得することができ、当該依存構文関係の樹形図は、表１に示すように、隣接マトリクスの形式で表すことができる。

ここで、グラフの左側の文字は、親ノードを表し、上部の文字は、子ノードを表し、値が１の場合、親ノードから子ノードへの辺が存在することを表し、０の場合、辺が存在しないことを表す。

いくつかの実施例において、構文解析結果におけるノード間の辺が有向辺であるが、隣接マトリクスのスパース性という問題を回避するために、ノード辺を無向辺とすることができるので、いくつかの実施例において、上記隣接マトリクスは、対称マトリクスを有していない。

いくつかの実施例において、関係が正確であるように対応する分割後の単語の中間語ベクトルを順次決定するために、上記グラフニューラルネットワークは、アテンションメカニズムのグラフニューラルネットワークに基づいて、グラフニューラルネットワークにおけるアテンションメカニズムによって依存関係のアテンションスコアと併せて、対応する分割後の単語の中間語ベクトルを決定することができる。

ステップ１０６において、各分割後の単語の中間語ベクトルに対して下流タスクを実行し、処理対象語句の処理結果を取得する。

本出願の実施例の語句処理方法は、処理対象語句を処理するプロセスにおいて、処理対象語句の分割後の単語の系列に対して依存構文解析を行って、分割後の単語の系列における各分割後の単語の間の依存構文関係の樹形図を取得し、依存構文関係の樹形図及び分割後の単語の系列に対応する各分割後の単語の単語ベクトルを予め設定されたグラフニューラルネットワークに入力し、系列における各分割後の単語の中間語ベクトルを単語に分割し、そして、各分割後の単語の中間語ベクトルに対して下流タスクを実行し、処理対象語句の処理結果を取得する。これにより、構文情報が含まれる中間語ベクトルが得られ、構文情報が含まれる中間語ベクトルに基づいて下流タスク処理を実行することにより、下流タスクが処理対象語句の処理結果を正確に取得するようにして、下流タスクの処理効果を向上させる。

本出願の１つの実施例において、異なるタイプの下流タスクにとっては、処理対象語句に対して行われる処理が異なり、かつ、異なるタイプの下流タスクに必要なベクトル表示が異なる可能性があることは理解される。例えば、いくつかの下流タスクは、構文情報の中間語ベクトルを含むことによって後続の処理を行うことができるが、他のいくつかのタスクは、処理対象語句の文ベクトルと併せて後続の処理を行う可能性がある。本出願の１つの実施例において、単語ベクトルを必要とする下流タスクを処理できるために、各分割後の単語の中間語ベクトルに対して下流タスクを実行し、処理対象語句の処理結果を取得する上記ステップ１０６の１つの可能な実現方式は、図２に示すように、以下のステップを含むことができる。

ステップ２０１において、下流タスクに対応するベクトル表示方式を取得する。

いくつかの実施例において、予め記憶された様々な下流タスクとベクトル表示方式との間の対応関係に基づいて、下流タスクに対応するベクトル表示方式を取得することができる。ベクトル表示方式、すなわち、ベクトル表示タイプであり、ベクトル表示タイプは、単語ベクトル表示タイプ及び文ベクトル表示タイプに分けられる。

いくつかの実施例において、下流タスクのベクトル表示方式を容易に取得するために、下流タスクに対応するベクトル表示方式を取得する１つの可能な実現方式は、下流タスクに対応するタスクタイプを取得し、タスクタイプに基づいて、下流タスクのベクトル表示方式を決定することである。

具体的には、予め記憶された様々なタスクタイプとベクトル表示方式との間の対応関係に基づいて、当該タスクタイプに対応するベクトル表示方式を取得し、取得されたベクトル表示方式を下流タスクのベクトル表示方式とすることができる。

ステップ２０２において、ベクトル表示方式が文ベクトル表示方式である場合、依存構文関係の樹形図におけるコアノードを決定し、コアノードに対応する目標の分割後の単語を取得する。

ステップ２０３において、各分割後の単語の中間語ベクトルから、目標の分割後の単語に対応する中間語ベクトルを決定し、目標の分割後の単語に対応する中間語ベクトルを処理対象語句に対応する文ベクトルとする。

ステップ２０４において、文ベクトルに対して下流タスクを実行し、処理対象語句の処理結果を取得する。

いくつかの実施例において、上記下流タスクが文分類タスクであってもよい場合、上述した文ベクトルに対して下流タスクを実行し、処理対象語句の処理結果を取得する１つの可能な実現方式は、文分類タスクに基づいて、文ベクトルを分類し、分類結果を取得し、分類結果を処理対象タスクの処理結果とすることである。

ここで、本実施例では、下流タスクが文分類タスクであることのみを例として、上記下流タスクが文ベクトルを用いた処理を必要とする他のタスクであってもよく、例えば、上記下流タスクが文マッチングなどのタスクであってもよいことを理解することは理解される。

本実施例において、ベクトル表示方式が文ベクトル表示方式である場合、依存構文関係の樹形図におけるコアノードの決定と併せて、コアノードに対応する目標の分割後の単語を取得し、各分割後の単語の中間語ベクトルから、目標の分割後の単語に対応する中間語ベクトルを決定し、目標の分割後の単語に対応する中間語ベクトルを処理対象語句に対応する文ベクトルとして、当該文ベクトルに基づいて下流タスク処理を行う。文ベクトルには、処理対象語句における構文情報が含まれるため、下流タスク処理の精度を向上させ、処理対象語句の下流タスクにおける処理結果を正確に取得することができる。

本出願の１つの実施例において、処理対象語句の文ベクトルを必要とする下流タスクを正確に処理できるために、図３に示すように、各分割後の単語の中間語ベクトルに対して下流タスクを実行し、処理対象語句の処理結果を取得する上記ステップ１０６は、以下のステップを含む。

ステップ３０１において、下流タスクに対応するベクトル表示方式を取得する。

ここで、ステップ３０１の具体的な実現方式についての具体的な記載は、上記実施例の関連記載を参照してもよく、ここでは詳しく説明しない。

ステップ３０２において、ベクトル表示方式が単語ベクトル表示方式である場合、分割後の単語の系列における各分割後の単語の中間語ベクトルを結合し、結合された単語ベクトルを取得する。

ステップ３０３において、結合された単語ベクトルに対して下流タスクを実行し、処理対象語句の処理結果を取得する。

いくつかの実施例において、下流タスクがエンティティ認識タスクである場合、結合された単語ベクトルに対して下流タスクを実行し、処理対象語句の処理結果を取得する１つの可能な実現方式は、エンティティ認識タスクに基づいて、結合された単語ベクトルに対してエンティティ認識を実行し、対応するエンティティ認識結果を取得し、エンティティ認識結果を処理対象語句の処理結果とすることである。

ここで、本実施例では、下流タスクがエンティティ認識タスクである場合のみを例として挙げられ、上記下流タスクが中間単語ベクトルを必要として処理する他のタスクであってもよいことは理解される。

本実施例において、ベクトル表示方式が単語ベクトル表示方式である場合、分割後の単語の系列における各分割後の単語の中間語ベクトルを結合し、結合された単語ベクトルを取得し、結合された単語ベクトルに対して下流タスクを実行し、処理対象語句の処理結果を取得する。中間語ベクトルには、構文情報が含まれるため、対応する結合されたベクトルにも構文情報が含まれ、結合されたベクトルに基づいて下流タスク処理を行うことによって、下流タスク処理の精度を向上させ、処理対象語句の下流タスクにおける処理結果を正確に取得することができる。

上記実施例を実現するために、本出願の実施例は、語句処理装置をさらに提供する。

図４は、本出願の１つの実施例に係る語句処理装置の概略構成図である。

図４に示すように、当該語句処理装置４００は、取得モジュール４０１、単語分割モジュール４０２、依存構文解析モジュール４０３、決定モジュール４０４、グラフニューラルネットワーク処理モジュール４０５及びタスク実行モジュール４０６を備えることができる。

取得モジュール４０１は、処理対象語句を取得し、処理対象語句に対して実行される下流タスクを取得することに用いられる。

単語分割モジュール４０２は、処理対象語句を単語に分割し、処理対象語句の分割後の単語の系列を取得することに用いられる。

依存構文解析モジュール４０３は、分割後の単語の系列に対して依存構文解析を行って、分割後の単語の系列における各分割後の単語の間の依存構文関係の樹形図を取得することに用いられる。

決定モジュール４０４は、分割後の単語の系列における各分割後の単語に対応する単語ベクトルを決定することに用いられる。

グラフニューラルネットワーク処理モジュール４０５は、依存構文関係の樹形図及び各分割後の単語に対応する単語ベクトルを予め設定されたグラフニューラルネットワークに入力し、分割後の単語の系列における各分割後の単語の中間語ベクトルを取得することに用いられる。

タスク実行モジュール４０６は、各分割後の単語の中間語ベクトルに対して下流タスクを実行し、処理対象語句の処理結果を取得することに用いられる。

なお、上述した語句処理方法の実施例に対する解釈説明も本実施に適用し、本実施例は、これを詳しく説明しない。

本出願の実施例の語句処理装置は、処理対象語句を処理するプロセスにおいて、処理対象語句の分割後の単語の系列に対して依存構文解析を行って、分割後の単語の系列における各分割後の単語の間の依存構文関係の樹形図を取得し、依存構文関係の樹形図及び分割後の単語の系列に対応する各分割後の単語の単語ベクトルを予め設定されたグラフニューラルネットワークに入力し、系列における各分割後の単語の中間語ベクトルを単語に分割し、そして、各分割後の単語の中間語ベクトルに対して下流タスクを実行し、処理対象語句の処理結果を取得する。これにより、構文情報が含まれる中間語ベクトルが得られ、構文情報が含まれる中間語ベクトルに基づいて下流タスク処理を実行することにより、下流タスクが処理対象語句の処理結果を正確に取得するようにして、下流タスクの処理効果を向上させる。

本出願の１つの実施例において、図５に示すように、当該語句処理装置は、取得モジュール５０１、単語分割モジュール５０２、依存構文解析モジュール５０３、決定モジュール５０４、グラフニューラルネットワーク処理モジュール５０５及びタスク実行モジュール５０６を備えることができ、ここで、タスク実行モジュール５０６は、第１の取得ユニット５０６１、第１の決定ユニット５０６２、第２の決定ユニット５０６３及び第１の実行ユニット５０６４を備える。

ここで、取得モジュール５０１、単語分割モジュール５０２、依存構文解析モジュール５０３、決定モジュール５０４、グラフニューラルネットワーク処理モジュール５０５についての詳細な記載は、図４に示す実施例における取得モジュール４０１、単語分割モジュール４０２、依存構文解析モジュール４０３、決定モジュール４０４、グラフニューラルネットワーク処理モジュール４０５の説明を参照し、ここでは詳しく説明しない。

第１の取得ユニット５０６１は、下流タスクに対応するベクトル表示方式を取得することに用いられる。

第１の決定ユニット５０６２は、ベクトル表示方式が文ベクトル表示方式である場合、依存構文関係の樹形図におけるコアノードを決定し、コアノードに対応する目標の分割後の単語を取得することに用いられる。

第２の決定ユニット５０６３は、各分割後の単語の中間語ベクトルから、目標の分割後の単語に対応する中間語ベクトルを決定し、目標の分割後の単語に対応する中間語ベクトルを処理対象語句に対応する文ベクトルとすることに用いられる。

第１の実行ユニット５０６４は、文ベクトルに対して下流タスクを実行し、処理対象語句の処理結果を取得することに用いられる。

本出願の１つの実施例において、下流タスクに対応するベクトル表示方式の取得は、下流タスクに対応するタスクタイプを取得し、タスクタイプに基づいて、下流タスクのベクトル表示方式を決定するという方式ことによって得られる。

本出願の１つの実施例において、下流タスクが文分類タスクであり、第１の実行ユニットは、具体的には、文分類タスクに基づいて、文ベクトルを分類し、分類結果を取得し、分類結果を前記処理対象タスクの処理結果とすることに用いられる。

本出願の１つの実施例において、図６に示すように、当該語句処理装置は、取得モジュール６０１、単語分割モジュール６０２、依存構文解析モジュール６０３、決定モジュール６０４、グラフニューラルネットワーク処理モジュール６０５及びタスク実行モジュール６０６を備えることができ、ここで、タスク実行モジュール６０６は、第２の取得ユニット６０６１、結合ユニット６０６２及び第２の実行ユニット６０６３を備える。

ここで、取得モジュール６０１、単語分割モジュール６０２、依存構文解析モジュール６０３、決定モジュール６０４、グラフニューラルネットワーク処理モジュール６０５についての詳細な記載は、図４に示す実施例における取得モジュール４０１、単語分割モジュール４０２、依存構文解析モジュール４０３、決定モジュール４０４、グラフニューラルネットワーク処理モジュール４０５の説明を参照し、ここでは詳しく説明しない。

本出願の１つの実施例において、第２の取得ユニット６０６１は、下流タスクに対応するベクトル表示方式を取得することに用いられる。

結合ユニット６０６２は、ベクトル表示方式が単語ベクトル表示方式である場合、分割後の単語の系列における各分割後の単語の中間語ベクトルを結合し、結合された単語ベクトルを取得することに用いられる。

第２の実行ユニット６０６３は、結合された単語ベクトルに対して下流タスクを実行し、処理対象語句の処理結果を取得することに用いられる。

本出願の１つの実施例において、下流タスクがエンティティ認識タスクであり、第２の実行ユニット６０４３は、具体的には、エンティティ認識タスクに基づいて、結合された単語ベクトルに対してエンティティ認識を行い、対応するエンティティ認識結果を取得し、エンティティ認識結果を処理対象タスクの処理結果とすることに用いられる。

なお、上述した語句処理方法の実施例に対する解釈と説明も本実施における語句処理装置に適用し、本実施例では詳しく説明しない。

本出願の実施例によれば、本出願は、電子機器及び読み取り可能な記憶媒体及びコンピュータプログラムをさらに提供する。

図７は、本出願の実施例を実現するための例示的な電子機器７００の概略ブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタルプロセッサ、携帯電話、スマートフォン、ウェアラブルデバイス、他の同様のコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び／又は要求される本出願の実現を制限するものではない。

図７に示すように、デバイス７００は、リードオンリーメモリ（ＲＯＭ）７０２に記憶されているコンピュータプログラム、又は記憶ユニット７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロッドされたコンピュータプログラムに基づいて、様々な適切な動作及び処理を実行することができる計算ユニット７０１を備える。ＲＡＭ７０３には、デバイス７００の動作に必要な様々なプログラム及びデータが記憶されていてもよい。計算ユニット７０１、ＲＯＭ７０２及びＲＡＭ７０３は、バス７０４を介して互いに接続されている。入出力（Ｉ／Ｏ）インタフェース７０５もバス７０４に接続されている。

デバイス７００における、キーボード、マウスなどの入力ユニット７０６と、様々なタイプのディスプレイ、スピーカなどの出力ユニット７０７と、磁気ディスク、光ディスクなどの記憶ユニット７０８と、ネットワークカード、モデム、無線通信トランシーバなどの通信ユニット７０９と、を備える複数のコンポーネントは、入出力（Ｉ／Ｏ）インタフェース７０５に接続されている。通信ユニット７０９は、デバイス７００がインターネットなどのコンピュータネットワーク及び／又は様々な電気通信ネットワークを介して他のデバイスと情報／データを交換することを可能にする。

計算ユニット７０１は、各種の処理及び計算能力を有する汎用及び／又は専用処理コンポーネントであってもよい。計算ユニット７０１のいくつかの例は、セントラルプロセッシングユニット（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）、各種の専用人工知能（ＡＩ）計算チップ、各種の機械学習モデルアルゴリズムを運行する計算ユニット、デジタルシグナルプロセッサ（ＤＳＰ）、及びいずれかの適宜なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。計算ユニット７０１は、上述したそれぞれの方法及び処理、例えば、語句処理方法を実行する。例えば、いくつかの実施例で、語句処理方法は、記憶ユニット７０８のような機械読み取り可能な媒体に具体的に備えられるコンピュータソフトウェアプログラムとして実現され得る。いくつかの実施例で、コンピュータの一部又は全部は、ＲＯＭ７０２及び／又は通信ユニット７０９を介してデバイス７００にロッド及び／又はインストールすることができる。コンピュータプログラムがＲＡＭ７０３にロッドされて計算ユニット７０１によって実行された場合、上述した語句処理方法の１つ又は複数のステップを実行することができる。あるいは、他の実施例で、計算ユニット７０１は、他の任意の適切な形態で（例えば、ファーとウェアにより）語句処理方法を実行するように構成されてもよい。

本明細書で以上のように説明されたシステム及び技術の各種の実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックス・プログラマブル・ロジック・デバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア及び／又はそれらの組み合わせにおいて実現してもよい。これらの各種の実施形態は、少なくとも１つのプログラマブルプロセッサを備えるプログラマブルシステムにおいて実行及び／又は解釈することができる１つ又は複数のコンピュータプログラムにおいて実現されてもよく、当該プログラマブルプロセッサは、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、当該記憶システム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置にデータ及び命令を伝送することができる専用及び／又は汎用プログラマブルプロセッサであってもよい。

本開示の方法を実施するためのプログラムコーディングは、１つ又は複数のプログラミング言語の任意の組み合わせで書くことができる。これらのプログラムコーディングは、プロセッサ又はコントローラによって実行された際に、フローチャート及び／又はブロック図に規定された機能／動作が実施されるように、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよい。プログラムコーディングは、完全に機械上で実行され、部分的に機械上で実行され、スタンドアロンパッケージとして、部分的に機械上で実行され、かつ部分的にリモート機械上で実行され、又は完全にリモート機械又はサーバ上で実行されてもよい。

本開示の文脈では、機械読み取り可能な媒体は、命令実行システム、装置、又はデバイスによって使用されるために、又は命令実行システム、装置、又はデバイスと併せて使用するためのプログラムを備えるか、又は格納することができる有形の媒体であってもよい。機械読み取り可能な媒体は、機械読み取り可能な信号媒体又は機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子的、磁気的、光学的、電磁気的、赤外線的、又は半導体システム、装置又はデバイス、又はこれらの任意の適切な組み合わせを備えることができるが、これらに限定されない。機械読み取り可能な記憶媒体のより具体的な例は、１つ又は複数のラインに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、又はこれらの任意の適切な組み合わせを含む。

ユーザとのインタラクションを提供するために、ここで説明されているシステム及び技術をコンピュータ上で実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形式（音響入力と、音声入力と、触覚入力とを含む）でユーザからの入力を受信することができる。

ここで説明されるシステム及び技術は、バックエンドユニットを備えるコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアユニットを備えるコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンドユニットを備えるコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータであり、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションする）、又はこのようなバックエンドユニットと、ミドルウェアユニットと、フロントエンドユニットの任意の組み合わせを備えるコンピューティングシステムで実施することができる。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットと、ブロックチェーンネットワークとを含む。

コンピュータシステムは、クライアントとサーバとを備えることができる。クライアントとサーバは、一般に、互いに離れており、通常は通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、且つ互いにクライアント-サーバ関係を有するコンピュータプログラムによって、クライアントとサーバとの関係が生成される。サーバは、クラウドコンピューティングサーバ又はクラウドホストとも呼ばれるクラウドサーバであってもよく、従来の物理ホスト及びＶＰＳサービス（「Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ」、又は「ＶＰＳ」と略称する）における、管理の難易度が高く、ビジネスの拡張性が低いという欠点を解決するクラウドコンピューティングサービスシステムのホスト製品の１つである。

なお、人工知能はコンピュータに人間のある思考過程と知能行為（例えば、学習、推理、思考、計画など）をシミュレートさせることを研究する学科であり、ハードウェアレベルの技術もソフトウェアレベルの技術もある。人工知能ハードウェア技術には、一般的に、例えばセンサ、専用人工知能チップ、クラウドコンピューティング、分散ストレージ、ビッグデータ処理等の技術が含まれる。人工知能ソフトウェア技術は、主にコンピュータビジョン技術、音声認識技術、自然言語処理技術及び機械学習／深層学習、ビッグデータ処理技術、ナレッジグラフ技術などのいくつかの方向を含む。

上記に示される様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除することができる。例えば、本開示に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本開示で開示されている技術案の所望の結果を実現することができれば、本明細書では限定されない。

上記具体的な実施形態は、本開示の保護範囲を制限するものではない。当業者は、設計要件と他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。本開示の精神と原則内で行われる任意の修正、同等の置換、及び改善などは、いずれも本開示の保護範囲内に含まれるべきである。

Claims (15)

1. 処理対象語句を取得し、前記処理対象語句に対して実行される下流タスクを取得するステップと、
   前記処理対象語句を単語に分割し、前記処理対象語句の分割後の単語の系列を取得するステップと、
   前記分割後の単語の系列に対して依存構文解析を行って、前記分割後の単語の系列における各分割後の単語の間の依存構文関係の樹形図を取得するステップと、
   前記分割後の単語の系列における各分割後の単語に対応する単語ベクトルを決定するステップと、
   前記依存構文関係の樹形図及び前記各分割後の単語に対応する単語ベクトルを予め設定されたグラフニューラルネットワークに入力し、前記分割後の単語の系列における各分割後の単語の中間語ベクトルを取得するステップと、
   前記各分割後の単語の中間語ベクトルに対して前記下流タスクを実行し、前記処理対象語句の処理結果を取得するステップと、
   を含む、コンピュータにより実行される語句処理方法。
2. 前記各分割後の単語の中間語ベクトルに対して前記下流タスクを実行し、前記処理対象語句の処理結果を取得するステップが、
   前記下流タスクに対応するベクトル表示方式を取得するステップと、
   前記ベクトル表示方式が文ベクトル表示方式である場合、前記依存構文関係の樹形図におけるコアノードを決定し、前記コアノードに対応する目標の分割後の単語を取得するステップと、
   前記各分割後の単語の中間語ベクトルから、前記目標の分割後の単語に対応する中間語ベクトルを決定し、前記目標の分割後の単語に対応する中間語ベクトルを前記処理対象語句に対応する文ベクトルとするステップと、
   前記文ベクトルに対して前記下流タスクを実行し、前記処理対象語句の処理結果を取得するステップと、
   を含む請求項１に記載の方法。
3. 前記各分割後の単語の中間語ベクトルに対して前記下流タスクを実行し、前記処理対象語句の処理結果を取得するステップが、
   前記下流タスクに対応するベクトル表示方式を取得するステップと、
   前記ベクトル表示方式が単語ベクトル表示方式である場合、前記分割後の単語の系列における各分割後の単語の中間語ベクトルを結合し、結合された単語ベクトルを取得するステップと、
   前記結合された単語ベクトルに対して前記下流タスクを実行し、前記処理対象語句の処理結果を取得するステップと、
   を含む請求項１に記載の方法。
4. 前記下流タスクに対応するベクトル表示方式を取得するステップが、
   前記下流タスクに対応するタスクタイプを取得するステップと、
   前記タスクタイプに基づいて、前記下流タスクのベクトル表示方式を決定するステップと、
   を含む請求項２又は３に記載の方法。
5. 前記下流タスクが文分類タスクであり、前記文ベクトルに対して前記下流タスクを実行し、前記処理対象語句の処理結果を取得するステップが、
   前記文分類タスクに基づいて、前記文ベクトルを分類し、分類結果を取得し、前記分類結果を前記処理対象語句の処理結果とするステップを含む請求項２に記載の方法。
6. 前記下流タスクがエンティティ認識タスクであり、前記結合された単語ベクトルに対して前記下流タスクを実行し、前記処理対象語句の処理結果を取得するステップが、
   前記エンティティ認識タスクに基づいて、前記結合された単語ベクトルに対してエンティティ認識を行い、対応するエンティティ認識結果を取得し、前記エンティティ認識結果を前記処理対象語句の処理結果とするステップを含む請求項３に記載の方法。
7. 処理対象語句を取得し、前記処理対象語句に対して実行される下流タスクを取得するための取得モジュールと、
   前記処理対象語句を単語に分割し、前記処理対象語句の分割後の単語の系列を取得するための単語分割モジュールと、
   前記分割後の単語の系列に対して依存構文解析を行って、前記分割後の単語の系列における各分割後の単語の間の依存構文関係の樹形図を取得するための依存構文解析モジュールと、
   前記分割後の単語の系列における各分割後の単語に対応する単語ベクトルを決定するための決定モジュールと、
   前記依存構文関係の樹形図及び前記各分割後の単語に対応する単語ベクトルを予め設定されたグラフニューラルネットワークに入力し、前記分割後の単語の系列における各分割後の単語の中間語ベクトルを取得するためのグラフニューラルネットワーク処理モジュールと、
   前記各分割後の単語の中間語ベクトルに対して前記下流タスクを実行し、前記処理対象語句の処理結果を取得するためのタスク実行モジュールと、
   を備える語句処理装置。
8. 前記タスク実行モジュールが、
   前記下流タスクに対応するベクトル表示方式を取得するための第１の取得ユニットと、
   前記ベクトル表示方式が文ベクトル表示方式である場合、前記依存構文関係の樹形図におけるコアノードを決定し、前記コアノードに対応する目標の分割後の単語を取得するための第１の決定ユニットと、
   前記各分割後の単語の中間語ベクトルから、前記目標の分割後の単語に対応する中間語ベクトルを決定し、前記目標の分割後の単語に対応する中間語ベクトルを前記処理対象語句に対応する文ベクトルとするための第２の決定ユニットと、
   前記文ベクトルに対して前記下流タスクを実行し、前記処理対象語句の処理結果を取得するための第１の実行ユニットと、
   を備える請求項７に記載の装置。
9. 前記タスク実行モジュールが、
   前記下流タスクに対応するベクトル表示方式を取得するための第２の取得ユニットと、
   前記ベクトル表示方式が単語ベクトル表示方式である場合、前記分割後の単語の系列における各分割後の単語の中間語ベクトルを結合し、結合された単語ベクトルを取得するための結合ユニットと、
   前記結合された単語ベクトルに対して前記下流タスクを実行し、前記処理対象語句の処理結果を取得するための第２の実行ユニットと、
   を備える請求項７に記載の装置。
10. 前記下流タスクに対応するベクトル表示方式を取得するステップが、
    前記下流タスクに対応するタスクタイプを取得し、
    前記タスクタイプに基づいて、前記下流タスクのベクトル表示方式を決定するという方式によって得られる請求項８又は９に記載の装置。
11. 前記下流タスクが文分類タスクであり、前記第１の実行ユニットが、
    前記文分類タスクに基づいて、前記文ベクトルを分類し、分類結果を取得し、前記分類結果を前記処理対象語句の処理結果とすることに用いられる請求項８に記載の装置。
12. 前記下流タスクがエンティティ認識タスクであり、前記第２の実行ユニットが、
    前記エンティティ認識タスクに基づいて、前記結合された単語ベクトルに対してエンティティ認識を行い、対応するエンティティ認識結果を取得し、前記エンティティ認識結果を前記処理対象語句の処理結果とすることに用いられる請求項９に記載の装置。
13. 少なくとも１つのプロセッサと、
    該少なくとも１つのプロセッサに通信可能に接続されるメモリと、
    を備え、
    前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令が、前記少なくとも１つのプロセッサが請求項１から６のいずれか一項に記載の方法を実行できるように、前記少なくとも１つのプロセッサによって実行される電子機器。
14. コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ命令が、コンピュータに請求項１から６のいずれか一項に記載の方法を実行させることに用いられる非一時的なコンピュータ読み取り可能な記憶媒体。
15. プロセッサによって実行される場合に、請求項１から６のいずれか一項に記載の方法が実現されるコンピュータプログラム。

Images