JP2022534603A - 通信システムにおける学習 - Google Patents

Abstract

送信機、チャネル、および受信機を有する伝送システムの訓練可能なパラメータを初期化することと；微分可能な分布関数に基づいて訓練シンボルを生成することと；変調された訓練シンボルを訓練モードでチャネル上で受信機に送信することと；生成された訓練シンボルおよび伝送システムの受信機で受信された変調された訓練シンボルに基づいて損失関数を生成することと；損失関数を最小化するために伝送システムの更新されたパラメータを生成することとを含む装置、方法およびコンピュータプログラムが記載されている。

Description

本明細書は、通信システムにおける学習に関する。

単純な通信システムには、送信機、伝送路、および受信機が含まれる。送信機から受信機へのデータ伝送に使用される通信方式の選択は、このような通信システムのエンド・トゥ・エンドの性能に大きな影響を与える可能性がある。これまでにも開発は行われてきたが、この分野ではさらなる発展の余地が残されている。

第１の態様では、本明細書は、装置であって：伝送システムの訓練可能なパラメータを（例えば、ランダムに、または、チャネル情報に基づいてなどの何らかの他の方法で）初期化するための手段であって、伝送システムが、送信機、チャネル、および受信機を含み、送信機が、１つ以上の入力（例えば、データビットまたはデータストリーム）を１つ以上のデータシンボルに変換するための送信機アルゴリズム（例えば、ニューラルネットワークとして実現される）と、前記データシンボルを変調方式に従って送信シンボルに変換するための変調器とを含み、伝送システムの訓練可能なパラメータが、個々のデータシンボルが送信機アルゴリズムによって出力される確率を定義する確率関数（例えば、本明細書に記載されているように確率的シェイピングを実現する）を含む、初期化するための手段と；分布関数に基づいて訓練シンボルを生成するための手段と；訓練モードで、変調された訓練シンボルを、チャネル上で受信機に送信するための手段と；生成された訓練シンボルと、伝送システムの受信機で受信された変調された訓練シンボルとに基づいて、損失関数を生成するための手段と；損失関数を最小化するために、（例えば、機械学習原理を使用して例えばニューラルネットワークを更新することによって）伝送システムの更新されたパラメータを生成するための手段であって、伝送システムの更新されたパラメータを生成することは、送信機アルゴリズムのパラメータを更新することを含む、手段と；第１の条件に到達するまで、訓練シンボルを生成すること、損失関数を生成すること、および伝送システムのパラメータを更新することを繰り返すための手段とを含み、分布関数が微分可能である、装置を記載する。データシンボルは、有限で離散的なシンボルの集合であってもよい。データシンボルは、送信機のコンステレーションポイントに対応していてもよい。確率関数は、微分できない離散的な関数であってもよい（訓練中に微分可能な近似（分布関数）に置き換えられてもよい）。微分可能な分布関数に基づいて訓練シンボルを生成することで、パラメータの訓練中にバックプロパゲーションを使用することができる場合がある。

訓練アルゴリズムのパラメータを更新することは、確率関数を訓練することを含んでもよい。また、前記パラメータを更新することは、変調器のコンステレーションなど、他のパラメータを更新することを含んでもよい。

分布関数は、確率関数の近似であってもよい。例えば、分布関数は、確率関数の微分可能な近似であってもよい（この確率関数は、離散的で微分可能でなく（ｎｏｎ－ｄｉｆｆｅｒｅｎｔｉａｂｌｅ）てもよい）。

訓練シンボルは、ガンベルソフトマックス再パラメータ化を用いるなど、ガンベルソフトマックスアルゴリズムによって生成されてもよい。

送信シンボル（および訓練モードにおける訓練シンボル）は、前記変調器によって実施される変調方式の固定コンステレーション位置に対応していてもよい。あるいは、送信シンボル（および訓練モードにおける訓練シンボル）は、前記変調器によって実施される変調方式の可変コンステレーション位置に対応していてもよく、伝送システムの訓練可能なパラメータは、前記変調方式のコンステレーションポイント位置を含む。

受信機は、動作モードで前記チャネル上で送信される前記送信シンボルを受信し、訓練モードでチャネル上で送信される前記変調された訓練シンボルを受信するように構成されてもよい。

伝送システムの更新されたパラメータを生成することは、訓練可能な受信機アルゴリズムのパラメータを更新することを含んでもよい。したがって、例えば、伝送システムのエンド・トゥ・エンドの訓練が提供されてもよい。

いくつかの実施形態は、伝送システムの生成された更新されたパラメータを用いて、伝送システムの訓練可能なパラメータを更新するための手段を含んでもよい。例えば、送信機パラメータは、訓練モードで更新され、その後、送信機アルゴリズムに配備されてもよい。送信機システムの訓練可能なパラメータは：送信機アルゴリズムの訓練可能なパラメータ；変調器の訓練可能なパラメータ；および受信機の訓練可能なパラメータのうちの１つ以上を含んでいてもよい。

確率関数および分布関数は、伝送システムのチャネル情報（信号対雑音比など）に少なくとも部分的に依存していてもよい。

いくつかの実施形態では、第１の条件は、定義された性能レベルを含む。代わりに、またはそれに加えて、第１の条件は、定義された反復回数を含んでもよい。

送信機アルゴリズムは、動作モードにおいてルックアップテーブルとして実現されてもよい。

損失関数は、ブロックエラーレート、ビットエラーレート、相互情報、およびカテゴリクロスエントロピーのうちの１つ以上に関連していてもよい。

伝送システムの更新されたパラメータを生成するための手段は、訓練モードで使用されるシンボル近似値のバッチサイズおよび学習率のうちの１つ以上を最適化してもよい。

伝送システムの更新されたパラメータを生成するための手段は、確率的勾配降下法（または何らかの他のバックプロパゲーションアルゴリズム）を用いて前記パラメータを更新してもよい。

送信機は、前記送信機アルゴリズムを実施するように構成された送信機ニューラルネットワークを含んでいてもよい。受信機アルゴリズムは、受信機ニューラルネットワークを含んでいてもよい。

前記手段は：少なくとも１つのプロセッサと；コンピュータプログラムコードを含む少なくとも１つのメモリとを含んでいてもよく、少なくとも１つのメモリおよびコンピュータプログラムは、少なくとも１つのプロセッサを用いて、装置の性能を引き起こすように構成されている。

第２の態様では、本明細書は、方法であって：伝送システムの訓練可能なパラメータを初期化することであって、伝送システムが、送信機、チャネル、および受信機を含み、送信機が、１つ以上の入力を１つ以上のデータシンボルに変換するための送信機アルゴリズムと、前記データシンボルを変調方式に従って送信シンボルに変換するための変調器とを含み、伝送システムの訓練可能なパラメータが、個々のデータシンボルが送信機アルゴリズムによって出力される確率を定義する確率関数を含む、ことと；分布関数に基づいて訓練シンボルを生成することと；訓練モードで、変調された訓練シンボルを、チャネル上で受信機に送信することと；生成された訓練シンボルと、伝送システムの受信機で受信された変調された訓練シンボルとに基づいて、損失関数を生成することと；損失関数を最小化するために、伝送システムの更新されたパラメータを生成すし、伝送システムの更新されたパラメータを生成することは、送信機アルゴリズムのパラメータを更新することを含むことと；第１の条件に到達するまで、訓練シンボルを生成すること、損失関数を生成すること、および伝送システムのパラメータを更新することを繰り返すこととを含み、分布関数が微分可能である、方法を記載する。

訓練シンボルは、ガンベルソフトマックスアルゴリズムによって生成されてもよい。

送信シンボルは、前記変調器によって実施される変調方式の固定コンステレーション位置に対応してもよい。あるいは、送信シンボルは、前記変調器によって実施される変調方式の可変コンステレーション位置に対応していてもよく、伝送システムの訓練可能なパラメータは、前記変調方式のコンステレーションポイント位置を含んでいる。

伝送システムの更新されたパラメータを生成することは、訓練可能な受信機アルゴリズムのパラメータを更新することを含んでもよい。

いくつかの実施形態は、伝送システムの生成された更新されたパラメータを用いて、伝送システムの訓練可能なパラメータを更新するステップを含む。送信機システムの前記訓練可能なパラメータは：送信機アルゴリズムの訓練可能なパラメータ；変調器の訓練可能なパラメータ；および受信機の訓練可能なパラメータのうちの１つ以上を含んでもよい。

確率関数および分布関数は、伝送システムのチャネル情報に少なくとも部分的に依存していてもよい。

第２の態様は、上述した第１の態様の少なくともいくつかの特徴をさらに含んでいてもよい。

第３の態様では、本明細書は、第２の態様を参照して説明したような任意の方法を行うように構成された装置を説明する。

第４の態様では、本明細書は、第２の態様の方法によって作成されたルックアップテーブルまたはアレイを含むワークプロダクトを説明する。

第５の態様では、本明細書は、コンピューティング装置によって実行されると、コンピューティング装置に第３または第４の態様を参照して説明したような任意の方法を行わせるコンピュータ可読命令を説明する。

第６の態様では、本明細書は、コンピュータ可読媒体であって、少なくとも以下のこと：伝送システムの訓練可能なパラメータを初期化することであって、伝送システムが、送信機、チャネル、および受信機を含み、送信機が、１つ以上の入力を１つ以上のデータシンボルに変換するための送信機アルゴリズムと、前記データシンボルを変調方式に従って送信シンボルに変換するための変調器とを含み、伝送システムの訓練可能なパラメータが、個々のデータシンボルが送信機アルゴリズムによって出力される確率を定義する確率関数を含む、ことと；分布関数に基づいて訓練シンボルを生成することと；訓練モードで、変調されたシンボルを、チャネル上で受信機に送信することと；生成されたシンボルと、伝送システムの受信機で受信された変調されたシンボルとに基づいて、損失関数を生成することと；損失関数を最小化するために、伝送システムの更新されたパラメータを生成し、伝送システムの更新されたパラメータを生成することは、送信機アルゴリズムのパラメータを更新することを含むことと；第１の条件に到達するまで、シンボル近似値を生成すること、損失関数を生成すること、および伝送システムのパラメータを更新することを繰り返すこととを行うためのプログラム命令を記憶し、分布関数が微分可能である、コンピュータ可読媒体を記載する。

第７の態様では、本明細書は、コンピュータプログラムであって、装置に少なくとも以下のこと：伝送システムの訓練可能なパラメータを初期化することであって、伝送システムが、送信機、チャネル、および受信機を含み、送信機が、１つ以上の入力を１つ以上のデータシンボルに変換するための送信機アルゴリズムと、前記データシンボルを変調方式に従って送信シンボルに変換するための変調器とを含み、伝送システムの訓練可能なパラメータが、個々のデータシンボルが送信機アルゴリズムによって出力される確率を定義する確率関数を含む、ことと；分布関数に基づいて訓練シンボルを生成することと；訓練モードで、変調されたシンボルを、チャネル上で受信機に送信することと；生成されたシンボルと、伝送システムの受信機で受信された変調されたシンボルとに基づいて、損失関数を生成することと；損失関数を最小化するために、伝送システムの更新されたパラメータを生成し、伝送システムの更新されたパラメータを生成することは、送信機アルゴリズムのパラメータを更新することを含むことと；第１の条件に到達するまで、シンボル近似値を生成すること、損失関数を生成すること、および伝送システムのパラメータを更新することを繰り返すこととを行わせるための命令を含み、分布関数が微分可能である、コンピュータプログラムを記載する。

第８の態様では、本明細書は、装置であって、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリとを備え、コンピュータプログラムコードは、少なくとも１つのプロセッサによって実行されたときに、装置に：伝送システムの訓練可能なパラメータを初期化させ、伝送システムが、送信機、チャネル、および受信機を含み、送信機が、１つ以上の入力を１つ以上のデータシンボルに変換するための送信機アルゴリズムと、前記データシンボルを変調方式に従って送信シンボルに変換するための変調器とを含み、伝送システムの訓練可能なパラメータが、個々のデータシンボルが送信機アルゴリズムによって出力される確率を定義する確率関数を含んでおり；分布関数に基づいて訓練シンボルを生成させ；訓練モードで、変調されたシンボルを、チャネル上で受信機に送信させ；生成されたシンボルと、伝送システムの受信機で受信された変調されたシンボルとに基づいて、損失関数を生成させ；損失関数を最小化するために、伝送システムの更新されたパラメータを生成させ、；第１の条件に到達するまで、シンボル近似値を生成すること、損失関数を生成すること、および伝送システムのパラメータを更新することを繰り返すこととをさせ、分布関数が微分可能であり、伝送システムの更新されたパラメータを生成することは、送信機アルゴリズムのパラメータを更新することを含む、装置を記載する。

第９の態様では、本明細書は、装置であって：伝送システムの訓練可能なパラメータを（例えば、ランダムに、または、チャネル情報に基づいてなどの何らかの他の方法で）初期化するための初期化モジュールであって、伝送システムが、送信機、チャネル、および受信機を含み、送信機が、１つ以上の入力（例えば、データビットまたはデータストリーム）を１つ以上のデータシンボルに変換するための送信機アルゴリズム（例えば、ニューラルネットワークとして実現される）と、前記データシンボルを変調方式に従って送信シンボルに変換するための変調器とを含み、伝送システムの訓練可能なパラメータが、個々のデータシンボルが送信機アルゴリズムによって出力される確率を定義する確率関数（例えば、本明細書に記載されているように確率的シェイピングを実現する）を含む、初期化モジュールと；分布関数に基づいて訓練シンボルを生成する訓練モジュール（シェイピングデバイスのような）と；訓練モードで、変調された訓練シンボルを、チャネル上で受信機に送信するための送信機と；生成された訓練シンボルと、伝送システムの受信機で受信された変調された訓練シンボルとに基づいて、損失関数を生成するためのプロセッサと；損失関数を最小化するために、（例えば、機械学習原理を使用して例えばニューラルネットワークを更新することによって）伝送システムの更新されたパラメータを生成するための更新モジュールと；第１の条件に到達するまで、訓練シンボルを生成すること、損失関数を生成すること、および伝送システムのパラメータを更新することを繰り返す制御モジュールとを含み、分布関数が微分可能であり、伝送システムの更新されたパラメータを生成することは、送信機アルゴリズムのパラメータを更新することを含む、装置を記載する。データシンボルは、有限で離散的なシンボルの集合であってもよい。データシンボルは、送信機のコンステレーションポイントに対応していてもよい。確率関数は、微分できない離散的な関数であってもよい（訓練中に微分可能な近似値（分布関数）に置き換えられてもよい）。

次に、例示的な実施形態について、非限定的な例として、以下の概略図面を参照しながら説明する。

例示的な実施形態による例示的なエンド・トゥ・エンドの通信システムのブロック図である。 図１の通信システムで使用される可能性のある例示的な送信機のブロック図である。 図１の通信システムで使用される可能性のある例示的な受信機のブロック図である。 例示的な実施形態による伝送システムのブロック図である。 例示的な実施形態による送信機のブロック図である。 例示的な実施形態による例示的な受信モジュールのブロック図である。 例示的な実施形態によるアルゴリズムを示すフローチャートである。 例示的な実施形態によるシステムの構成要素のブロック図である。 コンピュータによって走らされると実施形態による動作を行うコンピュータ可読コードを記憶したリムーバブルメモリユニットである有体媒体を示す図である。 コンピュータによって走らされると実施形態による動作を行うコンピュータ可読コードを記憶したコンパクトディスク（ＣＤ）である有体媒体を示す図である。

本発明の様々な実施形態に求められる保護の範囲は、独立請求項によって定められている。独立請求項の範囲に該当しない明細書に記載された実施形態および特徴がもしあれば、本発明の様々な実施形態を理解するのに有用な例として解釈されるべきである。

本明細書および図面において、同様の参照符号は、全体を通して同様の要素を指す。

図１は、例示的な実施形態による、総称的に参照符号１で示される例示的なエンド・トゥ・エンド通信システムのブロック図である。システム１は、送信機２と、チャネル４と、受信機６とを含む。システムレベルで見ると、システム１は、送信機２への入力で受信した入力ビット（ｂ）を、受信機６の出力で出力ビット

に変換する。より具体的には、送信機２は、チャネル４上での送信のために入力ビット（ｂ）を送信シンボル（ｘ）に変換し、受信機６は、チャネル４から受信したシンボル（ｙ）から出力ビット

を生成する。

図２は、上述した通信システム１で使用することができる例示的な送信機２のブロック図である。図２に示すように、送信機２は、ビット・トゥ・シンボルモジュール１２と変調器１４とを含む。ビット・トゥ・シンボルモジュール１２は、入力データビット（ｂ）を受信し、それらのビットを送信用のデータシンボル（ｓ）に変換する。例えば、入力データビット（ｂ）は、データストリームの形態をとっていてもよく、そのデータストリームは、ビット・トゥ・シンボルモジュール１２によって送信用にパッケージ化される。変調器１４は、変調方式に従って、データシンボルを送信シンボル（ｘ）に変換する。そして、送信シンボルは、チャネル４上で送信され、受信されたシンボル（ｙ）として受信機６に受信される。

図３は、上述した通信システム１で使用され得る例示的な受信機６のブロック図である。図３に示すように、受信機６は、復調器２２およびデマッパーモジュール２４を含む。復調器２２は、受信したシンボル（ｙ）をシンボル確率ｐ_Φ（ｓ│ｙ）に変換し、デマッパー２４は、シンボル確率をビット確率ｐ（ｂ_ｉ│ｙ）に変換する。

変調器１４（および復調器２２）の実現には、多くの変調技術が使用され得る。これらには、搬送波信号の振幅が送信される信号に基づいて変更される振幅シフトキーイング（ＡＳＫ）、および搬送波信号の位相が送信される信号に基づいて変更される位相シフトキーイング（ＰＳＫ）が含まれる。一例として、直交位相シフトキーイング（ＱＰＳＫ）は、４つの可能な搬送波位相シフト（例えば、０、＋９０度、１８０度、－９０度）のうち１つを選択して、２つのビットを一度に変調する位相シフトキーイングの一形態である。このような搬送波の位相と振幅は、複素平面上のコンステレーション位置として表されることが多い。当業者であれば、他にも多くの適切な変調技術を認識するであろう。

通信システム１のような情報を送信するために使用される変調方式の選択は、そのような通信システムのエンド・トゥ・エンドの性能に影響を与える。さらに、そのような変調方式は、最適化されてもよい。

多数のコンステレーションポイントを有する通信方式（振幅および／または位相シフトキーイング変調方式など）については、複素平面におけるこのようなコンステレーションポイントの場所が最適化されてもよい。代替的に、または追加で、そのようなコンステレーションポイントが使用される相対的な周波数が最適化されてもよい。これらの方法は、本明細書では、それぞれ幾何学的シェイピングおよび確率的シェイピングと呼ばれる。

図４は、例示的な実施形態による、総称的に参照符号３０で示される伝送システムのブロック図である。伝送システム３０は、送信機３２、チャネル３４、および受信機３６を含む（これらは、上述の送信機２、チャネル４、および受信機６といくつかの類似点を有する）。

図４に示すように、送信機３２は、ビット・トゥ・シンボルモジュール３７（上述のビット・トゥ・シンボルモジュール１２と同様のもの）と、変調器３８（変調器１４と同様のもの）と、シェイピングデバイス３９とを含む。受信機３６は、復調器４０（復調器２２と同様のもの）と、デマッパーモジュール４１（デマッパーモジュール２４と同様のもの）とを含む。

以下でさらに論じるように、送信機３２は、ビットの入力ストリームを送信シンボルにマッピングする。送信機は、ニューラルネットワーク（または、訓練可能なパラメータを有する何らかの他の関数）を含む。

ビット・トゥ・シンボルモジュール３７は、ｂ＝［ｂ_１，．．．，ｂ_Ｎ］で示されるサイズＮの入来ビットシーケンスを受信し、シンボルｓの発生頻度がシェイピングデバイス３９によって提供される確率分布ｐ_θ（ｓ）に対応するように、そのビットシーケンスをハイパーシンボルｓ∈Ｓにマッピングする。ここで、Ｓ＝｛１，．．．，Ｋ｝は、ハイパーシンボルの有限で離散的な集合である。ハイパーシンボルｓは変調器３８に提供され、変調器３８はｓを複素送信シンボル

にマッピングするが、ここでＭはチャネルの使用数である。

システム３０のチャネル３４は、複素送信シンボル

を受け取り、

にプールされたＭ個の受信されたサンプルを出力する。おそらく知られていない遷移確率ｐ（ｙ│ｘ）は、チャネル３４の入出力関係を記述する。

システム３０の受信機３６は、チャネル３４によって生成されたＭ個のサンプルのシーケンス

で動作する。受信機３６の復調器４０は、受信したシンボルをシンボル確率ｐ_Φ（ｓ│ｙ）にマッピングし、デマッパーモジュール４１は、ビット確率ｐ（ｂ_ｉ│ｙ）を出力する。

図５は、例示的な実施形態による、総称的に参照符号５０で示される送信機のブロック図である。送信機５０は、上述した送信機３２の一例であり；特に、送信機５０は、上述した送信機３２を訓練するための例示的な構成を示している。

送信機５０は、例示的な実施形態による、ビット・トゥ・シンボルモジュール３７、変調器３８、およびシェイピングデバイス３９を含む。シェイピングデバイス３９は、送信機５０の訓練中に使用されてもよい。以下でさらに説明するように、通常の動作モードでは、シェイピングデバイス３９は、例えば、適切な設定を提供するルックアップテーブルで置き換えられてもよい。

変調器３８は、埋め込みモジュール５２、正規化モジュール５４、および実数複素数変換モジュール５６を含む。シェイピングデバイス３９は、パラメータモジュール６０、サミングモジュール６２、ガンベルサンプラ６３、ソフトマックスモジュール６４、ソフトマックスτモジュール６５、およびストレートスルー推定器６６を含む。

ビット・トゥ・シンボルモジュール３７は、入来ビットｂをハイパーシンボルｓにマッピングする。このマッピングは、シンボルが使用される頻度が所与の確率分布ｐ_θ（ｓ）に一致するように実施される。確率分布ｐ_θ（ｓ）は、以下でさらに論じるように、シェイピングモジュール３９によって生成される。

ビット・トゥ・シンボルモジュール３７は、いくつかの方法で実現することができる。一例として、定数構成分布マッチング（ＣＣＤＭ）アプローチが使用されてもよい。ＣＣＤＭは、Ｎ_１個のビットのベクトルをＮ_２個のシンボルのベクトルにマッピングすることを含み、ここで、Ｎ_１およびＮ_２は典型的に大きな数である。サイズＮ_２のシンボルのすべての可能なベクトルの集合から、シンボルが望ましい目標確率で近似的に出現するようなものを選択する。これらの選択されたベクトルが集合Ｇを形成する。Ｎ_２が大きければ大きいほど、目標確率の近似値が良好になる。Ｎ_１は、Ｎ_１≦ｌｏｇ_２｜Ｇ｜となるようにしなければならない。そして、サイズＮ_１のビットのベクトルを、算術符号化を用いてＧからシンボルのベクトルにマッピングする。

詳細は以下で論じるが、バックプロパゲーションなどの機械学習原理を用いてシステム５０を訓練することが望まれる場合もある。ビット・トゥ・シンボルモジュール３７によって行われる演算は、離散的で微分可能でない関数であり、したがって、機械学習で使用される多くの訓練技術は適用できない。

シェイピングデバイス３９は、パラメータθ（または任意の他の訓練可能な関数）を有するニューラルネットワークとして実現されてもよい。図５に示唆されているように、シェイピングデバイス３９は、ストレートスルーのガンベルソフトマックス再パラメータ化技法を利用してもよい。ガンベルソフトマックス技法は、任意の離散的な確率分布ｐ_θ（ｓ）のサンプルｓ∈Ｓは、

によって近似的にサンプリングすることができるとしている。

ここで、

であり、ｉ∈Ｓのｇ_ｉはガンベル（０，１）分布からのサンプルであり、ｉ∈Ｓの｛ｚ_ｉ｝はパラメータθを有する訓練可能なニューラルネットワークによって計算された、いわゆるロジット（例えば、正規化されていない確率の対数であり、ソフトマックス関数はこのプロセスを逆にする）である。（パラメータτについては以下でさらに論じる。）

分布ｐ_θ（ｓ）は、ｐ_θ＝ｓｏｆｔｍａｘ（ｚ）によってロジットから取得することができる。システム５０では、ロジットを生成するニューラルネットワークのアーキテクチャの例が描かれている。この例では、ロジットが直接訓練されているため、θ＝ｚとなっている。なお、他のアーキテクチャも可能である。例えば、ロジットは、ニューラルネットワークによってチャネル情報（信号対雑音比など）から計算され得る。

θを最適化することで、分布ｐ_θ（ｓ）を最適化する。

上記（１）式において、ｓｏｆｔｍａｘ演算子の代わりにａｒｇｍａｘ演算子を用いれば、正確な分布ｐ_θ（ｓ）からのサンプリングが可能となる。ａｒｇｍａｘの出力は、ワンホット表現、すなわち、１つの要素を１に設定し、他の要素を０に設定したベクトルに変換される。１に設定された要素のインデックスがａｒｇｍａｘの出力に対応する。しかし、ａｒｇｍａｘ演算子は微分可能ではないため、通常の確率的勾配降下法（ＳＧＤ）または同様のバックプロパゲーション法によるｐ_θ（ｓ）の最適化を阻む。ａｒｇｍａｘ演算子の微分可能な近似として、ソフトマックス関数を使用することができる。正のパラメータτは、生成されたサンプル

の分布が正確な分布ｐ_θ（ｓ）からどの程度大きく逸脱するかを制御する。τを低い値に設定すると、より良い近似値が可能になるが、ソフトマックスτ層の鋭さが増し、勾配のバックプロパゲーションがより困難になるため、訓練がより難しくなる。ソフトマックス関数の欠点は、ワンホットベクトルの近似値しか出力しないことである。訓練時に変調器の入力が常に真のワンホットベクトルであることを保証するために、ソフトマックスの出力がストレートスルー推定器６６に供給されることができる。ストレートスルー推定器は、（最大の要素を１に、その他の要素をすべて０に等しく設定することによって）その入力を最も近い真のワンホットベクトルに離散化する非常に単純なユニットであるが、バックプロパゲーションを行う際にはスキップすることができる（つまり、離散化は無視される）。

確率的勾配降下法は、バックプロパゲーティング勾配に基づいて、訓練可能なパラメータを最適化しようとするものである。上述の構成では、提案されたサンプリングデバイスのみが訓練可能であり、ビット・トゥ・シンボルモジュール３７は訓練可能ではないので、訓練時と配備時には異なるサブモジュールがアクティブになる。これは、システム５０のスイッチ５８によって描かれている。

訓練中には、訓練可能なシェイピングデバイス３９がアクティブであり、ハイパーシンボルｓはこのデバイスによって生成される。情報レートを最大化する分布ｐ_θ（ｓ）を学習するために、バックプロパゲーティング勾配の流れが訓練可能なデバイスに供給され、それに応じてパラメータθが更新される。訓練が完了すると、学習された分布ｐ_θ（ｓ）がビット・トゥ・シンボルモジュール３７に供給され、スイッチ５８が「評価」に設定される。このように、配備時には、今度はシンボルがビット・トゥ・シンボルモジュール３７によって生成され、ビット・トゥ・シンボルモジュール３７は、入来ビットストリームを学習された頻度ｐ_θ（ｓ）を有するハイパーシンボルにマッピングする。上述したように、このような構成は、ルックアップテーブルまたは何らかの同様のモジュールによって実現されてもよい。

変調器３８は、シンボルｓを複素平面上のコンステレーションポイントｘにマッピングする。これらのポイントの実際の場所は、固定されることも、ｐ_θ（ｓ）と共同で最適化されることもできる。コンステレーションも学習される場合、変調器３８は、訓練可能なパラメータ（または他の任意の学習可能な関数）を有するニューラルネットワークとして実現することができ、Ｇ_ψで示される。訓練可能な変調器の例示的なアーキテクチャが図５に示されており、これは、次元Ｋ×２Ｍの埋め込み層５２と、何らかの電力制約、例えば

を保証するために、学習された分布ｐ_θ（ｓ）を第２の入力としてとる正規化層５４とを含む。最後に、実数複素数変換モジュール５６が、２Ｍ個の実数出力をＭ個の複素数チャネルシンボルにマッピングする。当業者は、変調器３８の代替的な実施形態（特に、コンステレーションポイントの場所が固定されている場合）を認識するであろう。

システム３０および５０は、エンド・トゥ・エンド学習を用いて訓練されてもよい。このアプローチでは、送信機３２、チャネル３４、および受信機３６は、単一のニューラルネットワークとして実現されてもよく、エンド・トゥ・エンドシステムは、入力および出力を再構築するように訓練される。いくつかの実施形態では、差動チャネルモデルが利用可能であると仮定することができる。例えば、適切なチャネルモデルが利用できない場合などには、代替的な実施形態も可能である。

エンド・トゥ・エンドの訓練により、ニューラルネットワーク（または何らかの他の訓練可能な関数）として実現された、パラメータΦを有する訓練可能な受信機ｒ_Φが提供されてもよい。

図６は、例示的な実施形態による、総称的に参照符号７０で示される例示的な受信モジュールのブロック図である。受信モジュール７０は、複素数実数変換モジュール７１と、第１の密（ｄｅｎｓｅ）層７２と、第２の密層７３と、ソフトマックス層７４とを含む。システム７０に２つの密層を設けることは例示に過ぎず；任意の数の密層を設けることが可能である。

複素数実数変換モジュール７１は、受信したベクトル

を実数値に変換する。これは、例えば、サンプルの実数部と虚数部を連結して、

の値をとるベクトルを得ることによって行うことができる。

このようにして得られたベクトルは、密層７２および７３に供給され、これらの密層は、異なる活性化関数（例えば、ＲｅＬＵ、ｔａｎｈ、シグモイド、線形など）を有することができる。ソフトマックス層の最後の層は、｜Ｓ｜出力次元を有し、ソフトマックス活性化関数を利用して、離散的な確率質量関数ｐ_θ（ｓ│ｙ）を生成するが、その要素は、シンボルｓが送信された確率として解釈することができる。

（確率的シェイピングに関連する）訓練可能な関数θ、（コンステレーション位置または幾何学的シェイピングに関連する）φ、および（受信機に関連する）Φの１つ以上を決定するために、確率的勾配降下法（またはなんらかの類似のアルゴリズム）が行われる。最小化される可能な損失関数は、シンボルのエントロピーを差し引いたクロスエントロピー（ＣＥ）損失関数である：

式（３）では、シンボルｓとチャネル出力ｙのすべての実現値に対して期待値をとっている。独立同一分布（ｉ．ｉ．ｄ．）の実現値を仮定すると、損失関数は：

によって推定できる。

ここで、Ｂはバッチサイズ（すなわち、損失を近似するために使用される訓練例の数）を表している。なお、変調器が固定されたコンステレーションを有すると仮定される場合、最適化はφに対して行われないであろう。

図７は、例示的な実施形態による、総称的に参照符号８０で示されるアルゴリズムを示すフローチャートである。

アルゴリズム８０は、動作８１から始まり、伝送システム（図４および図５を参照して以上で論じた伝送システムなど）の訓練可能なパラメータが初期化される。初期化は多くの形態をとることができ、例えば、初期化は、訓練可能なパラメータをランダムに（または擬似ランダムに）あるいは何らかの任意の方法で設定してもよく；代わりに、訓練可能なパラメータを事前定義された開始点に設定してもよく、または何らかのアルゴリズムに従って（例えば、信号対雑音比などの伝送システムのチャネル情報に基づいて）定義してもよい。

パラメータの初期化は、パラメータモジュール６０によって実施されてもよい。パラメータモジュール６０は、例えば、個々のデータシンボル（例えば、送信機のコンステレーションポイント）が送信機アルゴリズムによって出力される確率を定義する初期確率関数を設定してもよい。確率関数は離散的な関数であり、直接的に微分可能ではない。

アルゴリズムは動作８２に移行し、そこでは訓練シンボルが分布関数に基づいて生成され、分布関数は微分可能である。分布関数は、確率関数の近似（例えば、微分可能な近似）であってもよい。上述したように、確率関数は、典型的には離散的で非微分的な確率関数であり、これは、機械学習プロセスでしばしば採用されるバックプロパゲーション技術（以下でさらに論じる）には寄与しない。したがって、微分可能でない確率関数は、訓練中に微分近似で置き換えられてもよい。

訓練シンボルは、ガンベルソフトマックスアルゴリズムによって生成されてもよい（以上で論じたガンベルソフトマックス再パラメータ化を使用するなど）。訓練モードにおいてシェイピングデバイス３９によって生成されるような、訓練シンボルは、変調器３８に提供され、変調された訓練シンボルは、チャネル３４上で受信機３６に送信される。

以上で論じたように、（訓練モードにおける）訓練シンボルは、変調器３８によって実施される変調方式の固定コンステレーション位置に対応することができる。同様に、（通常動作モードにおける）送信シンボルは、固定コンステレーション位置に対応してもよい。

あるいは、訓練モードにおける訓練シンボル（および通常動作モードにおける送信シンボル）は、前記変調器３８によって実施される変調方式の可変コンステレーション位置に対応していてもよい。さらに、伝送システムの訓練可能なパラメータは、前記変調方式のコンステレーションポイント位置を含んでいてもよい。

動作８２において生成され、前記チャネル上で送信されたシンボルは、受信機３６によって受信される。

動作８３では、生成された訓練シンボルと、伝送システムの受信機で受信された変調された訓練シンボルとに基づいて、損失関数が生成される。損失関数は、多くの異なる形態をとることができる。例えば、損失関数は、ブロックエラーレート、ビットエラーレート、相互情報およびカテゴリクロスエントロピーのうちの１つ以上に関連していてもよい。

動作８４では、損失関数を最小化するために、伝送システムのパラメータが更新され、そこで伝送システムの更新されたパラメータを生成することは、（例えば、機械学習原理を使用して例えばニューラルネットワークを更新することによって）送信機アルゴリズムのパラメータを更新することを含む。伝送システムの更新されたパラメータを生成することは、以上で論じた確率関数を訓練することを含んでもよい。したがって、例えば、ビットエラーレート（または何らかの他のエラー関数）が最小になるように確率的シェイピングを設定するために、確率関数が訓練されてもよい。また、変調器のコンステレーション位置など、他のパラメータが更新されてもよい。

訓練可能な送信機アルゴリズムを更新することに加えて、動作８４で伝送システムの更新されたパラメータを生成することは、訓練可能な受信機アルゴリズムのパラメータを更新すること（それによって、伝送システムのエンド・トゥ・エンドの訓練を実施すること）を含んでもよい。

動作８５では、アルゴリズム８０が完了したかどうかが決定される。そうであれば、アルゴリズムは動作８６で終了し；そうでなければ、アルゴリズムは、動作８２から８５が繰り返されるように動作８２に戻る（すなわち、訓練シンボルの生成および送信、損失関数の生成および伝送システムのパラメータの更新が繰り返される）。

アルゴリズムは、ある条件に達したときに（動作８５で）完了したとみなされることがある。このような条件は、様々な形態をとることができる。例えば、定義された性能レベルに到達するまで、動作８２から８５を繰り返してもよい。あるいは、またはそれに加えて、定義された数の反復が完了するまで、動作８２から８５を繰り返してもよい。

また、訓練に使用されるシンボル近似値のバッチサイズＢおよび／または学習率（および、選択されるＳＧＤバリアントの可能な他のパラメータ、例えば、ＡＤＡＭ、ＲＭＳＰｒｏｐ、Ｍｏｍｅｎｔｕｍ）は、アルゴリズム８０の最適化パラメータとなり得ることに留意すべきである。

訓練が完了したら、伝送システムの訓練可能なパラメータを配備することができる。これには、伝送システムの生成された更新されたパラメータを使用して、伝送システムの訓練可能なパラメータを更新することが含まれ得る。さらに、送信機システムの訓練可能なパラメータは：送信機アルゴリズムの訓練可能なパラメータ、変調器の訓練可能なパラメータ、および受信機の訓練可能なパラメータのうちの１つ以上を含んでいてもよい。

上述の例示的な実施形態には、多くの変更が可能である。例えば、伝送システム３０および５０のエンド・トゥ・エンドの訓練は、強化学習の原理を活用することにより、関連するチャネルモードの知識がなくても、また、微分可能なチャネルモードを必要とせずに行うことができる。さらに、生成的敵対的ネットワークの原理を利用して、微分可能なチャネルモデルを学習することもできる。このようなモデルが学習されると、学習されたチャネルモデルを微分可能なチャネルモデルとして使用して、エンド・トゥ・エンドの学習を行うことができる。

完全を期すために、図８は、（例えば、送信機または受信機ニューラルネットワークといった）以前に説明されたモジュールの１つ以上の構成要素の概略図であり、これらは、これ以後、総称的に処理システム１１０と呼ばれる。処理システム１１０は、プロセッサ１１２、プロセッサの近くに結合され、ＲＡＭ１２４およびＲＯＭ１２２で構成されたメモリ１１４、ならびに、任意選択で、ハードウェアキー１２０およびディスプレイ１２８を有することもできる。処理システム１１０は、ネットワークへの接続のための、例えば、有線でもワイヤレスでもよいモデムといった、１つ以上のネットワークインターフェース１１８を含んでもよい。

プロセッサ１１２は、他の構成要素のそれぞれに、その動作を制御するために接続される。

メモリ１１４は、不揮発性メモリ、ハードディスクドライブ（ＨＤＤ）、またはソリッドステートドライブ（ＳＳＤ）を含んでもよい。メモリ１１４のＲＯＭ１２２は、他のものの中でも、オペレーティングシステム１２５を記憶し、ソフトウェアアプリケーション１２６を記憶してもよい。メモリ１１４のＲＡＭ１２４は、データの一時的な記憶のためにプロセッサ１１２によって使用される。オペレーティングシステム１２５は、プロセッサによって実行されると、アルゴリズム８０の態様を実施するコードを含んでもよい。

プロセッサ１１２は、任意の適切な形態であってもよい。例えば、これは、１つのマイクロコントローラ、複数のマイクロコントローラ、１つのプロセッサ、または複数のプロセッサであってもよい。

処理システム１１０は、スタンドアロンコンピュータ、サーバ、コンソール、またはそのネットワークであってもよい。

いくつかの実施形態において、処理システム１１０は、また、外部ソフトウェアアプリケーションと関連付けられてもよい。これらは、リモートサーバデバイスに記憶されたアプリケーションであってもよく、リモートサーバデバイス上で部分的または排他的に走ってもよい。これらのアプリケーションは、クラウドホスト型アプリケーションと称され得る。処理システム１１０は、リモートサーバデバイスに記憶されたソフトウェアアプリケーションを利用するために、リモートサーバデバイスと通信してもよい。

図９ａおよび図９ｂは、コンピュータによって走らされると、上述の実施形態による方法を行ってもよいコンピュータ可読コードを記憶する、それぞれ、取外し可能メモリユニット１６５およびコンパクトディスク（ＣＤ）１６８である有体的媒体を示す。取外し可能メモリユニット１６５は、コンピュータ可読コードを記憶する内部メモリ１６６を有する、例えばＵＳＢメモリスティックといった、メモリスティックであってもよい。メモリ１６６は、コネクタ１６７を介してコンピュータシステムによってアクセスされてもよい。ＣＤ１６８は、ＣＤ－ＲＯＭまたはＤＶＤまたは類似のものであってもよい。有体ストレージ媒体の他の形態が、使用されてもよい。

本発明の実施形態は、ソフトウェア、ハードウェア、アプリケーションロジック、または、ソフトウェア、ハードウェア、およびアプリケーションロジックの組合せで実施されてもよい。ソフトウェア、アプリケーションロジック、および／またはハードウェアは、メモリ、または任意のコンピュータ媒体に常駐してもよい。例示的な実施形態において、アプリケーションロジック、ソフトウェア、または命令セットは、様々な従来のコンピュータ可読媒体のうちの任意の１つで維持される。本文書の文脈において、「メモリ」または「コンピュータ可読媒体」は、コンピュータなどの命令実行システム、装置、もしくはデバイスによって、または、これらとともに使用するために、命令を含めること、記憶すること、通信すること、伝搬させること、または輸送することができる任意の非一時的媒体または手段であってもよい。

適切な場合、「コンピュータ可読ストレージ媒体」、「コンピュータプログラム製品」、「有体的に具現化されたコンピュータプログラム」等、または「プロセッサ」もしくは「処理回路」等への言及は、シングル／マルチプロセッサアーキテクチャおよびシーケンサ／並列アーキテクチャなどの異なるアーキテクチャを有するコンピュータだけでなく、フィールドプログラマブルゲートアレイＦＰＧＡ、特定用途向け集積回路ＡＳＩＣ、信号処理デバイス、および他のデバイスなどの特殊回路も包含するものと理解されたい。コンピュータプログラム、命令、コード、等への言及は、固定機能デバイス、ゲートアレイ、プログラマブルロジックデバイス、等のためのプロセッサ、または構成された設定もしくは構成設定のための命令として、ハードウェアデバイスのプログラム可能コンテンツなどの、プログラム可能プロセッサファームウェアのためのソフトウェアを表現するものと理解されたい。

本出願において使用されるように、用語「回路」は：（ａ）ハードウェアのみの回路での実現（アナログおよび／またはデジタル回路だけでの実現など）、ならびに、（ｂ）（適用できる場合）：（ｉ）プロセッサの組合せ、または、（ｉｉ）サーバなどの装置に様々な機能を行わせるように一緒に機能するプロセッサ／ソフトウェアの一部（デジタルシグナルプロセッサを含む）、ソフトウェア、およびメモリ、などの回路とソフトウェア（および／またはファームウェア）の組合せ、ならびに、（ｃ）ソフトウェアまたはファームウェアが物理的に存在しなくても、動作のためにソフトウェアまたはファームウェアを必要とするマイクロプロセッサまたはマイクロプロセッサの一部などの回路、のすべてを指す。

必要に応じて、本明細書において論じられる異なる機能は、互いに異なる順序で、および／または同時に行われてもよい。さらに、必要に応じて、上述の機能の１つ以上は任意選択であってもよく、または、組み合わされてもよい。同様に、図７の流れ図は単なる例であり、そこに描写された様々な動作は、省略されること、並び替えられること、および／または組み合わされることが行われてもよいということも理解されよう。

上述の例示的な実施形態は、純粋に例証的なものであり、本発明の範囲を限定するものではないということが理解されよう。他の変形形態および変更形態は、本明細書を読めば当業者には明らかであろう。

その上、本出願の開示は、本明細書において明示的または非明示的に開示されたいずれかの新規な特徴、もしくは、特徴のいずれかの新規な組合せ、または、そのいずれかの一般化を含むものと理解されたく、本出願、またはそこから派生するいずれかの出願の審査中、いずれかのこのような特徴、および／またはこのような特徴の組合せを含めるために、新しい請求項が策定されることもある。

本発明の様々な態様が、独立請求項の中で提示されるが、本発明の他の態様は、特許請求の範囲において明示的に提示された組合せだけではなく、独立請求項の特徴とともに、記述された実施形態および／または従属請求項からの特徴の他の組合せを含む。

上記は様々な例を記述するが、これらの記述は、限定的な意味で考えられるべきではないということも、本明細書において留意されたい。むしろ、添付の特許請求の範囲に規定されるように、本発明の範囲から逸脱することなく行われてもよい、いくつかの変形形態および変更形態がある。

Claims (27)

1. 装置であって、
   伝送システムの訓練可能なパラメータを初期化するための手段であって、伝送システムが、送信機、チャネル、および受信機を含み、送信機が、１つ以上の入力を１つ以上のデータシンボルに変換するための送信機アルゴリズムと、前記データシンボルを変調方式に従って送信シンボルに変換するための変調器とを含み、伝送システムの訓練可能なパラメータが、個々のデータシンボルが送信機アルゴリズムによって出力される確率を定義する確率関数を含む、初期化するための手段と、
   分布関数に基づいて訓練シンボルを生成するための手段と、
   訓練モードで、変調された訓練シンボルを、チャネル上で受信機に送信するための手段と、
   生成された訓練シンボルと、伝送システムの受信機で受信された変調された訓練シンボルとに基づいて、損失関数を生成するための手段と、
   損失関数を最小化するために、伝送システムの更新されたパラメータを生成するための手段であって、伝送システムの更新されたパラメータを生成することは、送信機アルゴリズムのパラメータを更新することを含む、手段と、
   第１の条件に到達するまで、訓練シンボルを生成すること、損失関数を生成すること、および伝送システムのパラメータを更新することを繰り返すための手段と
   を含み、
   分布関数が微分可能である、装置。
2. 分布関数が、確率関数の近似である、請求項１に記載の装置。
3. 訓練シンボルが、ガンベルソフトマックスアルゴリズムによって生成される、請求項１または２に記載の装置。
4. 前記送信シンボルが、前記変調器によって実施される変調方式の固定されたコンステレーション位置に対応する、請求項１から３のいずれか一項に記載の装置。
5. 前記送信シンボルが、前記変調器によって実施される変調方式の可変コンステレーション位置に対応しており、伝送システムの訓練可能なパラメータが、前記変調方式のコンステレーションポイント位置を含む、請求項１から３のいずれか一項に記載の装置。
6. 受信機が、動作モードで前記チャネル上で送信される前記送信シンボルを受信し、訓練モードでチャネル上で送信される前記変調された訓練シンボルを受信するように構成されている、請求項１から５のいずれか一項に記載の装置。
7. 伝送システムの更新されたパラメータを生成することが、訓練可能な受信機アルゴリズムのパラメータを更新することを含む、請求項１から６のいずれか一項に記載の装置。
8. 伝送システムの生成された更新されたパラメータを用いて、伝送システムの訓練可能なパラメータを更新するための手段をさらに含む、請求項１から７のいずれか一項に記載の装置。
9. 送信機システムの訓練可能なパラメータが、送信機アルゴリズムの訓練可能なパラメータ、変調器の訓練可能なパラメータ、および受信機の訓練可能なパラメータのうちの１つ以上を含む、請求項８に記載の装置。
10. 確率関数および分布関数が、伝送システムのチャネル情報に少なくとも部分的に依存する、請求項１から９のいずれか一項に記載の装置。
11. 第１の条件が、定義された性能レベルを含む、請求項１から１０のいずれか一項に記載の装置。
12. 第１の条件が、定義された反復回数を含む、請求項１から１１のいずれか一項に記載の装置。
13. 前記送信機アルゴリズムが、動作モードにおいてルックアップテーブルとして実現されている、請求項１から１２のいずれか一項に記載の装置。
14. 損失関数が、ブロックエラーレート、ビットエラーレート、相互情報およびカテゴリカルクロスエントロピーのうちの１つ以上に関連する、請求項１から１３のいずれか一項に記載の装置。
15. 伝送システムの更新されたパラメータを生成するための手段が、訓練モードで使用されるシンボル近似値のバッチサイズおよび学習率のうちの１つ以上を最適化する、請求項１から１４のいずれか一項に記載の装置。
16. 伝送システムの更新されたパラメータを生成する前記手段が、確率的勾配降下法を用いて前記パラメータを更新する、請求項１から１５のいずれか一項に記載の装置。
17. 送信機が、前記送信機アルゴリズムを実施するように構成された送信機ニューラルネットワークを含む、請求項１から１６のいずれか一項に記載の装置。
18. 手段が、
    少なくとも１つのプロセッサと、
    コンピュータプログラムコードを含む少なくとも１つのメモリとを含み、
    少なくとも１つのメモリおよびコンピュータプログラムが、少なくとも１つのプロセッサを用いて、装置の性能を引き起こすように構成されている、請求項１から１７のいずれか一項に記載の装置。
19. 方法であって、
    伝送システムの訓練可能なパラメータを初期化することであって、伝送システムが、送信機、チャネル、および受信機を含み、送信機が、１つ以上の入力を１つ以上のデータシンボルに変換するための送信機アルゴリズムと、前記データシンボルを変調方式に従って送信シンボルに変換するための変調器とを含み、伝送システムの訓練可能なパラメータが、個々のデータシンボルが送信機アルゴリズムによって出力される確率を定義する確率関数を含む、ことと、
    分布関数に基づいて訓練シンボルを生成することと、
    訓練モードで、変調された訓練シンボルを、チャネル上で受信機に送信することと、
    生成された訓練シンボルと、伝送システムの受信機で受信された変調された訓練シンボルとに基づいて、損失関数を生成することと、
    損失関数を最小化するために、伝送システムの更新されたパラメータを生成し、伝送システムの更新されたパラメータを生成することは、送信機アルゴリズムのパラメータを更新することを含むことと、
    第１の条件に到達するまで、訓練シンボルを生成すること、損失関数を生成すること、および伝送システムのパラメータを更新することを繰り返すことと
    を含み、
    分布関数が微分可能である、方法。
20. 訓練シンボルが、ガンベルソフトマックスアルゴリズムによって生成される、請求項１９に記載の方法。
21. 前記送信シンボルが、前記変調器によって実施される変調方式の固定されたコンステレーション位置に対応するか、または、
    前記送信シンボルが、前記変調器によって実施される変調方式の可変コンステレーション位置に対応し、伝送システムの訓練可能なパラメータが、前記変調方式のコンステレーションポイント位置を含む、請求項１９または２０に記載の方法。
22. 伝送システムの更新されたパラメータを生成することが、訓練可能な受信機アルゴリズムのパラメータを更新することを含む、請求項１９から２１のいずれか一項に記載の方法。
23. 伝送システムの生成された更新されたパラメータを用いて、伝送システムの訓練可能なパラメータを更新することをさらに含む、請求項１９から２２のいずれか一項に記載の方法。
24. 送信機システムの訓練可能なパラメータが、送信機アルゴリズムの訓練可能なパラメータ、変調器の訓練可能なパラメータ、および受信機の訓練可能なパラメータのうちの１つ以上を含む、請求項２３に記載の方法。
25. 確率関数および分布関数が、伝送システムのチャネル情報に少なくとも部分的に依存する、請求項１９から２４のいずれか一項に記載の方法。
26. 請求項１９から２５のいずれか一項に記載の方法によって作成された、ルックアップテーブルまたはアレイを含む、ワークプロダクト。
27. コンピュータプログラムであって、装置に少なくとも以下のこと、
    伝送システムの訓練可能なパラメータを初期化することであって、伝送システムが、送信機、チャネル、および受信機を含み、送信機が、１つ以上の入力を１つ以上のデータシンボルに変換するための送信機アルゴリズムと、前記データシンボルを変調方式に従って送信シンボルに変換するための変調器とを含み、伝送システムの訓練可能なパラメータが、個々のデータシンボルが送信機アルゴリズムによって出力される確率を定義する確率関数を含む、ことと、
    分布関数に基づいて訓練シンボルを生成することと、
    訓練モードで、変調されたシンボルを、チャネル上で受信機に送信することと、
    生成されたシンボルと、伝送システムの受信機で受信された変調されたシンボルとに基づいて、損失関数を生成することと、
    損失関数を最小化するために、伝送システムの更新されたパラメータを生成し、伝送システムの更新されたパラメータを生成することは、送信機アルゴリズムのパラメータを更新することを含むことと、
    第１の条件に到達するまで、シンボル近似値を生成すること、損失関数を生成すること、および伝送システムのパラメータを更新することを繰り返すことと
    を行わせるための命令を含み、
    分布関数が微分可能である、コンピュータプログラム。

Images