JP2024511675A - 画像特徴を送信する方法、装置、及びシステム - Google Patents

Abstract

本発明は、画像特徴の送信方法、送信デバイス及び送信システムに関し、通信の技術分野に関する。本送信方法は、次のステップ、すなわち、機械学習モデルを使用することによって各チャネルの処理対象画像の特徴行列を抽出するステップと、特徴行列の間の相関度と第１の閾値との比較結果に従って１つ以上のインシデンス行列対を求めるステップと、情報量に従って、各インシデンス行列対の２つの特徴行列において表現行列及び被表現行列を決定するステップと、各表現行列と各被表現行列との間の対応する関係を求めるステップと、各表現行列と、対応する関係と、各被表現行列における最大特徴値及び最小特徴値とに対して量子化処理及び符号化処理を実行するステップと、その後、復号端に送信するステップとを含む。【選択図】図１

Description

［関連出願の相互参照］
本開示は、２０２１年３月３０日付けで出願された中国特許出願第２０２１１０３３９５３３．２号に基づくものであり、この出願の優先権を主張する。この中国特許出願の開示内容は、その全体が、引用することによって本開示内容の一部をなす。

本開示は、通信技術の分野に関し、特に、画像特徴の送信方法、画像特徴の送信装置、画像特徴の送信システム、及び非一時的コンピューター可読記憶媒体に関する。

機械学習アプリケーションの発展に伴って、多くのインテリジェントプラットフォームが、車両のインターネット、ビデオ監視、及びスマートシティ等の様々な分野において採用されてきた。これらのプラットフォームは、多数のセンサーとの大量のデータ通信を生み出す。

関連技術において、通信におけるデータは、人間の視覚に基づく符号化方法を使用して符号化される。

本開示のいくつかの実施の形態によれば、機械学習モデルを使用して、処理される画像のチャネルの特徴行列を抽出することと、特徴行列の間の相関度と第１の閾値との比較結果に基づいて１つ以上の相関行列対を求めることと、情報量に基づいて１つ以上の相関行列対のそれぞれの２つの特徴行列から表現行列及び被表現行列を決定することと、表現行列と被表現行列との間の対応関係を求めることと、量子化及び符号化された表現行列と、対応関係と、被表現行列の最大特徴値及び最小特徴値とを復号器に送信することとを含む、画像特徴の送信方法が提供される。

いくつかの実施の形態において、特徴行列の間の相関度と第１の閾値との比較結果に基づいて１つ以上の相関行列対を求めることは、特徴行列の特徴値の分布に基づいて特徴行列の間の相関度を計算することと、２つの特徴行列の間の相関度が第１の閾値よりも大きい場合には、その２つの特徴行列を相関行列対として決定することとを含む。

いくつかの実施の形態において、特徴行列の特徴値の分布に基づいて特徴行列の間の相関度を計算することは、特徴行列の間の等分散性の確率を相関度として計算することを含む。

いくつかの実施の形態において、表現行列と被表現行列との間の対応関係を求めることは、被表現行列が複数の表現行列に対応する場合には、複数の表現行列の中で最大の情報量を有する表現行列を、被表現行列に対応する表現行列として決定することを含む。

いくつかの実施の形態において、特徴行列の間の相関度と第１の閾値との比較結果に基づいて１つ以上の相関行列対を求めることは、選択されていない特徴行列である候補特徴行列から特徴行列を現在の対象として選択することと、現在の対象と候補特徴行列のそれぞれとの間の相関度を計算することと、残っている候補特徴行列が１つのみとなるまで、次の特徴行列を現在の対象として選択して相関度を計算することとを含む。

いくつかの実施の形態において、特徴行列の間の相関度と第１の閾値との比較結果に基づいて１つ以上の相関行列対を求めることは、特徴行列のそれぞれの特徴値を正規化することと、正規化された特徴行列の間の相関度を計算することとを含む。

いくつかの実施の形態において、送信方法は、特徴行列の情報量を計算することと、特徴行列の情報量が第２の閾値未満であるか否かを判断することとを更に含み、特徴行列の間の相関度と第１の閾値との比較結果に基づいて１つ以上の相関行列対を求めることは、第２の閾値未満の情報量を有する特徴行列の間の相関度を計算することと、相関度と第１の閾値との比較結果に基づいて１つ以上の相関行列対を求めることとを含む。

いくつかの実施の形態において、量子化及び符号化された表現行列と、対応関係と、被表現行列の最大特徴値及び最小特徴値とを復号器に送信することは、対応関係を有する表現行列に対して量子化プロセスを実行することと、符号化された量子化の結果と、符号化された対応関係と、被表現行列の最大特徴値及び最小特徴値とを復号器に送信することとを含む。

いくつかの実施の形態において、送信方法は、復号器において復号及び逆量子化（脱量子化）処理を実行して、対応関係を有する表現行列と、対応関係と、被表現行列の最大特徴値及び最小特徴値とを取得することを更に含む。

いくつかの実施の形態において、送信方法は、表現行列の最大特徴値及び最小特徴値と、表現行列に対応する被表現行列の最大特徴値及び最小特徴値とに基づいて、復号器において被表現行列を取得することを更に含む。

いくつかの実施の形態において、表現行列と被表現行列との間の対応関係を求めることは、１つ以上の相関行列対のそれぞれにおける被表現行列のチャネルシーケンス番号をキー値として使用するとともに、相関行列対のそれぞれにおける被表現行列のチャネルシーケンス番号をデータ値として使用して、相関行列対のそれぞれをキー値対として記憶することと、キー値を使用して、同じ被表現行列に対応する複数の表現行列を集約して表現関係辞書を生成することと、表現関係辞書に基づいて、表現行列と被表現行列との間の対応関係を求めることとを含む。

本開示の他の実施の形態によれば、機械学習モデルを使用して、処理される画像のチャネルの特徴行列を抽出する抽出ユニットと、特徴行列の間の相関度と第１の閾値との比較結果に基づいて１つ以上の相関行列対を求め、情報量に基づいて１つ以上の相関行列対のそれぞれの２つの特徴行列から表現行列及び被表現行列を決定し、表現行列と被表現行列との間の対応関係を求める決定ユニットと、量子化及び符号化された表現行列と、対応関係と、被表現行列の最大特徴値及び最小特徴値とを復号器に送信する送信ユニットとを備える、画像特徴の送信装置が提供される。

いくつかの実施の形態において、決定ユニットは、様々な特徴行列の特徴値の分布に基づいて任意の２つの特徴行列の間の相関度を計算し、２つの特徴行列の間の相関度が第１の閾値よりも大きい場合には、その２つの特徴行列を相関行列対として決定する。

いくつかの実施の形態において、決定ユニットは、任意の２つの特徴行列の間の等分散性の確率を相関度として計算する。

いくつかの実施の形態において、被表現行列が複数の表現行列に対応する場合には、決定ユニットは、複数の表現行列の中で最大の情報量を有する表現行列を、被表現行列に対応する表現行列として決定する。

いくつかの実施の形態において、決定ユニットは、選択されていない特徴行列である候補特徴行列から特徴行列を現在の対象として選択し、現在の対象とそれぞれの候補特徴行列との間の相関度を計算し、残っている候補特徴行列が１つのみとなるまで、次の特徴行列を現在の対象として選択して相関度を計算する。

いくつかの実施の形態において、決定ユニットは、各特徴行列の特徴値に対して正規化処理を実行し、任意の２つの正規化された特徴行列の間の相関度を計算する。

いくつかの実施の形態において、決定ユニットは、各特徴行列の情報量を計算し、特徴行列の情報量が第２の閾値未満であるか否かを判断し、第２の閾値未満の情報量をそれぞれ有する任意の２つの特徴行列の間の相関度を計算し、相関度と第１の閾値との比較結果に基づいて１つ以上の相関行列対を求める。

いくつかの実施の形態において、送信ユニットは、対応する被表現行列を有する各表現行列に対して量子化プロセスを実行し、量子化結果と、対応関係と、各被表現行列の最大特徴値及び最小特徴値とを符号化し、その後、それらを復号器に送信する。

いくつかの実施の形態において、送信装置は、復号器において復号プロセス及び逆量子化プロセスを実行して、対応関係を有する表現行列と、対応関係と、被表現行列の最大特徴値及び最小特徴値とを取得する獲得ユニットを更に備える。

いくつかの実施の形態において、表現行列の最大特徴値及び最小特徴値と、表現行列に対応する被表現行列の最大特徴値及び最小特徴値とに基づいて、獲得ユニットは、復号器において被表現行列を取得する。

いくつかの実施の形態において、各相関行列対における被表現行列のチャネルシーケンス番号をキー値として使用するとともに、被表現行列のチャネルシーケンス番号をデータ値として使用して、決定ユニットは、各相関行列対をキー値対として記憶し、キー値を使用して、同じ被表現行列に対応する複数の表現行列を集約して表現関係辞書を生成し、表現関係辞書に基づいて、様々な表現行列と様々な被表現行列との間の対応関係を求める。

本開示の更に他の実施の形態によれば、機械学習モデルを使用して、処理される画像のチャネルの特徴行列を抽出し、特徴行列の間の相関度と第１の閾値との比較結果に基づいて１つ以上の相関行列対を求め、情報量に基づいて１つ以上の相関行列対のそれぞれの２つの特徴行列から表現行列及び被表現行列を決定し、表現行列と被表現行列との間の対応関係を求め、量子化及び符号化された表現行列と、対応関係と、被表現行列の最大特徴値及び最小特徴値とを復号器に送信する符号化器と、復号プロセス及び逆量子化プロセスを実行して、対応関係を有する表現行列と、対応関係と、被表現行列の最大特徴値及び最小特徴値とを取得する復号器とを備える、画像特徴の送信システムが提供される。

本開示の更に他の実施の形態によれば、メモリと、メモリに結合されたプロセッサであって、メモリに記憶された命令に基づいて、上記実施の形態のうちいずれか１つに記載の画像特徴の送信方法を実行するように構成されるプロセッサとを備える、画像特徴の送信装置が提供される。

本開示の更に他の実施の形態によれば、プロセッサによって実行されると、上記実施の形態のうちいずれか１つに記載の画像特徴の送信方法を実施するコンピュータープログラムを記憶する不揮発性コンピューター可読記憶媒体が提供される。

本明細書に組み込まれて本明細書の一部をなす添付図面は、本開示の実施形態を示し、この説明とともに、本開示の原理を説明する役割を果たす。

本開示は、添付図面に関する以下の詳細な説明からより明瞭に理解される。

本開示のいくつかの実施形態による画像特徴の送信方法のフローチャートである。 本開示の他の実施形態による画像特徴の送信方法のフローチャートである。 本開示の更に他の実施形態による画像特徴の送信方法のフローチャートである。 本開示のいくつかの実施形態による画像特徴の送信装置のブロック図である。 本開示の他の実施形態による画像特徴の送信装置のブロック図である。 本開示の更に他の実施形態による画像特徴の送信装置のブロック図である。 本開示のいくつかの実施形態による画像特徴の送信システムのブロック図である。

ここでは、本開示の様々な例示的な実施形態が、添付図面を参照して詳細に説明される。別段の指定がない限り、これらの例において述べられる構成要素及びステップの相対的な配置、数式及び数値は、本発明の範囲を限定するものでないことを留意されたい。

同時に、説明を簡単にするために、図面に示されている様々な部分の寸法は、実際の比率で描かれていないことを理解すべきである。

少なくとも１つの例示的な実施形態の以下の説明は、実際上、単なる例示にすぎず、決して本発明、その用途又は使用を限定するものとして意図されたものでない。

関連技術の当業者に知られている技法、方法、及び装置は、詳細に論述されない場合があるが、適切な場合には、これらの技法、方法、及び装置は、本明細書の一部とみなされることになる。

本出願に図示及び論述される全ての例について、どの特定の値も、単なる例示であって、限定ではないと解釈されるべきである。したがって、例示的な実施形態の他の例は、異なる値を有してもよい。

同様の参照番号及び参照文字は、添付図面において同様のものによって示され、したがって、図面において項目が定義されると、添付図面において更に議論する必要はないことを留意されたい。

本開示の本発明者らは、符号圧縮率が低いという問題が関連技術に存在することを発見した。符号圧縮率が低いと、通信データ量が増加した場合に通信品質を確保することが困難になる。

これに鑑み、本開示は、符号圧縮率の改善及び通信品質の確保を行うことができる、画像特徴を送信するための技術的解決策を提案する。

上述したように、データ量の増加は、既存の人間の視覚に基づく符号化方法の低効率を直接もたらし、レイテンシー及びスケールの実世界の要件を満たすことも困難にする。したがって、インテリジェント機械に基づく特徴符号化方法が必要とされている。

符号圧縮の前提は、冗長性であり、符号圧縮の目的は、冗長性を除去して、圧縮目的を達成することである。したがって、本開示は、ニューラルネットワークにおける冗長な特徴に基づいて特徴符号の圧縮率を改善する。

例えば、畳み込みニューラルネットワークには、画像のタイプに依存する初期入力画像サンプルのチャネル（ＲＧＢ（赤、緑、青）チャネル等）、畳み込みカーネルの数に依存する畳み込みの完了後の出力用のチャネル（ｏｕｔ＿ｃｈａｎｎｅｌｓ）の３つのタイプのチャネルがある。ｏｕｔ＿ｃｈａｎｎｅｌｓは、その後、次の畳み込みのために畳み込みカーネルのｉｎ＿ｃｈａｎｎｅｌｓとして使用され、畳み込みカーネルのｉｎ＿ｃｈａｎｎｅｌｓは、先行の畳み込みのｏｕｔ＿ｃｈａｎｎｅｌｓである。

これは、チャネルの特徴が、先行層及び出力チャネルと同じ数の層を有する畳み込みカーネルにおける全ての出力チャネルの畳み込み出力の重ね合わせの結果であることを意味する。ニューラルネットワークは、トレーニングプロセス中に各畳み込みカーネルの重み値を自律的に学習し、種々の畳み込みカーネル重み値に基づいて関係のある情報を抽出する。したがって、畳み込みニューラルネットワークの中間層特徴マップは、大量の関係していない情報、すなわち、冗長な特徴情報を必然的に含む。特徴マップにおける冗長性は、畳み込みニューラルネットワークの重要な特徴である。

生体模倣の観点から、脳に関する研究は、生体ニューロンの情報符号化が通常は分散され、スパースであることを示してきた。通常、脳内のニューロンの１％～４％しか同時に活性化していない。線形補正及び正則化を使用して、機械ニューラルネットワーク内のニューロンの活動（すなわち、正の出力を有する）を調整することができる。

対照的に、論理関数は、入力が０であるときに１／２に達し、これは、既に安定した半飽和状態にあり、ニューラルネットワークをシミュレーションする実際の生物学の予想を満たさない。一般に、正規化線形ユニット（ＲｅＬＵ、すなわち線形正規化）を使用するニューラルネットワーク内のニューロンの約５０％は活性化している。

ニューラルネットワークの浅い中間層におけるチャネル特徴の分布特性を考慮して、本開示は、チャネル相関に基づいて相関チャネルを線形にスケーリング及び特徴付けして、符号化されるデータの量を削減し、特徴符号の圧縮率を改善することを提案する。

いくつかの実施形態において、チャネルの間の相関は、等分散性のルビーン検定を通じて分析することができる。等分散性は、分散のｔ検定及び分析の必要条件である。Ｆ検定及びバートレットのカイ２乗検定は、データの厳密な正規性を必要とする一方、ルビーン検定は、任意の分布のデータとともに使用することができ、等分散性の検定に対して相対的にロバストな方法である。例えば、ルビーン検定は、以下の実施形態によって実現することができる。

図１は、本開示のいくつかの実施形態による画像特徴の送信方法のフローチャートを示している。

図１に示すように、ステップ１１０において、特徴行列が、機械学習モデルを使用して、処理される画像のチャネルごとに抽出される。

いくつかの実施形態において、４８６４×３６４８×３のサイズで処理されるＲＧＢ（赤緑青）画像が、カスケードＲ－ＣＮＮ（Regions with Convolutional Neural Network：畳み込みニューラルネットワークを有する領域）ＲｅｓＮｅｔ１０１（Residual Network：残差ネットワーク）を使用して処理される。

例えば、カスケードＲ－ＣＮＮ ＲｅｓＮｅｔ１０１の最初のプーリング層の後の中間層によって出力される特徴によって含まれる特徴層の出力は、符号化される対象として使用することができる。この中間層は、６４×２００×２７２層であってもよく、ここで、６４は、チャネル数（すなわち、含まれる特徴層の数）であり、２００×２７２は、各特徴層によって出力される特徴行列のサイズである。すなわち、中間層によって出力される特徴情報は、Ｎ個のチャネルに対応するＮ個の特徴行列を含む。

ステップ１２０において、１つ以上の相関行列対が、任意の２つの特徴行列の間の相関度と第１の閾値との比較結果に基づいて求められる。

いくつかの実施形態において、各特徴行列の特徴値が正規化され、任意の２つの正規化された特徴行列の間の相関度が計算される。例えば、Ｍｉｎ－Ｍａｘ正規化が、相関分析を必要とする各チャネルの特徴行列Ｆ_ｉに対して実行され、以下の式の各チャネルの正規化された特徴行列Ｆ_ｉ’が取得される。

ここで、ｉ＝０，１，２，．．．，Ｎ－１（例えば、Ｎ＝４６）であり、Ｆ_ｉ’（ｌ，ｍ）は、行列Ｆ_ｉ’の行ｉ及び列ｍにおける要素であり、Ｆ_ｉ（ｌ，ｍ）は、Ｆ_ｉの行ｉ及び列ｍにおける要素であり、Ｆ_ｉｍｉｎは、Ｆ_ｉにおける最小要素であり、Ｆ_ｉｍａｘは、Ｆ_ｉにおける最大要素である。

いくつかの実施形態において、各特徴行列の情報量が計算され、各特徴行列の情報量が第２の閾値未満であるか否かが判断され、第２の閾値未満の情報量をそれぞれ有する任意の２つの特徴行列の間の相関度が計算され、この相関度と第１の閾値との比較結果に基づいて、１つ以上の相関行列対が求められる。

例えば、正規化された特徴行列における全ての特徴値の平均が、その情報量として計算され、その情報量が第２の閾値（０．４等の１未満の正数とすることができる）未満である場合には、この特徴行列の相関度が計算され、情報量が第２の閾値（０．４等の１未満の正数とすることができる）以上である場合には、これは、特徴行列が大きな情報量を有することを示し、この大きな情報量は、量子化と、圧縮を伴わない符号化との後に復号器に送信される。

いくつかの実施形態において、任意の２つの特徴行列の間の相関度は、各特徴行列の特徴値の分布に基づいて計算される。例えば、任意の２つの特徴行列の間の等分散性の確率が、相関度として計算される。

いくつかの実施形態において、特徴行列が、選択されていない特徴行列である候補特徴行列から現在の対象として選択され、この現在の対象と候補特徴行列のそれぞれとの間の相関度が計算され、残っている候補特徴行列が１つのみとなるまで、次の特徴行列が、相関度を計算する現在の対象として選択される。

例えば、０の初期値を有するｉが、現在のシーケンス番号を設定するために使用される。正規化された特徴行列Ｆ_ｉ’と他の特徴行列Ｆ_ｋ’（ｋは現在のシーケンス番号として設定されていないものである）との間の等分散性の確率Ｐ_ｉｋ、k＝ｉ＋１、ｉ＋２，．．．，Ｎ－１。Ｐ_ｉｋは、等分散性のルビーン検定を通じて取得することができる。

いくつかの実施形態において、２つの特徴行列の間の相関度が第１の閾値よりも大きい場合には、これらの２つの特徴行列は、相関行列対として求められる。

例えば、そのＰ_ｉｋが第１の閾値（０．０５等の１未満の正数）よりも大きいＦ_ｋ’は、１つの相関行列対としてＦ_ｉ’と紐付けされ、相関行列対の紐付けされたチャネルシーケンス番号は、（ｉ，ｋ_１），（ｉ，ｋ_２），．．．，（ｉ，ｋ_ｍ）の形で記録される。ここで、ｍは、それぞれがｉよりも大きなチャネルシーケンス番号と、チャネルｉに関する第１の閾値よりも大きなＰ_ｉｋ値とを有するチャネルの数である。現在のシーケンス番号ｉは、ｉがＮ－１よりも大きくなるまで上記ステップを繰り返すために１ずつ増加される。

例えば、表１に示す以下の行列対を取得することができる。

ステップ１３０において、１つ以上の相関行列対のそれぞれの２つの特徴行列からの表現行列及び被表現行列が、情報量に基づいて決定される。

いくつかの実施形態において、行列対における正規化前の特徴値の合計が大きい方のチャネルのチャネルシーケンス番号が、表現チャネル（表現行列）として使用され、正規化前の特徴値の合計が小さい方のチャネルのチャネルシーケンス番号が、対応する被表現チャネル（被表現行列）として使用される。

例えば、行列対における被表現行列のチャネルシーケンス番号をキー値として使用するとともに、被表現行列のチャネルシーケンス番号をデータ値として使用すると、行列対は、キー値対として記憶され、これらのキー値を使用すると、同じ被表現行列に対応する複数の表現行列が集約され、表２に示す表現関係辞書が生成される。

ステップ１４０において、表現行列と被表現行列との間の対応関係が求められる。

いくつかの実施形態において、被表現行列が複数の表現行列に対応する場合には、それらの複数の表現行列の中で最大の情報量を有する表現行列が、被表現行列に対応する表現行列として決定される。

例えば、表２における行列対６、７、８のそれぞれは、複数の表現行列に対応する被表現行列を含む。同じ被表現行列Ｃ_ｋに対応する表現チャネルＣ_ｋｎの複数の表現行列Ｆ_ｋｎのそれぞれについて、正規化前のその特徴値の合計が計算され、最大合計値を有する特徴行列が、Ｃ_ｋに対応する表現行列Ｃ_Ｖとして使用される。

対応関係は、以下のマッピング表に記録することができる。

ステップ１５０において、量子化及び符号化された表現行列と、対応関係と、被表現行列の最大特徴値及び最小特徴値とが、復号器に送信される。

いくつかの実施形態において、量子化プロセスは、対応関係を有する表現行列に対して実行され、符号化された量子化の結果と、対応関係と、被表現行列の最大特徴値及び最小特徴値とが、復号器に送信される。

例えば、表３における７個の表現チャネルに対応する表現行列Ｆ_ｊ（ｊ＝０，１，２６，４０，４４，５２，５７）は、Ｆ_ｊ’に量子化される。この量子化は、一様な量子化等とすることができる。線形スケーリング情報及び各Ｆ_ｊ’を符号化して、バイナリストリームを形成することができる。線形スケーリング情報は、マッピング表、各被表現行列の最大値及び最小値等を含む。

上記実施形態において、機械学習モデルにおける異なるチャネルの特徴行列の間の相関に基づいて、送信される情報内の冗長情報が除去され、それによって、符号圧縮率が改善され、通信品質が確保される。

いくつかの実施形態において、本開示の技術的解決策は、図２に示す実施形態による復号器によって実施することができる。

図２は、本開示の他の実施形態による画像特徴の送信方法のフローチャートを示している。

図２に示すように、ステップ２１０において、復号プロセス及び逆量子化プロセスが復号器において実行され、対応関係を有する表現行列と、対応関係と、被表現行列の最大特徴値及び最小特徴値とが取得される。

ステップ２２０において、表現行列の最大特徴値及び最小特徴値と、この表現行列に対応する被表現行列の最大特徴値及び最小特徴値とに基づいて、復号器における被表現行列が取得される。

いくつかの実施形態において、バイナリストリームが復号され、線形スケーリング情報及び各Ｆ_ｊ’が取得され、Ｆ_ｊ’が逆量子化されて、表現チャネルの特徴行列Ｆ_ｊが取得され、表現チャネルの特徴行列Ｆ_ｊに対応する被表現チャネルの特徴行列Ｆ_Ｖが、以下の式にように特徴行列Ｆ_ｊと線形に表される。

ここで、ｍａｘ（）及びｍｉｎ（）は、行列内の要素の最大値及び最小値を抽出する関数である。上記式を解くことによって、被表現行列Ｆ_Ｖが取得される。

上記実施形態において、畳み込みニューラルネットワークの中間層においてチャネル特徴の分布特性を考慮して、チャネル相関が、等分散性のルビーン検定を使用して分析され、相関チャネルが、線形スケーリングによって表される。したがって、符号化されるデータの量を削減することができ、特徴符号の圧縮率を改善することができる。

図３は、本開示の更に他の実施形態による画像特徴の送信方法のフローチャートを示している。

図３に示すように、Ｍｉｎ－Ｍａｘ正規化が、ステップ３１０において、相関分析を必要とする各チャネルの特徴行列Ｆ_ｉに対して実行され、以下の式の各チャネルの正規化された特徴行列Ｆ_ｉ’が取得される。

ここで、ｉ＝０，１，２，．．．，Ｎ－１（例えば、Ｎ＝４６）であり、Ｆ_ｉ’（ｌ，ｍ）は、行列Ｆ_ｉ’の行ｉ及び列ｍにおける要素であり、Ｆ_ｉ（ｌ，ｍ）は、Ｆ_ｉの行ｉ及び列ｍにおける要素であり、Ｆ_ｉｍｉｎは、Ｆ_ｉにおける最小要素であり、Ｆ_ｉｍａｘは、Ｆ_ｉにおける最大要素である。

ステップ３２０において、０の初期値を有するチャネルインデックスｉが、現在のシーケンス番号として使用される。

ステップ３３０において、チャネルｉの特徴行列における特徴値の平均が閾値よりも大きいか否かが判断される。大きくない場合には、本方法はステップ３４０に進み、大きい場合には、本方法はステップ３６０に進む。

ステップ３４０において、正規化された特徴行列Ｆ_ｉ’と他の特徴行列Ｆ_ｋ’（ｋは現在のシーケンス番号として設定されていないものである）との間の等分散性の確率Ｐ_ｉｋ、k＝ｉ＋１、ｉ＋２，．．．，Ｎ－１。

ステップ３５０において、チャネルｉに関する等分散性のルビーン検定によって生成される、閾値よりも大きなＰ_ｉｋ値を有するチャネル対、すなわち（ｉ，ｋ_１）、（ｉ，ｋ_２），．．．，（ｉ，ｋ_ｍ）が記録される。ｍは、それぞれがｉよりも大きなチャネルシーケンスを有する番号チャネルと、チャネルｉに関する第１の閾値よりも大きなＰ_ｉｋとを有するチャネルの数である。

ステップ３６０において、現在のシーケンス番号であるチャネルインデックスが、１だけ増加される。

ステップ３７０において、ｉがＮ－１未満であるか否かが判断される。ｉがＮ－１未満である場合には、本方法はステップ３３０に戻って、ｉがＮ－１よりも大きくなるまで、ステップ３３０～３６０を繰り返し、ｉがＮ－１未満でない場合には、本方法はステップ３８０に進む。

ステップ３８０において、行列対における正規化前の特徴値の合計が大きい方のチャネルのチャネルシーケンス番号が、表現チャネル（表現行列）として使用され、正規化前の特徴値の合計が小さい方のチャネルのチャネルシーケンス番号が、対応する被表現チャネル（被表現行列）として使用される。

ステップ３９０において、行列対における被表現行列Ｃ_ｋのチャネルシーケンス番号をキー値として使用するとともに、表現行列Ｃ_ｋｎのチャネルシーケンス番号をデータ値として使用すると、行列対は、キー値対として記憶され、これらのキー値を使用すると、同じ被表現行列に対応する複数の表現行列が集約され、以下の式の表現関係辞書が生成される。

ここで、ｎは、チャネルｋに対応する表現チャネルの数である。

ステップ３９５において、同じ被表現行列Ｃ_ｋに対応する複数の表現行列Ｃ_ｋｎの表現行列Ｆ_ｋｎのそれぞれについて、正規化前のＦ_ｋｎの特徴値の合計が計算され、最大合計値を有する特徴チャネルが、Ｃ_ｋに対応する唯一の表現チャネルＣ_Ｖとして使用される。

対応関係は、マッピング表に記録することができる。

図４は、本開示のいくつかの実施形態による画像特徴の送信装置のブロック図を示している。

図４に示すように、画像特徴の送信装置４は、抽出ユニット４１と、決定ユニット４２と、送信ユニット４３を備える。

抽出ユニット４１は、機械学習モデルを使用して、処理される画像のチャネルの特徴行列を抽出することに使用される。

決定ユニット４２は、特徴行列の間の相関度と第１の閾値との比較結果に基づいて１つ以上の相関行列対を求めることと、情報量に基づいて１つ以上の相関行列対のそれぞれの２つの特徴行列から表現行列及び被表現行列を決定することと、表現行列と被表現行列との間の対応関係を求めることとに使用される。

いくつかの実施形態において、決定ユニット４２は、特徴行列の特徴値の分布に基づいて特徴行列の間の相関度を計算することと、２つの特徴行列の間の相関度が第１の閾値よりも大きい場合には、２つの特徴行列を相関行列対として求めることとに使用される。

いくつかの実施形態において、決定ユニット４２は、任意の２つの特徴行列の間の等分散性の確率を相関度として計算する。

いくつかの実施形態において、被表現行列が複数の表現行列に対応する場合には、決定ユニット４２は、複数の表現行列の中で最大の情報量を有する表現行列を、この被表現行列に対応する表現行列として決定する。

いくつかの実施形態において、決定ユニット４２は、選択されていない特徴行列である候補特徴行列から特徴行列を現在の対象として選択する。決定ユニット４２は、現在の対象とそれぞれの候補特徴行列との間の相関度を計算し、残っている候補特徴行列が１つのみとなるまで、次の特徴行列を現在の対象として選択して相関度を計算する。

いくつかの実施形態において、決定ユニット４２は、各特徴行列の特徴値に対して正規化処理を実行し、任意の２つの正規化された特徴行列の間の相関度を計算する。

いくつかの実施形態において、決定ユニット４２は、各特徴行列の情報量を計算し、特徴行列の情報量が第２の閾値未満であるか否かを判断し、第２の閾値未満の情報量をそれぞれ有する任意の２つの特徴行列の間の相関度を計算し、相関度と第１の閾値との比較結果に基づいて１つ以上の相関行列対を求める。

送信ユニット４３は、量子化及び符号化された表現行列と、対応関係と、被表現行列の最大特徴値及び最小特徴値とを復号器に送信することに使用される。

いくつかの実施形態において、送信ユニット４３は、対応する被表現行列を有する各表現行列に対して量子化プロセスを実行し、量子化結果と、対応関係と、各被表現行列の最大特徴値及び最小特徴値とを符号化し、その後、それらを復号器に送信する。

いくつかの実施形態において、送信装置４は、復号器における復号プロセス及び逆量子化プロセスを実行して、対応関係を有する表現行列と、対応関係と、被表現行列の最大特徴値及び最小特徴値とを取得する獲得ユニット４４を更に備える。

いくつかの実施形態において、表現行列の最大特徴値及び最小特徴値と、この表現行列に対応する被表現行列の最大特徴値及び最小特徴値とに基づいて、獲得ユニット４４は、復号器における被表現行列を取得する。

いくつかの実施形態において、各相関行列対における被表現行列のチャネルシーケンス番号をキー値として使用するとともに、被表現行列のチャネルシーケンス番号をデータ値として使用して、決定ユニット４２は、各相関行列対をキー値対として記憶し、これらのキー値を使用して、同じ被表現行列に対応する複数の表現行列を集約して表現関係辞書を生成し、この表現関係辞書に基づいて、様々な表現行列と様々な被表現行列との間の対応関係を求める。

図５は、本開示の他の実施形態による画像特徴の送信装置のブロック図を示している。

図５に示すように、この実施形態の画像特徴の送信装置５は、メモリ５１と、メモリ５１に結合されたプロセッサ５２とを備え、プロセッサ５２は、メモリ５１に記憶された命令に基づいて、本開示の実施形態のうちのいずれか１つによる画像特徴の送信方法を実行するように構成される。

ここで、メモリ５１は、例えば、システムメモリ、固定された非一時的記憶媒体等を含むことができる。システムメモリは、例えば、オペレーティングシステム、アプリケーション、ブートローダー、データベース、及び他のプログラムを記憶する。

図６は、本開示の更に他の実施形態による画像特徴の送信装置のブロック図を示している。

図６に示すように、この実施形態の画像特徴の送信装置６は、メモリ６１０と、メモリ６１０に結合されたプロセッサ６２０とを備え、プロセッサ６２０は、メモリ６１０に記憶された命令に基づいて、本開示の実施形態のうちのいずれか１つによる画像特徴の送信方法を実行するように構成される。

メモリ６１０は、例えば、システムメモリ、固定された非一時的記憶媒体等を含むことができる。システムメモリは、例えば、オペレーティングシステム、アプリケーションプログラム、ブートローダー、データベース、及び他のプログラムを記憶する。

画像特徴の送信装置６は、入出力インターフェース６３０、ネットワークインターフェース６４０、ストレージインターフェース６５０等を更に備えることもできる。これらのインターフェース６３０、６４０、６５０、メモリ６１０及びプロセッサ６２０は、例えばバス６６０を通じて接続することができる。ここで、入出力インターフェース６３０は、ディスプレイ、マウス、キーボード、タッチスクリーン、マイクロホン、ラウドスピーカー等の入出力デバイスの接続インターフェースを提供する。ネットワークインターフェース６４０は、様々なネットワーク化デバイスの接続インターフェースを提供する。ストレージインターフェース６５０は、ＳＤカード及びＵＳＢフラッシュディスク等の外部記憶デバイスの接続インターフェースを提供する。

図７は、本開示のいくつかの実施形態による画像特徴の送信システムのブロック図を示している。

図７に示すように、画像特徴の送信システム７は、符号化器７１と復号器７２とを備える。

符号化器７１は、機械学習モデルを使用して、処理される画像のチャネルの特徴行列を抽出し、特徴行列の間の相関度と第１の閾値との比較結果に基づいて１つ以上の相関行列対を求め、情報量に基づいて１つ以上の相関行列対のそれぞれの２つの特徴行列から表現行列及び被表現行列を決定し、表現行列と被表現行列との間の対応関係を求め、量子化及び符号化された表現行列と、対応関係と、被表現行列の最大特徴値及び最小特徴値とを復号器に送信する。

復号器７２は、復号器における復号プロセス及び逆量子化プロセスを実行して、対応関係を有する表現行列と、対応関係と、被表現行列の最大特徴値及び最小特徴値とを取得する。

当業者であれば、本開示の実施形態が、方法、システム、又はコンピュータープログラム製品として提供することができることを理解するであろう。したがって、本開示の実施形態は、全体がハードウェアの実施形態の形、全体がソフトウェアの実施形態の形、又はハードウェア要素及びソフトウェア要素の双方を含む実施形態の形を取ることができる。その上、本開示は、コンピューター使用可能プログラムコードが具現化された１つ以上のコンピューター使用可能非一時的記憶媒体（ディスク記憶装置、ＣＤ－ＲＯＭ、光学メモリ等を含むが、これらに限定されるものではない）上に具現化されるコンピュータープログラム製品の形を取ってもよい。

これまで、本開示による画像特徴の送信方法、画像特徴の送信装置、画像特徴の送信システム、及び非一時的コンピューター可読記憶媒体を詳細に説明してきた。本開示の概念を不明瞭にすることを回避するために、当該技術において知られているいくつかの詳細は説明されていない。上記説明に基づくと、当業者であれば、本明細書に開示された技術的な解決策をどのように実施するのかを理解することができる。

本開示の方法及びシステムは、多くの方法で実施することができる。例えば、本開示の方法及びシステムは、ソフトウェア、ハードウェア、ファームウェア、又はソフトウェア、ハードウェア、及びファームウェアの任意の組み合わせによって実施することができる。方法のステップの上記シーケンスは、単に例示を目的としたものにすぎず、本開示の方法のステップは、別段の指定がない限り、上記に記載の特定の順序に限定されるものではない。加えて、いくつかの実施形態において、本開示は、本開示による方法を実施する機械可読命令を含む記録媒体に記録されたプログラムとして実施されてもよい。したがって、本開示は、本開示による方法を実行するプログラムを記憶する記録媒体も包含する。

本開示のいくつかの特定の実施形態を、例として詳細に説明してきたが、当業者であれば、上記例が例示を目的としたものにすぎず、本開示の範囲を限定することを意図したものでないことを理解するであろう。上記実施形態は、本開示の範囲及び趣旨から逸脱することなく変更することができることが当業者によって理解されるであろう。本開示の範囲は、添付の特許請求の範囲によって画定される。

Claims (24)

1. 機械学習モデルを使用して、処理される画像のチャネルの特徴行列を抽出することと、
   特徴行列の間の相関度と第１の閾値との比較結果に基づいて１つ以上の相関行列対を求めることと、
   情報量に基づいて前記１つ以上の相関行列対のそれぞれの２つの特徴行列から表現行列及び被表現行列を決定することと、
   前記表現行列と前記被表現行列との間の対応関係を求めることと、
   量子化及び符号化された前記表現行列と、前記対応関係と、前記被表現行列の最大特徴値及び最小特徴値とを復号器に送信することと、
   を含む、画像特徴の送信方法。
2. 前記特徴行列の間の前記相関度と前記第１の閾値との前記比較結果に基づいて前記１つ以上の相関行列対を前記求めることは、
   前記特徴行列の特徴値の分布に基づいて前記特徴行列の間の前記相関度を計算することと、
   ２つの特徴行列の間の相関度が第１の閾値よりも大きい場合には、前記２つの特徴行列を相関行列対として決定することと、
   を含む、請求項１に記載の送信方法。
3. 前記特徴行列の前記特徴値の分布に基づいて前記特徴行列の間の前記相関度を前記計算することは、
   前記特徴行列の間の等分散性の確率を前記相関度として計算すること、
   を含む、請求項２に記載の送信方法。
4. 前記表現行列と前記被表現行列との間の対応関係を前記求めることは、
   被表現行列が複数の表現行列に対応する場合には、前記複数の表現行列の中で最大の情報量を有する表現行列を、前記被表現行列に対応する表現行列として決定すること、
   を含む、請求項１に記載の送信方法。
5. 前記特徴行列の間の相関度と前記第１の閾値との前記比較結果に基づいて１つ以上の相関行列対を前記求めることは、
   選択されていない特徴行列である候補特徴行列から特徴行列を現在の対象として選択することと、
   前記現在の対象と前記候補特徴行列のそれぞれとの間の相関度を計算することと、
   残っている候補特徴行列が１つのみとなるまで、次の特徴行列を現在の対象として選択して相関度を計算することと、
   を含む、請求項１に記載の送信方法。
6. 前記特徴行列の間の前記相関度と前記第１の閾値との前記比較結果に基づいて１つ以上の相関行列対を前記求めることは、
   前記特徴行列のそれぞれの特徴値を正規化することと、
   正規化された特徴行列の間の前記相関度を計算することと、
   を含む、請求項１に記載の送信方法。
7. 前記特徴行列の情報量を計算することと、
   前記特徴行列の前記情報量が第２の閾値未満であるか否かを判断することと、
   を更に含み、
   前記特徴行列の間の相関度と前記第１の閾値との前記比較結果に基づいて１つ以上の相関行列対を求めることは、
   前記第２の閾値未満の情報量を有する特徴行列の間の前記相関度を計算することと、
   前記相関度と前記第１の閾値との比較結果に基づいて前記１つ以上の相関行列対を求めることと、
   を含む、請求項１に記載の送信方法。
8. 量子化及び符号化された前記表現行列と、前記対応関係と、前記被表現行列の前記最大特徴値及び前記最小特徴値とを前記復号器に前記送信することは、
   前記対応関係を有する前記表現行列に対して量子化プロセスを実行することと、
   符号化された前記量子化の結果と、前記対応関係と、前記被表現行列の前記最大特徴値及び前記最小特徴値とを前記復号器に送信することと、
   を含む、請求項１に記載の送信方法。
9. 前記復号器において復号プロセス及び逆量子化プロセスを実行して、前記対応関係を有する前記表現行列と、前記対応関係と、前記被表現行列の前記最大特徴値及び前記最小特徴値とを取得すること、
   を更に含む、請求項１～８のいずれか１項に記載の送信方法。
10. 前記表現行列の最大特徴値及び最小特徴値と、前記表現行列に対応する前記被表現行列の前記最大特徴値及び前記最小特徴値とに基づいて、前記復号器において前記被表現行列を取得すること、
    を更に含む、請求項９に記載の送信方法。
11. 前記表現行列と前記被表現行列との間の前記対応関係を求めることは、
    前記１つ以上の相関行列対のそれぞれにおける被表現行列のチャネルシーケンス番号をキー値として使用するとともに、前記相関行列対の前記それぞれにおける前記被表現行列のチャネルシーケンス番号をデータ値として使用して、前記相関行列対の前記それぞれをキー値対として記憶することと、
    前記キー値を使用して、同じ被表現行列に対応する複数の表現行列を集約して表現関係辞書を生成することと、
    前記表現関係辞書に基づいて、前記表現行列と前記被表現行列との間の前記対応関係を求めることと、
    を含む、請求項１～８のいずれか１項に記載の送信方法。
12. 機械学習モデルを使用して、処理される画像のチャネルの特徴行列を抽出する抽出ユニットと、
    特徴行列の間の相関度と第１の閾値との比較結果に基づいて１つ以上の相関行列対を求め、情報量に基づいて前記１つ以上の相関行列対のそれぞれの２つの特徴行列から表現行列及び被表現行列を決定し、前記表現行列と前記被表現行列との間の対応関係を求める決定ユニットと、
    量子化及び符号化された前記表現行列と、前記対応関係と、前記被表現行列の最大特徴値及び最小特徴値とを復号器に送信する送信ユニットと、
    を備える、画像特徴の送信装置。
13. 前記決定ユニットは、前記特徴行列の特徴値の分布に基づいて前記特徴行列の間の前記相関度を計算し、２つの特徴行列の間の相関度が第１の閾値よりも大きい場合には、前記２つの特徴行列を相関行列対として決定する、請求項１２に記載の送信装置。
14. 前記決定ユニットは、前記特徴行列の間の等分散性の確率を前記相関度として計算する、請求項１３に記載の送信装置。
15. 前記決定ユニットは、被表現行列が複数の表現行列に対応する場合には、前記複数の表現行列の中で最大の情報量を有する表現行列を、前記被表現行列に対応する表現行列として決定する、請求項１２に記載の送信装置。
16. 前記決定ユニットは、選択されていない特徴行列である候補特徴行列から特徴行列を現在の対象として選択し、前記現在の対象と前記候補特徴行列のそれぞれとの間の相関度を計算し、残っている候補特徴行列が１つのみとなるまで、次の特徴行列を現在の対象として選択して相関度を計算する、請求項１２に記載の送信装置。
17. 前記決定ユニットは、前記特徴行列のそれぞれの特徴値を正規化し、正規化された特徴行列の間の前記相関度を計算する、請求項１２に記載の送信装置。
18. 前記決定ユニットは、前記特徴行列の情報量を計算し、前記特徴行列の前記情報量が第２の閾値未満であるか否かを判断し、前記第２の閾値未満の情報量を有する特徴行列の間の前記相関度を計算し、前記相関度と前記第１の閾値との比較結果に基づいて前記１つ以上の相関行列対を求める、請求項１２に記載の送信装置。
19. 前記送信ユニットは、前記対応関係を有する前記表現行列に対して量子化プロセスを実行し、符号化された前記量子化の結果と、前記対応関係と、前記被表現行列の前記最大特徴値及び前記最小特徴値とを前記復号器に送信する、請求項１２に記載の送信装置。
20. 前記復号器において復号プロセス及び逆量子化プロセスを実行して、前記対応関係を有する前記表現行列と、前記対応関係と、前記被表現行列の前記最大特徴値及び前記最小特徴値とを取得する獲得ユニット、
    を更に備える、請求項１２～１９のいずれか１項に記載の送信装置。
21. 前記獲得ユニットは、前記表現行列の最大特徴値及び最小特徴値と、前記表現行列に対応する前記被表現行列の前記最大特徴値及び前記最小特徴値とに基づいて、前記復号器において前記被表現行列を取得する、請求項２０に記載の送信装置。
22. 機械学習モデルを使用して、処理される画像のチャネルの特徴行列を抽出し、特徴行列の間の相関度と第１の閾値との比較結果に基づいて１つ以上の相関行列対を求め、情報量に基づいて前記１つ以上の相関行列対のそれぞれの２つの特徴行列から表現行列及び被表現行列を決定し、前記表現行列と前記被表現行列との間の対応関係を求め、量子化及び符号化された前記表現行列と、前記対応関係と、前記被表現行列の最大特徴値及び最小特徴値とを復号器に送信する符号化器と、
    復号器において復号プロセス及び逆量子化プロセスを実行して、前記対応関係を有する前記表現行列と、前記対応関係と、前記被表現行列の前記最大特徴値及び前記最小特徴値とを取得する該復号器と、
    を備える、画像特徴の送信システム。
23. メモリと、
    前記メモリに結合されたプロセッサであって、前記メモリに記憶された命令に基づいて、請求項１～１１のいずれか１項に記載の画像特徴の送信方法を実施するように構成される、プロセッサと、
    を備える、画像特徴の送信装置。
24. プロセッサによって実行されると、請求項１～１１のいずれか１項に記載の画像特徴の送信方法を実施するコンピュータープログラムを記憶する非一時的コンピューター可読記憶媒体。