JP7100669B2 - スーパーネットワークの構築方法、使用方法、装置及び記録媒体 - Google Patents

スーパーネットワークの構築方法、使用方法、装置及び記録媒体 Download PDF

Info

Publication number
JP7100669B2
JP7100669B2 JP2019563157A JP2019563157A JP7100669B2 JP 7100669 B2 JP7100669 B2 JP 7100669B2 JP 2019563157 A JP2019563157 A JP 2019563157A JP 2019563157 A JP2019563157 A JP 2019563157A JP 7100669 B2 JP7100669 B2 JP 7100669B2
Authority
JP
Japan
Prior art keywords
linear
connection unit
super network
linear connection
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019563157A
Other languages
English (en)
Other versions
JP2022501659A (ja
Inventor
祥祥 初
瑞軍 許
勃 張
吉祥 李
慶源 李
斌 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Intelligent Technology Co Ltd
Original Assignee
Beijing Xiaomi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Intelligent Technology Co Ltd filed Critical Beijing Xiaomi Intelligent Technology Co Ltd
Publication of JP2022501659A publication Critical patent/JP2022501659A/ja
Application granted granted Critical
Publication of JP7100669B2 publication Critical patent/JP7100669B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

本発明は、データ処理技術分野に関し、特に、スーパーネットワークの構築方法、使用方法、装置及び記録媒体に関する。
ニューラルアーキテクチャ検索（Ｎｅｕｒａｌ Ａｒｃｈｉｔｅｃｔｕｒｅ Ｓｅａｒｃｈ、ＮＡＳ）は、ニューラルネットワークを自動的に設計する技術であり、サンプルセットに基づいて、アルゴリズムにより高性能のネットワーク構造を自動的に設計することができる。ニューラルネットワークアーキテクチャ検索において、検索を複数回することにより単独的なニューラルネットワークを生成し、トレーニングによりネットワークの指標を取得する必要があるので、評価効率が低く、検索速度が遅いという問題が存在する。このような問題を解決するために、一部のＮＡＳ方法において、検索ネットワークのすべてを含むスーパーネットワークを利用している。
図１に示す例示的なスーパーネットワーク（ｓｕｐｅｒｎｅｔ）の構造において、スーパーネットワークは、複数の層を含み、各層に複数のネットワークユニットが含まれ、各層から１つのネットワークユニットを選択して順次に接続することで、サブネットワークを構成する。スーパーネットワークに対してトレーニングを行う場合、異なるサブネットワークを構築する時、スーパーネットワークの内部におけるすべてのサブネットワーク構造がパラメータを共有するので、スーパーネットワークだけをある程度までトレーニングし、その後サブネットワークをサンプリングして指標を評価することができるので、再び始めから各サブネットワークに対してトレーニングを行う必要がない。このようなアルゴリズムを、ニューラルネットワークスーパーネットワークをシングルパスアクティブ化するためのアルゴリズムと呼ばれる。
本発明は、シングルパスアクティブ化されたスーパーネットワークのネットワーク性能を向上させるために、スーパーネットワークの構築方法、使用方法、装置及び記録媒体を提供する。
本発明の実施例に係る第１態様によれば、スーパーネットワークの構築方法を提供する。前記スーパーネットワークの構築方法は、
スーパーネットワークの少なくとも一つの層に線形接続ユニットを設置し、前記線形接続ユニットは、入力端が前記線形接続ユニットの所属層の上層に接続され、出力端が前記線形接続ユニットの所属層の下層に接続され、前記線形接続ユニットの出力と入力は、線形関係を有し、前記線形関係は、出力が入力に等しいという関係以外の線形関係を含むステップを含む。
上記のスーパーネットワークの構築方法は、以下のような特徴をさらに有する。
前記スーパーネットワークの構築方法は、前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定するステップを、さらに含む。
前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定するステップは、
前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを定数に設定する方式、
前記スーパーネットワークにおける一部の線形接続ユニットの線形パラメータを定数に設定し、残りの線形接続ユニットの線形パラメータを変数に設定する方式、及び
前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを変数に設定するする方式のうちのいずれかの方式を含む。
上記のスーパーネットワークの構築方法、以下のような特徴をさらに有する。
前記線形パラメータは、スロープ、第１座標軸の変位量、第２座標軸の変位量のうちの少なくとも１つを含む。
本発明の実施例に係る第２態様によれば、スーパーネットワークの使用方法を提供する。前記スーパーネットワークの使用方法は、
スーパーネットワークの少なくとも一つの層に線形接続ユニットを設置し、前記線形接続ユニットは、入力端が前記線形接続ユニットの所属層の上層に接続され、出力端が前記線形接続ユニットの所属層の下層に接続されるステップと、
前記スーパーネットワークに応じてＮ個のサブネットワークを確定し、対応するトレーニングの終了条件が満たされるまでに、前記Ｎ個のサブネットワークのそれぞれをトレーニングするステップと、
前記Ｎ個のサブネットワークにおいてＭ個のサブネットワークを確定するステップと、
前記Ｍ個のサブネットワークにおける線形接続ユニットを含むサブネットワークに対して、前記線形接続ユニットを含んでいるサブネットワークにおける線形接続ユニットの線形関係を、出力が入力に等しいという関係に変更させるステップと、
前記Ｍ個のサブネットワークのそれぞれに対して個別のトレーニングを行い、トレーニングの終了後、各サブネットワークの性能指標を抽出するステップと、を含む。
ここで、ＮとＭは、１より大きい整数であり、Ｍは、Ｎ以下である。
上記のスーパーネットワークの使用方法は、以下のような特徴をさらに有する。
前記Ｎ個のサブネットワークにおいてＭ個のサブネットワークを確定するステップは、前記Ｎ個のサブネットワークのネットワーク指標を演算し、前記Ｎ個のサブネットワークからネットワーク指標の品質指数が最も高いＭ個のサブネットワークを選択するステップを含む。
上記のスーパーネットワークの使用方法は、以下のような特徴をさらに有する。
前記スーパーネットワークの使用方法は、前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定するステップを、さらに含む。
前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定することは、
前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを定数に設定する方式、
前記スーパーネットワークにおける一部の線形接続ユニットの線形パラメータを定数に設定し、残りの線形接続ユニットの線形パラメータを変数に設定する方式、及び
前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを変数に設定する方式のうちのいずれかの方式を含む。
上記のスーパーネットワークの使用方法は、以下のような特徴をさらに有する。
前記スーパーネットワークの使用方法は、線形接続ユニットの線形パラメータの具体的な値が変数である場合、前記Ｎ個のサブネットワークのそれぞれに対してトレーニングを行う時、各線形接続ユニットの線形パラメータを更新するステップを、さらに含む。
上記のスーパーネットワークの使用方法は、以下のような特徴をさらに有する。
前記線形パラメータは、スロープ、第１座標軸の変位量、第２座標軸の変位量のうちの少なくとも１つを含む。
本発明の実施例に係る第３態様によれば、スーパーネットワークの構築装置を提供し、前記スーパーネットワークの構築装置は、
スーパーネットワークの少なくとも一つの層に線形接続ユニットを設置し、前記線形接続ユニットは、入力端が前記線形接続ユニットの所属層の上層に接続され、出力端が前記線形接続ユニットの所属層の下層に接続され、前記線形接続ユニットの出力と入力は、線形関係を有し、前記線形関係は、出力が入力に等しいという関係以外の線形関係を含む第１設置モジュールを含む。
上記のスーパーネットワークの構築装置は、以下のような特徴をさらに有する。
前記スーパーネットワークの構築装置は、
前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定するための第２設置モジュールを、さらに含む。
前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定することは、
前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを定数に設定する方式、
前記スーパーネットワークにおける一部の線形接続ユニットの線形パラメータを定数に設定し、残りの線形接続ユニットの線形パラメータを変数に設定する方式、及び
前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを変数に設定する方式のうちのいずれかの方式を含む。
上記のスーパーネットワークの構築装置は、以下のような特徴をさらに有する。
前記線形パラメータは、スロープ、第１座標軸の変位量、第２座標軸の変位量のうちの少なくとも１つを含む。
本発明の実施例に係る第４態様によれば、スーパーネットワークの使用装置を提供する。前記スーパーネットワークの使用装置は、
スーパーネットワークの少なくとも一つの層に線形接続ユニットを設置し、前記線形接続ユニットは、入力端が前記線形接続ユニットの所属層の上層に接続され、出力端が前記線形接続ユニットの所属層の下層に接続され、前記線形接続ユニットの出力と入力が線形関係を有する第３設置モジュールと、
前記スーパーネットワークに応じてＮ個のサブネットワークを確定するための第１確定モジュールと、
対応するトレーニングの終了条件が満たされるまでに、前記Ｎ個のサブネットワークのそれぞれをトレーニングするための第１トレーニングモジュールと、
前記Ｎ個のサブネットワークにおいてＭ個のサブネットワークを確定するための第２確定モジュールと、
前記Ｍ個のサブネットワークにおける線形接続ユニットを含むサブネットワークに対して、前記線形接続ユニットを含んでいるサブネットワークにおける線形接続ユニットの線形関係を、出力が入力に等しいという関係に変更させるための変更モジュールと、
前記Ｍ個のサブネットワークのそれぞれに対して個別のトレーニングを行い、トレーニングの終了後、各サブネットワークの性能指標を抽出するための第２トレーニングモジュールと、を含む。
ここで、ＮとＭは、１より大きい整数であり、Ｍは、Ｎ以下である。
上記のスーパーネットワークの使用装置は、以下のような特徴をさらに有する。
前記第２確定モジュールは、
前記Ｎ個のサブネットワークのネットワーク指標を演算するための演算モジュールと、
前記Ｎ個のサブネットワークからネットワーク指標の品質指数が最も高いＭ個のサブネットワークを選択するための選択モジュールと、を含む。
上記のスーパーネットワークの使用装置は、以下のような特徴をさらに有する。
前記スーパーネットワークの使用装置は、前記スーパーネットワークにおける各線形接 続ユニットの線形パラメータを設定するための第４設置モジュールを、さらに含む。
前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定することは、
前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを定数に設定する方式、
前記スーパーネットワークにおける一部の線形接続ユニットの線形パラメータを定数に設定し、残りの線形接続ユニットの線形パラメータを変数に設定する方式、及び
前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを変数に設定する方式のうちのいずれかの方式を含む。
上記のスーパーネットワークの使用装置は、以下のような特徴をさらに有する。
前記第１トレーニングモジュールは、線形接続ユニットの線形パラメータの具体的な値が変数である場合、前記Ｎ個のサブネットワークのそれぞれに対してトレーニングを行う時、各線形接続ユニットの線形パラメータを更新するためにも使用される。
上記のスーパーネットワークの使用装置は、以下のような特徴をさらに有する。
前記線形パラメータは、スロープ、第１座標軸の変位量、第２座標軸の変位量のうちの少なくとも１つを含む。
本発明の実施例に係る第５態様によれば、非一時的コンピュータ読み取り可能な記録媒体を提供する。前記記録媒体に記録された指令が移動端末のプロセッサにより実行される場合、移動端末が上記のスーパーネットワークの構築方法を実行させる。前記スーパーネットワークの構築方法は、
スーパーネットワークの少なくとも一つの層に線形接続ユニットを設置し、前記線形接続ユニットは、入力端が前記線形接続ユニットの所属層の上層に接続され、出力端が前記線形接続ユニットの所属層の下層に接続されるステップを含む。ここで、前記線形接続ユニットの出力と入力は、線形関係を有する。
本発明の実施例に係る第６態様によれば、非一時的コンピュータ読み取り可能な記録媒体を提供する。前記記録媒体に記録された指令が移動端末のプロセッサにより実行される場合、移動端末がスーパーネットワークの使用方法を実行させる。前記スーパーネットワークの使用方法は、
スーパーネットワークの少なくとも一つの層に線形接続ユニットを設置し、前記線形接続ユニットは、入力端が前記線形接続ユニットの所属層の上層に接続され、出力端が前記線形接続ユニットの所属層の下層に接続されるステップと、
前記スーパーネットワークに応じてＮ個のサブネットワークを確定し、対応するトレーニングの終了条件が満たされるまでに、前記Ｎ個のサブネットワークのそれぞれをトレーニングするステップと、
前記Ｎ個のサブネットワークにおいてＭ個のサブネットワークを確定するステップと、
前記Ｍ個のサブネットワークにおける線形接続ユニットを含むサブネットワークに対して、前記線形接続ユニットを含んでいるサブネットワークにおける線形接続ユニットの線形関係を、出力が入力に等しいという関係に変更させるステップと、
前記Ｍ個のサブネットワークのそれぞれに対して個別のトレーニングを行い、トレーニングの終了後、各サブネットワークの性能指標を抽出するステップと、を含む。
ここで、ＮとＭは、１より大きい整数であり、Ｍは、Ｎ以下である。
本発明の実施例により提供される技術案によれば、下記のような有益な効果を含むことができる。
上記方法において、線形接続ユニットを利用するので、直線接続ユニットを利用する場合に比べて、サブネットワークの特性化能力を効果的に向上させることができ、スーパーネットワークにおける線形接続ユニットを含むサブネットワークのネットワーク指標の安定性を維持し、元のネットワークの１つ又は複数の層におけるネットワークユニットが直線接続ユニットに置換された後、上記サブネットワークのネットワーク指標が急速に低下することを防止することができる。
なお、上記の一般的な記載及び後述の詳細な記載は、単なる例示的で解釈的な記載であり、本発明は、これに限定されるものではない。
以下の図面は、明細書に組み込んで本明細書の一部分を構成し、本明細書に該当する実施例を例示するとともに、明細書と一緒に本発明の原理を解釈する。
一例示的な実施例に係るスーパーネットワークを示す構成図である。 一例示的な実施例に係るスーパーネットワークを示す構成図である。 一例示的な実施例に係るスーパーネットワークを示す構成図である。 一例示的な実施例に係るスーパーネットワークの構築方法のフローチャートである。 一例示的な実施例に係るスーパーネットワークの使用方法のフローチャートである。 一例示的な実施例に係るスーパーネットワークの構築装置を示す構成図である。 一例示的な実施例に係るスーパーネットワークの使用装置を示す構成図である。 一例示的な実施例に係るスーパーネットワークの構築装置または使用装置を示す構成図である。
以下、例示的な実施例を詳しく説明し、その例示を図面に示す。図面について説明するとき、特に別の説明がない限り、異なる図面での同じ数は同一な又は類似する要素を示す。以下、例示的な実施例において説明する実施方式は、本明細書に一致するすべての実施方式を代表するものではない。逆に、これらは、添付の特許請求の範囲に記載されているように、本明細書の一部の側面に一致する装置及び方法の一例に過ぎない。
スーパーネットワークを通じてより豊富なサブネットワーク構造を取得するために、スーパーネットワークに直線接続ユニットを導入して深度が可変するネットワークを構築する。図２に示すように、スーパーネットワークの第２層に、出力が入力に等しい機能を有する直線接続ユニットを設置する。上記直線接続ユニットは、第１層における第１サブネットワークと第３層における第２サブネットワークを接続するためのものであり、上記接続方式により、スーパーネットワークの構造において第１層が第３層に直接に接続されるという効果を実現する。元のスーパーネットワークに直線接続ユニットを追加する場合、元のスーパーネットワークの１つ又は複数の層におけるネットワークユニットが直線接続ユニットに置換された後、上記サブネットワークのネットワーク指標が急速に低下するので、サブネットワークのネットワーク指標の安定性に深刻な影響を与える。
上記の問題を解決するために、図３に示すように、本発明は、直線接続ユニットを線形接続ユニットに置換する。
図４は、一例示的な実施例に係るスーパーネットワークの構築方法のフローチャートである。前記スーパーネットワークの構築方法は、スーパーネットワークの少なくとも一つの層に線形接続ユニットを設置し、前記線形接続ユニットは、入力端が前記線形接続ユニットの所属層の上層に接続され、出力端が前記線形接続ユニットの所属層の下層に接続され、前記線形接続ユニットの出力と入力は、線形関係を有し、前記線形関係は、出力が入力に等しいという関係以外の線形関係を含むステップＳ４１を含む。
上記スーパーネットワークの構築方法は、スーパーネットワークにおいて線形接続ユニットを利用するので、直線接続ユニットを利用する場合に比べて、サブネットワークの特性化能力を効果的に向上させることができ、スーパーネットワークにおける線形接続ユニットを含むサブネットワークのネットワーク指標の安定性を維持し、サブネットワークのネットワーク指標が深度の調整過程中に急速に低下することを防止することができる。
一実施例において、上記スーパーネットワークの構築方法は、前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定するステップを、さらに含む。
前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定する方式は、下記のいずれかの方式を含む。
１、前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを定数に設定する。
２、前記スーパーネットワークにおける一部の線形接続ユニットの線形パラメータを定数に設定し、残りの線形接続ユニットの線形パラメータを変数に設定する。
３、前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを変数に設定する。
一実施例において、線形パラメータは、スロープ、第１座標軸の変位量、第２座標軸の変位量のうちの少なくとも１つを含む。例えば、線形関係は、ｙ（ｘ）＝ｋ（ｘ＋ａ）＋ｂであり、ここで、ｋは、スロープであり、ａは、第１座標軸の変位量であり、ｂは、第２座標軸の変位量である。
一実施例において、スーパーネットワークにおける線形パラメータが定数である各線形接続ユニットの各線形パラメータの値は、同じであってもよいし、異なってもよい。例えば、スーパーネットワークにおけるすべての線形接続ユニットの線形関係は、いずれもｙ（ｘ）＝２（ｘ＋１）＋３であってもよい。また、例えば、スーパーネットワークにおける一部の線形接続ユニットの線形関係は、ｙ（ｘ）＝２（ｘ＋１）＋３であり、残りの線形接続ユニットの線形関係は、ｙ（ｘ）＝１．５ｘであってもよい。また、例えば、スーパーネットワークにおける一部の線形接続ユニットの線形関係は、ｙ（ｘ）＝２（ｘ＋１）＋３であり、その他の一部の線形接続ユニットの線形関係は、ｙ（ｘ）＝１．５ｘであり、残りの線形接続ユニットの線形関係は、ｙ（ｘ）＝２ｘ＋３などであってもよい。
一実施例において、スーパーネットワークにおける線形パラメータが変数である各線形接続ユニットの各線形パラメータの初期値を設定する。スーパーネットワークにおけるサブネットワークに対してトレーニングを行う場合、各線形接続ユニットの線形パラメータを更新する。
図５は、一例示的な実施例に係るスーパーネットワークの使用方法のフローチャートである。上記スーパーネットワークの使用方法は、以下のステップを含む。
ステップＳ５１において、スーパーネットワークの少なくとも一つの層に線形接続ユニットを設置し、前記線形接続ユニットは、入力端が前記線形接続ユニットの所属層の上層に接続され、出力端が前記線形接続ユニットの所属層の下層に接続される。
ステップＳ５２において、前記スーパーネットワークに応じてＮ個のサブネットワークを確定し、対応するトレーニングの終了条件が満たされるまでに、前記Ｎ個のサブネットワークの各サブネットワークをトレーニングする。
ステップＳ５３において、前記Ｎ個のサブネットワークにおいてＭ個のサブネットワークを確定する。
ステップＳ５４において、前記Ｍ個のサブネットワークにおける線形接続ユニットを含むサブネットワークに対して、前記線形接続ユニットを含んでいるサブネットワークにおける線形接続ユニットの線形関係を、出力が入力に等しいという関係に変更させる。
ステップＳ５５において、前記Ｍ個のサブネットワークの各サブネットワークに対して個別のトレーニングを行い、トレーニングの終了後、各サブネットワークの性能指標を抽出する。
ここで、ＮとＭは、１より大きい整数であり、Ｍは、Ｎ以下である。
上記方法は、スーパーネットワークにおいて線形接続ユニットを利用するので、直線接続ユニットを利用する場合に比べて、サブネットワークの特性化能力を効果的に向上させることができ、スーパーネットワークにおける線形接続ユニットを含むサブネットワークのネットワーク指標の安定性を維持し、サブネットワークのネットワーク指標が深度の調整過程中に急速に低下することを防止することができる。具体的に、Ｎ個のサブネットワークの各サブネットワークに対してトレーニングを行う場合、線形接続ユニットを使用し、Ｍ個のサブネットワークの各サブネットワークに対してトレーニングを行う時、線形接続ユニットを含んでいるサブネットワークにおける線形接続ユニットの線形関係を出力が入力に等しいという関係に変更させた後、深度の調整過程中に、サブネットワークのネットワーク指標がほとんど変化しない。
一実施例において、前記Ｎ個のサブネットワークにおいてＭ個のサブネットワークを確定するステップは、前記Ｎ個のサブネットワークのネットワーク指標を演算し、前記Ｎ個のサブネットワークからネットワーク指標の品質指数が最も高いＭ個のサブネットワークを選択するステップを含む。ネットワーク指標は、精度、損失値、検証精度、検証損失、平均絶対誤差などを含むが、本発明はこれらに限定されない。
一実施例において、上記スーパーネットワークの使用方法は、前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定するステップを、さらに含む。
前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定する方式は、
前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを定数に設定する方式、
前記スーパーネットワークにおける一部の線形接続ユニットの線形パラメータを定数に設定し、残りの線形接続ユニットの線形パラメータを変数に設定する方式、及び
前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを変数に設定する方式のうちのいずれかの方式を含む。
線形接続ユニットの線形パラメータの具体的な値が変数である場合、前記Ｎ個のサブネットワークの各サブネットワークに対してトレーニングを行う時、各線形接続ユニットの線形パラメータを更新する。
一実施例において、前記線形パラメータは、スロープ、第１座標軸の変位量、第２座標軸の変位量のうちの少なくとも１つを含む。例えば、線形関係は、ｙ（ｘ）＝ｋ（ｘ＋ａ）＋ｂであり、ここで、ｋは、スロープであり、ａは、第１座標軸の変位量であり、ｂは、第２座標軸の変位量である。
一実施例において、スーパーネットワークにおける線形パラメータが定数である各線形接続ユニットの各線形パラメータの値は、同じであってもよいし、異なってもよい。例えば、スーパーネットワークにおけるすべての線形接続ユニットの線形関係は、いずれもｙ（ｘ）＝２（ｘ＋１）＋３であってもよい。また、例えば、スーパーネットワークにおける一部の線形接続ユニットの線形関係は、ｙ（ｘ）＝２（ｘ＋１）＋３であり、残りの線形接続ユニットの線形関係は、ｙ（ｘ）＝１．５ｘであってもよい。また、例えば、スーパーネットワークにおける一部の線形接続ユニットの線形関係は、ｙ（ｘ）＝２（ｘ＋１）＋３であり、他の一部の線形接続ユニットの線形関係は、ｙ（ｘ）＝１．５ｘであり、残りの線形接続ユニットの線形関係は、ｙ（ｘ）＝２ｘ＋３などであってもよい。
図６は、一例示的な実施例に係るスーパーネットワークの構築装置を示す構成図である。上記スーパーネットワークの構築装置は、
スーパーネットワークの少なくとも一つの層に線形接続ユニットを設置し、前記線形接続ユニットは、入力端が前記線形接続ユニットの所属層の上層に接続され、出力端が前記線形接続ユニットの所属層の下層に接続され、前記線形接続ユニットの出力と入力は、線形関係を有し、前記線形関係は、出力が入力に等しいという関係以外の線形関係を含む第１設置モジュールを含む。
一実施例において、スーパーネットワークの構築装置は、
前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定するための第２設置モジュールを、さらに含む。
前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定する方式は、
前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを定数に設定する方式、
前記スーパーネットワークにおける一部の線形接続ユニットの線形パラメータを定数に設定し、残りの線形接続ユニットの線形パラメータを変数に設定する方式、及び
前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを変数に設定する方式のうちのいずれかの方式を含む。
前記線形パラメータは、スロープ、第１座標軸の変位量、第２座標軸の変位量のうちの少なくとも１つを含む。
図７は、一例示的な実施例に係るスーパーネットワークの使用装置を示す構成図である。上記スーパーネットワークの構築装置は、
スーパーネットワークの少なくとも一つの層に線形接続ユニットを設置し、前記線形接続ユニットは、入力端が前記線形接続ユニットの所属層の上層に接続され、出力端が前記線形接続ユニットの所属層の下層に接続され、前記線形接続ユニットの出力と入力は、線形関係を有する第３設置モジュールと、
前記スーパーネットワークに応じてＮ個のサブネットワークを確定するための第１確定モジュールと、
対応するトレーニングの終了条件が満たされるまでに、前記Ｎ個のサブネットワークの各サブネットワークをトレーニングするための第１トレーニングモジュールと、
前記Ｎ個のサブネットワークにおいてＭ個のサブネットワークを確定するための第２確定モジュールと、
前記Ｍ個のサブネットワークにおける線形接続ユニットを含むサブネットワークに対して、前記線形接続ユニットを含んでいるサブネットワークにおける線形接続ユニットの線形関係を、出力が入力に等しいという関係に変更させるための変更モジュールと、
前記Ｍ個のサブネットワークの各サブネットワークに対して個別のトレーニングを行い、トレーニングの終了後、各サブネットワークの性能指標を抽出するための第２トレーニングモジュールと、を含む。
ここで、ＮとＭは、１より大きい整数であり、Ｍは、Ｎ以下である。
一実施例において、第２確定モジュールは、
前記Ｎ個のサブネットワークのネットワーク指標を演算するための演算モジュールと、
前記Ｎ個のサブネットワークからネットワーク指標の品質指数が最も高いＭ個のサブネットワークを選択するための選択モジュールと、を含む。
一実施例において、スーパーネットワークの構築装置は、前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定するための第４設置モジュールを、さらに含む。
前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定する方式は、
前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを定数に設定する方式、
前記スーパーネットワークにおける一部の線形接続ユニットの線形パラメータを定数に設定し、残りの線形接続ユニットの線形パラメータを変数に設定する方式、及び
前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを変数に設定する方式のうちのいずれかの方式を含む。
一実施例において、前記第１トレーニングモジュールは、線形接続ユニットの線形パラメータの具体的な値が変数である場合、前記Ｎ個のサブネットワークの各サブネットワークに対してトレーニングを行う時、各線形接続ユニットの線形パラメータを更新するためにも使用される。
一実施例において、前記線形パラメータは、スロープ、第１座標軸の変位量、第２座標軸の変位量のうちの少なくとも１つを含む。
図８は、一例示的な実施例に係るスーパーネットワークの構築装置または使用装置８００のブロック図である。例えば、使用装置８００は、携帯電話、コンピュータ、デジタルブロードキャスト端末、メッセージ送受信機器、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、個人向け携帯型情報端末機器（ＰＤＡ）などであってもよい。
図８を参照すると、装置８００は、処理ユニット８０２、メモリ８０４、電源ユニット８０６、マルチメディアユニット８０８、オーディオユニット８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサーユニット８１４、及び通信ユニット８１６からなる群から選ばれる少なくとも１つを備えてもよい。
処理ユニット８０２は、一般的には、装置８００の全体の操作、例えば、表示、電話呼び出し、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理ユニット８０２は、上述した方法におけるステップの一部又は全部を実現できるように、指令を実行する少なくとも１つのプロセッサ８２０を備えてもよい。また、処理ユニット８０２は、他のユニットとのインタラクションを便利にさせるように、少なくとも１つのモジュールを備えてもよい。例えば、処理ユニット８０２は、マルチメディアユニット８０８とのインタラクションを便利にさせるように、マルチメディアモジュールを備えてもよい。
メモリ８０４は、装置８００での操作をサポートするように、各種のデータを記憶するように構成される。これらのデータは、例えば、装置８００で何れのアプリケーション又は方法を操作するための指令、連絡先データ、電話帳データ、メッセージ、画像、ビデオなどを含む。メモリ８０４は、何れの種類の揮発性又は不揮発性メモリ、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｂｅｒ）、磁気メモリ、フラッシュメモリ、磁気ディスク、或いは光ディスクにより、或いはそれらの組み合わせにより実現することができる。
電源ユニット８０６は、装置８００の各種ユニットに電力を供給するためのものであり、電源管理システム、１つ又は複数の電源、及び装置８００のために電力を生成、管理及び分配することに関連する他のユニットを備えてもよい。
マルチメディアユニット８０８は、前記装置８００とユーザとの間に出力インタフェースを提供するスクリーンを備えてもよい。スクリーンは、例えば、液晶ディスプレイ（ＬＣＤ）やタッチパネル（ＴＰ）を備えてもよい。スクリーンは、タッチパネルを備える場合、ユーザからの入力信号を受信するように、タッチスクリーンになることができる。また、タッチパネルは、タッチや、スライドや、タッチパネル上の手振りを感知するように、少なくとも１つのタッチセンサーを有する。前記タッチセンサーは、タッチやスライド動作の境界を感知できるだけではなく、タッチやスライド操作と関連する持続時間や圧力も感知できる。一実施例では、マルチメディアユニット８０８は、フロントカメラ及び／又はバックカメラを有してもよい。装置８００が、例えば、撮影モードやビデオモードのような操作モードにある時、フロントカメラ及び／又はバックカメラが外部のマルチメディアデータを受信できる。フロントカメラ及びバックカメラのそれぞれは、固定の光学レンズ系であってもよいし、焦点距離及び光学ズーム能力を有するものであってもよい。
オーディオユニット８１０は、オーディオ信号を出力及び／又は入力するように構成される。例えば、オーディオユニット８１０は、マイクロフォン（ＭＩＣ）を有してもよい。装置８００が、例えば、呼び出しモード、記録モード、又は音声認識モードのような操作モードにある時、マイクロフォンは、外部のオーディオ信号を受信するように配置される。受信したオーディオ信号は、メモリ８０４にさらに記憶されてもよいし、通信ユニット８１６を介して送信されてもよい。一実施例では、オーディオユニット８１０は、オーディオ信号を出力するためのスピーカをさらに備えてもよい。
Ｉ／Ｏインタフェース８１２は、処理ユニット８０２と外部のインタフェースモジュールとの間にインタフェースを提供するためのものである。上記外部のインタフェースモジュールは、キーボードや、クリックホイールや、ボタンなどであってもよい。これらのボタンは、ホームボタンや、音量ボタンや、スタートボタンや、ロックボタンであってもよいが、それらに限らない。
センサーユニット８１４は、装置８００のために各方面の状態を評価する少なくとも１つのセンサーを備えてもよい。例えば、センサーユニット８１４は、装置８００のオン／オフ状態や、ユニットの相対的な位置を検出することができる。例えば、前記ユニットは、装置８００のディスプレイ及びキーパッドである。センサーユニット８１４は、装置８００又は装置８００の１つのユニットの位置の変化、ユーザによる装置８００への接触の有無、装置８００の方向又は加速／減速、装置８００の温度変化などを検出することができる。センサーユニット８１４は、何れの物理的な接触もない場合に付近の物体を検出するように構成される近接センサーを有してもよい。センサーユニット８１４は、イメージングアプリケーションに用いるための光センサー、例えば、ＣＭＯＳ又はＣＣＤ画像センサーを有してもよい。一実施例では、当該センサーユニット８１４は、加速度センサー、ジャイロスコープセンサー、磁気センサー、圧力センサー又は温度センサーをさらに備えてもよい。
通信ユニット８１６は、装置８００と他の設備の間との無線又は有線通信を便利にさせるように構成される。装置８００は、通信標準に基づく無線ネットワーク、例えば、ＷｉＦｉ、２Ｇ又は３Ｇ、又はそれらの組み合わせにアクセスできる。１つの例示的な実施例では、通信ユニット８１６は、ブロードキャストチャンネルを介して外部のブロードキャスト管理システムからのブロードキャスト信号又はブロードキャストに関する情報を受信する。１つの例示的な実施例では、前記通信ユニット８１６は、近距離通信を促進するために近距離無線通信（ＮＦＣ）モジュールをさらに備えてもよい。例えば、ＮＦＣモジュールは、無線周波数認識装置（ＲＦＩＤ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）技術、赤外線データ協会（ＩｒＤＡ：Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）技術、超広帯域無線（ＵＷＢ：Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）技術、ブルートゥース（登録商標）（ＢＴ：Ｂｌｕｅｔｏｏｔｈ）技術及び他の技術により実現されてもよい。
例示的な実施例では、装置８００は、上述した方法を実行するために、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、デジタル信号処理デバイス（ＤＳＰＤ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）、プログラマブルロジックデバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、書替え可能ゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、又は他の電子機器により実現されてもよい。
例示的な実施例では、指令を有する非一時的コンピュータ読み取り可能な記録媒体、例えば、指令を有するメモリ８０４をさらに提供する。前記指令は、装置８００のプロセッサ８２０により実行されて上述した方法を実現する。例えば、前記非一時的コンピュータ読み取り可能な記録媒体は、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク及び光データメモリなどであってもよい。
例示的な実施例では、指令を有する非一時的コンピュータ読み取り可能な記録媒体、例えば、指令を有するメモリをさらに提供する。前記指令は、装置９００のプロセッサ９２０により実行されて上述した方法を実現する。例えば、前記非一時的コンピュータ読み取り可能な記録媒体は、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク及び光データメモリなどであってもよい。
当業者は、明細書に対する理解、及び明細書に記載された発明に対する実施を介して、本発明の他の実施形態を容易に取得することができる。本発明は、本発明に対する任意の変形、用途、又は適応的な変化を含み、このような変形、用途、又は適応的な変化は、本発明の一般的な原理に従い、本発明では開示していない本技術分野の公知知識、又は通常の技術手段を含む。明細書及び実施例は、単に例示的なものであって、本発明の本当の範囲と主旨は、以下の特許請求の範囲により示される。
本発明は、上記で記述され、図面で図示した特定の構成に限定されず、その範囲を離脱しない状況で、様々な修正や変更を実施してもよい。本発明の範囲は、添付される特許請求の範囲のみにより限定される。
本願は、出願番号が２０１９１０７６３１１３．Ｘであって、出願日が２０１９年８月１９日である中国特許出願に基づいて優先権を主張し、当該中国特許出願の内容のすべてを本願に援用される。

Claims (18)

  1. スーパーネットワークの構築方法であって、
    コンピュータにより、スーパーネットワークの少なくとも一つの層に線形接続ユニットを設置し、前記線形接続ユニットは、入力端が前記線形接続ユニットの所属層の上層に接続され、出力端が前記線形接続ユニットの所属層の下層に接続され、前記線形接続ユニットの出力と入力は、線形関係を有し、前記線形関係は、入力が出力に等しいという関係以外の線形関係であるステップを含む
    ことを特徴とするスーパーネットワークの構築方法。
  2. コンピュータにより、前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定するステップを、さらに含み、
    コンピュータにより、前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定するステップは、
    コンピュータにより、前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを定数に設定する方式、
    コンピュータにより、前記スーパーネットワークにおける一部の線形接続ユニットの線形パラメータを定数に設定し、残りの線形接続ユニットの線形パラメータを変数に設定する方式、及び
    コンピュータにより、前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを変数に設定する方式のうちのいずれかの方式を含む
    ことを特徴とする請求項１に記載のスーパーネットワークの構築方法。
  3. 前記線形パラメータは、スロープ、第１座標軸の変位量、第２座標軸の変位量のうちの少なくとも１つを含む
    ことを特徴とする請求項２に記載のスーパーネットワークの構築方法。
  4. スーパーネットワークの使用方法であって、
    コンピュータにより、スーパーネットワークの少なくとも一つの層に線形接続ユニットを設置し、前記線形接続ユニットは、入力端が前記線形接続ユニットの所属層の上層に接続され、出力端が前記線形接続ユニットの所属層の下層に接続されるステップと、
    コンピュータにより、前記スーパーネットワークに応じてＮ個のサブネットワークを確定し、対応するトレーニングの終了条件が満たされるまでに、前記Ｎ個のサブネットワークのそれぞれをトレーニングするステップと、
    コンピュータにより、前記Ｎ個のサブネットワークにおいてＭ個のサブネットワークを確定するステップと、
    前記Ｍ個のサブネットワークにおける線形接続ユニットを含むサブネットワークに対して、前記線形接続ユニットを含んでいるサブネットワークにおける線形接続ユニットの線形関係を、出力が入力に等しいという関係に変更させるステップと、
    コンピュータにより、前記Ｍ個のサブネットワークのそれぞれに対して個別のトレーニングを行い、トレーニングの終了後、各サブネットワークの性能指標を抽出するステップと、を含み、
    ＮとＭは、１より大きい整数であり、Ｍは、Ｎ以下である
    ことを特徴とするスーパーネットワークの使用方法。
  5. コンピュータにより、前記Ｎ個のサブネットワークにおいてＭ個のサブネットワークを確定するステップは、
    コンピュータにより、前記Ｎ個のサブネットワークのネットワーク指標を演算し、前記Ｎ個のサブネットワークからネットワーク指標の品質指数が最も高いＭ個のサブネットワークを選択するステップを含む
    ことを特徴とする請求項４に記載のスーパーネットワークの使用方法。
  6. コンピュータにより、前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定するステップを、さらに含み、
    コンピュータにより、前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定するステップは、
    コンピュータにより、前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを定数に設定する方式、
    コンピュータにより、前記スーパーネットワークにおける一部の線形接続ユニットの線形パラメータを定数に設定し、残りの線形接続ユニットの線形パラメータを変数に設定する方式、及び
    コンピュータにより、前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを変数に設定する方式のうちのいずれかの方式を含む
    ことを特徴とする請求項４に記載のスーパーネットワークの使用方法。
  7. 前記線形接続ユニットの線形パラメータの具体的な値が変数である場合、コンピュータにより、前記Ｎ個のサブネットワークのそれぞれに対してトレーニングを行う時、各線形接続ユニットの線形パラメータを更新するステップを、さらに含む
    ことを特徴とする請求項６に記載のスーパーネットワークの使用方法。
  8. 前記線形パラメータは、スロープ、第１座標軸の変位量、第２座標軸の変位量のうちの少なくとも１つを含む
    ことを特徴とする請求項６に記載のスーパーネットワークの使用方法。
  9. スーパーネットワークの構築装置であって、
    スーパーネットワークの少なくとも一つの層に線形接続ユニットを設置し、前記線形接続ユニットは、入力端が前記線形接続ユニットの所属層の上層に接続され、出力端が前記線形接続ユニットの所属層の下層に接続され、前記線形接続ユニットの出力と入力は、線形関係を有し、前記線形関係は、出力が入力に等しいという関係以外の線形関係である第１設置モジュールを含む
    ことを特徴とするスーパーネットワークの構築装置。
  10. 前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定するための第２設置モジュールを、さらに含み、
    前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定することは、
    前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを定数に設定する方式、
    前記スーパーネットワークにおける一部の線形接続ユニットの線形パラメータを定数に設定し、残りの線形接続ユニットの線形パラメータを変数に設定する方式、及び
    前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを変数に設定する方式のうちのいずれかの方式を含む
    ことを特徴とする請求項９に記載のスーパーネットワークの構築装置。
  11. 前記線形パラメータは、スロープ、第１座標軸の変位量、第２座標軸の変位量のうちの少なくとも１つを含む
    ことを特徴とする請求項１０に記載のスーパーネットワークの構築装置。
  12. スーパーネットワークの使用装置であって、
    スーパーネットワークの少なくとも一つの層に線形接続ユニットを設置し、前記線形接続ユニットは、入力端が前記線形接続ユニットの所属層の上層に接続され、出力端が前記線形接続ユニットの所属層の下層に接続され、前記線形接続ユニットの出力と入力は、線形関係を有する第３設置モジュールと、
    前記スーパーネットワークに応じてＮ個のサブネットワークを確定するための第１確定モジュールと、
    対応するトレーニングの終了条件が満たされるまでに、前記Ｎ個のサブネットワークのそれぞれをトレーニングするための第１トレーニングモジュールと、
    前記Ｎ個のサブネットワークにおいてＭ個のサブネットワークを確定するための第２確定モジュールと、
    前記Ｍ個のサブネットワークにおける線形接続ユニットを含むサブネットワークに対して、前記線形接続ユニットを含んでいるサブネットワークにおける線形接続ユニットの線形関係を、出力が入力に等しいという関係に変更させるための変更モジュールと、及び
    前記Ｍ個のサブネットワークのそれぞれに対して個別のトレーニングを行い、トレーニングの終了後、各サブネットワークの性能指標を抽出するための第２トレーニングモジュールと、を含み、
    ＮとＭは、１より大きい整数であり、Ｍは、Ｎ以下である
    ことを特徴とするスーパーネットワークの使用装置。
  13. 前記第２確定モジュールは、
    前記Ｎ個のサブネットワークのネットワーク指標を演算するための演算モジュールと、
    前記Ｎ個のサブネットワークからネットワーク指標の品質指数が最も高いＭ個のサブネットワークを選択するための選択モジュールと、を含む
    ことを特徴とする請求項１２に記載のスーパーネットワークの使用装置。
  14. 前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定するための第４設置モジュールを、さらに含み、
    前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定することは、
    前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを定数に設定する方式、
    前記スーパーネットワークにおける一部の線形接続ユニットの線形パラメータを定数に設定し、残りの線形接続ユニットの線形パラメータを変数に設定する方式、及び
    前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを変数に設定する方式のうちのいずれかの方式を含む
    ことを特徴とする請求項１２に記載のスーパーネットワークの使用装置。
  15. 前記第１トレーニングモジュールは、
    前記線形接続ユニットの線形パラメータの具体的な値が変数である場合、前記Ｎ個のサブネットワークのそれぞれに対してトレーニングを行う時、各線形接続ユニットの各線形パラメータを更新するためにも使用される
    ことを特徴とする請求項１４に記載のスーパーネットワークの使用装置。
  16. 前記線形パラメータは、スロープ、第１座標軸の変位量、第２座標軸の変位量のうちの少なくとも１つを含む
    ことを特徴とする請求項１４に記載のスーパーネットワークの使用装置。
  17. 非一時的コンピュータ読み取り可能な記録媒体であって、
    前記記録媒体に記録された指令が移動端末のプロセッサにより実行される場合、移動端末がスーパーネットワークの構築方法を実行可能であり、
    前記スーパーネットワークの構築方法は、
    スーパーネットワークの少なくとも一つの層に線形接続ユニットを設置し、前記線形接続ユニットは、入力端が前記線形接続ユニットの所属層の上層に接続され、出力端が前記線形接続ユニットの所属層の下層に接続され、前記線形接続ユニットの出力と入力は、線形関係を有し、前記線形関係は、入力が出力に等しいという関係以外の線形関係であるステップを含むステップを含む
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
  18. 非一時的コンピュータ読み取り可能な記録媒体であって、
    前記記録媒体に記録された指令が移動端末のプロセッサにより実行される場合、移動端末がスーパーネットワークの使用方法を実行可能であり、
    前記スーパーネットワークの使用方法は、
    スーパーネットワークの少なくとも一つの層に線形接続ユニットを設置し、前記線形接続ユニットは、入力端が前記線形接続ユニットの所属層の上層に接続され、出力端が前記線形接続ユニットの所属層の下層に接続されるステップと、
    前記スーパーネットワークに応じてＮ個のサブネットワークを確定し、対応するトレーニングの終了条件が満たされるまでに、前記Ｎ個のサブネットワークのそれぞれをトレーニングするステップと、
    前記Ｎ個のサブネットワークにおいてＭ個のサブネットワークを確定するステップと、
    前記Ｍ個のサブネットワークにおける線形接続ユニットを含むサブネットワークに対して、前記線形接続ユニットを含んでいるサブネットワークにおける線形接続ユニットの線形関係を、出力が入力に等しいという関係に変更させるステップと、及び
    前記Ｍ個のサブネットワークのそれぞれに対して個別のトレーニングを行い、トレーニングの終了後、各サブネットワークの性能指標を抽出するステップと、を含み、
    ＮとＭは、１より大きい整数であり、Ｍは、Ｎ以下である
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
JP2019563157A 2019-08-19 2019-10-11 スーパーネットワークの構築方法、使用方法、装置及び記録媒体 Active JP7100669B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910763113.X 2019-08-19
CN201910763113.XA CN110490303A (zh) 2019-08-19 2019-08-19 超网络构建方法、使用方法、装置及介质
PCT/CN2019/110668 WO2021031311A1 (zh) 2019-08-19 2019-10-11 超网络构建方法、使用方法、装置及介质

Publications (2)

Publication Number Publication Date
JP2022501659A JP2022501659A (ja) 2022-01-06
JP7100669B2 true JP7100669B2 (ja) 2022-07-13

Family

ID=68551875

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019563157A Active JP7100669B2 (ja) 2019-08-19 2019-10-11 スーパーネットワークの構築方法、使用方法、装置及び記録媒体

Country Status (7)

Country Link
US (1) US20210056421A1 (ja)
EP (1) EP3783539A1 (ja)
JP (1) JP7100669B2 (ja)
KR (1) KR102568810B1 (ja)
CN (1) CN110490303A (ja)
RU (1) RU2721181C1 (ja)
WO (1) WO2021031311A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340220B (zh) * 2020-02-25 2023-10-20 北京百度网讯科技有限公司 用于训练预测模型的方法和装置
CN111639753B (zh) * 2020-05-29 2023-12-05 北京百度网讯科技有限公司 用于训练图像处理超网络的方法、装置、设备以及存储介质
CN111652354B (zh) * 2020-05-29 2023-10-24 北京百度网讯科技有限公司 用于训练超网络的方法、装置、设备以及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5249259A (en) * 1990-01-23 1993-09-28 Massachusetts Institute Of Technology Genetic algorithm technique for designing neural networks
UA49379A (uk) * 2001-11-23 2002-09-16 Відкрите Акціонерне Товариство "Мотор Січ" Спосіб побудови і навчання нейронної мережі з латеральним гальмуванням
RU115098U1 (ru) * 2011-09-29 2012-04-20 Константин Дмитриевич Белов Многослойная нейронная сеть
CN110168578B (zh) * 2017-01-30 2024-02-06 渊慧科技有限公司 具有任务特定路径的多任务神经网络
US12014257B2 (en) * 2017-05-19 2024-06-18 Salesforce, Inc. Domain specific language for generation of recurrent neural network architectures
US10776668B2 (en) * 2017-12-14 2020-09-15 Robert Bosch Gmbh Effective building block design for deep convolutional neural networks using search
CN108985457B (zh) * 2018-08-22 2021-11-19 北京大学 一种受优化算法启发的深度神经网络结构设计方法
CN109934336B (zh) * 2019-03-08 2023-05-16 江南大学 基于最优结构搜索的神经网络动态加速平台设计方法及神经网络动态加速平台

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHU Xiangxiang et al.，FairNAS: Rethinking Evaluation Fairness of Weight Sharing Neural Architecture Search，arXiv:1907.01845v1，Cornell University，2019年07月03日，[2021年11月29日検索],インターネット<URL:https://arxiv.org/pdf/1907.01845v1.pdf>
CHU Xiangxiang et al.，SCARLET-NAS:Bridging the Gap Between Scalability and Fairness in Neural Architecture Search，arXiv:1908.06022v1，Cornell University，2019年08月16日，[2021年11月29日検索],インターネット<URL:thhps://arxiv.org/pdf/1908.06022v1.pdf>

Also Published As

Publication number Publication date
JP2022501659A (ja) 2022-01-06
RU2721181C1 (ru) 2020-05-18
EP3783539A1 (en) 2021-02-24
US20210056421A1 (en) 2021-02-25
KR20210024409A (ko) 2021-03-05
KR102568810B1 (ko) 2023-08-21
CN110490303A (zh) 2019-11-22
WO2021031311A1 (zh) 2021-02-25

Similar Documents

Publication Publication Date Title
JP7029476B2 (ja) スーパーネットワークトレーニング方法、及び装置、プログラム、及び記録媒体
JP6889786B2 (ja) ニューラルネットワーク構造モデルを検索する方法、装置及び記録媒体
JP7100669B2 (ja) スーパーネットワークの構築方法、使用方法、装置及び記録媒体
US20170322709A1 (en) Split-screen display method, apparatus and medium
JP2022517914A (ja) 顔と手を関連付けて検出する方法及び装置、電子機器、記憶媒体及びコンピュータプログラム
CN104967801A (zh) 一种视频数据处理方法和装置
CN104156166A (zh) 操作控件布局调整方法及装置
EP2985980B1 (en) Method and device for playing stream media data
CN108647058A (zh) 一种应用程序启动方法及移动终端
CN104602112A (zh) 配置方法及装置
CN105916177B (zh) 一种进行无线通讯的方法和装置
CN104216525A (zh) 相机应用的模式控制方法及装置
CN109947522B (zh) 信息展示方法、装置、终端、服务器和存储介质
CN104866353B (zh) 显示按钮的方法及装置
JP2021531519A (ja) タッチ信号の処理方法、装置および媒体
CN110365806A (zh) 网址转换方法及装置
CN108345434B (zh) 数据写入方法、装置、计算机设备及可读存储介质
CN104536571B (zh) 耳机的操作控制方法及装置
CN104112460B (zh) 播放音频数据的方法和装置
CN114691276B (zh) 应用程序处理方法、智能终端及存储介质
CN110311961A (zh) 信息分享的方法及***、客户端和服务端
RU2737066C1 (ru) Способ выборки подсети, а также способ и устройство для построения гиперсетевой топологии
CN107885464A (zh) 数据存储方法、装置及计算机可读存储介质
EP3941027A1 (en) Adaptive method and apparatus for intelligent terminal, and terminal
CN112965653B (zh) 触控位置上报方法、装置及电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220701

R150 Certificate of patent or registration of utility model

Ref document number: 7100669

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150