JP6857369B2 - Ｃｎｎを学習する方法及び学習装置、それを利用したテスト方法及びテスト装置 - Google Patents

Ｃｎｎを学習する方法及び学習装置、それを利用したテスト方法及びテスト装置 Download PDF

Info

Publication number
JP6857369B2
JP6857369B2 JP2020001966A JP2020001966A JP6857369B2 JP 6857369 B2 JP6857369 B2 JP 6857369B2 JP 2020001966 A JP2020001966 A JP 2020001966A JP 2020001966 A JP2020001966 A JP 2020001966A JP 6857369 B2 JP6857369 B2 JP 6857369B2
Authority
JP
Japan
Prior art keywords
feature map
test
channel
width
height
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020001966A
Other languages
English (en)
Other versions
JP2020119535A (ja
Inventor
− ヒョン キム、ケイ
− ヒョン キム、ケイ
キム、ヨンジュン
キム、インスー
− キョン キム、ハク
− キョン キム、ハク
ナム、ウヒョン
ブー、ソッフン
ソン、ミュンチュル
ヨー、ドンフン
リュー、ウジュ
チャン、テウン
ジョン、キュンチョン
チェ、ホンモ
チョウ、ホジン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020119535A publication Critical patent/JP2020119535A/ja
Application granted granted Critical
Publication of JP6857369B2 publication Critical patent/JP6857369B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/36—Handling requests for interconnection or transfer for access to common bus or bus system
    • G06F13/368—Handling requests for interconnection or transfer for access to common bus or bus system with decentralised access control
    • G06F13/378—Handling requests for interconnection or transfer for access to common bus or bus system with decentralised access control using a parallel poll method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Description

ハードウェア最適化に使用される１ｘＫまたはＫｘ１コンボリューション演算を利用したＣＮＮを学習する方法及び学習装置、それを利用したテスト方法及びテスト装置｛ＬＥＡＲＮＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＬＥＡＲＮＩＮＧ ＤＥＶＩＣＥ ＦＯＲ ＣＮＮ ＵＳＩＮＧ １ｘＫ ＯＲ Ｋｘ１ ＣＯＮＶＯＬＵＴＩＯＮ ＴＯ ＢＥ ＵＳＥＤ ＦＯＲ ＨＡＲＤＷＡＲＥ ＯＰＴＩＭＩＺＡＴＩＯＮ， ＡＮＤ ＴＥＳＴＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＴＥＳＴＩＮＧ ＤＥＶＩＣＥ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ｝を提供する。
本発明はハードウェア最適化に使用される１ｘＫまたはＫｘ１コンボリューション演算を利用したＣＮＮのパラメータを学習する方法に関し、より詳細には、前記１ｘＫコンボリューション演算または前記Ｋｘ１コンボリューション演算を利用して前記ＣＮＮの前記パラメータを学習する方法において、（ａ）少なくとも一つのトレーニングイメージが取得されると、学習装置は、リシェイプレイヤ（Ｒｅｓｈａｐｉｎｇ Ｌａｙｅｒ）をもって、前記トレーニングイメージまたはこれを加工した特徴マップのすべてのチャンネルのうちでそれぞれの対応するＫ個のチャンネルから構成されたそれぞれのグループ内の特徴それぞれを２次元的にコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させてリシェイプ済み特徴マップ（Ｒｅｓｈａｐｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させ、後続（Ｓｕｂｓｅｑｕｅｎｔ）コンボリューションレイヤをもって、前記リシェイプ済み特徴マップに対して１ｘＫコンボリューション演算またはＫｘ１コンボリューション演算を適用させてボリューム（Ｖｏｌｕｍｅ）が調整された調整特徴マップ（Ａｄｊｕｓｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させる段階；及び（ｂ）前記学習装置は、出力レイヤをもって、前記調整特徴マップまたはこれを加工した特徴マップ上の特徴を参照して少なくとも一つの出力を生成させ、ロスレイヤをもって、前記出力とこれに対応する少なくとも一つの原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して少なくとも一つのロスを算出させることにより、前記ロスをバックプロパゲーションして前記後続コンボリューションレイヤの少なくとも一部のパラメータを学習する段階；を含むことを特徴とする学習方法及び学習装置、それを利用したテスト方法及びテスト装置に関する。
ディープコンボリューションニューラルネットワーク（Ｄｅｅｐ ＣｏｎｖｏｌｕｔｉｏＮ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ；Ｄｅｅｐ ＣＮＮ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の認識問題を解決するために９０年代にすでに使用されていたが、現在のように広く使用されるようになったのは最近の研究結果の賜物である。このようなディープＣＮＮは、２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そして、コンボリューションニューラルネットワークは機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）分野で非常に有用なツールとなった。
ＣＮＮは、イメージから特徴を抽出する特徴抽出器（Ｆｅａｔｕｒｅ Ｅｘｔｒａｃｔｏｒ）及びイメージ内の物体を検出したり特徴抽出器が抽出した特徴を参照してイメージを認識する特徴分類器（Ｆｅａｔｕｒｅ Ｃｌａｓｓｉｆｉｅｒ）を含む。
そして、ＣＮＮの特徴抽出器はコンボリューションレイヤを含み、特徴分類器は、特徴抽出器が抽出した特徴に対してＦＣ演算（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｏｐｅｒａｔｉｏｎ）を適用することができる少なくとも一つのＦＣレイヤを含むことができる。
コンボリューションレイヤは、ＣＮＮが行うほぼ大部分の演算において最も重要な部分を占める。
コンボリューションレイヤは、近傍のピクセルに関する情報をさらに利用してローカルレセプティブフィールド（Ｌｏｃａｌ Ｒｅｃｅｐｔｉｖｅ Ｆｉｅｌｄ）から特徴を抽出する。しかし、コンボリューションレイヤのフィルタ特性（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）は線形的であるため、フィルタは非線形の特徴を十分に抽出することができない。このような問題を解決するためには、特徴マップの個数を増やさなければならないが、そうすると演算量が増える問題点がある。
したがって、演算量を最小化するために特徴マップの次元を減らすことができる１ｘ１コンボリューションレイヤが使用されている。
１ｘ１コンボリューションレイヤは、複数個の特徴マップから同じような性質を有するものを一まとめにすることができ、結果的に特徴マップの数を減らすことができ、演算量を減らすことができるようになる。
また、演算量が減るようになると、ニューラルネットワークがさらに深くなり得る余地が生じるようになる。
また、１ｘ１コンボリューションレイヤは、イメージセグメンテーションに使用されたりＦＣレイヤの代わりに特徴抽出器などに使用されている。
この際に、本発明者は、１ｘ１コンボリューションレイヤのコンボリューション演算に比べてより効率的にコンボリューション演算量を減らし得るようにするＣＮＮを提案することにする。
本発明は、上述した問題点を全て解決することをその目的とする。
本発明は、コンボリューション演算量を効率的に減らし得るようにするＣＮＮを提供することを他の目的とする。
本発明は、コンボリューション演算を通じてイメージ上の特徴をより効果的に抽出し得るようにするＣＮＮを提供することをまた他の目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は以下の通りである。
本発明の一態様によると、１ｘＫコンボリューション演算またはＫｘ１コンボリューション演算を利用してＣＮＮのパラメータを学習する方法において、（ａ）少なくとも一つのトレーニングイメージが取得されると、学習装置は、リシェイプレイヤ（Ｒｅｓｈａｐｉｎｇ Ｌａｙｅｒ）をもって、前記トレーニングイメージまたはこれを加工した特徴マップのすべてのチャンネルのうちでそれぞれの対応するＫ個のチャンネルから構成されたそれぞれのグループ内の特徴それぞれを２次元的にコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させてリシェイプ済み特徴マップ（Ｒｅｓｈａｐｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させ、後続（Ｓｕｂｓｅｑｕｅｎｔ）コンボリューションレイヤをもって、前記リシェイプ済み特徴マップに対して１ｘＫコンボリューション演算またはＫｘ１コンボリューション演算を適用させてボリューム（Ｖｏｌｕｍｅ）が調整された調整特徴マップ（Ａｄｊｕｓｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させる段階；及び（ｂ）前記学習装置は、出力レイヤをもって、前記調整特徴マップまたはこれを加工した特徴マップ上の特徴を参照して少なくとも一つの出力を生成し、ロスレイヤをもって、前記出力とこれに対応する少なくとも一つの原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して少なくとも一つのロスを算出させることにより、前記ロスをバックプロパゲーションして前記後続コンボリューションレイヤの少なくとも一部のパラメータを学習する段階；を含むことを特徴とする。
一実施例において、前記（ａ）段階で、前記トレーニングイメージまたはこれを加工した特徴マップのチャンネル個数がＫの倍数でない場合、前記学習装置は、前記リシェイプレイヤをもって、前記トレーニングイメージまたはこれを加工した特徴マップのチャンネルに少なくとも一つのダミーチャンネル（Ｄｕｍｍｙ Ｃｈａｎｎｅｌ）を追加させて少なくとも一つの前記ダミーチャンネルを含む前記チャンネルの個数がＫの倍数になるようにした後、前記トレーニングイメージまたはこれを加工した特徴マップの少なくとも一つの前記ダミーチャンネルを含む前記すべてのチャンネルのうちでそれぞれの対応するＫ個の前記チャンネルから構成されたそれぞれの前記グループ内の前記特徴それぞれをコンカチネートさせることを特徴とする。
一実施例において、前記トレーニングイメージまたはこれを加工した特徴マップの幅をＷ、高さをＨとし、チャンネル個数をＬとする場合、前記（ａ）段階で、前記学習装置は、前記リシェイプレイヤをもって、幅Ｗ、高さＨｘＫ、チャンネル
Figure 0006857369
である前記リシェイプ済み特徴マップを生成させることを特徴とする。
一実施例において、前記後続コンボリューションレイヤのカーネル（Ｋｅｒｎｅｌ）個数をＭとする場合、前記（ａ）段階で、前記学習装置は、前記後続コンボリューションレイヤをもって、前記リシェイプ済み特徴マップに対して１ｘＫコンボリューション演算を適用させて幅Ｗ、高さＨ、チャンネルＭであるＷｘＨｘＭのボリュームを有する前記調整特徴マップを生成させることを特徴とする。
一実施例において、前記トレーニングイメージまたはこれを加工した特徴マップの幅をＷ、高さをＨとし、チャンネル個数をＬとする場合、前記（ａ）段階で、前記学習装置は、前記リシェイプレイヤをもって、幅ＷｘＫ、高さＨ、チャンネル
Figure 0006857369
である前記リシェイプ済み特徴マップを生成させることを特徴とする。
一実施例において、前記後続コンボリューションレイヤのカーネル個数をＭとする場合、前記（ａ）段階で、前記学習装置は、前記後続コンボリューションレイヤをもって、前記リシェイプ済み特徴マップに対してＫｘ１コンボリューション演算を適用させて幅Ｗ、高さＨ、チャンネルＭであるＷｘＨｘＭのボリュームを有する前記調整特徴マップを生成させることを特徴とする。
一実施例において、前記トレーニングイメージまたはこれを加工した特徴マップの幅をＷ、高さをＨとし、チャンネル個数をＬとする場合、前記（ａ）段階で、前記学習装置は、前記リシェイプレイヤをもって、（ｉ）幅Ｗ、高さＨｘＫ、チャンネル
Figure 0006857369
である前記リシェイプ済み特徴マップを生成させるか、（ｉｉ）幅ＷｘＫ、高さＨ、チャンネル
Figure 0006857369
である前記リシェイプ済み特徴マップを生成させ、前記
Figure 0006857369
番目のチャンネル上における前記リシェイプ済み特徴マップの最終部分（Ｆｉｎａｌ Ｐａｒｔ）のサイズが幅Ｗ、高さＨｘＫであるサイズにならない場合、前記リシェイプレイヤをもって、少なくとも一つのゼロパディング（Ｚｅｒｏ Ｐａｄｄｉｎｇ）を追加させて前記
Figure 0006857369
番目のチャンネル上における前記リシェイプ済み特徴マップの前記最終部分のサイズが幅Ｗ、高さＨｘＫであるサイズになるようにするか、前記
Figure 0006857369
番目のチャンネル上における前記リシェイプ済み特徴マップの前記最終部分のサイズが幅ＷｘＫ、高さＨであるサイズにならない場合、前記リシェイプレイヤをもって、少なくとも一つのゼロパディングを追加させて前記
Figure 0006857369
番目のチャンネル上における前記リシェイプ済み特徴マップの前記最終部分のサイズが幅ＷｘＫ、高さＨであるサイズになるようにすることを特徴とする。
本発明の他の態様によると、１ｘＫコンボリューション演算またはＫｘ１コンボリューション演算を利用してＣＮＮをテストする方法において、（ａ）学習装置が、（ｉ）リシェイプレイヤ（Ｒｅｓｈａｐｉｎｇ Ｌａｙｅｒ）をもって、少なくとも一つのトレーニングイメージまたはこれを加工した特徴マップのすべてのチャンネルのうちでそれぞれの対応するＫ個のチャンネルから構成されたそれぞれのグループ内の学習用特徴それぞれを２次元的にコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させて学習用リシェイプ済み特徴マップ（Ｒｅｓｈａｐｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させ、後続（Ｓｕｂｓｅｑｕｅｎｔ）コンボリューションレイヤをもって、前記学習用リシェイプ済み特徴マップに対して１ｘＫコンボリューション演算またはＫｘ１コンボリューション演算を適用させてボリューム（Ｖｏｌｕｍｅ）が調整された学習用調整特徴マップ（Ａｄｊｕｓｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させ、（ｉｉ）出力レイヤをもって、前記学習用調整特徴マップまたはこれを加工した特徴マップ上の特徴を参照して、少なくとも一つの学習用出力を生成させ、ロスレイヤをもって、前記学習用出力とこれに対応する少なくとも一つの原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して少なくとも一つのロスを算出させることにより、前記ロスをバックプロパゲーションして前記後続コンボリューションレイヤの少なくとも一部のパラメータを学習した状態で、少なくとも一つのテストイメージが取得されると、テスト装置は、前記リシェイプレイヤ（Ｒｅｓｈａｐｉｎｇ Ｌａｙｅｒ）をもって、前記テストイメージまたはこれを加工した特徴マップのすべてのチャンネルのうちでそれぞれの対応するＫ個のチャンネルから構成されたそれぞれのグループ内のテスト用特徴それぞれを２次元的にコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させてテスト用リシェイプ済み特徴マップ（Ｒｅｓｈａｐｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させ、前記後続（Ｓｕｂｓｅｑｕｅｎｔ）コンボリューションレイヤをもって、前記テスト用リシェイプ済み特徴マップに対して１ｘＫコンボリューション演算またはＫｘ１コンボリューション演算を適用させてボリューム（Ｖｏｌｕｍｅ）が調整されたテスト用調整特徴マップ（Ａｄｊｕｓｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させる段階；及び（ｂ）前記テスト装置が、前記出力レイヤをもって、前記テスト用調整特徴マップまたはこれを加工した特徴マップ上の特徴を参照して少なくとも一つのテスト用出力を生成させる段階；を含むことを特徴とする。
一実施例において、前記（ａ）段階で、前記テストイメージまたはこれを加工した特徴マップのチャンネル個数がＫの倍数でない場合、前記テスト装置は、前記リシェイプレイヤをもって、前記テストイメージまたはこれを加工した特徴マップのチャンネルに少なくとも一つのダミーチャンネル（Ｄｕｍｍｙ Ｃｈａｎｎｅｌ）を追加させて少なくとも一つの前記ダミーチャンネルを含む前記チャンネルの個数がＫの倍数になるようにした後、前記テストイメージまたはこれを加工した特徴マップの少なくとも一つの前記ダミーチャンネルを含む前記すべてのチャンネルのうちでそれぞれの対応するＫ個の前記チャンネルから構成されたそれぞれの前記グループ内の前記特徴それぞれをコンカチネートさせることを特徴とする。
一実施例において、前記テストイメージまたはこれを加工した特徴マップの幅をＷ、高さをＨとし、チャンネルの個数をＬとする場合、前記（ａ）段階で、前記テスト装置は、前記リシェイプレイヤをもって、幅Ｗ、高さＨｘＫ、チャンネル
Figure 0006857369
である前記テスト用リシェイプ済み特徴マップを生成させることを特徴とする。
一実施例において、前記後続コンボリューションレイヤのカーネル（Ｋｅｒｎｅｌ）個数をＭとする場合、前記（ａ）段階で、前記テスト装置は、前記後続コンボリューションレイヤをもって、前記テスト用リシェイプ済み特徴マップに対して１ｘＫコンボリューション演算を適用させて幅Ｗ、高さＨ、チャンネルＭであるＷｘＨｘＭのボリュームを有する前記テスト用調整特徴マップを生成させることを特徴とする。
一実施例において、前記テストイメージまたはこれを加工した特徴マップの幅をＷ、高さをＨとし、チャンネルの個数をＬとする場合、前記（ａ）段階で、前記テスト装置は、前記リシェイプレイヤをもって、幅ＷｘＫ、高さＨ、チャンネル
Figure 0006857369
である前記テスト用リシェイプ済み特徴マップを生成させることを特徴とする。
一実施例において、前記後続コンボリューションレイヤのカーネル個数をＭとする場合、前記（ａ）段階で、前記テスト装置は、前記後続コンボリューションレイヤをもって、前記テスト用リシェイプ済み特徴マップに対してＫｘ１コンボリューション演算を適用させて幅Ｗ、高さＨ、チャンネルＭであるＷｘＨｘＭのボリュームを有する前記テスト用調整特徴マップを生成させることを特徴とする。
一実施例において、前記テストイメージまたは前記これを加工した特徴マップの幅をＷ、高さをＨとし、チャンネルの個数をＬとする場合、前記（ａ）段階で、前記テスト装置が前記リシェイプレイヤをもって、（ｉ）幅Ｗ、高さＨｘＫ、チャンネル
Figure 0006857369
である前記テスト用リシェイプ済み特徴マップを生成させるか、（ｉｉ）幅ＷｘＫ、高さＨ、チャンネル
Figure 0006857369
である前記テスト用リシェイプ済み特徴マップを生成させ、前記
Figure 0006857369
番目のチャンネル上の前記テスト用リシェイプ済み特徴マップの最終部分（Ｆｉｎａｌ Ｐａｒｔ）のサイズが幅Ｗ、高さＨｘＫであるサイズにならない場合、前記リシェイプレイヤをもって、少なくとも一つのゼロパディング（Ｚｅｒｏ Ｐａｄｄｉｎｇ）を追加させて前記
Figure 0006857369
番目のチャンネル上の前記テスト用リシェイプ済み特徴マップの前記最終部分のサイズが幅Ｗ、高さＨｘＫであるサイズになるようにするか、前記
Figure 0006857369
番目のチャンネル上の前記テスト用リシェイプ済み特徴マップの前記最終部分のサイズが幅ＷｘＫ、高さＨであるサイズにならない場合、前記リシェイプレイヤをもって、少なくとも一つのゼロパディングを追加させて前記
Figure 0006857369
番目のチャンネル上の前記テスト用リシェイプ済み特徴マップの前記最終部分のサイズが幅ＷｘＫ、高さＨであるサイズになるようにすることを特徴とする。
本発明のまた他の態様によると、１ｘＫコンボリューション演算またはＫｘ１コンボリューション演算を利用してＣＮＮのパラメータを学習する学習装置において、インストラクションを格納する少なくとも一つのメモリと、（Ｉ）リシェイプレイヤ（Ｒｅｓｈａｐｉｎｇ Ｌａｙｅｒ）をもって、少なくとも一つのトレーニングイメージまたはこれを加工した特徴マップのすべてのチャンネルのうちでそれぞれの対応するＫ個のチャンネルから構成されたそれぞれのグループ内の特徴それぞれを２次元的にコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させてリシェイプ済み特徴マップ（Ｒｅｓｈａｐｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させ、後続（Ｓｕｂｓｅｑｕｅｎｔ）コンボリューションレイヤをもって、前記リシェイプ済み特徴マップに対して１ｘＫコンボリューション演算またはＫｘ１コンボリューション演算を適用させてボリューム（Ｖｏｌｕｍｅ）が調整された調整特徴マップ（Ａｄｊｕｓｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させるプロセス、及び（ＩＩ）出力レイヤをもって、前記調整特徴マップまたはこれを加工した特徴マップ上の特徴を参照して少なくとも一つの出力を生成させ、ロスレイヤをもって、前記出力とこれに対応する少なくとも一つの原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して少なくとも一つのロスを算出させることにより、前記ロスをバックプロパゲーションして前記後続コンボリューションレイヤの少なくとも一部のパラメータを学習するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。
一実施例において、前記（Ｉ）プロセスで、前記トレーニングイメージまたはこれを加工した特徴マップのチャンネル個数がＫの倍数でない場合、前記プロセッサは、前記リシェイプレイヤをもって、前記トレーニングイメージまたはこれを加工した特徴マップのチャンネルに少なくとも一つのダミーチャンネル（Ｄｕｍｍｙ Ｃｈａｎｎｅｌ）を追加させて少なくとも一つの前記ダミーチャンネルを含む前記チャンネルの個数がＫの倍数になるようにした後、前記トレーニングイメージまたはこれを加工した特徴マップの少なくとも一つの前記ダミーチャンネルを含む前記すべてのチャンネルのうちでそれぞれの対応するＫ個の前記チャンネルから構成されたそれぞれの前記グループ内の前記特徴それぞれをコンカチネートさせることを特徴とする。
一実施例において、前記トレーニングイメージまたはこれを加工した特徴マップの幅をＷ、高さをＨとし、チャンネルの個数をＬとする場合、前記（Ｉ）プロセスで、前記プロセッサは、前記リシェイプレイヤをもって、幅Ｗ、高さＨｘＫ、チャンネル
Figure 0006857369
である前記リシェイプ済み特徴マップを生成させることを特徴とする。
一実施例において、前記後続コンボリューションレイヤのカーネル（Ｋｅｒｎｅｌ）個数をＭとする場合、前記（Ｉ）プロセスで、前記プロセッサは、前記後続コンボリューションレイヤをもって、前記リシェイプ済み特徴マップに対して１ｘＫコンボリューション演算を適用させて幅Ｗ、高さＨ、チャンネルＭであるＷｘＨｘＭのボリュームを有する前記調整特徴マップを生成させることを特徴とする。
一実施例において、前記トレーニングイメージまたはこれを加工した特徴マップの幅をＷ、高さをＨとし、チャンネルの個数をＬとする場合、前記（Ｉ）プロセスで、前記プロセッサは、前記リシェイプレイヤをもって、幅ＷｘＫ、高さＨ、チャンネル
Figure 0006857369
である前記リシェイプ済み特徴マップを生成させることを特徴とする。
一実施例において、前記後続コンボリューションレイヤのカーネル個数をＭとする場合、前記（Ｉ）プロセスで、前記プロセッサは、前記後続コンボリューションレイヤをもって、前記リシェイプ済み特徴マップに対してＫｘ１コンボリューション演算を適用させて幅Ｗ、高さＨ、チャンネルＭであるＷｘＨｘＭのボリュームを有する前記調整特徴マップを生成させることを特徴とする。
一実施例において、前記トレーニングイメージまたはこれを加工した特徴マップの幅をＷ、高さをＨとし、チャンネルの個数をＬとする場合、前記（Ｉ）プロセスで、前記プロセッサは、前記リシェイプレイヤをもって、（ｉ）幅Ｗ、高さＨｘＫ、チャンネル
Figure 0006857369
である前記リシェイプ済み特徴マップを生成させるか、（ｉｉ）幅ＷｘＫ、高さＨ、チャンネル
Figure 0006857369
である前記リシェイプ済み特徴マップを生成させ、前記
Figure 0006857369
番目のチャンネル上における前記リシェイプ済み特徴マップの最終部分（Ｆｉｎａｌ Ｐａｒｔ）のサイズが幅Ｗ、高さＨｘＫであるサイズにならない場合、前記リシェイプレイヤをもって、少なくとも一つのゼロパディング（Ｚｅｒｏ Ｐａｄｄｉｎｇ）を追加させて前記
Figure 0006857369
番目のチャンネル上における前記リシェイプ済み特徴マップの前記最終部分のサイズが幅Ｗ、高さＨｘＫであるサイズになるようにするか、前記
Figure 0006857369
番目のチャンネル上における前記リシェイプ済み特徴マップの最終部分のサイズが幅ＷｘＫ、高さＨであるサイズにならない場合、前記リシェイプレイヤをもって、少なくとも一つのゼロパディングを追加させて前記
Figure 0006857369
番目のチャンネル上における前記リシェイプ済み特徴マップの前記最終部分のサイズが幅ＷｘＫ、高さＨであるサイズとなることを特徴とする。
本発明のまた他の態様によると、１ｘＫコンボリューション演算またはＫｘ１コンボリューション演算を利用してＣＮＮをテストするテスト装置において、インストラクションを格納する少なくとも一つのメモリと、学習装置は、（ｉ）リシェイプレイヤ（Ｒｅｓｈａｐｉｎｇ Ｌａｙｅｒ）をもって、少なくとも一つのトレーニングイメージまたはこれを加工した特徴マップのすべてのチャンネルのうちでそれぞれの対応するＫ個のチャンネルから構成されたそれぞれのグループ内の学習用特徴それぞれを２次元的にコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させて学習用リシェイプ済み特徴マップ（Ｒｅｓｈａｐｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させ、後続（Ｓｕｂｓｅｑｕｅｎｔ）コンボリューションレイヤをもって、前記学習用リシェイプ済み特徴マップに対して１ｘＫコンボリューション演算またはＫｘ１コンボリューション演算を適用させてボリューム（Ｖｏｌｕｍｅ）が調整された学習用調整特徴マップ（Ａｄｊｕｓｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させ、（ｉｉ）出力レイヤをもって、前記学習用調整特徴マップまたはこれを加工した特徴マップ上の特徴を参照して少なくとも一つの学習用出力を生成させ、ロスレイヤをもって、前記学習用出力とこれに対応する少なくとも一つの原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して少なくとも一つのロスを算出させることにより、前記ロスをバックプロパゲーションして前記後続コンボリューションレイヤの少なくとも一部のパラメータを学習した状態で、（Ｉ）リシェイプレイヤ（Ｒｅｓｈａｐｉｎｇ Ｌａｙｅｒ）をもって、少なくとも一つのテストイメージまたはこれを加工した特徴マップのすべてのチャンネルのうちでそれぞれの対応するＫ個のチャンネルから構成されたそれぞれのグループ内のテスト用特徴それぞれを２次元的にコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させてリシェイプ済み特徴マップ（Ｒｅｓｈａｐｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させ、前記後続（Ｓｕｂｓｅｑｕｅｎｔ）コンボリューションレイヤをもって、前記リシェイプ済み特徴マップに対して１ｘＫコンボリューション演算またはＫｘ１コンボリューション演算を適用させてボリューム（Ｖｏｌｕｍｅ）が調整された調整特徴マップ（Ａｄｊｕｓｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させるプロセス、及び（ＩＩ）前記出力レイヤをもって、前記テスト用調整特徴マップまたはこれを加工した特徴マップ上の特徴を参照して少なくとも一つのテスト用出力を生成させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。
一実施例において、前記（Ｉ）プロセスで、前記テストイメージまたはこれを加工した特徴マップのチャンネル個数がＫの倍数でない場合、前記プロセッサは、前記リシェイプレイヤをもって、前記テストイメージまたはこれを加工した特徴マップのチャンネルに少なくとも一つのダミーチャンネル（Ｄｕｍｍｙ Ｃｈａｎｎｅｌ）を追加させて少なくとも一つの前記ダミーチャンネルを含む前記チャンネルの個数がＫの倍数になるようにした後、前記テストイメージまたはこれを加工した特徴マップの少なくとも一つの前記ダミーチャンネルを含む前記すべてのチャンネルのうちでそれぞれの対応するＫ個の前記チャンネルから構成されたそれぞれの前記グループ内の前記特徴それぞれをコンカチネートさせることを特徴とする。
一実施例において、前記テストイメージまたはこれを加工した特徴マップの幅をＷ、高さをＨとし、チャンネルの個数をＬとする場合、前記（Ｉ）プロセスで、前記プロセッサは、前記リシェイプレイヤをもって、幅Ｗ、高さＨｘＫ、チャンネル
Figure 0006857369
である前記テスト用リシェイプ済み特徴マップを生成させることを特徴とする。
一実施例において、前記後続コンボリューションレイヤのカーネル（Ｋｅｒｎｅｌ）個数をＭとする場合、前記（Ｉ）プロセスで、前記プロセッサは、前記後続コンボリューションレイヤをもって、前記テスト用リシェイプ済み特徴マップに対して１ｘＫコンボリューション演算を適用させて幅Ｗ、高さＨ、チャンネルＭであるＷｘＨｘＭのボリュームを有する前記テスト用調整特徴マップを生成させることを特徴とする。
一実施例において、前記テストイメージまたはこれを加工した特徴マップの幅をＷ、高さをＨとし、チャンネルの個数をＬとする場合、前記（Ｉ）プロセスで、前記プロセッサは、前記リシェイプレイヤをもって、幅ＷｘＫ、高さＨ、チャンネル
Figure 0006857369
である前記テスト用リシェイプ済み特徴マップを生成させることを特徴とする。
一実施例において、前記後続コンボリューションレイヤのカーネル個数をＭとする場合、前記（Ｉ）プロセスで、前記プロセッサは、前記後続コンボリューションレイヤをもって、前記テスト用リシェイプ済み特徴マップに対してＫｘ１コンボリューション演算を適用させて幅Ｗ、高さＨ、チャンネルＭであるＷｘＨｘＭのボリュームを有する前記テスト用調整特徴マップを生成させることを特徴とする。
一実施例において、前記テストイメージまたはこれを加工した特徴マップの幅をＷ、高さをＨとし、チャンネルの個数をＬとする場合、前記（Ｉ）プロセスで、前記プロセッサは、前記リシェイプレイヤをもって、（ｉ）幅Ｗ、高さＨｘＫ、チャンネル
Figure 0006857369
である前記テスト用リシェイプ済み特徴マップを生成させるか、（ｉｉ）幅ＷｘＫ、高さＨ、チャンネル
Figure 0006857369
である前記テスト用リシェイプ済み特徴マップを生成させ、前記
Figure 0006857369
番目のチャンネル上の前記テスト用リシェイプ済み特徴マップの最終部分（Ｆｉｎａｌ Ｐａｒｔ）のサイズが幅Ｗ、高さＨｘＫであるサイズにならない場合、前記リシェイプレイヤをもって、少なくとも一つのゼロパディング（Ｚｅｒｏ Ｐａｄｄｉｎｇ）を追加させて前記
Figure 0006857369
番目のチャンネル上の前記テスト用リシェイプ済み特徴マップの前記最終部分のサイズが幅Ｗ、高さＨｘＫであるサイズになるようにするか、前記
Figure 0006857369
番目のチャンネル上の前記テスト用リシェイプ済み特徴マップの最終部分のサイズが幅ＷｘＫ、高さＨであるサイズにならない場合、前記リシェイプレイヤをもって、少なくとも一つのゼロパディングを追加させて前記
Figure 0006857369
番目のチャンネル上の前記テスト用リシェイプ済み特徴マップの前記最終部分のサイズが幅ＷｘＫ、高さＨであるサイズになるようにすることを特徴とする。
その他にも、本発明の方法を実行するためのコンピュータプログラムを格納するためのコンピュータ読取り可能な記録媒体がさらに提供される。
本発明は、１ｘＫまたはＫｘ１コンボリューション演算を利用してＣＮＮのコンボリューション演算量を効率的に減らすことができる効果がある。
また、本発明は、１ｘＫまたはＫｘ１コンボリューション演算を利用した分だけ入力された特徴マップまたはイメージのチャンネル個数を増加させることができるので、コンボリューション演算を通じてイメージ上の特徴を効果的に抽出することができる他の効果がある。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われることなくこの各図面に基づいて他の図面が得られ得る。
本発明の一実施例による１ｘＫまたはＫｘ１コンボリューション演算を利用してＣＮＮを学習する学習装置を簡略に示したものである。 本発明の一実施例による１ｘＫまたはＫｘ１コンボリューション演算を利用してＣＮＮを学習する方法を簡略に示したものである。 本発明の一実施例による１ｘＫまたはＫｘ１コンボリューション演算を利用してＣＮＮを学習するためのトレーニングイメージまたはこれを加工した特徴マップを簡略に示したものである。 本発明の一実施例による（ｉ）トレーニングイメージまたはこれを加工した特徴マップをリシェイプして生成されたリシェイプ済み特徴マップと、（ｉｉ）リシェイプ済み特徴マップに対して１ｘＫコンボリューション演算を適用して生成された調整特徴マップとを簡略に示したものである。 本発明の一実施例による（ｉ）トレーニングイメージまたはこれを加工した特徴マップをリシェイプして生成されたリシェイプ済み特徴マップと、（ｉｉ）リシェイプ済み特徴マップに対して１ｘＫコンボリューション演算を適用して生成された調整特徴マップとを簡略に示したものである。 本発明の一実施例による（ｉ）トレーニングイメージまたはこれを加工した特徴マップをリシェイプして生成されたリシェイプ済み特徴マップと、（ｉｉ）リシェイプ済み特徴マップに対してＫｘ１コンボリューション演算を適用して生成された調整特徴マップとを簡略に示したものである。 本発明の一実施例による（ｉ）トレーニングイメージまたはこれを加工した特徴マップをリシェイプして生成されたリシェイプ済み特徴マップと、（ｉｉ）リシェイプ済み特徴マップに対してＫｘ１コンボリューション演算を適用して生成された調整特徴マップとを簡略に示したものである。 本発明の一実施例による１ｘＫまたはＫｘ１コンボリューション演算を利用してＣＮＮをテストするテスト装置を簡略に示したものである。 本発明の一実施例による１ｘＫまたはＫｘ１コンボリューション演算を利用してＣＮＮをテストする方法を簡略に示したものである。
後述する本発明に関する詳細な説明は、本発明の各目的、各技術的解法、及び各長所を明らかにするために本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素または段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
さらに、本発明は、本明細書に示された実施例のすべての可能な組合せを網羅する。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例に関して添付された図面を参照して詳細に説明することにする。
図１は、本発明の一実施例による１ｘＫまたはＫｘ１コンボリューション演算を利用してＣＮＮを学習する学習装置を簡略に示したものであって、図１を参照すると、学習装置１００は通信部１１０とプロセッサ１２０とを含むことができる。
まず、通信部１１０は、少なくとも一つのトレーニングイメージを受信することができる。
この際、トレーニングイメージはデータベース１３０に格納されていてもよく、データベース１３０にはトレーニングイメージに対応して少なくとも一つの物体それぞれに対するクラス情報の少なくとも一つの原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）及びそれぞれの物体に対する位置情報の少なくとも一つの原本正解が格納されていてもよい。
また、学習装置は、次のプロセスを遂行するためのコンピュータ読取り可能なインストラクション（Ｉｎｓｔｒｕｃｔｉｏｎ）を格納することができるメモリ１１５をさらに含むことができる。一実施例によると、プロセッサ、メモリ、媒体等は統合プロセッサ（Ｉｎｔｅｇｒａｔｅｄ Ｐｒｏｃｅｓｓｏｒ）として統合され得る。
次に、プロセッサ１２０は、リシェイプレイヤ（Ｒｅｓｈａｐｉｎｇ Ｌａｙｅｒ）をもって、トレーニングイメージまたはこれを加工した特徴マップのすべてのチャンネルのうちでそれぞれの対応するＫ個のチャンネルから構成されたそれぞれのグループ内の特徴それぞれを２次元的にコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させてリシェイプ済み特徴マップ（Ｒｅｓｈａｐｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させ、後続（Ｓｕｂｓｅｑｕｅｎｔ）コンボリューションレイヤをもって、リシェイプ済み特徴マップに対して１ｘＫコンボリューション演算またはＫｘ１コンボリューション演算を適用させてボリューム（Ｖｏｌｕｍｅ）が調整された調整特徴マップ（Ａｄｊｕｓｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させるプロセスを遂行することができる。ここで、前記加工した特徴マップは、（ｉ）トレーニングイメージに対してコンボリューション演算を少なくとも一回適用する方法、（ｉｉ）前記（ｉ）の方法の結果に対して後続演算（例えば、バッチ正規化演算、アクティベーション演算、プーリング演算など）を適用する方法、及び（ｉｉｉ）前記（ｉｉ）の方法の結果に対してコンボリューション演算をさらに適用する方法のうち少なくとも一つによって生成された特徴マップである。そして、プロセッサ１２０は、出力レイヤをもって、調整特徴マップまたはこれを加工した特徴マップ上の特徴を参照して少なくとも一つの出力を生成させ、ロスレイヤをもって、出力とこれに対応する少なくとも一つの原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して少なくとも一つのロスを算出させることにより、ロスをバックプロパゲーションして後続コンボリューションレイヤの少なくとも一部のパラメータを学習するプロセスを遂行することができる。
この際、本発明の一実施例による学習装置１００は、コンピューティング装置であって、プロセッサを搭載して演算能力を備えた装置であればいくらでも本発明による学習装置１００として採択され得る。また、図１では、一つの学習装置１００のみを示したが、これに限定されず、学習装置は複数個に分けて役割を遂行することもできる。
このように構成された本発明の一実施例による学習装置１００を用いて、１ｘＫまたはＫｘ１コンボリューション演算を利用してＣＮＮを学習する方法を、図２を参照して説明すると以下の通りである。
まず、トレーニングイメージが入力されると、学習装置１００が、前処理（Ｐｒｅ−Ｐｒｏｃｅｓｓｉｎｇ）レイヤ１２１をもって、トレーニングイメージを前処理して加工した特徴マップを生成させることができる。
この際、前処理レイヤ１２１は、コンボリューションレイヤ、バッチ正規化レイヤ、アクティベーションレイヤ、プーリングレイヤのうち少なくとも一つを含むことができ、加工した特徴マップを生成することができる。ここで、前記加工した特徴マップは、（ｉ）トレーニングイメージに対してコンボリューション演算を適用する方法、（ｉｉ）前記（ｉ）の方法の結果に対して後続演算（例えば、バッチ正規化演算、アクティベーション演算、プーリング演算など）を適用する方法、及び（ｉｉｉ）前記（ｉｉ）の方法の結果に対してコンボリューション演算をさらに適用する方法のうち少なくとも一つによって生成された特徴マップである。しかし、前処理レイヤ１２１はこれに限定されず、前処理レイヤ１２１はイメージ処理のためのＣＮＮを構成するそれぞれのレイヤを含むことができる。
次に、学習装置１００はリシェイプレイヤをもって、トレーニングイメージまたはこれを加工した特徴マップのすべてのチャンネルのうちでそれぞれの対応するＫ個のチャンネルから構成されたそれぞれのグループ内の特徴それぞれを２次元的にコンカチネートさせてリシェイプ済み特徴マップを生成させることができる。この際、学習装置１００は前処理レイヤ１２１をもって、トレーニングイメージを前処理させずにトレーニングイメージを直接的にリシェイプレイヤ１２２に入力することもできる。
この場合、トレーニングイメージまたはそれを加工した特徴マップのチャンネル個数がＫの倍数でない場合、学習装置１００はリシェイプレイヤ１２２をもって、それぞれのピクセルに対応するチャンネルに少なくとも一つのダミーチャンネル（Ｄｕｍｍｙ Ｃｈａｎｎｅｌ）を追加させて少なくとも一つのダミーチャンネルを含むチャンネルの個数がＫの倍数になるようにした後、トレーニングイメージまたはこれを加工した特徴マップの少なくとも一つのダミーチャンネルを含む全てのチャンネルのうちでそれぞれの対応するＫ個のチャンネルから構成されたそれぞれのグループ内の特徴それぞれをコンカチネートさせることができる。
すなわち、トレーニングイメージまたはこれを加工した特徴マップの幅をＷ、高さをＨとし、チャンネルの個数をＬとする場合、学習装置１００はリシェイプレイヤ１２２をもって、（ｉ）幅Ｗ、高さＨｘＫ、チャンネル
Figure 0006857369
であるリシェイプ済み特徴マップを生成させるか、（ｉｉ）幅ＷｘＫ、高さＨ、チャンネル
Figure 0006857369
であるリシェイプ済み特徴マップを生成させることができる。
Figure 0006857369
番目のチャンネル上のリシェイプ済み特徴マップの最終部分（Ｆｉｎａｌ Ｐａｒｔ）のサイズが幅Ｗ、高さＨｘＫであるサイズにならない場合には、学習装置１００はリシェイプレイヤ１２２をもって、少なくとも一つのゼロパディング（Ｚｅｒｏ Ｐａｄｄｉｎｇ）を追加させて
Figure 0006857369
番目のチャンネル上のリシェイプ済み特徴マップの最終部分のサイズが幅Ｗ、高さＨｘＫであるサイズになるようにするか、
Figure 0006857369
番目のチャンネル上のリシェイプ済み特徴マップの最終部分のサイズが幅ＷｘＫ、高さＨであるサイズにならない場合には、リシェイプレイヤ１２２をもって、少なくとも一つのゼロパディングを追加させて
Figure 0006857369
番目のチャンネル上のリシェイプ済み特徴マップの前記最終部分のサイズが幅ＷｘＫ、高さＨであるサイズになるようにすることができる。
一例として、図３を参照すると、トレーニングイメージまたはこれを加工した特徴マップ３００の幅をＷ、高さをＨとし、チャンネルの個数をＬとする場合、トレーニングイメージまたはこれを加工した特徴マップ３００の最初のチャンネル（Ｃ１）上のそれぞれのピクセルに対応するそれぞれの特徴は、それぞれＣ１Ｆ１１、…、Ｃ１Ｆ２２、…、Ｃ１ＦＷＨのように表すことができる。そして、トレーニングイメージまたはこれを加工した特徴マップ３００の他のチャンネルＣ２、Ｃ３、…、ＣＬ上のそれぞれのピクセルに対応するそれぞれの特徴も同じ方法で表すことができる。
そして、図３と図４ａを参照すると、図３のトレーニングイメージまたはこれを加工した特徴マップ３００上のピクセルであるＣ１Ｆ１１に対応するＫ個のチャンネルの特徴であるＣ１Ｆ１１、Ｃ２Ｆ１１、…、ＣＫＦ１１をコンカチネートし、トレーニングイメージまたはこれを加工した特徴マップ３００上のピクセルＣ１Ｆ２１に対応するＫ個のチャンネルの特徴であるＣ１Ｆ２１、Ｃ２Ｆ２１、…、ＣＫＦ２１をコンカチネートし、トレーニングイメージまたはこれを加工した特徴マップ３００上のピクセルＣ１ＦＷＨに対応するＫ個のチャンネルの特徴であるＣ１ＦＷＨ、Ｃ２ＦＷＨ、…、ＣＫＦＷＨをコンカチネートすることと同じである。つまり、トレーニングイメージまたはこれを加工した特徴マップ３００上のすべてのピクセルに対応してそれぞれＫ個のチャンネルの特徴をコンカチネートしてリシェイプ済み特徴マップ４００Ａを生成するようになる。
この際、リシェイプ済み特徴マップ４００Ａは、幅Ｗ、高さＨｘＫ、チャンネル
Figure 0006857369
を有するようになる。そして、リシェイプ済み特徴マップ４００Ａのそれぞれのチャンネルは、トレーニングイメージまたはこれを加工した特徴マップ３００のＫ個のチャンネルから構成されたそれぞれのグループに対応し得る。つまり、リシェイプ済み特徴マップ４００Ａの最初のチャンネルはトレーニングイメージまたはこれを加工した特徴マップ３００の最初のないしＫ番目のチャンネルに対応し、リシェイプ済み特徴マップ４００Ａの二番目のチャンネルは、トレーニングイメージまたはこれを加工した特徴マップ３００のＫ＋１番目のチャンネルないし２ｘＫ番目のチャンネルに対応し得る。そして、リシェイプ済み特徴マップ４００Ａの
Figure 0006857369
番目のチャンネルは、トレーニングイメージまたはこれを加工した特徴マップ３００の
Figure 0006857369
番目のチャンネルないしＬ番目のチャンネルに対応し得る。
次に、学習装置１００は、後続コンボリューションレイヤ１２３をもって、リシェイプ済み特徴マップ４００Ａに対して１ｘＫコンボリューション演算を適用させてボリュームが調整された調整特徴マップ４００Ｂを生成させることができる。
一例として、図４ａと図４ｂを参照すると、図４ａのリシェイプ済み特徴マップ４００Ａ上の１ｘＫサイズに対応するＣ１Ｆ１１、Ｃ２Ｆ１１、…、ＣＫＦ１１に対して１ｘＫコンボリューション演算を適用してＣ１Ｆ１１’ピクセルの特徴を生成し、Ｃ１Ｆ２２、Ｃ２Ｆ２２、…、ＣＫＦ２２に対して１ｘＫコンボリューション演算を適用してＣ１Ｆ２２’ピクセルの特徴を生成し、Ｃ１ＦＷＨ、Ｃ２ＦＷＨ、…、ＣＫＦＷＨに対して１ｘＫコンボリューション演算を適用してＣ１ＦＷＨ’ピクセルの特徴を生成することと同じである。この場合、１ｘＫサイズは、コンボリューションレイヤのカーネルサイズであり得る。その結果、図４ａのリシェイプ済み特徴マップ４００Ａに対して１ｘＫコンボリューション演算を適用して図４ｂのように幅Ｗ、高さＨである調整特徴マップ４００Ｂを生成するようになる。したがって、図３のトレーニングイメージまたはこれを加工した特徴マップ３００に対して１ｘ１コンボリューション演算を適用するのに比べて、リシェイプ済み特徴マップ４００Ａを生成して１ｘＫコンボリューション演算を遂行することにより、演算量を１／Ｋに減らすことができるようになり、それに伴ってコンボリューション演算速度をＫ倍だけ増加させることができるようになる。この際、調整特徴マップ４００Ｂのチャンネルの個数は、１ｘＫコンボリューション演算を遂行する後続コンボリューションレイヤ１２３のカーネル個数、すなわち、フィルタの個数に対応し得る。一例として、後続コンボリューションレイヤ１２３のカーネル個数をＭとする場合、調整特徴マップ４００ＢのチャンネルはＭ個になり得る。
一方、前記では１ｘＫコンボリューション演算を使用する方法を説明したが、トレーニングイメージまたはこれを加工した特徴マップ３００のＫ個のチャンネルの特徴を幅方向にコンカチネートした後、Ｋｘ１コンボリューション演算を遂行することもできる。
そして、図３と図５ａを参照すると、図３のトレーニングイメージまたはこれを加工した特徴マップ３００上のピクセルであるＣ１Ｆ１１に対応するＫ個のチャンネルの特徴であるＣ１Ｆ１１、Ｃ２Ｆ１１、…、ＣＫＦ１１を幅方向にコンカチネートし、トレーニングイメージまたはこれを加工した特徴マップ３００上のピクセルＣ１Ｆ１２に対応するＫ個のチャンネルの特徴であるＣ１Ｆ１２、Ｃ２Ｆ１２、…、ＣＫＦ１２を幅方向にコンカチネートし、トレーニングイメージまたはこれを加工した特徴マップ３００上のピクセルＣ１ＦＷＨに対応するＫ個のチャンネルの特徴であるＣ１ＦＷＨ、Ｃ２ＦＷＨ、…、ＣＫＦＷＨを幅の方向にコンカチネートすることと同じである。つまり、トレーニングイメージまたはこれを加工した特徴マップ３００上のすべてのピクセルに対応してそれぞれＫ個のチャンネルの特徴を幅方向にコンカチネートしてリシェイプ済み特徴マップ５００Ａを生成するようになる。
この際、リシェイプ済み特徴マップ５００Ａは、幅ＷｘＫ、高さＨ、チャンネル
Figure 0006857369
になる。そして、リシェイプ済み特徴マップ５００Ａのそれぞれのチャンネルは、トレーニングイメージまたはこれを加工した特徴マップ３００のＫ個のチャンネルから構成されたそれぞれのグループに対応し得る。すなわち、リシェイプ済み特徴マップ５００Ａの最初のチャンネルは、トレーニングイメージまたはこれを加工した特徴マップ３００の最初のチャンネルないしＫ番目のチャンネルに対応し、リシェイプ済み特徴マップ５００Ａの二番目のチャンネルは、トレーニングイメージまたはこれを加工した特徴マップ３００のＫ＋１番目のチャンネルないし２ｘＫ番目のチャンネルに対応し得る。そして、リシェイプ済み特徴マップ５００Ａの
Figure 0006857369
番目のチャンネルは、トレーニングイメージまたはこれを加工した特徴マップ３００の
Figure 0006857369
番目のチャンネルないしＬ番目のチャンネルに対応し得る。
次に、学習装置１００は、後続コンボリューションレイヤ１２３をもって、リシェイプ済み特徴マップ５００Ａに対してＫｘ１コンボリューション演算を適用させてボリュームが調整された調整特徴マップ５００Ｂを生成させることができる。
一例として、図５ａと図５ｂを参照すると、図５ａのリシェイプ済み特徴マップのＫｘ１サイズに対応するＣ１Ｆ１１、Ｃ２Ｆ１１、…、ＣＫＦ１１に対してＫｘ１コンボリューション演算を適用してＣ１Ｆ１１”ピクセルの特徴を生成し、Ｃ１Ｆ１２、Ｃ２Ｆ１２、…、ＣＫＦ１２に対してＫｘ１コンボリューション演算を適用してＣ１Ｆ１２”ピクセルの特徴を生成し、Ｃ１ＦＷＨ、Ｃ２ＦＷＨ、…、ＣＫＦＷＨに対してＫｘ１コンボリューション演算を適用してＣ１ＦＷＨ”ピクセルの特徴を生成することと同じである。この際、Ｋｘ１サイズは、コンボリューションレイヤのカーネルサイズであり得る。その結果、図５ａのリシェイプ済み特徴マップ５００Ａに対してＫｘ１コンボリューション演算を適用して図５ｂのように幅Ｗ、高さＨである調整特徴マップ５００Ｂを生成するようになる。
次に、学習装置１００は、後処理（Ｐｏｓｔ−Ｐｒｏｃｅｓｓｉｎｇ）レイヤ１２４をもって、後続コンボリューションレイヤ１２３から出力される調整特徴マップ５００Ｂを後処理させることができる。この際、後処理レイヤ１２４は、コンボリューションレイヤ、バッチ正規化レイヤ、アクティベーションレイヤ、プーリングレイヤ、ＦＣレイヤのうち少なくとも一つを含むことができ、後続コンボリューションレイヤ１２３から出力される調整特徴マップ５００Ｂまたはこれを加工した特徴マップの分類された特徴を表す確率情報を生成することができる。しかし、後処理レイヤ１２４はこれに限定されず、後処理レイヤ１２４はイメージ処理のためのＣＮＮを構成するそれぞれのレイヤを含むことができる。
次に、学習装置１００は、出力レイヤ１２５をもって、調整特徴マップ５００Ｂまたはこれを加工した特徴マップ上の特徴を参照して少なくとも一つの出力を生成させ、ロスレイヤ１２６をもって、前記出力とこれに対応する原本正解とを参照して少なくとも一つのロスを算出させることにより、ロスをバックプロパゲーションして後続コンボリューションレイヤのパラメータを少なくとも一部学習することができる。この場合、学習装置１００は後処理レイヤ１２４をもって、調整特徴マップ５００Ｂを後処理させずに調整特徴マップ５００Ｂを直接的に出力レイヤ１２２に入力することもできる。
図６は、本発明の一実施例による１ｘＫまたはＫｘ１コンボリューション演算を利用してＣＮＮをテストするテスト装置を簡略に示したものであって、図６を参照すると、テスト装置２００は通信部２１０とプロセッサ２２０とを含むことができる。
また、テスト装置は、次のプロセスを遂行するためのコンピュータ読取り可能なインストラクション（Ｉｎｓｔｒｕｃｔｉｏｎ）を格納することができるメモリ２１５をさらに含むことができる。一実施例によると、プロセッサ、メモリ、媒体等は統合プロセッサ（Ｉｎｔｅｇｒａｔｅｄ Ｐｒｏｃｅｓｓｏｒ）として統合され得る。
先ず、通信部２１０は、少なくとも一つのテストイメージを取得するか、他の装置をもって取得するように支援することができる。
この際、本発明の一実施例による１ｘＫまたはＫｘ１コンボリューション演算を利用したＣＮＮは、図２ないし図５ｂを参照して説明した学習方法によって学習された状態であり得る。
参考までに、以下の説明で混同を避けるために「学習用」という文句は、先に説明した学習プロセスと関連する用語について追加され、「テスト用」という文句はテストプロセスと関連する用語について追加される。
つまり、少なくとも一つのトレーニングイメージが取得されると、学習装置が、（ａ）リシェイプレイヤ（Ｒｅｓｈａｐｉｎｇ Ｌａｙｅｒ）をもって、トレーニングイメージまたはこれを加工した特徴マップのすべてのチャンネルのうちでそれぞれの対応するＫ個のチャンネルから構成されたそれぞれのグループ内の学習用特徴それぞれを２次元的にコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させて学習用リシェイプ済み特徴マップ（Ｒｅｓｈａｐｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させ、後続（Ｓｕｂｓｅｑｕｅｎｔ）コンボリューションレイヤをもって、学習用リシェイプ済み特徴マップに対して１ｘＫコンボリューション演算またはＫｘ１コンボリューション演算を適用させてボリューム（Ｖｏｌｕｍｅ）が調整された学習用調整特徴マップ（Ａｄｊｕｓｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を出力させるプロセスを遂行した状態であり得る。ここで、前記学習用加工した特徴マップは、（ｉ）トレーニングイメージに対してコンボリューション演算を少なくとも一回適用する方法、（ｉｉ）前記（ｉ）の方法の結果に対して後続演算（例えば、バッチ正規化演算、アクティベーション演算、プーリング演算など）を適用する方法、及び（ｉｉｉ）前記（ｉｉ）の方法の結果に対してコンボリューション演算をさらに適用する方法のうち少なくとも一つによって生成された特徴マップである。学習装置が、（ｂ）出力レイヤをもって、学習用調整特徴マップまたはこれを加工した特徴マップ上の特徴を参照して少なくとも一つの学習用出力を生成させ、ロスレイヤをもって、学習用出力とこれに対応する少なくとも一つの原本正解とを参照して少なくとも一つのロスを算出させることにより、ロスをバックプロパゲーションして後続コンボーションレイヤの少なくとも一部のパラメータを学習するプロセスを遂行した状態であり得る。
次に、プロセッサ２２０はリシェイプレイヤをもって、テストイメージまたはこれを加工した特徴マップのすべてのチャンネルのうちでそれぞれの対応するＫ個のチャンネルから構成されたそれぞれのグループ内のテスト用特徴それぞれを２次元的にコンカチネートさせてテスト用リシェイプ済み特徴マップを生成させ、後続コンボリューションレイヤをもって、テスト用リシェイプ済み特徴マップに対して１ｘＫコンボリューション演算またはＫｘ１コンボリューション演算を適用させてボリュームが調整されたテスト用調整特徴マップを生成させるプロセスを遂行することができる。ここで、前記テスト用加工した特徴マップは、（ｉ）テストイメージに対してコンボリューション演算を少なくとも一回適用する方法、（ｉｉ）前記（ｉ）の方法の結果に対して後続演算（例えば、バッチ正規化演算、アクティベーション演算、プーリング演算など）を適用する方法、及び（ｉｉｉ）前記（ｉｉ）の方法の結果に対してコンボリューション演算をさらに適用する方法のうち少なくとも一つによって生成された特徴マップである。そして、プロセッサ２２０は出力レイヤをもって、テスト用調整特徴マップまたはこれを加工した特徴マップ上の特徴を参照して少なくとも一つのテスト用出力を生成させることができる。
この際、本発明の一実施例によるテスト装置２００は、コンピューティング装置であって、プロセッサを搭載して演算能力を備えた装置であればいくらでも本発明によるテスト装置２００として採択され得る。また、図６では一つのテスト装置２００のみを示したが、これに限定されず、テスト装置は複数個に分けて役割を遂行することもできる。
このように構成された本発明の一実施例によるテスト装置２００を利用して、１ｘＫまたはＫｘ１コンボリューション演算を利用したＣＮＮをテストする方法を、図７を参照して説明すると以下のとおりである。以下の説明において、図１ないし図５ｂを参照して説明した学習方法から容易に理解可能な部分については、詳細な説明を省略することとする。
まず、図１ないし図７を参照して説明した学習方法によって後続コンボリューションレイヤ２２３が学習された状態で、テストイメージが入力されると、テスト装置２００が、前処理レイヤ２２１をもって、テストイメージを前処理させてテスト用加工した特徴マップを生成させることができる。
この際、前処理レイヤ２２１は、コンボリューションレイヤ、バッチ正規化レイヤ、アクティベーションレイヤ、プーリングレイヤのうち少なくとも一つを含むことができ、テストイメージに対してコンボリューション演算を適用してテスト用加工した特徴マップを生成することができる。ここで、前記テスト用加工した特徴マップは、（ｉ）テストイメージに対してコンボリューション演算を少なくとも一回適用する方法、（ｉｉ）前記（ｉ）の方法の結果に対して後続演算（例えば、バッチ正規化演算、アクティベーション演算、プーリング演算など）を適用する方法、及び（ｉｉｉ）前記（ｉｉ）の方法の結果に対してコンボリューション演算をさらに適用する方法のうち少なくとも一つによって生成された特徴マップである。しかし、前処理レイヤ２２１はこれに限定されず、前処理レイヤ２２１はイメージ処理のためのＣＮＮを構成するそれぞれのレイヤを含むことができる。
次に、テスト装置２００は、リシェイプレイヤ２２２をもって、テストイメージまたはこれを加工した特徴マップのすべてのチャンネルのうちでそれぞれの対応するＫ個のチャンネルから構成されたそれぞれのグループ内のテスト用特徴それぞれを２次元的にコンカチネートさせてテスト用リシェイプ済み特徴マップを生成させることができる。ここで、前記テスト用加工した特徴マップは、（ｉ）テストイメージに対してコンボリューション演算を少なくとも一回適用する方法、（ｉｉ）前記（ｉ）の方法の結果に対して後続演算（例えば、バッチ正規化演算、アクティベーション演算、プーリング演算など）を適用する方法、及び（ｉｉｉ）前記（ｉｉ）の方法の結果に対してコンボリューション演算をさらに適用する方法のうち少なくとも一つによって生成された特徴マップである。この際、テスト装置２００は前処理レイヤ２２１をもって、テストイメージを前処理させずにテストイメージを直接的にリシェイプレイヤ２２２に入力することもできる。
この場合、テストイメージまたはこれを加工した特徴マップのチャンネルの個数がＫの倍数でない場合、テスト装置２００はリシェイプレイヤ２２２をもって、それぞれのピクセルに対応するチャンネルに少なくとも一つのダミーチャンネル（Ｄｕｍｍｙ Ｃｈａｎｎｅｌ）を追加させて少なくとも一つのダミーチャンネルを含むチャンネルの個数がＫの倍数になるようにした後、テストイメージまたはこれを加工した特徴マップの少なくとも一つのダミーチャンネルを含む全てのチャンネルのうちでそれぞれの対応するＫ個のチャンネルから構成されたそれぞれのグループ内の特徴それぞれをコンカチネートさせることができる。
すなわち、テストイメージまたはこれを加工した特徴マップの幅をＷ、高さをＨとし、チャンネルの個数をＬとする場合、テスト装置２００は、リシェイプレイヤ２２２をもって、（ｉ）幅Ｗ、高さＨｘＫ、チャンネル
Figure 0006857369
であるテスト用リシェイプ済み特徴マップを生成させるか、（ｉｉ）幅ＷｘＫ、高さＨ、チャンネル
Figure 0006857369
であるテスト用リシェイプ済み特徴マップを生成させることができる。そして、
Figure 0006857369
番目のチャンネル上のテスト用リシェイプ済み特徴マップの最終部分のサイズが幅Ｗ、高さＨｘＫであるサイズにならない場合には、テスト装置２００はリシェイプレイヤをもって、少なくとも一つのゼロパディングを追加させて
Figure 0006857369
番目のチャンネル上のテスト用リシェイプ済み特徴マップの最終部分のサイズが幅Ｗ、高さＨｘＫであるサイズになるようにするか、
Figure 0006857369
番目のチャンネル上のテスト用リシェイプ済み特徴マップの最終部分のサイズが幅ＷｘＫ、高さＨであるサイズにならない場合には、テスト装置２００はリシェイプレイヤをもって、少なくとも一つのゼロパディングを追加させて
Figure 0006857369
番目のチャンネル上のリシェイプ済み特徴マップの最終部分のサイズが幅ＷｘＫ、高さＨであるサイズになるようにすることができる。
この際、テスト用リシェイプ済み特徴マップは、幅Ｗ、高さＨｘＫ、チャンネル
Figure 0006857369
になる。そして、テスト用リシェイプ済み特徴マップのそれぞれのチャンネルは、テストイメージまたはこれを加工した特徴マップのＫ個のチャンネルから構成されたそれぞれのグループに対応し得る。つまり、テスト用リシェイプ済み特徴マップの最初のチャンネルは、テストイメージまたはこれを加工した特徴マップの最初のチャンネルないしＫ番目のチャンネルに対応し、テスト用リシェイプ済み特徴マップの二番目のチャンネルは、テストイメージまたはこれを加工した特徴マップのＫ＋１番目のチャンネルないし２ｘＫ番目のチャンネルに対応し得る。そして、テスト用リシェイプ済み特徴マップの
Figure 0006857369
番目のチャンネルは、テストイメージまたはこれを加工した特徴マップの
Figure 0006857369
番目のチャンネルないしＬ番目のチャンネルに対応し得る。
以後、テスト装置２００は、後続コンボリューションレイヤ２２３をもって、テスト用リシェイプ済み特徴マップに対して１ｘＫコンボリューション演算を適用してボリュームが調整されたテスト用調整特徴マップを生成させることができる。この際、テスト用調整特徴マップのチャンネルの個数は、１ｘＫコンボリューション演算を遂行する後続コンボリューションレイヤ２２３のカーネル個数、すなわち、フィルタの個数に対応し得る。一例として、後続コンボリューションレイヤ２２３のカーネル個数をＭとする場合、テスト用調整特徴マップのチャンネルはＭ個になり得る。
一方、前記では１ｘＫコンボリューション演算のための方法を説明したが、テストイメージまたはこれを加工した特徴マップのＫ個のチャンネルの特徴を幅方向にコンカチネートした後、Ｋｘ１コンボリューション演算を遂行することもできる。
つまり、図５ａを参照して説明したように、テスト用リシェイプ済み特徴マップは幅ＷｘＫ、高さＨ、チャンネル
Figure 0006857369
になり得る。この際、テスト用リシェイプ済み特徴マップのそれぞれのチャンネルは、テストイメージまたはこれを加工した特徴マップのＫ個のチャンネルから構成されたそれぞれのグループに対応し得る。
そして、テスト装置２００は、後続コンボリューションレイヤ２２３をもって、テスト用リシェイプ済み特徴マップに対してＫｘ１コンボリューション演算を適用してボリュームが調整されたテスト用調整特徴マップを生成させることができる。
次に、テスト装置１００は、後処理レイヤ２２４をもって、後続コンボリューションレイヤ２２３から出力されるテスト用調整特徴マップを後処理させることができる。この際、後処理レイヤ２２４は、コンボリューションレイヤ、バッチ正規化レイヤ、アクティベーションレイヤ、プーリングレイヤ、ＦＣレイヤのうち少なくとも一つを含むことができ、後続コンボリューションレイヤ２２３から出力されるテスト用調整特徴マップまたはこれを加工した特徴マップの分類された特徴を表す確率情報を生成することができる。しかし、後処理レイヤ２２４はこれに限定されず、イメージ処理のためのＣＮＮを構成するそれぞれのレイヤを含むことができる。
次に、テスト装置２００は、出力レイヤ２２５をもって、テスト用調整特徴マップまたはこれを加工した特徴マップ上の特徴を参照して少なくとも一つのテスト用出力を生成させることができる。
本発明による方法は、ＫＰＩ（Ｋｅｙ Ｐｅｒｆｏｒｍａｎｃｅ Ｉｎｄｅｘ、重要業績評価指標）を満たすハードウェア最適化に使用されるために提供され得る。
また、以上にて説明された本発明による実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行される高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、係る記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
１００：学習装置
２００：テスト装置
１１０、２１０：通信部
１２０、２２０：プロセッサ
１３０：データベース

Claims (28)

  1. １ｘＫコンボリューション演算またはＫｘ１コンボリューション演算を利用してＣＮＮのパラメータを学習する方法において、
    （ａ）少なくとも一つのトレーニングイメージが取得されると、学習装置は、リシェイプレイヤ（Ｒｅｓｈａｐｉｎｇ Ｌａｙｅｒ）をもって、前記トレーニングイメージまたはこれを加工した特徴マップのすべてのチャンネルのうちでそれぞれの対応するＫ個のチャンネルから構成されたそれぞれのグループ内の特徴それぞれを２次元的にコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させてリシェイプ済み特徴マップ（Ｒｅｓｈａｐｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させ、後続（Ｓｕｂｓｅｑｕｅｎｔ）コンボリューションレイヤをもって、前記リシェイプ済み特徴マップに対して１ｘＫコンボリューション演算またはＫｘ１コンボリューション演算を適用させてボリューム（Ｖｏｌｕｍｅ）が調整された調整特徴マップ（Ａｄｊｕｓｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させる段階；及び
    （ｂ）前記学習装置は、出力レイヤをもって、前記調整特徴マップまたはこれを加工した特徴マップ上の特徴を参照して少なくとも一つの出力を生成し、ロスレイヤをもって、前記出力とこれに対応する少なくとも一つの原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して少なくとも一つのロスを算出させることにより、前記ロスをバックプロパゲーションして前記後続コンボリューションレイヤの少なくとも一部のパラメータを学習する段階；
    を含むことを特徴とする学習方法。
  2. 前記（ａ）段階で、
    前記トレーニングイメージまたはこれを加工した特徴マップのチャンネル個数がＫの倍数でない場合、前記学習装置は、前記リシェイプレイヤをもって、前記トレーニングイメージまたはこれを加工した特徴マップのチャンネルに少なくとも一つのダミーチャンネル（Ｄｕｍｍｙ Ｃｈａｎｎｅｌ）を追加させて少なくとも一つの前記ダミーチャンネルを含む前記チャンネルの個数がＫの倍数になるようにした後、前記トレーニングイメージまたはこれを加工した特徴マップの少なくとも一つの前記ダミーチャンネルを含む前記すべてのチャンネルのうちでそれぞれの対応するＫ個の前記チャンネルから構成されたそれぞれの前記グループ内の前記特徴それぞれをコンカチネートさせることを特徴とする請求項１に記載の学習方法。
  3. 前記トレーニングイメージまたはこれを加工した特徴マップの幅をＷ、高さをＨとし、チャンネル個数をＬとする場合、
    前記（ａ）段階で、
    前記学習装置は、
    前記リシェイプレイヤをもって、幅Ｗ、高さＨｘＫ、チャンネル
    Figure 0006857369
    である前記リシェイプ済み特徴マップを生成させることを特徴とする請求項１に記載の学習方法。
  4. 前記後続コンボリューションレイヤのカーネル（Ｋｅｒｎｅｌ）個数をＭとする場合、
    前記（ａ）段階で、
    前記学習装置は、
    前記後続コンボリューションレイヤをもって、前記リシェイプ済み特徴マップに対して１ｘＫコンボリューション演算を適用させて幅Ｗ、高さＨ、チャンネルＭであるＷｘＨｘＭのボリュームを有する前記調整特徴マップを生成させることを特徴とする請求項３に記載の学習方法。
  5. 前記トレーニングイメージまたはこれを加工した特徴マップの幅をＷ、高さをＨとし、チャンネル個数をＬとする場合、
    前記（ａ）段階で、
    前記学習装置は、
    前記リシェイプレイヤをもって、幅ＷｘＫ、高さＨ、チャンネル
    Figure 0006857369
    である前記リシェイプ済み特徴マップを生成させることを特徴とする請求項１に記載の学習方法。
  6. 前記後続コンボリューションレイヤのカーネル個数をＭとする場合、
    前記（ａ）段階で、
    前記学習装置は、
    前記後続コンボリューションレイヤをもって、前記リシェイプ済み特徴マップに対してＫｘ１コンボリューション演算を適用させて幅Ｗ、高さＨ、チャンネルＭであるＷｘＨｘＭのボリュームを有する前記調整特徴マップを生成させることを特徴とする請求項５に記載の学習方法。
  7. 前記トレーニングイメージまたはこれを加工した特徴マップの幅をＷ、高さをＨとし、チャンネル個数をＬとする場合、
    前記（ａ）段階で、
    前記学習装置が、
    前記リシェイプレイヤをもって、（ｉ）幅Ｗ、高さＨｘＫ、チャンネル
    Figure 0006857369
    である前記リシェイプ済み特徴マップを生成させるか、（ｉｉ）幅ＷｘＫ、高さＨ、チャンネル
    Figure 0006857369
    である前記リシェイプ済み特徴マップを生成させ、
    前記
    Figure 0006857369
    番目のチャンネル上における前記リシェイプ済み特徴マップの最終部分（Ｆｉｎａｌ Ｐａｒｔ）のサイズが幅Ｗ、高さＨｘＫであるサイズにならない場合、前記リシェイプレイヤをもって、少なくとも一つのゼロパディング（Ｚｅｒｏ Ｐａｄｄｉｎｇ）を追加させて前記
    Figure 0006857369
    番目のチャンネル上における前記リシェイプ済み特徴マップの前記最終部分のサイズが幅Ｗ、高さＨｘＫであるサイズになるようにするか、前記
    Figure 0006857369
    番目のチャンネル上における前記リシェイプ済み特徴マップの前記最終部分のサイズが幅ＷｘＫ、高さＨであるサイズにならない場合、前記リシェイプレイヤをもって、少なくとも一つのゼロパディングを追加させて前記
    Figure 0006857369
    番目のチャンネル上における前記リシェイプ済み特徴マップの前記最終部分のサイズが幅ＷｘＫ、高さＨであるサイズになるようにすることを特徴とする請求項１に記載の学習方法。
  8. １ｘＫコンボリューション演算またはＫｘ１コンボリューション演算を利用してＣＮＮをテストする方法において、
    （ａ）学習装置が、（ｉ）リシェイプレイヤ（Ｒｅｓｈａｐｉｎｇ Ｌａｙｅｒ）をもって、少なくとも一つのトレーニングイメージまたはこれを加工した特徴マップのすべてのチャンネルのうちでそれぞれの対応するＫ個のチャンネルから構成されたそれぞれのグループ内の学習用特徴それぞれを２次元的にコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させて学習用リシェイプ済み特徴マップ（Ｒｅｓｈａｐｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させ、後続（Ｓｕｂｓｅｑｕｅｎｔ）コンボリューションレイヤをもって、前記学習用リシェイプ済み特徴マップに対して１ｘＫコンボリューション演算またはＫｘ１コンボリューション演算を適用させてボリューム（Ｖｏｌｕｍｅ）が調整された学習用調整特徴マップ（Ａｄｊｕｓｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させ、（ｉｉ）出力レイヤをもって、前記学習用調整特徴マップまたはこれを加工した特徴マップ上の特徴を参照して、少なくとも一つの学習用出力を生成させ、ロスレイヤをもって、前記学習用出力とこれに対応する少なくとも一つの原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して少なくとも一つのロスを算出させることにより、前記ロスをバックプロパゲーションして前記後続コンボリューションレイヤの少なくとも一部のパラメータを学習した状態で、少なくとも一つのテストイメージが取得されると、テスト装置は、前記リシェイプレイヤ（Ｒｅｓｈａｐｉｎｇ Ｌａｙｅｒ）をもって、前記テストイメージまたはこれを加工した特徴マップのすべてのチャンネルのうちでそれぞれの対応するＫ個のチャンネルから構成されたそれぞれのグループ内のテスト用特徴それぞれを２次元的にコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させてテスト用リシェイプ済み特徴マップ（Ｒｅｓｈａｐｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させ、前記後続（Ｓｕｂｓｅｑｕｅｎｔ）コンボリューションレイヤをもって、前記テスト用リシェイプ済み特徴マップに対して１ｘＫコンボリューション演算またはＫｘ１コンボリューション演算を適用させてボリューム（Ｖｏｌｕｍｅ）が調整されたテスト用調整特徴マップ（Ａｄｊｕｓｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させる段階；及び
    （ｂ）前記テスト装置が、前記出力レイヤをもって、前記テスト用調整特徴マップまたはこれを加工した特徴マップ上の特徴を参照して少なくとも一つのテスト用出力を生成させる段階；
    を含むことを特徴とするテスト方法。
  9. 前記（ａ）段階で、
    前記テストイメージまたはこれを加工した特徴マップのチャンネル個数がＫの倍数でない場合、前記テスト装置は、前記リシェイプレイヤをもって、前記テストイメージまたはこれを加工した特徴マップのチャンネルに少なくとも一つのダミーチャンネル（Ｄｕｍｍｙ Ｃｈａｎｎｅｌ）を追加させて少なくとも一つの前記ダミーチャンネルを含む前記チャンネルの個数がＫの倍数になるようにした後、前記テストイメージまたはこれを加工した特徴マップの少なくとも一つの前記ダミーチャンネルを含む前記すべてのチャンネルのうちでそれぞれの対応するＫ個の前記チャンネルから構成されたそれぞれの前記グループ内の前記特徴それぞれをコンカチネートさせることを特徴とする請求項８に記載のテスト方法。
  10. 前記テストイメージまたはこれを加工した特徴マップの幅をＷ、高さをＨとし、チャンネルの個数をＬとする場合、
    前記（ａ）段階で、
    前記テスト装置は、
    前記リシェイプレイヤをもって、幅Ｗ、高さＨｘＫ、チャンネル
    Figure 0006857369
    である前記テスト用リシェイプ済み特徴マップを生成させることを特徴とする請求項８に記載のテスト方法。
  11. 前記後続コンボリューションレイヤのカーネル（Ｋｅｒｎｅｌ）個数をＭとする場合、
    前記（ａ）段階で、
    前記テスト装置は、
    前記後続コンボリューションレイヤをもって、前記テスト用リシェイプ済み特徴マップに対して１ｘＫコンボリューション演算を適用させて幅Ｗ、高さＨ、チャンネルＭであるＷｘＨｘＭのボリュームを有する前記テスト用調整特徴マップを生成させることを特徴とする請求項１０に記載のテスト方法。
  12. 前記テストイメージまたはこれを加工した特徴マップの幅をＷ、高さをＨとし、チャンネルの個数をＬとする場合、
    前記（ａ）段階で、
    前記テスト装置は、
    前記リシェイプレイヤをもって、幅ＷｘＫ、高さＨ、チャンネル
    Figure 0006857369
    である前記テスト用リシェイプ済み特徴マップを生成させることを特徴とする請求項１０に記載のテスト方法。
  13. 前記後続コンボリューションレイヤのカーネル個数をＭとする場合、
    前記（ａ）段階で、
    前記テスト装置は、
    前記後続コンボリューションレイヤをもって、前記テスト用リシェイプ済み特徴マップに対してＫｘ１コンボリューション演算を適用させて幅Ｗ、高さＨ、チャンネルＭであるＷｘＨｘＭのボリュームを有する前記テスト用調整特徴マップを生成させることを特徴とする請求項１２に記載のテスト方法。
  14. 前記テストイメージまたは前記これを加工した特徴マップの幅をＷ、高さをＨとし、チャンネルの個数をＬとする場合、
    前記（ａ）段階で、
    前記テスト装置が、
    前記リシェイプレイヤをもって、（ｉ）幅Ｗ、高さＨｘＫ、チャンネル
    Figure 0006857369
    である前記テスト用リシェイプ済み特徴マップを生成させるか、（ｉｉ）幅ＷｘＫ、高さＨ、チャンネル
    Figure 0006857369
    である前記テスト用リシェイプ済み特徴マップを生成させ、
    前記
    Figure 0006857369
    番目のチャンネル上の前記テスト用リシェイプ済み特徴マップの最終部分（Ｆｉｎａｌ Ｐａｒｔ）のサイズが幅Ｗ、高さＨｘＫであるサイズにならない場合、前記リシェイプレイヤをもって、少なくとも一つのゼロパディング（Ｚｅｒｏ Ｐａｄｄｉｎｇ）を追加させて前記
    Figure 0006857369
    番目のチャンネル上の前記テスト用リシェイプ済み特徴マップの前記最終部分のサイズが幅Ｗ、高さＨｘＫであるサイズになるようにするか、前記
    Figure 0006857369
    番目のチャンネル上の前記テスト用リシェイプ済み特徴マップの前記最終部分のサイズが幅ＷｘＫ、高さＨであるサイズにならない場合、前記リシェイプレイヤをもって、少なくとも一つのゼロパディングを追加させて前記
    Figure 0006857369
    番目のチャンネル上の前記テスト用リシェイプ済み特徴マップの前記最終部分のサイズが幅ＷｘＫ、高さＨであるサイズになるようにすることを特徴とする請求項８に記載のテスト方法。
  15. １ｘＫコンボリューション演算またはＫｘ１コンボリューション演算を利用してＣＮＮのパラメータを学習する学習装置において、
    インストラクションを格納する少なくとも一つのメモリと、
    （Ｉ）リシェイプレイヤ（Ｒｅｓｈａｐｉｎｇ Ｌａｙｅｒ）をもって、少なくとも一つのトレーニングイメージまたはこれを加工した特徴マップのすべてのチャンネルのうちでそれぞれの対応するＫ個のチャンネルから構成されたそれぞれのグループ内の特徴それぞれを２次元的にコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させてリシェイプ済み特徴マップ（Ｒｅｓｈａｐｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させ、後続（Ｓｕｂｓｅｑｕｅｎｔ）コンボリューションレイヤをもって、前記リシェイプ済み特徴マップに対して１ｘＫコンボリューション演算またはＫｘ１コンボリューション演算を適用させてボリューム（Ｖｏｌｕｍｅ）が調整された調整特徴マップ（Ａｄｊｕｓｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させるプロセス、及び（ＩＩ）出力レイヤをもって、前記調整特徴マップまたはこれを加工した特徴マップ上の特徴を参照して少なくとも一つの出力を生成させ、ロスレイヤをもって、前記出力とこれに対応する少なくとも一つの原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して少なくとも一つのロスを算出させることにより、前記ロスをバックプロパゲーションして前記後続コンボリューションレイヤの少なくとも一部のパラメータを学習するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
    を含むことを特徴とする学習装置。
  16. 前記（Ｉ）プロセスで、
    前記トレーニングイメージまたはこれを加工した特徴マップのチャンネル個数がＫの倍数でない場合、前記プロセッサは、前記リシェイプレイヤをもって、前記トレーニングイメージまたはこれを加工した特徴マップのチャンネルに少なくとも一つのダミーチャンネル（Ｄｕｍｍｙ Ｃｈａｎｎｅｌ）を追加させて少なくとも一つの前記ダミーチャンネルを含む前記チャンネルの個数がＫの倍数になるようにした後、前記トレーニングイメージまたはこれを加工した特徴マップの少なくとも一つの前記ダミーチャンネルを含む前記すべてのチャンネルのうちでそれぞれの対応するＫ個の前記チャンネルから構成されたそれぞれの前記グループ内の前記特徴それぞれをコンカチネートさせることを特徴とする請求項１５に記載の学習装置。
  17. 前記トレーニングイメージまたはこれを加工した特徴マップの幅をＷ、高さをＨとし、チャンネルの個数をＬとする場合、
    前記（Ｉ）プロセスで、
    前記プロセッサは、前記リシェイプレイヤをもって、幅Ｗ、高さＨｘＫ、チャンネル
    Figure 0006857369
    である前記リシェイプ済み特徴マップを生成させることを特徴とする請求項１５に記載の学習装置。
  18. 前記後続コンボリューションレイヤのカーネル（Ｋｅｒｎｅｌ）個数をＭとする場合、
    前記（Ｉ）プロセスで、
    前記プロセッサは、前記後続コンボリューションレイヤをもって、前記リシェイプ済み特徴マップに対して１ｘＫコンボリューション演算を適用させて幅Ｗ、高さＨ、チャンネルＭであるＷｘＨｘＭのボリュームを有する前記調整特徴マップを生成させることを特徴とする請求項１７に記載の学習装置。
  19. 前記トレーニングイメージまたはこれを加工した特徴マップの幅をＷ、高さをＨとし、チャンネルの個数をＬとする場合、
    前記（Ｉ）プロセスで、
    前記プロセッサは、
    前記リシェイプレイヤをもって、幅ＷｘＫ、高さＨ、チャンネル
    Figure 0006857369
    である前記リシェイプ済み特徴マップを生成させることを特徴とする請求項１５に記載の学習装置。
  20. 前記後続コンボリューションレイヤのカーネル個数をＭとする場合、
    前記（Ｉ）プロセスで、
    前記プロセッサは、
    前記後続コンボリューションレイヤをもって、前記リシェイプ済み特徴マップに対してＫｘ１コンボリューション演算を適用させて幅Ｗ、高さＨ、チャンネルＭであるＷｘＨｘＭのボリュームを有する前記調整特徴マップを生成させることを特徴とする請求項１９に記載の学習装置。
  21. 前記トレーニングイメージまたはこれを加工した特徴マップの幅をＷ、高さをＨとし、チャンネルの個数をＬとする場合、
    前記（Ｉ）プロセスで、
    前記プロセッサは、
    前記リシェイプレイヤをもって、（ｉ）幅Ｗ、高さＨｘＫ、チャンネル
    Figure 0006857369
    である前記リシェイプ済み特徴マップを生成させるか、（ｉｉ）幅ＷｘＫ、高さＨ、チャンネル
    Figure 0006857369
    である前記リシェイプ済み特徴マップを生成させ、
    前記
    Figure 0006857369
    番目のチャンネル上における前記リシェイプ済み特徴マップの最終部分（Ｆｉｎａｌ Ｐａｒｔ）のサイズが幅Ｗ、高さＨｘＫであるサイズにならない場合、前記リシェイプレイヤをもって、少なくとも一つのゼロパディング（Ｚｅｒｏ Ｐａｄｄｉｎｇ）を追加させて前記
    Figure 0006857369
    番目のチャンネル上における前記リシェイプ済み特徴マップの前記最終部分のサイズが幅Ｗ、高さＨｘＫであるサイズになるようにするか、前記
    Figure 0006857369
    番目のチャンネル上における前記リシェイプ済み特徴マップの最終部分のサイズが幅ＷｘＫ、高さＨであるサイズにならない場合、前記リシェイプレイヤをもって、少なくとも一つのゼロパディングを追加させて前記
    Figure 0006857369
    番目のチャンネル上における前記リシェイプ済み特徴マップの前記最終部分のサイズが幅ＷｘＫ、高さＨであるサイズとなるようにすることを特徴とする請求項１５に記載の学習装置。
  22. １ｘＫコンボリューション演算またはＫｘ１コンボリューション演算を利用してＣＮＮをテストするテスト装置において、
    インストラクションを格納する少なくとも一つのメモリと、
    学習装置は、（ｉ）リシェイプレイヤ（Ｒｅｓｈａｐｉｎｇ Ｌａｙｅｒ）をもって、少なくとも一つのトレーニングイメージまたはこれを加工した特徴マップのすべてのチャンネルのうちでそれぞれの対応するＫ個のチャンネルから構成されたそれぞれのグループ内の学習用特徴それぞれを２次元的にコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させて学習用リシェイプ済み特徴マップ（Ｒｅｓｈａｐｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させ、後続（Ｓｕｂｓｅｑｕｅｎｔ）コンボリューションレイヤをもって、前記学習用リシェイプ済み特徴マップに対して１ｘＫコンボリューション演算またはＫｘ１コンボリューション演算を適用させてボリューム（Ｖｏｌｕｍｅ）が調整された学習用調整特徴マップ（Ａｄｊｕｓｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させ、（ｉｉ）出力レイヤをもって、前記学習用調整特徴マップまたはこれを加工した特徴マップ上の特徴を参照して少なくとも一つの学習用出力を生成させ、ロスレイヤをもって、前記学習用出力とこれに対応する少なくとも一つの原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して少なくとも一つのロスを算出させることにより、前記ロスをバックプロパゲーションして前記後続コンボリューションレイヤの少なくとも一部のパラメータを学習した状態で、（Ｉ）リシェイプレイヤ（Ｒｅｓｈａｐｉｎｇ Ｌａｙｅｒ）をもって、少なくとも一つのテストイメージまたはこれを加工した特徴マップのすべてのチャンネルのうちでそれぞれの対応するＫ個のチャンネルから構成されたそれぞれのグループ内のテスト用特徴それぞれを２次元的にコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させてリシェイプ済み特徴マップ（Ｒｅｓｈａｐｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させ、前記後続（Ｓｕｂｓｅｑｕｅｎｔ）コンボリューションレイヤをもって、前記リシェイプ済み特徴マップに対して１ｘＫコンボリューション演算またはＫｘ１コンボリューション演算を適用させてボリューム（Ｖｏｌｕｍｅ）が調整された調整特徴マップ（Ａｄｊｕｓｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させるプロセス、及び（ＩＩ）前記出力レイヤをもって、前記テスト用調整特徴マップまたはこれを加工した特徴マップ上の特徴を参照して少なくとも一つのテスト用出力を生成させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
    を含むことを特徴とするテスト装置。
  23. 前記（Ｉ）プロセスで、
    前記テストイメージまたはこれを加工した特徴マップのチャンネル個数がＫの倍数でない場合、
    前記プロセッサは、前記リシェイプレイヤをもって、前記テストイメージまたはこれを加工した特徴マップのチャンネルに少なくとも一つのダミーチャンネル（Ｄｕｍｍｙ Ｃｈａｎｎｅｌ）を追加させて少なくとも一つの前記ダミーチャンネルを含む前記チャンネルの個数がＫの倍数になるようにした後、前記テストイメージまたはこれを加工した特徴マップの少なくとも一つの前記ダミーチャンネルを含む前記すべてのチャンネルのうちでそれぞれの対応するＫ個の前記チャンネルから構成されたそれぞれの前記グループ内の前記特徴それぞれをコンカチネートさせることを特徴とする請求項２２に記載のテスト装置。
  24. 前記テストイメージまたはこれを加工した特徴マップの幅をＷ、高さをＨとし、チャンネルの個数をＬとする場合、
    前記（Ｉ）プロセスで、
    前記プロセッサは、
    前記リシェイプレイヤをもって、幅Ｗ、高さＨｘＫ、チャンネル
    Figure 0006857369
    である前記テスト用リシェイプ済み特徴マップを生成させることを特徴とする請求項２２に記載のテスト装置。
  25. 前記後続コンボリューションレイヤのカーネル（Ｋｅｒｎｅｌ）個数をＭとする場合、
    前記（Ｉ）プロセスで、
    前記プロセッサは、
    前記後続コンボリューションレイヤをもって、前記テスト用リシェイプ済み特徴マップに対して１ｘＫコンボリューション演算を適用させて幅Ｗ、高さＨ、チャンネルＭであるＷｘＨｘＭのボリュームを有する前記テスト用調整特徴マップを生成させることを特徴とする請求項２４に記載のテスト装置。
  26. 前記テストイメージまたはこれを加工した特徴マップの幅をＷ、高さをＨとし、チャンネルの個数をＬとする場合、
    前記（Ｉ）プロセスで、
    前記プロセッサは、
    前記リシェイプレイヤをもって、幅ＷｘＫ、高さＨ、チャンネル
    Figure 0006857369
    である前記テスト用リシェイプ済み特徴マップを生成させることを特徴とする請求項２４に記載のテスト装置。
  27. 前記後続コンボリューションレイヤのカーネル個数をＭとする場合、
    前記（Ｉ）プロセスで、
    前記プロセッサは、
    前記後続コンボリューションレイヤをもって、前記テスト用リシェイプ済み特徴マップに対してＫｘ１コンボリューション演算を適用させて幅Ｗ、高さＨ、チャンネルＭであるＷｘＨｘＭのボリュームを有する前記テスト用調整特徴マップを生成させることを特徴とする請求項２６に記載のテスト装置。
  28. 前記テストイメージまたはこれを加工した特徴マップの幅をＷ、高さをＨとし、チャンネルの個数をＬとする場合、
    前記（Ｉ）プロセスで、
    前記プロセッサは、
    前記リシェイプレイヤをもって、（ｉ）幅Ｗ、高さＨｘＫ、チャンネル
    Figure 0006857369
    である前記テスト用リシェイプ済み特徴マップを生成させるか、（ｉｉ）幅ＷｘＫ、高さＨ、チャンネル
    Figure 0006857369
    である前記テスト用リシェイプ済み特徴マップを生成させ、
    前記
    Figure 0006857369
    番目のチャンネル上の前記テスト用リシェイプ済み特徴マップの最終部分（Ｆｉｎａｌ Ｐａｒｔ）のサイズが幅Ｗ、高さＨｘＫであるサイズにならない場合、前記リシェイプレイヤをもって、少なくとも一つのゼロパディング（Ｚｅｒｏ Ｐａｄｄｉｎｇ）を追加させて前記
    Figure 0006857369
    番目のチャンネル上の前記テスト用リシェイプ済み特徴マップの前記最終部分のサイズが幅Ｗ、高さＨｘＫであるサイズになるようにするか、前記
    Figure 0006857369
    番目のチャンネル上の前記テスト用リシェイプ済み特徴マップの最終部分のサイズが幅ＷｘＫ、高さＨであるサイズにならない場合、前記リシェイプレイヤをもって、少なくとも一つのゼロパディングを追加させて前記
    Figure 0006857369
    番目のチャンネル上の前記テスト用リシェイプ済み特徴マップの前記最終部分のサイズが幅ＷｘＫ、高さＨであるサイズになるようにすることを特徴とする請求項２２に記載のテスト装置。
JP2020001966A 2019-01-23 2020-01-09 Ｃｎｎを学習する方法及び学習装置、それを利用したテスト方法及びテスト装置 Active JP6857369B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/255,109 2019-01-23
US16/255,109 US11461653B2 (en) 2019-01-23 2019-01-23 Learning method and learning device for CNN using 1xK or Kx1 convolution to be used for hardware optimization, and testing method and testing device using the same

Publications (2)

Publication Number Publication Date
JP2020119535A JP2020119535A (ja) 2020-08-06
JP6857369B2 true JP6857369B2 (ja) 2021-04-14

Family

ID=69159558

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020001966A Active JP6857369B2 (ja) 2019-01-23 2020-01-09 Ｃｎｎを学習する方法及び学習装置、それを利用したテスト方法及びテスト装置

Country Status (5)

Country Link
US (1) US11461653B2 (ja)
EP (1) EP3686794B1 (ja)
JP (1) JP6857369B2 (ja)
KR (1) KR102337383B1 (ja)
CN (1) CN111476247B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10303980B1 (en) * 2018-09-05 2019-05-28 StradVision, Inc. Learning method, learning device for detecting obstacles and testing method, testing device using the same
CN111988609B (zh) * 2019-05-22 2024-07-16 富士通株式会社 图像编码装置、概率模型生成装置和图像解码装置
US10943353B1 (en) 2019-09-11 2021-03-09 International Business Machines Corporation Handling untrainable conditions in a network architecture search
US11023783B2 (en) * 2019-09-11 2021-06-01 International Business Machines Corporation Network architecture search with global optimization
KR20230137594A (ko) 2022-03-22 2023-10-05 동원산업 주식회사 인공 신경망을 이용한 어류 등급 판정 방법 및 장치

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10083395B2 (en) * 2015-05-21 2018-09-25 Google Llc Batch processing in a neural network processor
CN106558025B (zh) * 2015-09-29 2021-02-09 腾讯科技（深圳）有限公司 一种图片的处理方法和装置
CN108475331B (zh) * 2016-02-17 2022-04-05 英特尔公司 用于对象检测的方法、装置、***和计算机可读介质
JP6869676B2 (ja) * 2016-09-27 2021-05-12 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6929047B2 (ja) * 2016-11-24 2021-09-01 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
US10067509B1 (en) * 2017-03-10 2018-09-04 TuSimple System and method for occluding contour detection
KR102474168B1 (ko) * 2017-03-17 2022-12-06 포틀랜드 스테이트 유니버시티 적응형 컨볼루션 및 적응형 분리형 컨볼루션을 통한 프레임 인터폴레이션
CN110383292A (zh) * 2017-04-07 2019-10-25 英特尔公司 用于深度神经网络的经预算和经简化的训练的方法和***
JP6744838B2 (ja) * 2017-04-18 2020-08-19 Kddi株式会社 エンコーダデコーダ畳み込みニューラルネットワークにおける解像感を改善するプログラム
CN109145927A (zh) * 2017-06-16 2019-01-04 杭州海康威视数字技术股份有限公司 一种对形变图像的目标识别方法及装置
US10474988B2 (en) * 2017-08-07 2019-11-12 Standard Cognition, Corp. Predicting inventory events using foreground/background processing
US10049323B1 (en) * 2017-10-13 2018-08-14 StradVision, Inc. Method and device for performing activation and convolution operation at the same time and learning method and learning device for the same
SG10202108020VA (en) 2017-10-16 2021-09-29 Illumina Inc Deep learning-based techniques for training deep convolutional neural networks
NZ759880A (en) 2017-10-16 2022-04-29 Illumina Inc Aberrant splicing detection using convolutional neural networks (cnns)
CN109166100A (zh) * 2018-07-24 2019-01-08 中南大学 基于卷积神经网络的多任务学习细胞计数方法
CN109086886A (zh) * 2018-08-02 2018-12-25 工极（北京）智能科技有限公司 一种基于极限学习机的卷积神经网络学习算法

Also Published As

Publication number Publication date
US20200234135A1 (en) 2020-07-23
KR20200091795A (ko) 2020-07-31
EP3686794B1 (en) 2024-07-24
US11461653B2 (en) 2022-10-04
JP2020119535A (ja) 2020-08-06
CN111476247A (zh) 2020-07-31
KR102337383B1 (ko) 2021-12-10
CN111476247B (zh) 2023-09-26
EP3686794A1 (en) 2020-07-29

Similar Documents

Publication Publication Date Title
JP6857369B2 (ja) Ｃｎｎを学習する方法及び学習装置、それを利用したテスト方法及びテスト装置
JP6853560B2 (ja) 高精度イメージを分析するディープラーニングネットワークの学習に利用するためのトレーニングイメージをオートラベリングするための方法、及びこれを利用したオートラベリング装置｛ｍｅｔｈｏｄ ｆｏｒ ａｕｔｏ−ｌａｂｅｌｉｎｇ ｔｒａｉｎｉｎｇ ｉｍａｇｅｓ ｆｏｒ ｕｓｅ ｉｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｎｅｔｗｏｒｋ ｔｏ ａｎａｌｙｚｅ ｉｍａｇｅｓ ｗｉｔｈ ｈｉｇｈ ｐｒｅｃｉｓｉｏｎ， ａｎｄ ａｕｔｏ−ｌａｂｅｌｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
JP6923960B2 (ja) 自動駐車システムを提供するために決定地点間の関係及び決定地点に対するリグレッション結果を利用して駐車スペースを検出する学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置
JP6856851B2 (ja) イメージエンコーディングのための方法及び装置そしてこれを利用したテスト方法及びテスト装置
KR102337376B1 (ko) 레인 마스크(Lane Mask)를 사용하여 후처리 없이 입력 이미지에 포함된 하나 이상의 차선을 검출하는 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
JP6857368B2 (ja) Ｃｎｎ学習方法及び学習装置、これを利用したテスト方法及びテスト装置
JP6858382B2 (ja) ハードウェア最適化に使用される１ｘＨコンボリューションを利用したＣＮＮ基盤の物体検出器を学習する方法及び学習装置、それを利用したテスト方法及びテスト装置
JP6957050B2 (ja) モバイルデバイスまたは小型ネットワークに適用可能なハードウェアを最適化するのに利用可能なｒｏｉをプーリングするために、マスキングパラメータを利用する方法及び装置、そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｐｏｏｌｉｎｇ ｒｏｉ ｂｙ ｕｓｉｎｇ ｍａｓｋｉｎｇ ｐａｒａｍｅｔｅｒｓ ｔｏ ｂｅ ｕｓｅｄ ｆｏｒ ｍｏｂｉｌｅ ｄｅｖｉｃｅｓ ｏｒ ｃｏｍｐａｃｔ ｎｅｔｗｏｒｋｓ ｖｉａ ｈａｒｄｗａｒｅ ｏｐｔｉｍｉｚａｔｉｏｎ， ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
JP6964353B2 (ja) ハードウェア最適化に使用されるイメージ認識のための１ｘ１コンボリューションを利用したＣＮＮ学習方法及び学習装置、それを利用したテスト方法及びテスト装置｛ＬＥＡＲＮＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＬＥＡＲＮＩＮＧ ＤＥＶＩＣＥ ＦＯＲ ＣＯＮＶＯＬＵＴＩＯＮＡＬ ＮＥＵＲＡＬ ＮＥＴＷＯＲＫ ＵＳＩＮＧ １×１ ＣＯＮＶＯＬＵＴＩＯＮ ＦＯＲ ＩＭＡＧＥ ＲＥＣＯＧＮＩＴＩＯＮ ＴＯ ＢＥ ＵＳＥＤ ＦＯＲ ＨＡＲＤＷＡＲＥ ＯＰＴＩＭＩＺＡＴＩＯＮ， ＡＮＤ ＴＥＳＴＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＴＥＳＴＩＮＧ ＤＥＶＩＣＥ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ｝
JP2020126624A (ja) ディープニューラルネットワーク基盤の多重パッチ組み合わせを利用して顔を認識し、極度の状況でフォールトトレランス及びフラクチュエーションロバスト性を向上させる方法
JP7252120B2 (ja) 核心性能指数を満たすことができるハードウェア最適化が行われるように、ｃｎｎで複数のブロック内の入力イメージから特徴を抽出する学習方法及び学習装置、それを利用したテスト方法及びテスト装置
JP2020038666A (ja) 自律走行状況で障害物検出のための学習用データセットの生成方法及びこれを利用したコンピューティング装置、学習方法及び学習装置
JP6856906B2 (ja) 自律走行車両レベル４を満たすために領域のクラスに応じてモードを切り換えるためにグリッド生成器を利用するニューラルネットワーク演算方法及びこれを利用した装置
JP6856957B2 (ja) 写真スタイル変換を使用してランタイム入力の変換によりリアル世界で使用されるバーチャル世界で学習されたｃｎｎを許容するための学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置
CN114821580A (zh) 一种分阶段融入去噪模块的含噪图像分割方法
JP6853592B2 (ja) ハードウェア最適化に使用される１ｘ１コンボリューションを利用したＣＮＮ基盤の物体検出器を学習する方法及び学習装置、これを利用したテスト方法及びテスト装置｛ＬＥＡＲＮＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＬＥＡＲＮＩＮＧ ＤＥＶＩＣＥ ＦＯＲ ＯＢＪＥＣＴ ＤＥＴＥＣＴＯＲ ＢＡＳＥＤ ＯＮ ＣＮＮ ＵＳＩＮＧ １×１ ＣＯＮＶＯＬＵＴＩＯＮ ＴＯ ＢＥ ＵＳＥＤ ＦＯＲ ＨＡＲＤＷＡＲＥ ＯＰＴＩＭＩＺＡＴＩＯＮ， ＡＮＤ ＴＥＳＴＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＴＥＳＴＩＮＧ ＤＥＶＩＣＥ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ｝
JP6856852B2 (ja) 横フィルタマスクを利用して自律走行車の走行経路を計画するために車線要素を検出する方法及び装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210312

R150 Certificate of patent or registration of utility model

Ref document number: 6857369

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250