JP6801529B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP6801529B2
JP6801529B2 JP2017044846A JP2017044846A JP6801529B2 JP 6801529 B2 JP6801529 B2 JP 6801529B2 JP 2017044846 A JP2017044846 A JP 2017044846A JP 2017044846 A JP2017044846 A JP 2017044846A JP 6801529 B2 JP6801529 B2 JP 6801529B2
Authority
JP
Japan
Prior art keywords
neural network
phase difference
complex
layer
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017044846A
Other languages
English (en)
Other versions
JP2018147428A (ja
Inventor
山本 康平
康平 山本
前野 蔵人
蔵人 前野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2017044846A priority Critical patent/JP6801529B2/ja
Priority to US15/819,336 priority patent/US11366999B2/en
Publication of JP2018147428A publication Critical patent/JP2018147428A/ja
Application granted granted Critical
Publication of JP6801529B2 publication Critical patent/JP6801529B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35Details of non-pulse systems
    • G01S7/352Receivers
    • G01S7/356Receivers involving particularities of FFT processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Complex Calculations (AREA)

Description

本発明は、情報処理装置、情報処理方法、およびプログラムに関する。
近年、脳神経系の仕組みを模した数学モデルであるニューラルネットワークが注目されている。また、ニューラルネットワークを用いて種々の状態推定を行う技術が提案されている。例えば、特許文献1には、アレーアンテナから得られる受信信号ベクトルの位相差から、先行車両の台数を、ニューラルネットワークを用いて推定するレーダ信号処理装置が開示されている。また、特許文献2には、従来、実数型ニューロンで構成されていた畳み込みニューラルネットワークを、複素数型ニューロンを用いて構成する技術が開示されている。
特開2016−75558号公報
Nitzan Guberman、"On Complex Valued Convolutional Neural Networks"、[online]、平成28年2月29日、ヘブライ大学、[平成29年2月1日検索]、インターネット〈https://arxiv.org/pdf/1602.09046.pdf〉
しかし、特許文献1に記載の技術では、実数型または複素数型ニューラルネットワークにおいて、受信信号ベクトルの自己相関行列の対角成分を除いた上三角行列を入力としている。このため、特許文献1に記載の技術では、受信信号ベクトルの要素数に対応する全通りの組み合わせペアを入力することが求められ、ニューラルネットワークの規模が大型化する傾向がある。
また、特許文献1や非特許文献1に記載の技術では、同一の層に属するニューロン間の位相差を扱うことが困難である。このため、特許文献1や非特許文献1に記載の技術では、ニューロン間における位相の相関関係が重要となる問題に対して推定精度が劣化する可能性がある。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、位相の相関関係に意味を有するデータに対する推定精度をより向上させることが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、ニューラルネットワークを用いて状態推定を行う推定部、を備え、前記ニューラルネットワークは、複素数データを入力とする第1の複素数型ニューラルネットワーク層と、前記複素数データに係る複数の集合間における要素ごとの位相差を出力する位相差演算層と、前記位相差に基づいて複素数データを出力する第2の複素数型ニューラルネットワーク層と、を備える、情報処理装置が提供される。
前記位相差演算層は、前記集合間において対応する要素の共役積に基づいて前記位相差を出力してもよい。
前記位相差演算層は、同一層に属する複素数型ニューロンを少なくとも2以上の集合に分割し、当該集合間における要素ごとの位相差を出力してもよい。
前記第1の複素数型ニューラルネットワーク層は、複素数型畳み込みニューラルネットワーク層であってもよい。
前記複素数型畳み込みニューラルネットワーク層は、互いに構造の異なる一対の畳み込みフィルタを用いて畳み込み処理を実行してもよい。
前記畳み込みフィルタは、実数型の重みを有してもよい。
前記ニューラルネットワークは、前記第2の複素数型ニューラルネットワーク層により出力される複素数型データを実数型データに変換する変換層、をさらに備えてもよい。
また、上記課題を解決するために、本発明の別の観点によれば、ニューラルネットワークを用いて状態推定を行う情報処理方法であって、複素数データを入力することと、複素数データに係る複数の集合間における要素ごとの位相差を出力することと、前記位相差に基づいて複素数データを出力することと、を含む、情報処理方法が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、ニューラルネットワークを用いて状態推定を行う推定部、を備え、前記ニューラルネットワークは、複素数データを入力とする第1の複素数型ニューラルネットワークと、前記複素数データに係る複数の集合間における要素ごとの位相差を出力する位相差演算層と、前記位相差に基づいて複素数データを出力する第2の複素数型ニューラルネットワーク層と、を備える、情報処理装置、として機能させるためのプログラムが提供される。
以上説明したように本発明によれば、相対的な位相に意味を有するデータに対する推定精度をより向上させることが可能となる。
本発明の第1の実施形態に係る情報処理装置の機能ブロック図の一例である。 同実施形態に係るニューラルネットワークのネットワーク構成例を示す図である。 同実施形態に係る位相差演算層の構成について説明するための図である。 同実施形態に係る順方向伝播の一例を示す図である。 同実施形態に係る変換層を備えるニューラルネットワークのネットワーク構成例を示す図である。 本発明の第2の実施形態に係るニューラルネットワークに入力される複素数データについて説明するための図である。 一般的な複素数型畳み込みニューラルネットワークに係る畳み込み処理について説明するための図である。 一般的な複素数型畳み込みニューラルネットワークにおける出力特徴マップと畳み込みフィルタとの関係について説明するための図である。 本発明の第2の実施形態に係るニューラルネットワークのネットワーク構成例を示す図である。 同実施形態に係るニューラルネットワークによる畳み込み処理における入力特徴マップと畳み込みフィルタの関係について説明するための図である。 同実施形態に係る互いに構造の異なる一対の畳み込みフィルタについて説明するための図である。 本発明の一実施形態に係る情報処理装置のハードウェア構成例である。 一般的な実数型ニューラルネットワークの結合関係を示す図である。 一般的な複素数型ニューラルネットワークの結合関係を示す図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
<1.背景>
近年、情報処理技術の発展に伴い、種々のニューラルネットワークモデルが提案されている。また、上記のようなニューラルネットワークモデルには、入力される複素数や四元数などの多次元データに基づいて識別を行うモデルも存在する。
ここで、まず、一般的な実数型ニューラルネットワークおよび複素数型ニューラルネットワークの概要について説明する。図13は、一般的な実数型ニューラルネットワークの結合関係を示す図である。図13に示すように、実数型ニューラルネットワークでは、入力x、重みw、および出力yは、すべて実数で定義される。すなわち、実数型ニューラルネットワークの結合関係は、下記の数式(1)により表現され得る。ここで、図13および下記の数式(1)におけるRは実数を示す。
Figure 0006801529
このため、実数型ニューラルネットワークでは、複素数データをそのまま入力することができず、予め複素数データから実数を抽出する処理が求められる。
一方、図14は、一般的な複素数型ニューラルネットワークの結合関係を示す図である。図14に示すように、複素数型ニューラルネットワークでは、入力x、重みw、および出力yは、すべて複素数で定義される。すなわち、複素数型ニューラルネットワークの結合関係は、下記の数式(2)により表現され得る。ここで、図14および下記の数式(2)におけるCは複素数を示す。
Figure 0006801529
このため、複素数型ニューラルネットワークは、複素数データを入力とする処理に優れている。ここで、上記の複素数データとは、例えば、電波や音波など、波動の大きさや位相の進み・遅れに意味を持つデータや、風向きなど特定の方向に意味を持つデータを含む。
しかし、一般的な複素数型ニューラルネットワークでは、通常、同一層に属するニューロン間の位相差を扱うことが困難である。このため、一般的な複素数型ニューラルネットワークでは、例えば、アレーアンテナから得られる受信信号ベクトルを用いて到来方向を推定するなど、要素間の位相の相関関係が重要となる問題に対し、推定精度が劣化することが予想される。
上記についてより具体的に説明する。複素数型ニューラルネットワークにおける複素数の内積操作は、上記の数式(2)に示すように、入力xと重みwの要素の積、および当該積の和となる。ここで、複素数の積には積算する要素同士の位相を加減算する作用があるが、複素数の和にはこのような作用は認められない。すなわち、位相は振幅によって重み付けられた平均となる。このため、一般的な複素数型ニューラルネットワークでは、同一層に属するニューロン間の相関関係が考慮され難い。
本技術思想は、上記の点に着目して発想されたものであり、複素数型ニューラルネットワークにおいて、同一の層に属するニューロン間、すなわち複素数データ間の位相差を算出することを可能とする。このために、本発明の一実施形態に係るニューラルネットワークは、複素数データに係る複数の集合間における要素ごとの位相差情報を出力する位相差演算層を備えること、を特徴の一つとする。本発明の一実施形態に係るニューラルネットワークが有する上記の特徴によれば、相対的な位相に意味を有するデータに対する推定精度をより向上させることが可能となる。
<2.第1の実施形態>
<<2.1.情報処理装置10の機能構成例>>
続いて、本発明の第1の実施形態について説明する。まず、本実施形態に係る情報処理装置10の機能構成例について述べる。図1は、本実施形態に係る情報処理装置10の機能ブロック図の一例である。図1を参照すると、本実施形態に係る情報処理装置10は、入力部110、推定部120、記憶部130、および出力部140を備える。以下、上記構成について、当該構成が有する機能を中心に説明する。
(入力部110)
入力部110は、操作者による種々の入力操作を検出する機能を有する。本実施形態に係る入力部110は、例えば、後述する推定部120による推定に用いるデータを指定する操作者の入力操作を検出してよい。このために、本実施形態に係る入力部110は、操作者による入力操作を検出するための各種の装置を含んでよい。入力部110は、例えば、各種のボタン、キーボード、タッチパネル、マウス、スイッチなどにより実現され得る。
(推定部120)
推定部120は、入力される複素数データを用いて、機械学習モデルに基づく状態推定を行う機能を有する。この際、本実施形態に係る推定部120は、ニューラルネットワークを用いて上記の状態推定を行ってよい。例えば、本実施形態に係る推定部120は、ニューラルネットワークを用いて、回帰問題や分類問題などに対する解答を出力することができる。本実施形態に係るニューラルネットワークの構成については、別途詳細に説明する。
(記憶部130)
記憶部130は、情報処理装置10が備える各構成で用いられるプログラムやデータなどを記憶する機能を有する。本実施形態に係る記憶部130は、例えば、推定部120が備えるニューラルネットワークに用いられる種々のパラメータや、推定部120が出力する出力結果などを記憶してよい。
(出力部140)
出力部140は、操作者に対し種々の情報出力を行う機能を有する。本実施形態に係る出力部140は、例えば、推定部120による推定結果を出力してよい。このために、本実施形態に係る出力部140は、視覚情報を出力するディスプレイ装置を含んで構成され得る。ここで、上記のディスプレイ装置は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD:Liquid Crystal Display)装置、OLED(Organic Light Emitting Diode)装置、タッチパネル、プロジェクタなどにより実現され得る。
以上、本実施形態に係る情報処理装置10の機能構成例について説明した。なお、上記で説明した機能構成例はあくまで一例であり、本実施形態に係る情報処理装置10の機能構成例は係る例に限定されない。本実施形態に係る情報処理装置10は、図1に示す以外の構成をさらに備えてもよい。情報処理装置10は、例えば、他の情報処理端末との情報通信を行う通信部などをさらに備えてもよい。本実施形態に係る情報処理装置10の機能構成は、柔軟に設計変更され得る。
<<2.2.ネットワーク構成例>>
次に、本実施形態に係るニューラルネットワークのネットワーク構成例について詳細に説明する。図2は、本実施形態に係るニューラルネットワークのネットワーク構成例を示す図である。
図2を参照すると、本実施形態に係るニューラルネットワークは、第1の複素数型ニューラルネットワーク層CVNN1と、位相差演算層CD1、およびCVNN2を備える。
ここで、本実施形態に係る第1の複素数型ニューラルネットワーク層CVNN1には、図示するように複素数データが入力されてよい。第1の複素数型ニューラルネットワーク層CVNN1は、入力される複素数データに基づく演算処理を実行し、当該演算処理の結果に該当する複素数データを出力する。
また、本実施形態に係る位相差演算層CD1は、複素数データ間の位相差を算出する機能を有する。より具体的には、本実施形態に係る位相差演算層CD1は、複素数データに係る複数の集合間における要素ごとの位相差情報を出力することができる。
また、本実施形態に係る第2の複素数型ニューラルネットワーク層CVNN2は、位相差演算層CD1により出力される位相差情報に基づく演算処理を行い、当該演算処理の結果に該当する複素数データを出力してよい。
ここで、本実施形態に係る位相差演算層CD1の構成について詳細に説明する。図3は、本実施形態に係る位相差演算層CD1の構成について説明するための図である。図3を参照すると、本実施形態に係る位相差演算層CD1は、入力層IL、中間層HL、分割層DL、統合層UL、および出力層OLを備える。なお、図3の上部には、位相差演算層の構成の概略が示されており、図3の下部には、中間層HL、分割層DL、統合層ULを構成するニューロンの一例が示されている。すなわち、図3では、丸が単一のニューロンを、角丸の四角形が複数のニューロンの集合をそれぞれ示している。
まず、入力層ILに、第1の複素数型ニューラルネットワーク層CVNN1から出力される複素数データが入力され、中間層HLに伝播される。
次に、本実施形態に係る分割層DLにより、中間層HLを構成するニューロンの集合が2つ以上の集合に分割される。図3の一例では、中間層HLを構成する6つのニューロンが分割層DLにおいて、それぞれ3つずつのニューロンを含む2つの集合AおよびBに分割される場合が示されている。上記のような分割を行うため、本実施形態に係る中間層HLを構成するニューロンの数は偶数であってよい。上記の処理により、集合間における要素ごとの位相差を出力することが可能となる。
続く統合層ULでは、分割層DLにおける集合間の各要素を一対一で対応付け、当該要素間の位相差を算出する。この際、順方向伝播において、要素zが集合Aに、zが集合Bにそれぞれ属するとすると、統合層ULは、下記の数式(3)または数式(4)などの関数を用いて要素間の位相差を算出することが可能である。なお、下記の数式(3)における*は、複素共役記号を示す。すなわち、本実施形態に係る位相差演算層CD1は、集合間において対応する要素の共役積に基づいて位相差を出力してよい。
Figure 0006801529
次に、逆方向伝播(誤差逆伝播)について説明する。図4は、本実施形態に係る順方向伝播の一例を示す図である。このように、順方向伝播において、要素zおよびzが、f(z,z)=αz +β=z(ただし、αおよびβはスカラーの実定数)、によってzに変換され、逆方向伝播において、上層から誤差勾配δzが伝播してきた際、要素zおよびzに対応するそれぞれのニューロンが伝播する誤差勾配δzおよびδzは、下記の数式(5)および(6)により表現することができる。
Figure 0006801529
このように、本実施形態に係る位相差演算層CD1では、誤差勾配δzおよびδzを下層側に伝播させることで、位相差演算処理を複素数型ニューラルネットワークの枠組みで実現することができる。
以上、本実施形態に係るニューラルネットワークの構成例について説明した。なお、図2や図3を用いて説明した上記の構成はあくまで一例であり、本実施形態に係るニューラルネットワークの構成は係る例に限定されない。例えば、本実施形態に係るニューラルネットワークは、複素数型ニューラルネットワーク層を3つ以上備えてもよい。また、例えば、本実施形態に係る位相差演算層CD1は、複数の中間層HL1を備えてもよい。また、位相差演算層CD1は、中間層HL、分割層DL、統合層ULのセットを複数備えることも可能である。
また、本実施形態に係るニューラルネットワークは、複素数型データを実数型データに変換する変換層、および当該変換層により出力される実数型データに基づく演算処理を実行する実数型ニューラルネットワーク層をさらに備えてもよい。
図5は、本実施形態に係る変換層を備えるニューラルネットワークのネットワーク構成例を示す図である。図5を参照すると、本実施形態に係るニューラルネットワークは、図2に示した構成に加え、変換層TL1と第1の実数型ニューラルネットワーク層NVNN1をさらに備えることができる。
ここで、位相差演算の結果を複素数uとすると、変換層TL1は、下記の数式(7)により複素数zを得ることができる。この際、数式(7)におけるArg(u)は、uの位相であってよい。次に、変換層TL1は、実部を抽出するための下記の数式(8)と、虚部を抽出するための下記の数式(9)をそれぞれ独立に適用することにより、uの振幅に係る実数ニューロン(x=|u|)とuの位相に係る実数ニューロン(y=Arg(u))とを求めることが可能である。この際、Arg(u)には、位相差演算処理による複素数型ニューロン間の位相差成分が含まれているため、実数として位相差が得られることとなる。
Figure 0006801529
以上、本実施形態に係るニューラルネットワークの構成について詳細に説明した。本実施形態に係るニューラルネットワークによれば、予め入力データ間の全組み合わせに係る位相差を算出することなく、当該組み合わせの対応関係を自動的に決定することができ、演算コストを大幅に低減することが可能となる。また、本実施形態に係るニューラルネットワークによれば、ニューロン間における位相の相関関係を考慮することができ、回帰問題や分類問題の推定精度が大きく向上することが期待される。
なお、上記の説明では、入力されるデータが複素数データである場合を中心に述べたが、本技術思想は、多元数型ニューラルネットワークにも適用可能である。例えば、多元数体系の一つでる四元数ニューラルネットワークでは、単一の四元数ニューロンを、q=a+bi+cj+dk、と表現することができる。ここで、上記の式におけるi、j、およびkは、虚数単位であってよい。この際、上述した複素数型ニューラルネットワークにおいて位相差を算出する関数f(z,z)=z と同様に、四元数ニューラルネットワークでは、2つの四元数ニューロンの積が算出可能である。このため、共役な四元数q=a−bi−cj−dkを用いて関数f(q,q)=q と求めることにより、四元数ニューラルネットワークにおいてニューロン間の位相差を考慮することが可能となる。
<3.第2の実施形態>
<<3.1.第2の実施形態の概要>>
続いて、本発明の第2の実施形態について説明する。本発明の第2の実施形態に係るニューラルネットワークは、入力される複素数データを畳み込むことで複数の特徴マップを出力し、当該特徴マップ間における要素ごとの位相差を算出することができる。すなわち、本実施形態に係るニューラルネットワークは、複素数型畳み込みニューラルネットワーク(複素数型CNN:Convolutional Neural Network)であることを特徴の一つとする。
上述したように、非特許文献1には、実数ニューロンで構成される畳み込みニューラルネットワークを拡張した複素数型畳み込みニューラルネットワークが開示されている。しかし、非特許文献1に記載の構成では、ニューロン間における位相差を考慮できないため、位相の相関関係に意味を有するデータに対し、推定精度が劣化することが予想される。
ここで、上記の位相の相関関係に意味を有するデータとしては、例えば、信号にフーリエ変換を適用することで得られる周波数スペクトルが挙げられる。周波数スペクトルは複素数で構成されるため、振幅と位相を抽出すること可能であるが、当該位相はフーリエ変換を適用する際の信号の切り出しタイミングや信号振幅の変化などの要因により0〜2πの範囲で変化するため、絶対的な値としてパターン認識などの特徴量に用いることが困難である。
このため、周波数スペクトルを特徴量として用いるためには、例えば、隣接する近傍周波数ビン間の位相差に変換するなどの処理が必要となる。このように得られた位相差は相対的な値であるため、上述のような位相変化に対して頑健な特徴量となり得る。
図6は、本実施形態に係るニューラルネットワークに入力される複素数データについて説明するための図である。図6の左側には、レーダがオブジェクトO1により反射された際に得られる位相値P1〜P6のイメージが示されている。この際、位相値P1〜P6は、半波長の単位で折り返されるため、図中に示す位相のイメージとは異なり、絶対的な値に意味を有しない。このため、上記のような位相値を非特許文献1に記載されるような構成でそのまま処理しても推定精度が劣化することが予想される。
一方、位相同士の相対的な関係、すなわち位相差には、オブジェクトO1の物体形状による差異が現れることが予想される。例えば、図6には、レーダの受信信号から得られる複素数データCVD1が示されている。ここで、複素数データCVD1は、例えば、受信信号の強度を、距離および角度による二次元空間で表したデータであってもよい。この際、複素数データCVD1の各セルには、それぞれ位相θ〜θが格納され得る。一方、この際、位相差を抽出するための位相の組み合わせは膨大となるため、手動ですべての組み合わせを作成するのには限界がある。
このため、本実施形態に係るニューラルネットワークでは、互いに構造の異なる一対の畳み込みフィルタを用いることで、位相の組み合わせパターンを自動的に獲得することを可能とする。
以下、上記の特徴を有する本実施形態に係るニューラルネットワークの構成について詳細に説明する。なお、以下の説明においては、第1の実施形態との差異について中心に述べ、第1の実施形態と共通する構成については詳細な説明を省略する。
<<3.2.ネットワーク構成例>>
(一般的な複素数型畳み込みニューラルネットワーク)
まず、本実施形態に係るニューラルネットワークの優位性を明確とするため、一般的な複素数型畳み込みニューラルネットワークについて説明する。一般的な複素数型畳み込みニューラルネットワークでは、実数型畳み込みニューラルネットワークと同様に、畳み込み処理とプーリング処理とが繰り返し適用され、最終的に複素数型ニューラルネットワークに接続される。
ここで、上記の畳み込み処理について説明する。例えば、第l−1層でI×J(i=0,1,…,I;j=0,1,…,J)の大きさを有する複素数の入力特徴マップhと、P×Q(p=0,1,…,P;q=0,1,…,Q)の大きさを有する複素数の重みwと、複素数のバイアスbを用いると、出力される特徴マップuは、下記の数式(10)により表現できる。なお、以降の説明においては、重みwとバイアスbを含めて、畳み込みフィルタ、と称する。
Figure 0006801529
より具体的には、(I,J,P,Q)=(5,5,3,3)のとき、図7における入力特徴マップの破線枠内のニューロンと重みの積和結果にバイアスbを足し込んだものが出力特徴マップuの要素となり得る。図7は、一般的な複素数型畳み込みニューラルネットワークに係る畳み込み処理について説明するための図である。この際、一般的な複素数型畳み込みニューラルネットワークでは、図7に示す破線枠をスライドさせてニューロンの組み合わせを変更することで出力特徴マップuの各要素を計算することが可能である。また、得られた出力マップuに対し、任意の活性化関数が適用されてもよい。
ここで、一般に、畳み込み処理では、複数の入力特徴マップに対し複数の畳み込みフィルタが適用される。このため、例えば、入力特徴マップhおよび畳み込みフィルタの数をそれぞれK個およびM個とすると、上述した数式(10)は、下記の数式(11)に置換することが可能である。
Figure 0006801529
この際、出力特徴マップuの数と畳み込みフィルタの数は等しくなる。図8は、一般的な複素数型畳み込みニューラルネットワークにおける出力特徴マップと畳み込みフィルタとの関係について説明するための図である。図8には、3個の入力特徴マップm1〜m3と、2個の畳み込みフィルタf1およびf2と、2個の出力特徴マップu1およびu2が示されている。この際、出力特徴マップu1は、u1=f1*m1+f1*m2+f1*m3と表すことができる。また、出力特徴マップu2は、u2=f2*m1+f2*m2+f2*m3と表すことができる。ただし、ここで上記の*は、畳み込み処理を意味する。
このように、一般的な複素数型畳み込みニューラルネットワークでは、畳み込み処理の際、畳み込みフィルタ内での複素数の積和演算が行われる。当該演算の結果、得られる出力特徴マップuは、実数型畳み込みニューラルネットワークの場合と同様、入力特徴マップと畳み込みフィルタとの類似度となる。この際、上記の類似度は、比較可能な尺度である必要があるため、出力特徴マップの振幅が実質的な類似度の指標となり得る。
また、複素数型畳み込みニューラルネットワークを用いた学習において、所定要素の類似度を大きくするように複素数の重みを修正する場合、重みの振幅は入力特徴マップの振幅と共起するように修正され、重みの位相は入力特徴マップの逆相に定数を足し込んだものとなるように修正される。ただし、上記の定数は1回の畳み込み演算に関して共通であってよい。また、重みの位相が上記のように修正される理由は、畳み込みに係る積和演算の和の操作において、すべての位相が同一(同位相)であるときに最も振幅、すなわち類似度が大きくなるためである。
次に、一般的な複素数型畳み込みニューラルネットワークにおけるプーリング処理について説明する。一般的な複素数型畳み込みニューラルネットワークにおいて用いられるプーリング処理としては、例えば、下記の数式(12)により定義される最大振幅プーリングが挙げられる。プーリング処理では、畳み込み処理の出力である出力特徴マップuを入力として、次層の畳み込み処理に対する入力となる入力特徴マップhを生成する。ただし、Pi,jは、プーリング処理を適用する(i,j)を中心としたU×H領域に係るニューロンの集合である。
Figure 0006801529
最大振幅プーリング処理では、複素数の振幅の最大値に対応する特徴マップの要素のみを抽出することで、対象とする特徴量の位置がマップ内において変化する場合であっても当該位置の変化を無視することができ、ネットワークが特徴量の位置に対する不変性を獲得することが可能となる。
(本実施形態に係るニューラルネットワーク)
次に、本実施形態に係るニューラルネットワークの構成について詳細に説明する。上述したとおり、本実施形態に係るニューラルネットワークは、相対的な位相に意味を有するデータへの対応を可能とするものである。このため、本実施形態に係るニューラルネットワークは、上述した一般的な複素数型畳み込みニューラルネットワークが備える構成に加え、入力特徴マップ間の要素ごとの位相差を算出する機能を有してよい。
図9は、本実施形態に係るニューラルネットワークのネットワーク構成例を示す図である。図9を参照すると、本実施形態に係るニューラルネットワークは、第1の複素数型畳み込みニューラルネットワーク層CVCNN1、位相差演算層CD2、第2の複素数型畳み込みニューラルネットワーク層CVCNN2、プーリング層PL、変換層TL1、および第1の実数型ニューラルネットワーク層NVNN1を備える。
まず、本実施形態に係る第1の複素数型畳み込みニューラルネットワーク層CVCNN1による畳み込み処理について説明する。本実施形態に係る第1の複素数型畳み込みニューラルネットワーク層CVCNN1は、入力される複数の入力特徴マップに対し、互いに構造の異なる一対の畳み込みフィルタを用いた畳み込み処理を行うことができる。
図10は、本実施形態に係るニューラルネットワークによる畳み込み処理における入力特徴マップと畳み込みフィルタの関係について説明するための図である。本実施形態に係る第1の複素数型畳み込みニューラルネットワーク層CVCNN1は、例えば、図10に示すように、入力される3つの入力特徴マップm1〜m3に対し、互いに構造の異なる一対の畳み込みフィルタg1およびg2を用いて畳み込み処理を実行し、出力特徴マップu1およびu2を得ることができる。
この際、出力特徴マップu1は、u1=g1*m1+g1*m2*g1*m3、により表される。また、出力特徴マップu2は、u2=g2*m1+g2*m2*g2*m3、により表される。
より具体的には、本実施形態に係る畳み込み処理では、下記の数式(13)を適用することで、2つの出力特徴マップu1およびu2を求めることができる。ここで、下記の数式(13)におけるP[・]は、一対の畳み込みフィルタ(m=0,1)を示す。
Figure 0006801529
ただし、この際、畳み込みフィルタに係る重みには、一般的な複素数型畳み込みニューラルネットワークとは異なり、実数型の重みパラメータが用いられてよい。重みパラメータに実数を用いることで、入力特徴マップの振幅のみに反応する畳み込みフィルタを学習することができ、さらに畳み込んだ領域についての平均的な位相を有する出力特徴マップを生成することが可能となる。また、本実施形態に係る畳み込み処理には、バイアス項が含まれなくてよい。
次に、本実施形態に係る位相差演算層CD2は、得られた出力特徴マップu1およびu2の要素ごとに位相差を算出する関数を適用し、図10に示すように、1つの位相差マップv1に統合する。すなわち、本実施形態に係る位相差演算層CD2も、第1の実施形態に係る位相差演算層CD1と同様に、複素数データに係る複数の集合間における要素ごとの位相差を出力することができる。この際、本実施形態に係る位相差演算層CD2は、例えば、上述した数式(3)や数式(4)を適用することで、位相差マップv1への統合を実現することが可能である。
例えば、位相差演算層CD2は、数式(3)を下記の数式(14)のように適用することで統合した位相差マップv1を得ることができる。ここで、統合に用いられる出力特徴マップuは、偶数であってよい。例えば、M個の出力特徴マップuを使用する際、下記の数式(13)を適用することにより、M/2個の位相差マップvを得ることができる。ただし、上線は複素共役を示す。
Figure 0006801529
なお、この際、得られる位相差マップvは、上述したように、互いに構造の異なる一対の畳み込みフィルタを用いて抽出された2つの出力特徴マップu1およびu2の要素ごとの位相差を含む。
図11は、本実施形態に係る互いに構造の異なる一対の畳み込みフィルタについて説明するための図である。図11には、構造の異なる一対の畳み込みフィルタg1およびg2の例がパターン1〜3により示されている。上述したように、本実施形態に係る一対の畳み込みフィルタg1およびg2は、実数の重みパラメータを有してよい。重みパラメータに複素数を用いる場合、得られる出力特徴マップu1およびu2の位相には、重みの初期値などにより変動する定数項が現れるが、上記のような不定の定数項は、位相差を算出する関数を適用する場合の誤差要因となり得る。このため、本実施形態では、実数の重みパラメータを用いることで、上記の誤差要因を排除することが可能である。
なお、図11においては、説明を容易とするため、一対の畳み込みフィルタg1およびg2が3×3のサイズであり、また、0または1の重みパラメータを有する場合の例を示しているが、本実施形態に係る重みパラメータは、係る例に限定されない。
本実施形態に係る構造の異なる一対の畳み込みフィルタg1およびg2は、例えば、図11のパターン1に示すように、中心の平均位相と周囲の平均位相とをそれぞれ抽出するものであってもよい。また、対の畳み込みフィルタg1およびg2は、例えば、パターン2に示すように、左列の平均位相と中央列の平均位相とをそれぞれ抽出するものであってもよい。また、対の畳み込みフィルタg1およびg2は、例えば、パターン3に示すように、左上方と右下方とで対象となるように平均位相をそれぞれ抽出するものであってもよい。
このように、本実施形態に係る一対の畳み込みフィルタg1およびg2によれば、例えば、入力特徴マップ上で所定の位相が周囲の位相に対して異なる、などの特徴を有するデータ、すなわち、位相の相関関係に意味を有するデータに対して有効な特徴を抽出することが可能となる。また、本実施形態に係るニューラルネットワークによれば、モデルの訓練によってより有効な一対の畳み込みフィルタのパターンを自動的に決定することが可能となる。
本実施形態では、上記のように取得した位相差マップvを、第2の複素数型畳み込みニューラルネットワーク層CVCNN2の入力特徴マップとして用いることで、位相の相関関係に意味を有するデータに有効なネットワークを構成することが可能である。
また、本実施形態に係るニューラルネットワークは、第1の実施形態と同様に、変換層TL1および第1の実数型ニューラルネットワーク層NVNN1をさらに備えてもよい。上述したように、本実施形態に係る変換層TL1によれば、1つの複素数データを2つの実数データに変換することができ、実数としての位相差を得ることが可能となる。なお、本実施形態に係る第1の実数型ニューラルネットワーク層NVNN1は、例えば、全結合層やソフトマックス関数などから構成されてもよい。
<4.ハードウェア構成例>
次に、本発明の一実施形態に係る情報処理装置10のハードウェア構成例について説明する。図12は、本発明の一実施形態に係る情報処理装置10のハードウェア構成例を示すブロック図である。図12を参照すると、情報処理装置10は、例えば、CPU871と、ROM872と、RAM873と、ホストバス874と、ブリッジ875と、外部バス876と、インターフェース877と、入力部878と、出力部879と、記憶部880と、ドライブ881と、接続ポート882と、通信部883と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
(CPU871)
CPU871は、例えば、演算処理装置又は制御装置として機能し、ROM872、RAM873、記憶部880、又はリムーバブル記録媒体901に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
(ROM872、RAM873)
ROM872は、CPU871に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM873には、例えば、CPU871に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
(ホストバス874、ブリッジ875、外部バス876、インターフェース877)
CPU871、ROM872、RAM873は、例えば、高速なデータ伝送が可能なホストバス874を介して相互に接続される。一方、ホストバス874は、例えば、ブリッジ875を介して比較的データ伝送速度が低速な外部バス876に接続される。また、外部バス876は、インターフェース877を介して種々の構成要素と接続される。
(入力部878)
入力部878には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、マイク、及びレバー等が用いられる。さらに、入力部878としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ(以下、リモコン)が用いられることもある。
(出力部879)
出力部879には、例えば、CRT(Cathode Ray Tube)、LCD、又は有機EL等のディスプレイ装置(表示装置)、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
(記憶部880)
記憶部880は、各種のデータを格納するための装置である。記憶部880としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
(ドライブ881)
ドライブ881は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体901に記録された情報を読み出し、又はリムーバブル記録媒体901に情報を書き込む装置である。
(リムーバブル記録媒体901)
リムーバブル記録媒体901は、例えば、DVDメディア、Blu−ray(登録商標)メディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体901は、例えば、非接触型ICチップを搭載したICカード、又は電子機器等であってもよい。
(接続ポート882)
接続ポート882は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS−232Cポート、又は光オーディオ端子等のような外部接続機器902を接続するためのポートである。
(外部接続機器902)
外部接続機器902は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。
(通信部883)
通信部883は、ネットワーク903に接続するための通信デバイスであり、例えば、有線又は無線LAN、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は各種通信用のモデム等である。また、内線電話網や携帯電話事業者網等の電話網に接続してもよい。
<5.まとめ>
以上説明したように、本発明の一実施形態に係る情報処理装置10は、複素数型ニューラルネットワークを用いた状態推定を行う機能を有する。上記の複素数型ニューラルネットワークは、複素数データに係る複数の集合間における要素ごとの位相差を出力する位相差演算層を備えること、を特徴の一つとする。係る構成によれば、相対的な位相に意味を有するデータに対する推定精度をより向上させることが可能となる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
10 情報処理装置
110 入力部
120 推定部
130 記憶部
140 出力部
CVNN1 第1の複素数型ニューラルネットワーク層
CD1、CD2 位相差演算層
CVNN2 第2の複素数型ニューラルネットワーク層
TL1 変換層
NVNN1 第1の実数型ニューラルネットワーク層
CVCNN1 第1の複素数型畳み込みニューラルネットワーク層
CVCNN2 第2の複素数型畳み込みニューラルネットワーク層
PL1 プーリング層

Claims (9)

  1. ニューラルネットワークを用いて状態推定を行う推定部、
    を備え、
    前記ニューラルネットワークは、
    複素数データを入力とする第1の複素数型ニューラルネットワーク層と、
    前記複素数データに係る複数の集合間における要素ごとの位相差を出力する位相差演算層と、
    前記位相差に基づいて複素数データを出力する第2の複素数型ニューラルネットワーク層と、
    を備える、
    情報処理装置。
  2. 前記位相差演算層は、前記集合間において対応する要素の共役積に基づいて前記位相差を出力する、
    請求項1に記載の情報処理装置。
  3. 前記位相差演算層は、同一層に属する複素数型ニューロンを少なくとも2以上の集合に分割し、当該集合間における要素ごとの位相差を出力する、
    請求項1または2に記載の情報処理装置。
  4. 前記第1の複素数型ニューラルネットワーク層は、複素数型畳み込みニューラルネットワーク層である、
    請求項1または2に記載の情報処理装置。
  5. 前記複素数型畳み込みニューラルネットワーク層は、互いに構造の異なる一対の畳み込みフィルタを用いて畳み込み処理を実行する、
    請求項4に記載の情報処理装置。
  6. 前記畳み込みフィルタは、実数型の重みを有する、
    請求項5に記載の情報処理装置。
  7. 前記ニューラルネットワークは、前記第2の複素数型ニューラルネットワーク層により出力される複素数型データを実数型データに変換する変換層、
    をさらに備える、
    請求項1〜6のいずれかに記載の情報処理装置。
  8. ニューラルネットワークを用いて状態推定を行う情報処理方法であって、
    複素数データを入力することと、
    複素数データに係る複数の集合間における要素ごとの位相差を出力することと、
    前記位相差に基づいて複素数データを出力することと、
    を含む、
    情報処理方法。
  9. コンピュータを、
    ニューラルネットワークを用いて状態推定を行う推定部、
    を備え、
    前記ニューラルネットワークは、
    複素数データを入力とする第1の複素数型ニューラルネットワークと、
    前記複素数データに係る複数の集合間における要素ごとの位相差を出力する位相差演算層と、
    前記位相差に基づいて複素数データを出力する第2の複素数型ニューラルネットワーク層と、
    を備える、
    情報処理装置、
    として機能させるためのプログラム。
JP2017044846A 2017-03-09 2017-03-09 情報処理装置、情報処理方法、およびプログラム Active JP6801529B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017044846A JP6801529B2 (ja) 2017-03-09 2017-03-09 情報処理装置、情報処理方法、およびプログラム
US15/819,336 US11366999B2 (en) 2017-03-09 2017-11-21 Information processing device and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017044846A JP6801529B2 (ja) 2017-03-09 2017-03-09 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2018147428A JP2018147428A (ja) 2018-09-20
JP6801529B2 true JP6801529B2 (ja) 2020-12-16

Family

ID=63444880

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017044846A Active JP6801529B2 (ja) 2017-03-09 2017-03-09 情報処理装置、情報処理方法、およびプログラム

Country Status (2)

Country Link
US (1) US11366999B2 (ja)
JP (1) JP6801529B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109451310B (zh) * 2018-11-21 2020-10-09 北京航空航天大学 一种基于显著性加权的率失真优化方法及装置
CN109309834B (zh) * 2018-11-21 2021-01-05 北京航空航天大学 基于卷积神经网络和hevc压缩域显著信息的视频压缩方法
CN109451316B (zh) * 2018-11-21 2020-11-24 北京航空航天大学 一种基于cu显著性的qp选择算法
DE102019106529A1 (de) * 2019-03-14 2020-09-17 Infineon Technologies Ag Fmcw radar mit störsignalunterdrückung mittels künstlichem neuronalen netz
US11907829B2 (en) 2019-03-14 2024-02-20 Infineon Technologies Ag FMCW radar with interference signal suppression using artificial neural network
CN110554352A (zh) * 2019-09-11 2019-12-10 哈尔滨工业大学 基于vgg16神经网络的航天测控***干扰源波达方向估计方法
CN110991620A (zh) * 2019-12-11 2020-04-10 上海交通大学 一种具有隐私保护作用的新型神经网络模块
CN111901258A (zh) * 2020-05-08 2020-11-06 中兴通讯股份有限公司 上下行信道互易的实现方法、通信节点和存储介质
WO2022004914A1 (ko) * 2020-07-01 2022-01-06 엘지전자 주식회사 무선 통신 시스템에서 단말 및 기지국의 신호 송수신 방법 및 장치
US11863221B1 (en) * 2020-07-14 2024-01-02 Hrl Laboratories, Llc Low size, weight and power (swap) efficient hardware implementation of a wide instantaneous bandwidth neuromorphic adaptive core (NeurACore)
US11960290B2 (en) * 2020-07-28 2024-04-16 Uatc, Llc Systems and methods for end-to-end trajectory prediction using radar, LIDAR, and maps
CN112422462B (zh) * 2020-11-20 2021-08-31 苏州大学 复值信道均衡器的设计方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1387180A1 (en) * 2000-12-12 2004-02-04 Matsushita Electric Industrial Co., Ltd. Radio-wave arrival-direction estimating apparatus and directional variable transceiver
JP6548376B2 (ja) 2014-10-06 2019-07-24 日本電産株式会社 レーダシステム、レーダ信号処理装置、車両走行制御装置および方法、ならびにコンピュータプログラム
CN104811276B (zh) * 2015-05-04 2018-04-03 东南大学 一种超奈奎斯特速率通信的dl‑cnn解调器

Also Published As

Publication number Publication date
US11366999B2 (en) 2022-06-21
JP2018147428A (ja) 2018-09-20
US20180260702A1 (en) 2018-09-13

Similar Documents

Publication Publication Date Title
JP6801529B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6690489B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN104794733B (zh) 对象跟踪方法和装置
US9111375B2 (en) Evaluation of three-dimensional scenes using two-dimensional representations
US20200097850A1 (en) Machine learning apparatus and method based on multi-feature extraction and transfer learning, and leak detection apparatus using the same
Karami et al. Persian sign language (PSL) recognition using wavelet transform and neural networks
US9344690B2 (en) Image demosaicing
CN103139568B (zh) 基于稀疏度和保真度约束的视频稳像方法
Liu et al. Dynast: Dynamic sparse transformer for exemplar-guided image generation
CN110516803A (zh) 将传统计算机视觉算法实现为神经网络
KR20180130869A (ko) 손 제스처를 검출하는 컨볼루션 신경망, 그리고 손 제스처에 의한 기기 제어시스템
CN107958446A (zh) 信息处理设备和信息处理方法
JP7271244B2 (ja) Cnn処理装置、cnn処理方法、およびプログラム
WO2021010342A1 (ja) 行動認識装置、行動認識方法、及び行動認識プログラム
CN109583367A (zh) 图像文本行检测方法及装置、存储介质和电子设备
CN110634103A (zh) 基于生成对抗网络的图像去马赛克方法
JP6567381B2 (ja) 演算装置、方法及びプログラム
CN115115724A (zh) 图像处理方法、装置、计算机设备及存储介质
JP6958652B2 (ja) 情報処理装置、および情報処理方法
CN105491371A (zh) 基于梯度幅值相似性的色调映射图像质量评价方法
CN108537165A (zh) 用于确定信息的方法和装置
KR20230111010A (ko) 관절 예측을 위한 학습 데이터 생성 방법 및 장치
CN109871835B (zh) 一种基于互斥正则化技术的人脸识别方法
Zhang et al. Stereo matching cost computation based on nonsubsampled contourlet transform
CN111880146A (zh) 声源定向方法和装置及存储介质

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190327

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190328

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200917

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201109

R150 Certificate of patent or registration of utility model

Ref document number: 6801529

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150