JP2020003489A - モーション認識モデルを用いた自体運動推定装置及び方法並びにモーション認識モデルトレーニング装置及び方法 - Google Patents

モーション認識モデルを用いた自体運動推定装置及び方法並びにモーション認識モデルトレーニング装置及び方法 Download PDF

Info

Publication number
JP2020003489A
JP2020003489A JP2019114795A JP2019114795A JP2020003489A JP 2020003489 A JP2020003489 A JP 2020003489A JP 2019114795 A JP2019114795 A JP 2019114795A JP 2019114795 A JP2019114795 A JP 2019114795A JP 2020003489 A JP2020003489 A JP 2020003489A
Authority
JP
Japan
Prior art keywords
data
model
input data
motion
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019114795A
Other languages
English (en)
Other versions
JP7339029B2 (ja
Inventor
ヒョンウン チョウ
Hyunwoong Cho
ヒョンウン チョウ
ソンド チェー
Sungdo Choi
ソンド チェー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2020003489A publication Critical patent/JP2020003489A/ja
Application granted granted Critical
Publication of JP7339029B2 publication Critical patent/JP7339029B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/60—Velocity or trajectory determination systems; Sense-of-movement determination systems wherein the transmitter and receiver are mounted on the moving object, e.g. for determining ground speed, drift angle, ground track
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/588—Velocity or trajectory determination systems; Sense-of-movement determination systems deriving the velocity value from the range measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/589—Velocity or trajectory determination systems; Sense-of-movement determination systems measuring the velocity vector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/62—Sense-of-movement determination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 自体運動推定装置及び方法並びにそのトレーニング装置及び方法を提供すること。【解決手段】 自体運動推定装置は、複数の時間フレームのそれぞれに対する１つ以上のレーダーセンサによって収集されるレーダー検出データに基づいて入力データを生成し、モーション認識モデルを用いて入力データに基づいて自体運動情報を推定する。【選択図】 図２

Description

以下、モーション認識モデルを用いた自体運動推定技術が提供される。
近年、入力パターンを特定グループに分類する問題を解決するために、人が有する効率的なパターン認識方法を実際のコンピュータに適用させようとする研究が盛んに行われている。このような研究の１つとして、人の生物学的な神経細胞の特性を数学的な表現によりモデリングした人工ニューラルネットワーク（ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）に対する研究が行われている。入力パターンを特定のグループに分類する問題を解決するために、人工ニューラルネットワークは、人が有している学習という能力を模倣したアルゴリズムを用いる。このアルゴリズムによって人工ニューラルネットワークは、入力パターンと出力パターンとの間のマッピングを生成し、このようなマッピングを生成する能力は、人工ニューラルネットワークの学習能力と表現される。また、人工ニューラルネットワークは、学習された結果に基づいて学習に利用されていない入力パターンに対して比較的に正しい出力を生成できる一般化能力を有する。
一実施形態に係る自体運動推定装置の目的は、時間フレームごとに測定された自分の位置情報を正確に推定することにある。
一実施形態に係る自体運動推定装置の目的は、複数のレーダーセンサを含む場合、それぞれのレーダーセンサをローカルライジングすることにある。
一実施形態に係る自体運動推定装置の目的は、時間が経過しても正確度を保持することにある。
一実施形態に係るプロセッサで実現される自体運動推定方法は、複数の時間フレームのそれぞれに対して、１つ以上のレーダーセンサによって収集されたレーダー検出データから入力データを生成するステップと、モーション認識モデルを用いて、前記入力データに基づいて自体運動情報を推定するステップとを含む。
前記自体運動情報を推定するステップは、前記モーション認識モデルの第１モデルを用いて、前記入力データから特徴データを抽出するステップと、前記モーション認識モデルの第２モデルに基づいて、前記特徴データに基づいて前記自体運動情報を決定するステップとを含み得る。
前記自体運動情報を推定するステップは、前記自体運動情報として装置の位置及び姿勢のうち少なくとも１つを決定するステップを含み得る。
前記自体運動情報を推定するステップは、少なくとも二つの時間フレームに対応するレーダー検出データを前記モーション認識モデルのうち前記少なくとも二つの時間フレームに対応するレイヤに、前記入力データとして入力するステップを含み得る。
前記自体運動情報を推定するステップは、第１モデルを用いて、前記時間フレームのうち以前フレーム及び現在フレームの入力データから現在特徴データを抽出するステップと、第２モデルを用いて前記現在特徴データに基づいて現在の自体運動情報を決定するステップとを含み得る。
前記自体運動情報を推定するステップは、前記第１モデルを用いて、前記現在フレーム及び前記時間フレームの次のフレームの入力データから次の特徴データを抽出するステップと、前記第２モデルを用いて、前記次の特徴データに基づいて次の自体運動情報を決定するステップとを含み得る。
前記次の特徴データを抽出するステップは、前記次の特徴データを抽出する動作から前記以前フレームの前記入力データを排除するステップを含み得る。
前記第１モデルは、畳み込みニューラルネットワーク（ＣＮＮ）を含み、前記第２モデルは、循環ニューラルネットワーク（ＲＮＮ）を含み得る。
前記モーション認識モデルは、複数の時間フレームのそれぞれに対応するレイヤを含む第１モデルと、前記第１モデルの複数のレイヤと接続される第２モデルとを含み、前記自体運動情報を推定するステップは、前記第１モデルで前記複数のレイヤのうち前記複数の時間フレームの時間フレームに対応するレイヤを用いて、前記時間フレームの入力データから特徴データを抽出するステップと、前記第２モデルを用いて、前記抽出された特徴データに基づいて前記時間フレームに対応する自体運動情報を算出するステップとを含み得る。
前記自体運動情報を推定するステップは、第１モデルを用いて、現在フレームに対応する入力データから現在特徴データを抽出するステップと、以前フレームに対応する以前特徴データをメモリからロードするステップと、第２モデルを用いて、前記以前特徴データ及び前記現在特徴データに基づいて前記自体運動情報を決定するステップとを含み得る。
自体運動推定方法は、前記モーション認識モデルに含まれた第１モデルを用いて、現在フレームに対して決定された特徴データをメモリに格納するステップをさらに含み得る。
前記入力データを生成するステップは、装置の外郭に沿って配置された１つ以上のレーダーセンサがレーダー信号を検出するステップと、前記検出されたレーダー信号を前処理することで前記レーダー検出データを生成するステップと、前記前処理されたレーダー信号に基づいて前記入力データを生成するステップとを含み得る。
前記入力データを生成するステップは、時間フレームのうち互いに対して予め決定された時間間隔だけ差のある時間フレームの前記レーダー検出データを二以上選択するステップと、前記選択されたレーダー検出データに基づいて前記入力データを生成するステップとを含み得る。
前記入力データを生成するステップは、次のフレームに対応するレーダー検出データの受信に応答して、前記入力データにスタックされた前記複数の時間フレームのうち最初のフレームに対応するレーダー検出データを排除するステップを含み得る。
前記入力データを生成するステップは、１つ以上のレーダー信号から量子化された速度ごとに前記レーダーセンサにより検出された地点の距離及び角度を指示するレーダー検出データを生成するステップを含み得る。
前記入力データを生成するステップは、前記レーダー検出データから量子化された高度角ごとに前記一つ以上のレーダーセンサにより検出された地点の距離及び水平角を指示する入力データを生成するステップを含み得る。
前記入力データを生成するステップは、前記レーダー検出データを前記一つ以上のレーダーセンサにより検出された静的な地点に関する静的データ、及び前記一つ以上のレーダーセンサにより検出された動的な地点に関する動的データとに区別するステップと、前記静的データに基づいて量子化された高度角ごとに、前記静的な地点の距離及び水平角を指示する静的入力データを生成するステップと、前記動的データに基づいて量子化された高度角ごとに、前記動的な地点の距離及び水平角を指示する動的入力データを生成するステップとを含み得る。
前記モーション認識モデルは、畳み込みニューラルネットワーク（ＣＮＮ）及び循環ニューラルネットワークを含み得る。
前記循環ニューラルネットワークは、双方向循環ニューラルネットワークであり得る。
前記自体運動情報を推定するステップは、前記入力データに複数の時間フレームに対応する複数のレーダー検出データがスタックされた場合に応答して、前記複数の時間フレームのそれぞれに対して自体運動情報を決定するステップを含み得る。
自体運動推定方法は、前記推定された自体運動情報に基づいて、装置の周辺に存在するオブジェクトを検出するステップを含み得る。
自体運動推定方法は、基準レーダー検出データに基づいて、複数のトレーニング時間フレームに対する基準入力データ及び前記基準入力データに対応する基準出力データを生成するステップと、前記基準入力データに基づいて、前記基準出力データを出力するようにモデルのパラメータをトレーニングさせることで前記モーション認識モデルを生成するステップとを含み得る。
一実施形態に係るプロセッサで実現される自体運動推定方法は、基準レーダー検出データに基づいて、複数の時間フレームに対する基準入力データ及び前記基準入力データに対応する基準出力データを生成するステップと、前記基準入力データに基づいて、前記基準出力データを出力するようにモデルのパラメータをトレーニングさせることでモーション認識モデルを生成するステップとを含む。
自体運動推定装置は、レーダー検出データを生成する１つ以上のレーダーセンサと、前記レーダー検出データの複数の時間フレームのそれぞれに対して前記レーダー検出データに基づいて入力データを生成し、モーション認識モデルを用いて前記入力データに基づいて自体運動情報を推定する１つ以上のプロセッサとを含む。
一実施形態に係る自体運動推定装置によると、時間フレームごとに測定された自分の正確な位置情報に基づいて、高解像度の映像を広い範囲に対して取得することができる。
一実施形態に係る自体運動推定装置によると、複数のレーダーセンサを含む場合、それぞれのレーダーセンサをローカルライジングし、その結果を融合することで、自体運動情報推定の正確度を高めることができる。
一実施形態に係る自体運動推定装置によると、ループ閉じ込み（ｌｏｏｐ ｃｌｏｓｉｎｇ）のような特別な動作なくても、時間が経過しても正確度を保持することができる。
また、自体運動推定装置によると、撮影される場面（ｓｃｅｎｅ）のうち、動いている物体があっても正確度を保持することができる。
一実施形態に係るモーション認識モデルに基づいてレーダー検出データから自体運動情報を推定する過程を説明する図である。 一実施形態に係るモーション認識モデルの構造を説明する図である。 一実施形態に係る自体運動推定方法を示すフローチャートである。 一実施形態に係る自体運動推定装置を示すブロック図である。 一実施形態に係る自体運動推定の過程を示す図である。 一実施形態に係るモーション認識モデルの例示的な構造を説明する図である。 一実施形態に係る入力データの生成を説明する図である。 一実施形態に係る入力データの生成を説明する図である。 一実施形態に係るレーダー検出データのスタックによって生成された入力データを説明する図である。 一実施形態に係るレーダー検出データのスタックによって生成された入力データを説明する図である。 一実施形態に係るモデルトレーニング方法を説明するフローチャートである。 一実施形態に係るモデルトレーニング方法を説明するフローチャートである。 一実施形態に係るモデルトレーニング装置を示すブロック図である。 一実施形態に係るモデルトレーニング過程を説明する図である。 一実施形態に係る複数のレーダーセンサを用いる自体運動推定装置の例示を説明する図である。
下記で説明する実施形態は様々な変更が加えられることができる。特許出願の範囲がこのような実施形態によって制限も限定もされることはない。各図面に提示された同じ参照符号は同じ部材を示す。
本明細書で開示されている特定の構造的又は機能的な説明は単に実施形態を説明するための目的として例示されたものであり、実施形態は様々な異なる形態で実施され、本明細書に説明された実施形態に限定されることはない。
本明細書で用いた用語は、単に特定の実施形態を説明するために用いられるものであって、本発明を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
異なる定義がされない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
また、添付図面を参照して説明することにおいて、図面符号に関係なく同じ構成要素は同じ参照符号を付与し、これに対する重複する説明は省略する。実施形態の説明において関連する公知技術に対する具体的な説明は省略する。
図１は、一実施形態に係るモーション認識モデルに基づいてレーダー検出データから自体運動情報を推定する過程を説明する図である。
一実施形態に係るモーション認識モデルは、レーダー検出データ１０１から自体運動情報１０９を出力するように設計されたモデルを示す。モーション認識モデルは機械学習構造を含むが、これに限定されることはない。自体運動推定装置は、モーション認識モデルを用いて複数の時間フレームに対するレーダー検出データ１０１がスタックされた入力データから、各時間フレームに対する自体運動情報１０９を一度に生成し得る。
レーダー検出データ１０１は、レーダーセンサによって検知されたデータであり得る。レーダーセンサは、例えば、レーダーセンサから放射された信号がターゲット地点から反射した信号を受信し、該当信号からレーダー検出データ１０１を生成する。レーダー検出データ１０１は、レーダーセンサからターゲット地点までの距離を含む。ただし、図１に示すように、レーダー検出データ１０１は、スタックされた形態でモーション認識モデルに入力されてもよい。
自体運動情報１０９は、装置自体の運動に関する情報として、例えば、装置自体の相対的な動き（ｒｅｌａｔｉｖｅ ｍｏｖｅｍｅｎｔ）、座標、及び姿勢（ｐｏｓｅ）を含む。図１において、自体運動情報１０９は、Ｎ個の時間フレームごとに（ｘｉ、ｙｉ）の座標を示す。Ｎは１以上の整数であってもよく、ｉは１以上Ｎ以下の整数であってもよい。時間フレームは、時間が区分される単位を示す。ただし、自体運動情報１０９はこれに限定されることなく、３次元座標（例えば、ｘ、ｙ、ｚ座標、及び距離（ｒａｎｇｅ）、アジマス（ａｚｉｍｕｔｈ）、高度（ｅｌｅｖａｔｉｏｎ）座標など）、２次元座標（例えば、ｘ、ｙ座標、距離、角度座標など）、東向（Ｅａｓｔｉｎｇ）、北向（Ｎｏｒｔｈｉｎｇ）、高さ（Ｈｅｉｇｈｔ）、ローリング（Ｒｏｌｌ）、ヨー（Ｙａｗ）、ピッチ（Ｐｉｔｃｈ）、速度（Ｖｅｌｏｃｉｔｙ）などのような様々な値を含む。
一実施形態によれば、モーション認識モデルは、ニューラルネットワーク１００を含む。ニューラルネットワーク１００に基づいて、自体運動認識を行う方法及びその方法を行う装置（以下、自体運動推定装置）が提案され、該当のニューラルネットワーク１００をトレーニングさせる方法及び装置（以下、モデルトレーニング装置）が提案される。
まず、一実施形態に係る自体運動認識を説明する前にニューラルネットワーク１００の概略的な構造について下記のように説明する。
一実施形態によれば、ニューラルネットワーク１００は、複数のノードから構成される複数のレイヤを含む。また、ニューラルネットワーク１００は、複数のレイヤのそれぞれに含まれた複数のノードを他のレイヤに含まれたノードに連結させる接続加重値を含む。モデルトレーニング装置は、ニューラルネットワーク１００をメモリに格納された内部データベースから取得したり、通信部を介して外部サーバから受信して取得し得る。
例えば、ニューラルネットワーク１００は、接続線（ｅｄｇｅ）に接続された複数の人工ノードを用いて所望する作業を行う認識モデルを示す。ニューラルネットワーク１００は、ハードウェア、又は、ソフトウェア及びハードウェアの組合せで実現される。ニューラルネットワーク１００は、人工ニューラルネットワークと称されてもよい。
ニューラルネットワーク１００は、レイヤごとに区分される複数のノードを含む。ノードは、接続加重値（ｃｏｎｎｅｃｔｉｏｎ ｗｅｉｇｈｔ）を有する接続線によって相互接続されてもよい。接続加重値は、接続線が有する特定の値であって、接続強度と称されてもよい。トレーニングにより、このような接続加重値は、トレーニングされたニューラルネットワークが最小閾値の正確度及び／又は正確度における最大閾値に達するまで繰り返し調整される。その後、接続加重値のトレーニングされた値は接続線の値に格納されてもよい。
ニューラルネットワーク１００は、複数のレイヤを含む。例えば、ニューラルネットワーク１００は、入力レイヤ１１０、隠しレイヤ１２０、出力レイヤ１３０を含む。入力レイヤ１１０は、トレーニング又は認識を行うための入力を受信して隠しレイヤ１２０に伝達し、出力レイヤ１３０は、隠しレイヤ１２０から受信した信号に基づいてニューラルネットワーク１００の出力を生成する。隠しレイヤ１２０は、入力レイヤ１１０と出力レイヤ１３０との間に位置し、入力レイヤ１１０によって伝えられたトレーニングデータのトレーニング入力を予測しやすい値に変化させ得る。
入力レイヤ１１０、隠しレイヤ１２０、及び出力レイヤ１３０は、複数のノードを含む。入力レイヤ１１０に含まれたノードは入力ノードと称され、隠しレイヤ１２０に含まれたノードは隠しノードと称され、出力レイヤ１３０に含まれたノードは出力ノードと称されてもよい。
入力レイヤ１１０に含まれた入力ノードと隠しレイヤ１２０に含まれた隠しノードは、接続加重値を有する接続線によって接続されてもよい。隠しレイヤ１２０に含まれた隠しノードと、出力レイヤ１３０に含まれた出力ノードは、接続加重値を有する接続線によって接続されてもよい。
図面に図示していないが、ニューラルネットワークは複数の隠しレイヤを含んでもよい。複数の隠しレイヤを含むニューラルネットワークは、深度ニューラルネットワーク（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）と称されてもよい。深度ニューラルネットワークを学習させることは深度学習に称されてもよい。隠しレイヤ１２０に第１隠しレイヤ、第２隠しレイヤ、及び第３隠しレイヤが含まれる場合を仮定すると、第１隠しレイヤに属する隠しノードの出力は、第２隠しレイヤに属する隠しノードに接続されてもよい。第２隠しレイヤに属する隠しノードの出力は、第３隠しレイヤに属する隠しノードに接続されてもよい。
例えば、モデルトレーニング装置及び自体運動推定装置は、各隠しレイヤに以前の隠しレイヤに含まれた以前の隠しノードの出力を接続加重値を有する接続線により入力し、以前の隠しノードの出力に接続加重値が適用された値及び活性化関数に基づいて隠しレイヤに含まれた隠しノードの出力を生成する。一例示によれば、次の隠しノードに出力を伝えるために、活性化関数の結果は現在の隠しノードの閾値を超えなければならない。この場合、ノードは、入力ベクトルによって特定の閾値活性化強度に達する前には次のノードに信号を伝えることなく、不活性化状態を保持する。
一実施形態に係るモデルトレーニング装置は、監督学習（ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）によってニューラルネットワーク１００をトレーニングさせる。モデルトレーニング装置は、ハードウェアモジュール、又は、ソフトウェアモジュール、及びハードウェアモジュールの組合せで実現する。監督学習は、トレーニングデータのトレーニング入力それに対応するトレーニング出力をともにニューラルネットワーク１００に入力し、トレーニングデータのトレーニング出力に対応する出力データが出力されるように接続線の接続加重値をアップデートする方式（例えば、逆伝播方式）である。図１は、ニューラルネットワークの構造をノード構造のように表現したが、実施形態はこのようなノード構造に限定されることはない。メモリストレージにニューラルネットワークを格納するために様々なデータ構造を用いてもよい。
トレーニングデータは、トレーニングに用いられるデータとして、トレーニング入力及び該当トレーニング入力に対応するトレーニング出力の対を含む。トレーニング入力は、例えば、予め収集されたサンプルレーダーデータであってもよい。トレーニング出力は、任意のトレーニング入力に対して与えられた出力されなければならない値として、例えば、サンプルレーダーデータに対して与えられた自体運動情報１０９である。
一実施形態によれば、モデルトレーニング装置は、ニューラルネットワークに逆伝播される損失及びニューラルネットワークに含まれたノードの出力値に基づいた勾配降下方によって、ノードのパラメータを決定する。例えば、モデルトレーニング装置は、誤差逆伝搬学習（ｂａｃｋ−ｐｒｏｐａｇａｔｉｏｎ ｌｅａｒｎｉｎｇ）によってノード間の接続加重値をアップデートする。誤差逆伝搬学習は、与えられたトレーニングデータに対してフォワード算出により損失を推定した後、出力レイヤ１３０から開始して隠しレイヤ１２０及び入力レイヤ１１０に向かう逆方向に推定した損失を伝播しながら、損失を減らす方向に接続加重値をアップデートする方法である。ニューラルネットワーク１００の処理は、入力レイヤ１１０、隠しレイヤ１２０、及び出力レイヤ１３０の方向に進むが、誤差逆伝搬トレーニングで接続加重値のアップデート方向は、出力レイヤ１３０、隠しレイヤ１２０、及び入力レイヤ１１０の方向に進む。１つ又はそれ以上のプロセッサは、ニューラルネットワークを所望する方向に処理するために、レイヤ又は一連の算出データを格納するバッファメモリを用いてもよい。
モデルトレーニング装置は、現在に設定された接続加重値がどれ程最適に近いかを測定するための目的関数を定義し、目的関数の結果に基づいて接続加重値を続けて変更し、トレーニングを繰り返し行ってもよい。例えば、目的関数は、ニューラルネットワーク１００がトレーニングデータのトレーニング入力に基づいて実際の出力した出力値と、出力されることを所望する期待値（例えば、トレーニング出力）との間の損失を算出するための損失関数であり得る。モデルトレーニング装置は、損失関数の値を減らす方向に接続加重値をアップデートする。
以下は、一実施形態に係るモーション認識モデルの構成を詳細に説明する。
図２は、一実施形態に係るモーション認識モデルの構造を説明する図である。
モーション認識モデル２２０は、第１モデル２２１及び第２モデル２２２を含む。
第１モデル２２１は、任意のデータから特徴データを抽出するモデルを示す。例えば、自体運動推定装置は、第１モデル２２１に基づいて入力データ２１０から特徴データを抽出する。第１モデル２２１は、畳み込みニューラルネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を含む。第１モデル２２１は、複数の時間フレームのそれぞれに対応するレイヤ（Ｃｏｎｖ）を含む。例えば、図２に示すように、第１モデル２２１は、入力データ２１０のうち各時間フレームに対応する畳み込みレイヤを含む。
第２モデル２２２は、第１モデル２２１によって生成された特徴データを用いて自体運動情報２３０を生成するモデルを示す。例えば、自体運動推定装置は、第２モデル２２２を用いて、第１モデル２２１により生成された特徴データを用いて自体運動情報２３０を算出する。第２モデル２２２は、循環ニューラルネットワークを含み得る。例えば、第２モデル２２２は、循環ニューラルネットワークとして双方向循環ニューラルネットワーク（ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を含んでもよい。図２に示すように、第２モデル２２２は、第１モデル２２１の各時間フレームに対応するレイヤに連結されるレイヤを含む。
入力データ２１０は、複数の時間フレームのそれぞれに対応するレーダー検出データ２０１がスタックされた構造のデータであり得る。例えば、時間フレームのそれぞれがスタックされ、第１モデル２２１の同じ畳み込みレイヤに入力されたり、複数の時間フレームがスタックされてもよい。ただし、該当のスタックから少なくとも１つの時間フレームが排除され、したがって、スタックされた時間フレームと共に第１モデル２２１の同じ畳み込みレイヤ２２１に入力されるものから排除され得る。例えば、図２において、入力データ２１０は、ｔ−１フレーム（例えば、以前フレーム）、ｔフレーム（例えば、現在フレーム）、ｔ＋１フレーム（例えば、次のフレーム）のレーダー検出データ２０１がスタックされたデータであり得る。ここで、ｔは１以上の整数であってもよい。
レーダー検出データ２０１は、図２において、ステアリングの角度ごとにターゲット地点までの距離を指示するスキャンイメージとして示されているが、これに限定されることはない。レーダー検出データ２０１は、時間フレームごとにレーダーセンサにより検出される全てのデータを含み得る。
一実施形態によれば、自体運動推定装置は、第１モデル２２１で複数の時間フレームのそれぞれに対応するレイヤに基づいて、該当時間フレームに対応する入力データ２１０から該当時間フレームに対応する特徴データを第１モデル２２１を用いて抽出する。自体運動推定装置は、第２モデル２２２に基づいて、抽出された特徴データから該当時間フレームに対応する自体運動情報２３０を第２モデル２２２を用いて算出する。さらに、自体運動推定装置は、モーション認識モデル２２０で一時間フレームに対応するレイヤに対して、二以上の時間フレームに対応するレーダー検出データ２０１を入力してもよい。例えば、図２に示すように、自体運動推定装置は、ｔ−１フレームに対応するレーダー検出データ２０１及びｔフレームに対応するレーダー検出データ２０１を第１モデル２２１でｔフレームに対応する畳み込みレイヤに入力する。
自体運動推定装置は、モーション認識モデル２２０に基づいて、複数の時間フレームに対する入力データ２１０から、複数の時間フレームに対する自体運動情報２３０を推定する。自体運動推定装置は、入力データ２１０に複数の時間フレームに対応する複数のレーダー検出データがスタックされた場合に応答して、複数の時間フレームのそれぞれに対して自体運動情報２３０を算出する。例えば、図２において、入力データ２１０は、ｔ−１フレーム、ｔフレーム、ｔ＋１フレームに関するレーダー検出データ２０１を指示し、自体運動推定装置は、その入力データ２１０からｔ−１フレームでの装置の座標、ｔフレームでの装置の座標、及びｔ＋１フレームでの装置の座標を出力する。
ただし、図２では、３つの時間フレームのみが示されているが、これは説明の便宜のためのものとして、自体運動推定装置が扱う時間フレームの個数はこれに限定されることはない。例えば、自体運動推定装置は、Ｍ個の時間フレームに対する入力データ２１０を生成し、入力データ２１０は、ｔ−Ｍ＋１フレームからｔフレームまでのレーダー検出データ２０１がスタックされたデータでもあってもよい。ここで、Ｍは１以上の整数である。また、入力データ２１０に複数の時間フレームに対応するレーダー検出データ２０１がスタックされるものとして示されているが、これに限定されることなく、入力データ２１０は、単一の時間フレームに対応するレーダー検出データ２０１のみを含んでもよい。
以下では、モーション認識モデルを用いた自体運動推定方法について説明する。
図３は、一実施形態に係る自体運動推定方法を示すフローチャートである。
まず、ステップＳ３１０において、自体運動推定装置は、時間フレームごとにレーダーセンサによって収集されたレーダー検出データから入力データを生成する。例えば、自体運動推定装置の外郭に沿って配置された少なくとも１つのレーダーセンサがレーダー信号を検出する。レーダー信号は、レーダーセンサによって放射された後、ターゲット地点から反射してレーダーセンサによって検知された信号を示す。自体運動推定装置は、検出されたレーダー信号を前処理することでレーダー検出データを生成する。
そして、ステップＳ３２０において、自体運動推定装置は、モーション認識モデルに基づいて、入力データから自体運動推定装置の自体運動情報を推定する。自体運動推定装置は、自体運動情報として自体運動推定装置の位置及び姿勢のうち少なくとも１つを算出する。
図４は、一実施形態に係る自体運動推定装置を示すブロック図である。
自体運動推定装置４００は、レーダーセンサ４１０、プロセッサ４２０、及びメモリ４３０を含む。
レーダーセンサ４１０は、レーダー信号を放射して受信するセンサを示す。レーダーセンサ４１０は、レーダー信号を前処理することでレーダー検出データを生成する。例えば、レーダーセンサ４１０は、該当レーダーセンサ４１０によって放射された信号及び反射した信号間の周波数差に基づいて、レーダー検出データを生成する。
プロセッサ４２０は、時間フレームごとにレーダー検出データから入力データを生成する。プロセッサ４２０は、モーション認識モデルに基づいて入力データから自体運動推定装置４００の自体運動情報を推定する。プロセッサ４２０の動作について、図５ないし図１５を参照して詳細に説明する。
メモリ４３０は、自体運動推定方法を行うために求められる情報を臨時的又は永久的に格納する。例えば、メモリ４３０は、モーション認識モデル及びモーション認識モデルのトレーニングされたパラメータを格納する。また、メモリ４３０は、レーダー検出データ及び入力データなどを格納する。
図５は、一実施形態に係る自体運動推定の過程を示す図である。
一実施形態に係る自体運動推定装置は、レーダー検出データ５０１に対して前処理動作５１０を行うことで入力データを生成する。自体運動推定装置は、モーション認識モデル５２０に基づいて、入力データから自体運動情報５０９を推定する。また、前処理動作５１０はこれに限定されることはない。自体運動推定装置は、レーダーセンサによって取得される生データとしてのレーダー信号を、前処理動作５１０により、距離、角度、及び速度情報を示すレーダー検出データ５０１に変換する。レーダー検出データ５０１は、レーダーセンサの変調方式や必要な各解像度などに応じて変わり得る。
自体運動推定装置は、第１モデル５２１に基づいて現在フレームに対応する入力データから現在特徴データを抽出する。自体運動推定装置は、以前フレームに対応する以前特徴データ５８０をメモリからロードする。前処理以後のレーダー検出データ５０１は、３次元情報（例えば、距離、ステアリングの角度、及びドップラーの速度）に表現され、このような形態は、映像の構造（例えば、Ｘ座標、Ｙ座標、及びチャネル）に類似し得る。映像の特徴を抽出するとき最も優れた性能を現すのは畳み込みニューラルネットワーク及び畳み込みレイヤである。畳み込みニューラルネットワークは、位置情報である距離（ｒａｎｇｅ）、及び角度（ａｎｇｌｅ）軸の情報を抽出することに優れた性能を示し、映像のチャネル（例えば、ＲＧＢ）に該当するドップラーの速度軸に対しても優れた性能を示す。
自体運動推定装置は、第２モデル５２２に基づいて以前特徴データ５８０及び現在特徴データから自体運動情報５０９を算出する。レーダーセンサが時間フレームごとに連続的にレーダー検出データを取得し、近い時間で取得されたレーダー検出データは互いに類似の時間相関性（ｔｅｍｐｏｒａｌ ｃｏｒｒｅｌａｔｉｏｎ）を示す。時間相関性を示すデータに対して認識性能の優れたモデルは、循環ニューラルネットワーク及び循環レイヤである。
図６は、一実施形態に係るモーション認識モデルの例示的な構造を説明する図である。
自体運動推定装置は、連続的なレーダー検出データを継続的に取得する場合、以前の時間フレームに対する前処理及び特徴データ抽出は重複するため、以前の時間フレームに対する前処理及び特徴データ抽出をスキップする。例えば、自体の推定運動装置は、畳み込みニューラルネットワークから抽出された特徴データを格納し、時間フレームごとに取得されるレーダー検出データについてのみ前処理及び特徴データ抽出を行うことで、循環ニューラルネットワークに以前特徴データと共に伝達し得る。例えば、図６を参照すると、以前フレームｔ−１に対応する特徴データは、第１モデル６２１によって以前に算出され、特徴データベース６８０に格納されてもよい。したがって、第２モデル６２２は、（ａ）現在の第１モデル６２１によって算出された現在フレームｔ、及び（ｂ）特徴データベース６８０から検索された以前フレームｔ−１に対応する特徴データ両方に基づいて自体運動情報６３０を決定する。
一実施形態に係る自体運動推定装置は、第１モデル６２１の現在フレームに対応する畳み込みレイヤに基づいて、現在フレームに対応する入力データ６１０から現在フレームに対応する特徴データを算出する。自体運動推定装置は、モーション認識モデルに含まれた第１モデル６２１に基づいて現在フレームで算出された特徴データをメモリに格納する。例えば、自体運動推定装置は、メモリに格納された特徴データベース６８０に現在フレームに対応する特徴データを追加する。
自体運動推定装置は、複数の時間フレームのうち一部の時間フレームに対応する入力データ６１０（例えば、図６では、ｔフレームに対応するデータ）を用いて、複数の時間フレームに対する自体運動情報６３０を推定する。例えば、第１モデル６２１は、単一の時間フレームに対応する入力データ６１０から該当時間フレームに対応する特徴データを出力する構造で実現する。第２モデル６２２は、Ｍ個のフレームに対応する特徴データからＭ個のフレームに対応する自体運動情報６３０を出力する構造で実現する。図６は、Ｍが３である場合について説明する。自体運動推定装置は、第１モデル６２１に基づいて、ｔフレームに対応する入力データ６１０からｔフレームに対応する現在特徴データを抽出し、ｔ−Ｍ＋１フレームないしｔ−１フレームに対応する以前特徴データをロードする。自体運動推定装置は、第２モデル６２２に基づいて、ｔ−Ｍ＋１フレームないしｔ−１フレームに対応する特徴データからｔ−Ｍ＋１フレームないしｔ−１フレームに対応する自体運動情報６３０を生成する。
したがって、自体運動推定装置は、時間フレームごとにＭ個の時間フレームに対応する特徴データを第１モデル６２１を用いて抽出する代わりに、１つの時間フレームに対応する特徴データを第１モデル６２１を用いて抽出し、特徴データベース６８０からＭ個時間フレームに対応する予め生成された特徴データを第２モデル６２２が検索することで、特徴データ抽出に求められる演算リソース及び時間を節減することができる。
図７及び図８は、一実施形態に係る入力データの生成を説明する図である。
自体運動推定装置は、装置からターゲット地点までの距離（ｒａｎｇｅ）及びターゲット地点に対するステアリングの角度を指示するマップをターゲット地点の速度及び高度角などにより分類される。自体運動推定装置は、モーション認識モデルに入力するために適切な形態に、レーダー検出モデルを変換及び分類して入力データを生成し得る。
一実施形態によれば、自体運動推定装置は、レーダー信号から量子化された速度（ｖｅｌｏｃｉｔｙ）ごとにレーダーセンサにより検出された地点の距離及び角度を指示するレーダー検出データを生成する。自体運動推定装置は、生成されたレーダー検出データを入力データ７１０として利用し得る。レーダー検出データによって識別される速度は、例えば、ターゲット地点と自体運動推定装置との間の相対速度を示す。レーダー検出データによって識別される角度は、例えば、装置の進行方向及び装置からターゲット地点に向かう方向間の角度差であるステアリングの角度である。ただし、本明細書においてステアリングの角度は、レーダーセンサにより検出される２次元の平面で水平角を示すものと説明したが、これに限定されることはない。レーダーセンサのステアリングは水平のみならず、垂直に対しても行われ、この場合にテアリングの角度は高度角を示してもよい。
図７は、説明の便宜のために任意の一時間フレームに対して生成された入力データ７１０を示す。一時間フレームに対して生成された入力データ７１０は、量子化された速度ごとにレーダーセンサにより検出されたターゲット地点が有する距離及び角度を指示するレーダー検出データ７１１を含む。例えば、自体運動推定装置は、複数の時間フレームに対応するレーダー検出データをスタックする場合、複数の時間フレームそれぞれに対して量子化された速度ごとに検出されたターゲット地点に対する距離及び角度を指示する入力データ７１０を生成する。自体運動推定装置は、モーション認識モデル７２０に基づいて、上述した入力データ７１０から自体運動情報を算出し得る。
他の一実施形態によれば、自体運動推定装置は、レーダー検出データから量子化された高度角ごとにレーダーセンサにより検出された地点の距離及び水平角を指示する入力データを生成する。高度角は、レーダーセンサを中心にレーダーセンサの水平面からターゲット地点が垂直方向に対して形成する角度を示す。
例えば、自体運動推定装置は、レーダー検出データを静的な地点に関する静的データ８１０及び動的な地点に関する動的データ８２０に区別する。静的な地点は、ターゲット地点のうち停止した物体として、絶対速度が０である地点を示す。動的な地点は、ターゲット地点のうち動いている物体として、絶対速度が０ではない地点を示す。自体運動推定装置は、静的データ８１０から量子化された高度角ごとにレーダーセンサにより検出された地点の距離、及び水平角を指示する静的入力データを生成する。自体運動推定装置は、動的データ８２０から量子化された高度角ごとにレーダーセンサにより検出された地点の距離及び水平角を指示する動的入力データを生成する。図８は、説明の便宜のために任意の一時間フレームに対して生成された入力データを示す。一時間フレームに対して生成された入力データは、静的データ８１０及び動的データ８２０を含む。任意の時間フレームに対する静的データ８１０は、量子化された高度角ごとにレーダーセンサにより検出されたターゲット地点が有する距離及び水平角を指示するデータ８１１を含む。任意の時間フレームに対する動的データ８２０は、量子化された高度角ごとにレーダーセンサにより検出されたターゲット地点が有する距離及び水平角を指示するデータ８２１を含む。
自体運動推定装置は、モーション認識モデル８３０に基づいて、上述した静的データ８１０及び動的データ８２０を含む入力データから自体運動情報を算出し得る。
図９及び図１０は、一実施形態に係るレーダー検出データのスタックによって生成された入力データを説明する図である。
一実施形態に係るレーダー検出データは、空間軸に沿ってアンサンブル（ｅｎｓｅｍｂｌｅ）される。
図９は、一部の時間フレームがスキップされてスタックされた入力データを示す。一実施形態によれば、自体運動推定装置は、複数のレーダー検出データのうち互いに対して予め決定された時間間隔だけ差のある時間フレームのレーダー検出データを二以上選択する。例えば、図９において、予め決定された時間間隔を３フレームと仮定する。自体運動推定装置は、１０番目のフレームまでの、１番目のフレームないし１０番目のフレームを収集する。自体運動推定装置は、１番目のフレーム、４番目のフレーム、７番目のフレーム、及び１０番目のフレームに対応するレーダー検出データ９１１を選択する。したがって、レーダー検出データ９１１は、１番目のフレームから開始して毎３番目のフレームを選択し、その間のフレームをスキップすることで選択されてもよい。その後、１１番目のフレームで、自体運動推定装置は、２番目のフレーム、５番目のフレーム、８番目のフレーム、及び１１番目のフレームに対応するレーダー検出データ９１２を選択する。したがって、レーダー検出データ９１２は、７番目のフレームから開始して毎３番目のフレームを選択し、その間のフレームをスキップすることで選択されてもよい。
自体運動推定装置は、選択されたレーダー検出データに基づいて入力データを生成する。例えば、上述した例示において、１０番目のフレームで自体運動推定装置は１番目のフレーム、４番目のフレーム、７番目のフレーム、及び１０番目のフレームに対応するレーダー検出データ９１１から生成された入力データをモーション認識モデル９２０に入力する。自体運動推定装置は、モーション認識モデル９２０に基づいて該当レーダー検出データ９１１から１番目のフレーム、４番目のフレーム、７番目のフレーム、及び１０番目のフレームに対応する自体運動情報を算出する。その後、１１番目のフレームで自体運動推定装置は、２番目のフレーム、５番目のフレーム、８番目のフレーム、及び１１番目のフレームに対応するレーダー検出データ９１２から生成された入力データをモーション認識モデル９２０に入力する。自体運動推定装置は、モーション認識モデル９２０に基づいて、該当レーダー検出データ９１２から２番目のフレーム、５番目のフレーム、８番目のフレーム、及び１１番目のフレームに対応する自体運動情報を算出する。ただし、各時間フレームの順序は説明のための例示であって、これに限定されることはない。
図１０は、時間フレームごとに一定の時間の長さに対して生成された入力データを示す。一実施形態によれば、自体運動推定装置は、次のフレームに対応するレーダー検出データの受信に応答して、入力データにスタックされた複数の時間フレームのうち、最初のフレームに対応するレーダー検出データを排除する。
例えば、図１０において、自体運動推定装置は、８番目のフレームまで１番目のフレームないし８番目のフレームに対応するレーダー検出データを収集する。自体運動推定装置は、１番目のフレームないし８番目のフレームに対応するレーダー検出データをスタックすることで、８番目のフレームに対応する入力データ１０１１を生成する。その後、９番目のフレームで自体運動推定装置は、１番目のフレームに対応するレーダー検出データを排除する。自体運動推定装置は、２番目のフレームないし９番目のフレームに対応するレーダー検出データをスタックすることで、９番目のフレームに対応する入力データ１０１２を生成する。したがって、与えられたフレームに対して、入力データは８個のフレームに基づいて生成される（与えられたフレーム及び７個の以前フレームを含み、８番目の以前フレームは除く）。自体運動推定装置は、モーション認識モデル１０２０に基づいて１番目のフレームないし８番目のフレームに対応する入力データ１０１１から１番目のフレームないし８番目のフレームに対応する自体運動情報を算出する。その後、自体運動推定装置は、モーション認識モデル１０２０に基づいて、２番目のフレームないし９番目のフレームに対応する入力データ１０１２から２番目のフレームないし９番目のフレームに対応する自体運動情報を算出する。
図１１及び図１２は、一実施形態に係るモデルトレーニング方法を説明するフローチャートである。
図１１は、トレーニングの概略的な流れを説明する。
まず、ステップＳ１１１０において、モデルトレーニング装置は、基準レーダー検出データから複数の時間フレームに対する基準入力データ及び基準入力データに対応する基準出力データを生成する。基準レーダー検出データはトレーニング入力に対応し、基準出力データはトレーニング出力に対応する。トレーニングデータは、例えば、基準レーダー検出データ及び基準出力データの対を含む。基準出力データは基準自体運動情報とも示してもよい。
そして、ステップＳ１１２０において、モデルトレーニング装置は、モーション認識モデルに基づいて、プロセッサが基準入力データから基準出力データを出力するよう、モーション認識モデルのパラメータをトレーニングさせる。例えば、モデルトレーニング装置は、モーション認識モデルに基づいて基準入力データから算出される臨時出力及び基準出力データ間の損失が閾値損失の未満になるまで、モーション認識モデルのパラメータをアップデートする。
図１２は、上述した図１１を詳細に説明するフローチャートである。
まず、ステップＳ１２１１において、モデルトレーニング装置は、基準レーダー検出データを取得する。例えば、モデルトレーニング装置は、トレーニングデータベースから基準レーダー検出データを取得する。
そして、ステップＳ１２１２において、モデルトレーニング装置は、基準入力データ及び基準出力データを生成する。例えば、モデルトレーニング装置は、図７〜図１０を参照して説明した動作と類似の動作により、基準レーダー検出データから基準入力データを生成し得る。モデルトレーニング装置は、トレーニングデータベースから基準出力データを取得する。
次に、ステップＳ１２２１において、モデルトレーニング装置は、基準入力データに対する第１モデルの出力を算出する。例えば、モデルトレーニング装置は、図１を参照して上述したように、基準入力データを第１モデルに入力し、レイヤに伝播させることで臨時特徴データを算出する。
そして、ステップＳ１２２２において、モデルトレーニング装置は、第１モデルの出力に対する第２モデルの出力を算出する。例えば、モデルトレーニング装置は、図１を参照して上述したように、特徴データを第２モデルに入力して伝播させることで臨時出力を算出する。
次に、ステップＳ１２２３において、モデルトレーニング装置は、第２モデルの出力及び基準出力データ間の損失に基づいてパラメータをアップデートする。例えば、モデルトレーニング装置は、第２モデルから算出された臨時出力及び基準出力データ間の目的関数の値として損失を算出する。目的関数は、例えば、ＭＳＥ（Ｍｅａｎ ｓｑｕａｒｅ ｅｒｒｏｒ）、絶対誤差（ａｂｓｏｌｕｔｅ ｅｒｒｏｒ）、Ｈｕｂｅｒ損失（Ｈｕｂｅｒ ｌｏｓｓ）などであり得る。目的関数は、パラメータの正規化タームと組合わせられて使用されてもよい。モデルトレーニング装置は、損失が減少するようモーション認識モデルのパラメータを調整する。モーション認識モデルのパラメータは、モーション認識モデルがニューラルネットワークである場合に接続加重値を表わせるが、これに限定されることはない。
そして、ステップＳ１２２４において、モデルトレーニング装置は、アップデートされたパラメータを格納する。例えば、モデルトレーニング装置は、アップデートされたパラメータをメモリに格納する。モデルトレーニング装置は、サーバにアップデートされたパラメータをアップロードしたり、自体運動推定装置に送信してもよい。サーバにアップロードされたパラメータは、通信網又はデータインターフェースを介して自体運動推定装置に伝えられてもよい。
次に、ステップＳ１２２５において、モデルトレーニング装置は、損失が収斂されたかを判断する。例えば、モデルトレーニング装置は、算出された損失が閾値損失未満であるか否かを決定する。モデルトレーニング装置は、損失が収斂された場合に応答して、トレーニングを終了する。モデルトレーニング装置は、損失が収斂されていない場合に応答して、上述したステップＳ１２１１〜ＳＳ１２２５を繰り返す。
図１３は、一実施形態に係るモデルトレーニング装置を示すブロック図である。
モデルトレーニング装置１３００は、プロセッサ１３１０及びメモリ１３２０を含む。
プロセッサ１３１０は、基準レーダー検出データから複数の時間フレームに対する基準入力データ１３９１、及び基準入力データ１３９１に対応する基準出力データ１３９２を生成する。プロセッサ１３１０は、モーション認識モデル１３２１に基づいて、プロセッサ１３１０が基準入力データ１３９１から基準出力データ１３９２を出力するよう、モーション認識モデル１３２１のパラメータ１３２２をトレーニングさせる。ただし、プロセッサ１３１０の動作がこれに限定されることなく、図１１及び図１２を参照して説明した動作と共に結合して行ってもよい。
メモリ１３２０は、モデルトレーニングに求められる情報を臨時的又は永久的に格納する。例えば、メモリ１３２０は、モーション認識モデル１３２１、パラメータ１３２２及びトレーニングデータを格納する。メモリ１３２０は、トレーニングデータとして基準入力データ１３９１及び基準出力データ１３９２を格納する。基準出力データ１３９２は、基準入力データ１３９１に対して与えられた値として、基準入力データ１３９１に対して出力されなければならない自体運動情報であり得る。また、メモリ１３２０は、基準入力データ１３９１の代わりに基準レーダー検出データを格納してもよい。
モデルトレーニング装置１３００は、自体運動推定装置と別途に実現されるが、これに限定されることはない。モデルトレーニング装置１３００及び自体運動推定装置は、単一の機器に統合されて実現されてもよい。
図１４は、一実施形態に係るモデルトレーニング過程を説明する図である。
モデルトレーニング装置は、モーション認識モデルが基準レーダー検出データ１４９１から基準自体運動情報１４９２を出力するよう、モーション認識モデルをトレーニングさせる。例えば、モデルトレーニング装置は、前処理が完了した連続的なＮ個のレーダーデータを使用する。トレーニングのために、モデルトレーニング装置は、このようなレーダーデータのうちＮＢ個のミニバッチ（ｍｉｎｉ−ｂａｔｃｈ）個のレーダーデータを入力として使用する。モーション認識モデルは、畳み込みニューラルネットワーク及び循環ニューラルネットワークを含む。モーション認識モデルから出力される自体運動情報は、装置の位置と姿勢推定値を含んでもよく、例えば、図１４に示すように、各時間フレームごとにＮ個のｘ、ｙ座標を含んでもよい。
例えば、モデルトレーニング装置は、生データ（ｒａｗ ｄａｔａ）としてレーダー信号を取得し、基本的なＲＳＰ（Ｒａｄａｒ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ）の前処理によって基準レーダー検出データ１４９１を生成する。モデルトレーニング装置は、このような基準レーダー検出データ１４９１の時間的な蓄積によって基準入力データを生成し得る。
モデルトレーニング装置は、トレーニングのために、各時間フレームごとに第１モデル１４２１により特徴データ（例えば、臨時特徴データ）を算出する。例えば、図１４において、モデルトレーニング装置は。ｔ−２フレーム、ｔ−１フレーム、及びｔフレームのそれぞれに対して臨時特徴データを算出する。モデルトレーニング装置は、各時間フレームに対して第２モデル１４２２に基づいて、出力（例えば、臨時出力）を算出する。
モデルトレーニング装置は。臨時出力を正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）（例えば、基準自体運動情報１４９２）と比較してエラー値（例えば、損失）を算出する。モデルトレーニング装置は、ＭＳＥ（Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ）のような損失関数を使用する。
モデルトレーニング装置は、算出されたエラー値を逆伝播（ＢＰＴＴ、Ｂａｃｋ Ｐｒｏｐａｇａｔｉｏｎ Ｔｈｒｏｕｇｈ Ｔｉｍｅ）方により下位レイヤに伝播しながら、モーション認識モデルの各レイヤ間のパラメータをアップデートする。
モデルトレーニング装置は、トレーニングごとに第１モデル１４２１及び第２モデル１４２２の加重値及び状態値を格納することで、ローカルライジングされたモーション認識モデルを生成し得る。モデルトレーニング装置は、エラー値が収斂されればトレーニングを終了し、そうでなければ、再度トレーニングを行う。
また、モデルトレーニング装置のトレーニングでは、第１モデル１４２１が以前フレームのレイヤ１４５０を含むが、自体運動推定動作に使用されるときは以前フレームのレイヤ１４５０が除去されてもよい。したがって、モデルトレーニング装置は、トレーニングでは複数のトレーニングデータを用いることによりトレーニング速度を増加させることができ、自体運動推定装置は、現在フレームに対応するレーダー検出データを用いることにより自体運動の推定演算速度を改善することができる。
図１５は、一実施形態に係る複数のレーダーセンサを用いる自体運動推定装置の例示を説明する図である。
一実施形態によれば、自体運動推定装置１５００は、図１５に示すように、車両に実現してもよい。自体運動装置は、車両に装着されたレーダーセンサをローカルライジングすることで、車両の移動経路及び姿勢を推定する。自体運動推定装置１５００は、推定された自体運動情報に基づいて、自体運動推定装置１５００の周辺に存在するオブジェクトを検出する。また、自体運動推定装置１５００は、車両の様々なＡＤＡＳ（ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍｓ）機能及び自律走行などを補助する。また、自体運動推定装置１５００は、時間フレームごとに測定された自分の正確な位置情報に基づいて、高解像度の映像を広い範囲に対して取得し得る。
また、自体運動推定装置１５００は、図１５に示すように複数のレーダーセンサを含む場合、それぞれのレーダーセンサをローカルライジングし、その結果を融合することによって自体運動情報推定の正確度を高めることができる。例えば、自体運動推定装置１５００は、レーダーセンサを他のセンサ（カメラセンサ、超音波センサ、及びＬｉＤＡＲ（ｌｉｇｈｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ））と結合したり、ＧＮＳＳ、車両の速度及びステアリング角などの情報と自体運動情報を融合することで、正確度を改善することができる。図１５に示すように、前方向けのレーダー検出データを取得する場合、自体運動推定装置１５００は、車両の周辺３６０度に対する映像を生成したり周辺環境を認識する。
一実施形態に係る自体運動推定装置１５００は、ループ閉じ込みのような特別な動作なくても、時間が経過しても正確度を保持できる。また、自体運動推定装置１５００は、撮影される場面のうち動いている物体があっても正確度を保持することができる。
以上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＹＩＪＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順で実行されるし、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。
したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。
４００：自体運動推定装置
４１０：レーダーセンサ
４２０：プロセッサ
４３０：メモリ

Claims (25)

  1. プロセッサで実現される自体運動推定方法において、
    複数の時間フレームのそれぞれに対して、１つ以上のレーダーセンサによって収集されたレーダー検出データから入力データを生成するステップと、
    モーション認識モデルを用いて、前記入力データに基づいて自体運動情報を推定するステップと、
    を含む自体運動推定方法。
  2. 前記自体運動情報を推定するステップは、
    前記モーション認識モデルの第１モデルを用いて、前記入力データから特徴データを抽出するステップと、
    前記モーション認識モデルの第２モデルに基づいて、前記特徴データに基づいて前記自体運動情報を決定するステップと、
    を含む、請求項１に記載の自体運動推定方法。
  3. 前記自体運動情報を推定するステップは、前記自体運動情報として装置の位置及び姿勢のうち少なくとも１つを決定するステップを含む、請求項１に記載の自体運動推定方法。
  4. 前記自体運動情報を推定するステップは、少なくとも二つの時間フレームに対応するレーダー検出データを前記モーション認識モデルのうち前記少なくとも二つの時間フレームに対応するレイヤに、前記入力データとして入力するステップを含む、請求項１に記載の自体運動推定方法。
  5. 前記自体運動情報を推定するステップは、
    第１モデルを用いて、前記時間フレームのうち以前フレーム及び現在フレームの入力データから現在特徴データを抽出するステップと、
    第２モデルを用いて前記現在特徴データに基づいて現在の自体運動情報を決定するステップと、
    を含む、請求項１に記載の自体運動推定方法。
  6. 前記自体運動情報を推定するステップは、
    前記第１モデルを用いて、前記現在フレーム及び前記時間フレームの次のフレームの入力データから次の特徴データを抽出するステップと、
    前記第２モデルを用いて、前記次の特徴データに基づいて次の自体運動情報を決定するステップと、
    を含む、請求項５に記載の自体運動推定方法。
  7. 前記次の特徴データを抽出するステップは、前記次の特徴データを抽出する動作から前記以前フレームの前記入力データを排除するステップを含む、請求項６に記載の自体運動推定方法。
  8. 前記第１モデルは、畳み込みニューラルネットワーク（ＣＮＮ）を含み、
    前記第２モデルは、循環ニューラルネットワーク（ＲＮＮ）を含む、請求項５に記載の自体運動推定方法。
  9. 前記モーション認識モデルは、
    複数の時間フレームのそれぞれに対応するレイヤを含む第１モデルと、
    前記第１モデルの複数のレイヤと接続される第２モデルと、
    を含み、
    前記自体運動情報を推定するステップは、
    前記第１モデルで前記複数のレイヤのうち前記複数の時間フレームの時間フレームに対応するレイヤを用いて、前記時間フレームの入力データから特徴データを抽出するステップと、
    前記第２モデルを用いて、前記抽出された特徴データに基づいて前記時間フレームに対応する自体運動情報を算出するステップと、
    を含む、請求項１ないし８のうち何れか一項に記載の自体運動推定方法。
  10. 前記自体運動情報を推定するステップは、
    第１モデルを用いて、現在フレームに対応する入力データから現在特徴データを抽出するステップと、
    以前フレームに対応する以前特徴データをメモリからロードするステップと、
    第２モデルを用いて、前記以前特徴データ及び前記現在特徴データに基づいて前記自体運動情報を決定するステップと、
    を含む、請求項１に記載の自体運動推定方法。
  11. 前記モーション認識モデルに含まれた第１モデルを用いて、現在フレームに対して決定された特徴データをメモリに格納するステップをさらに含む、請求項１ないし８のうち何れか一項に記載の自体運動推定方法。
  12. 前記入力データを生成するステップは、
    装置の外郭に沿って配置された１つ以上のレーダーセンサがレーダー信号を検出するステップと、
    前記検出されたレーダー信号を前処理することで前記レーダー検出データを生成するステップと、
    前記前処理されたレーダー信号に基づいて前記入力データを生成するステップと、
    を含む、請求項１に記載の自体運動推定方法。
  13. 前記入力データを生成するステップは、時間フレームのうち互いに対して予め決定された時間間隔だけ差のある時間フレームの前記レーダー検出データを二以上選択するステップと、
    前記選択されたレーダー検出データに基づいて前記入力データを生成するステップと、
    を含む、請求項１に記載の自体運動推定方法。
  14. 前記入力データを生成するステップは、次のフレームに対応するレーダー検出データの受信に応答して、前記入力データにスタックされた前記複数の時間フレームのうち最初のフレームに対応するレーダー検出データを排除するステップを含む、請求項１に記載の自体運動推定方法。
  15. 前記入力データを生成するステップは、１つ以上のレーダー信号から量子化された速度ごとに前記レーダーセンサにより検出された地点の距離及び角度を指示するレーダー検出データを生成するステップを含む、請求項１に記載の自体運動推定方法。
  16. 前記入力データを生成するステップは、前記レーダー検出データから量子化された高度角ごとに前記１つ以上のレーダーセンサにより検出された地点の距離及び水平角を指示する入力データを生成するステップを含む、請求項１に記載の自体運動推定方法。
  17. 前記入力データを生成するステップは、
    前記レーダー検出データを前記１つ以上のレーダーセンサにより検出された静的な地点に関する静的データ、及び前記１つ以上のレーダーセンサにより検出された動的な地点に関する動的データとに区別するステップと、
    前記静的データに基づいて量子化された高度角ごとに、前記静的な地点の距離及び水平角を指示する静的入力データを生成するステップと、
    前記動的データに基づいて量子化された高度角ごとに、前記動的な地点の距離及び水平角を指示する動的入力データを生成するステップと、
    を含む、請求項１に記載の自体運動推定方法。
  18. 前記モーション認識モデルは、畳み込みニューラルネットワーク（ＣＮＮ）及び循環ニューラルネットワークを含む、請求項１ないし１７のうち何れか一項に記載の自体運動推定方法。
  19. 前記循環ニューラルネットワークは、双方向循環ニューラルネットワークである、請求項１８に記載の自体運動推定方法。
  20. 前記自体運動情報を推定するステップは、前記入力データに複数の時間フレームに対応する複数のレーダー検出データがスタックされた場合に応答して、前記複数の時間フレームのそれぞれに対して自体運動情報を決定するステップを含む、請求項１に記載の自体運動推定方法。
  21. 前記推定された自体運動情報に基づいて、装置の周辺に存在するオブジェクトを検出するステップを含む、請求項１ないし２０のうち何れか一項に記載の自体運動推定方法。
  22. 基準レーダー検出データに基づいて、複数のトレーニング時間フレームに対する基準入力データ及び前記基準入力データに対応する基準出力データを生成するステップと、
    前記基準入力データに基づいて、前記基準出力データを出力するようにモデルのパラメータをトレーニングさせることで前記モーション認識モデルを生成するステップと、
    を含む、請求項１に記載の自体運動推定方法。
  23. 請求項１に記載の自体運動推定方法を装置のコンピュータに実行させるための命令語を含む１つ以上のコンピュータプログラム。
  24. プロセッサで実現される自体運動推定方法において、
    基準レーダー検出データに基づいて、複数の時間フレームに対する基準入力データ及び前記基準入力データに対応する基準出力データを生成するステップと、
    前記基準入力データに基づいて、前記基準出力データを出力するようにモデルのパラメータをトレーニングさせることでモーション認識モデルを生成するステップと、
    を含むモデルトレーニング方法。
  25. 自体運動推定装置において、
    レーダー検出データを生成する１つ以上のレーダーセンサと、
    前記レーダー検出データの複数の時間フレームのそれぞれに対して前記レーダー検出データに基づいて入力データを生成し、モーション認識モデルを用いて前記入力データに基づいて自体運動情報を推定する１つ以上のプロセッサと、
    を含む自体運動推定装置。
JP2019114795A 2018-06-27 2019-06-20 モーション認識モデルを用いた自体運動推定装置及び方法並びにモーション認識モデルトレーニング装置及び方法 Active JP7339029B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0073709 2018-06-27
KR1020180073709A KR20200010640A (ko) 2018-06-27 2018-06-27 모션 인식 모델을 이용한 자체 운동 추정 장치 및 방법, 모션 인식 모델 트레이닝 장치 및 방법

Publications (2)

Publication Number Publication Date
JP2020003489A true JP2020003489A (ja) 2020-01-09
JP7339029B2 JP7339029B2 (ja) 2023-09-05

Family

ID=66248586

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019114795A Active JP7339029B2 (ja) 2018-06-27 2019-06-20 モーション認識モデルを用いた自体運動推定装置及び方法並びにモーション認識モデルトレーニング装置及び方法

Country Status (5)

Country Link
US (1) US20200003886A1 (ja)
EP (1) EP3588129A1 (ja)
JP (1) JP7339029B2 (ja)
KR (1) KR20200010640A (ja)
CN (1) CN110646787A (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200132468A (ko) * 2019-05-17 2020-11-25 삼성전자주식회사 첨단 운전자 지원 장치 및 이의 객체를 검출하는 방법
KR20200144862A (ko) * 2019-06-19 2020-12-30 삼성전자주식회사 레이더의 해상도 향상 방법 및 장치
CN113470342B (zh) * 2020-03-30 2023-04-07 华为技术有限公司 一种自运动估计的方法及装置
KR20210154446A (ko) * 2020-06-12 2021-12-21 삼성전자주식회사 복소수 기반 어텐션 네트워크 연산 방법 및 장치
KR102443961B1 (ko) 2020-07-10 2022-09-16 고려대학교 산학협력단 뇌파를 활용한 동작 상상 분류 장치 및 방법
US20220226994A1 (en) * 2020-07-20 2022-07-21 Georgia Tech Research Corporation Heterogeneous graph attention networks for scalable multi-robot scheduling
EP4036601A1 (en) * 2021-01-29 2022-08-03 Aptiv Technologies Limited Radar data processing for vehicle ego-motion estimation
CN113759331B (zh) * 2021-02-07 2024-04-12 贵州京邦达供应链科技有限公司 一种雷达定位方法、装置、设备及存储介质
CN113516242B (zh) * 2021-08-10 2024-05-14 中国科学院空天信息创新研究院 一种基于自注意力机制的穿墙雷达人体动作识别方法
CN114895363A (zh) * 2022-05-07 2022-08-12 上海恒岳智能交通科技有限公司 一种路基两侧视觉成像监测入侵物态势识别方法
KR20230166304A (ko) * 2022-05-30 2023-12-07 경북대학교 산학협력단 카메라와 레이더 센서를 이용한 딥러닝 기반 레이더 센서 고장 분류 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011526370A (ja) * 2008-07-02 2011-10-06 アーデーツエー・オートモテイブ・デイスタンス・コントロール・システムズ・ゲゼルシヤフト・ミツト・ベシユレンクテル・ハフツング 重なる送信アンテナ及び受信アンテナを有するレーダシステム
US20160139255A1 (en) * 2014-11-17 2016-05-19 Volkswagen Aktiengesellschaft Method and device for the localization of a vehicle from a fixed reference map
JP2016188859A (ja) * 2015-03-27 2016-11-04 インフィネオン テクノロジーズ アクチエンゲゼルシャフトＩｎｆｉｎｅｏｎ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＡＧ レーダ信号の処理方法及び処理装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9305364B2 (en) * 2013-02-19 2016-04-05 Caterpillar Inc. Motion estimation systems and methods
KR101618501B1 (ko) * 2015-02-04 2016-05-09 한국기술교육대학교 산학협력단 자차량의 에고 모션 추정방법
KR102147361B1 (ko) * 2015-09-18 2020-08-24 삼성전자주식회사 객체 인식 장치 및 방법, 객체 인식 모델 학습 장치 및 방법
US9802599B2 (en) * 2016-03-08 2017-10-31 Ford Global Technologies, Llc Vehicle lane placement
US10049279B2 (en) * 2016-03-11 2018-08-14 Qualcomm Incorporated Recurrent networks with motion-based attention for video understanding
US10949737B2 (en) * 2016-07-13 2021-03-16 Samsung Electronics Co., Ltd. Method for neural network and apparatus performing same method
US10514799B2 (en) * 2016-09-08 2019-12-24 Google Llc Deep machine learning to perform touch motion prediction
KR101893290B1 (ko) * 2016-11-16 2018-08-29 한국과학기술원 딥 러닝 기반 교육용 비디오 학습 및 평가 시스템
CN106780608B (zh) * 2016-11-23 2020-06-02 北京地平线机器人技术研发有限公司 位姿信息估计方法、装置和可移动设备
JP7036610B2 (ja) * 2017-03-16 2022-03-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 学習方法およびプログラム
WO2018211144A1 (en) * 2017-05-19 2018-11-22 Deepmind Technologies Limited Making object-level predictions of the future state of a physical system
CN107341442B (zh) * 2017-05-22 2023-06-06 腾讯科技（上海）有限公司 运动控制方法、装置、计算机设备和服务机器人
US10275691B2 (en) * 2017-08-22 2019-04-30 Northrop Grumman Systems Corporation Adaptive real-time detection and examination network (ARDEN)
US20190079536A1 (en) * 2017-09-13 2019-03-14 TuSimple Training and testing of a neural network system for deep odometry assisted by static scene optical flow
US20180095475A1 (en) * 2017-11-22 2018-04-05 GM Global Technology Operations LLC Systems and methods for visual position estimation in autonomous vehicles

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011526370A (ja) * 2008-07-02 2011-10-06 アーデーツエー・オートモテイブ・デイスタンス・コントロール・システムズ・ゲゼルシヤフト・ミツト・ベシユレンクテル・ハフツング 重なる送信アンテナ及び受信アンテナを有するレーダシステム
US20160139255A1 (en) * 2014-11-17 2016-05-19 Volkswagen Aktiengesellschaft Method and device for the localization of a vehicle from a fixed reference map
JP2016188859A (ja) * 2015-03-27 2016-11-04 インフィネオン テクノロジーズ アクチエンゲゼルシャフトＩｎｆｉｎｅｏｎ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＡＧ レーダ信号の処理方法及び処理装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KELLNER, D. 外４名: ""Instantaneous ego-motion estimation using Doppler radar"", 16TH INTERNATIONAL IEEE CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS (ITSC 2013), JPN6023013785, October 2013 (2013-10-01), pages 869 - 874, XP055604073, ISSN: 0005033413, DOI: 10.1109/ITSC.2013.6728341 *
LUPFER, STEFANIE 外６名: ""Increasing FastSLAM accuracy for radar data by integrating the Doppler information"", 2017 IEEE MTT-S INTERNATIONAL CONFERENCE ON MICROWAVES FOR INTELLIGENT MOBILITY (ICMIM), JPN6023013784, 4 May 2017 (2017-05-04), pages 103 - 106, ISSN: 0005033412 *
山室冴 外９名: ""深層学習を用いた時系列データの要約と分類"", 第１０回データ工学と情報マネジメントに関するフォーラム（第１６回日本データベース学会年次大会）最終論, JPN6023013783, 2 April 2018 (2018-04-02), pages 8 Pages, ISSN: 0005033414 *

Also Published As

Publication number Publication date
CN110646787A (zh) 2020-01-03
KR20200010640A (ko) 2020-01-31
EP3588129A1 (en) 2020-01-01
US20200003886A1 (en) 2020-01-02
JP7339029B2 (ja) 2023-09-05

Similar Documents

Publication Publication Date Title
JP2020003489A (ja) モーション認識モデルを用いた自体運動推定装置及び方法並びにモーション認識モデルトレーニング装置及び方法
Rohan et al. Convolutional neural network-based real-time object detection and tracking for parrot AR drone 2
US11347237B2 (en) Method of performing cloud slam in real time, and robot and cloud server for implementing the same
US20210362596A1 (en) End-To-End Tracking of Objects
CN106780608B (zh) 位姿信息估计方法、装置和可移动设备
US20210146540A1 (en) Method of identifying dynamic obstacle and robot implementing same
CN108496127B (zh) 集中于对象的有效三维重构
US11554495B2 (en) Method of localization using multi sensor and robot implementing same
US10943352B2 (en) Object shape regression using wasserstein distance
KR20180057096A (ko) 표정 인식과 트레이닝을 수행하는 방법 및 장치
CN110717927A (zh) 基于深度学习和视惯融合的室内机器人运动估计方法
WO2019196476A1 (zh) 基于激光传感器生成地图
US20210405649A1 (en) Method of localization by synchronizing multi sensors and robot implementing same
US11928813B2 (en) Method and system for detecting change to structure by using drone
CN110610130A (zh) 一种多传感器信息融合的输电线路机器人导航方法及***
Ishihara et al. Deep radio-visual localization
KR102293317B1 (ko) 특정 지역의 맵을 작성하는 방법과, 이를 구현하는 로봇 및 전자기기
Wen et al. CAE-RLSM: Consistent and efficient redundant line segment merging for online feature map building
WO2022004773A1 (ja) モデル生成装置、回帰装置、モデル生成方法、及びモデル生成プログラム
US20210109541A1 (en) Method of estimating position in local area of large space and robot and cloud server implementing thereof
CN116380110B (zh) 一种基于大数据无人驾驶车辆实时路径规划方法
JP2005078528A (ja) 物体検出装置及び方法
Çetin et al. Counter a drone and the performance analysis of deep reinforcement learning method and human pilot
CN115690343A (zh) 一种基于视觉跟随的机器人激光雷达扫描建图方法
Liu et al. Vision-based autonomous landing on unprepared field with rugged surface

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220509

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230630

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230824

R150 Certificate of patent or registration of utility model

Ref document number: 7339029

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150