JP7080594B2 - 計測装置および方法 - Google Patents

計測装置および方法 Download PDF

Info

Publication number
JP7080594B2
JP7080594B2 JP2017132917A JP2017132917A JP7080594B2 JP 7080594 B2 JP7080594 B2 JP 7080594B2 JP 2017132917 A JP2017132917 A JP 2017132917A JP 2017132917 A JP2017132917 A JP 2017132917A JP 7080594 B2 JP7080594 B2 JP 7080594B2
Authority
JP
Japan
Prior art keywords
received signal
signal
ultrasonic
received
distance information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017132917A
Other languages
English (en)
Other versions
JP2019015598A (ja
Inventor
大介 山本
隆史 園浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2017132917A priority Critical patent/JP7080594B2/ja
Priority to US15/900,253 priority patent/US10996331B2/en
Publication of JP2019015598A publication Critical patent/JP2019015598A/ja
Application granted granted Critical
Publication of JP7080594B2 publication Critical patent/JP7080594B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06Systems determining the position data of a target
    • G01S15/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06Systems determining the position data of a target
    • G01S15/08Systems for measuring distance only
    • G01S15/32Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802Systems for determining direction or deviation from predetermined direction
    • G01S3/8022Systems for determining direction or deviation from predetermined direction using the Doppler shift introduced by the relative motion between source and receiver
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Description

本発明の実施形態は、計測装置および方法に関する。
近年、自動運転や移動ロボット等に搭載する、障害物検知やマッピングのための2次元距離センサまたは3次元距離センサのニーズが高まっている。
一般に、自動運転機能が搭載される車両にはミリ波レーダやカメラ等が搭載される。移動ロボットに用いられる距離センサとしては、直近の物体までの距離を検出する超音波センサ、レーザレンジファインダ(LRF)等の2次元距離センサ、LiDARなどの3次元距離センサなどが用いられ、さらにはカメラを用いた3次元計測なども行われている。
しかし、レーザを用いるセンサは高コストである。また、画像を用いるセンサは照明の影響を受けやすいといったデメリットがある。総じて、これらの2次元距離センサおよび3次元距離センサは高コストである。
特開2005-300429号公報 特開2000-098031号公報
田畑 克彦、他2名、"安全性を考慮した高齢者用電動ビークルの開発(第2報) -超音波フェーズドアレイソナー-",岐阜県情報技術研究所 研究報告 第16号,p.15-20
本開示は、上述の課題を解決するためになされたものであり、低コストで2次元あるいは3次元距離情報を取得する計測装置および方法を提供することを目的とする。
本実施形態に係る計測装置は、超音波送信部と、超音波受信部と、推定部とを含む。超音波送信部は、超音波ビームを送信信号として複数方向に送信する。超音波受信部は、前記複数方向からの前記送信信号の反射波を受信信号として受信する。推定部は、予め取得した受信信号と物体までの距離とに基づき、前記受信信号から距離情報を推定する。
第1の実施形態に係る学習時の計測装置を示すブロック図。 第1の実施形態に係る超音波送信部および超音波受信部の配置例を示す図。 第1の実施形態に係る超音波送信部における送信信号の走査例を示す図。 第1の実施形態に係る計測装置の学習時の動作を示すフローチャート。 受信信号の信号波形の一例を示す図。 本実施形態に係る学習データの概念図。 機械学習に用いるディープラーニングの模式図。 第1の実施形態に係る計測時の計測装置1を示すブロック図。 第1の実施形態に係る計測装置の計測時の動作を示すフローチャート。 第2の実施形態に係る学習時の計測装置を示すブロック図。 第2の実施形態に係る計測時の計測装置を示すブロック図。 第2の実施形態に係る計測装置の学習時の動作を示すフローチャート。 第2の実施形態に係る計測装置の計測時の動作を示すフローチャート。 第3の実施形態に係る学習時の計測装置を示すブロック図。 第3の実施形態に係る計測時の計測装置を示すブロック図。 第3の実施形態に係る1次元距離センサの配置例を示す図。 第3の実施形態に係る超音波送信部における走査例を示す図。
以下、図面を参照しながら本実施形態に係る計測装置および方法について詳細に説明する。なお、以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明を適宜省略する。
(第1の実施形態)
第1の実施形態に係る計測装置について図1を参照して説明する。
本実施形態では、例えば工場出荷時または初回計測時に、計測装置が予め計測対象とする環境下で、当該計測装置から周囲に存在する物体までの距離を計測して学習結果を取得する。その後の計測では、計測装置が、取得した学習結果に基づいて、同じ環境下で周囲の物体までの距離を推定する場合を想定する。
第1の実施形態に係る学習時の計測装置について図1のブロック図を参照して説明する。
第1の実施形態に係る計測装置1は、超音波送信部11、送信制御部12、超音波受信部13、多次元距離センサ21、正解データ蓄積部22、受信データ蓄積部23および解析部24を含む。多次元距離センサ21、正解データ蓄積部22、受信データ蓄積部23および解析部24をまとめて、学習モジュール20とも呼ぶ。
多次元距離センサ21は、多次元距離情報を取得する。多次元距離センサ21は、例えば、レーザレンジファインダ(LRF)などの2次元距離センサ、LiDAR(Light Detection and Ranging または Light imaging Detection and Ranging)と呼ばれる3次元距離センサ、または画像を用いて距離を計測するセンサである。多次元距離情報は、例えば、ある位置を基準とした角度(または方向)と距離とを対応づけた情報である。なお、以下では、多次元距離センサ21として2次元距離センサを用い、多次元距離情報として2次元距離情報を取得する例について説明する。
正解データ蓄積部22は、多次元距離センサ21から正解データとなる2次元距離情報を受け取って蓄積する。
超音波送信部11は、複数の超音波送信器111を含む。超音波送信部11は、後述の送信制御部12からの制御情報に基づき、計測装置1の周囲に向かって、方位方向に超音波に指向性を持たせた超音波ビームを送信信号として複数方向に送信する。
送信制御部12は、超音波送信部11から送信される送信信号を制御するための制御情報を生成する。制御情報は、超音波ビームの指向性、信号強度、送信信号の送信方向(送信角度)および送信タイミングなどに関する情報である。送信制御部12は、制御情報を超音波送信部11と推定部14とに送る。
超音波受信部13は、少なくとも1つの超音波受信器131を含む。超音波受信部13は、周囲環境に存在する物体で反射した送信信号の反射波を受信し、受信信号を得る。
受信データ蓄積部23は、送信制御部12から制御情報を、超音波受信部13から受信信号をそれぞれ受け取り、制御情報(例えば、送信方向)と受信信号とを対応付けて、受信データとして蓄積する。
解析部24は、正解データ蓄積部22から2次元距離情報を、受信データ蓄積部23から受信データをそれぞれ受け取り、受信データを入力とし、2次元距離情報を出力として機械学習し、推定式を含む学習結果を生成する。推定式は、受信データから2次元距離情報を推定するための関数である。なお、機械学習は、一般的な手法を用いればよく、例えばディープラーニングやその他のニューラルネットワークを用いた解析および学習である場合を想定するが、他の機械学習方法でもよい。
学習モジュール20は、計測装置1に搭載されていてもよいし、計測装置1と別体で配置されてもよい。また、学習モジュール20は、機械学習完了後、学習結果が生成された後に計測装置1から取り外しできるように構成されてもよい。
次に、第1の実施形態に係る超音波送信部11および超音波受信部13の配置例について図2を参照して説明する。
超音波送信部11は、計測装置1の一部に配列される。図2の例では、超音波送信部11として、計測装置1の側面中央付近に9つの超音波送信器111が配置される。超音波送信器111は、例えば超音波を発生する素子を含む超音波センサである。
また、9つの超音波送信器111により送信用フェーズドアレイが構成される。縦方向の3つの超音波送信器111を1組の超音波送信器群112として同時に超音波を出力することにより、縦方向の平面波の超音波ビームが形成され、当該超音波ビームが送信信号となる。
また、3組の超音波送信器群112からの送信信号の送信タイミングをずらす(送信遅延をかける)ことで、方位方向に超音波ビームが走査される。なお、1組の超音波送信器群112として3つの超音波送信器111を用いる例を示すが、これに限らない。超音波ビームの指向性をより強めるため、4つ以上の超音波送信器111を用いてもよいし、2つの超音波送信器111を用いてもよい。
一方、超音波受信部13は、超音波送信部11と同じ面に配置される。図2の例では、超音波受信部として、計測装置1の側面の両端部に2つの超音波受信器131が配置される。超音波受信器131も、超音波送信器111と同様に、例えば超音波センサで構成されればよい。
また、2つの超音波受信器131により受信用フェーズドアレイが構成される。2つの超音波受信器131を用いる場合、超音波受信器131を左右方向に離れた位置に配置することで反射波に対して受信時間差を設けることができる。なお、2つに限らず、1つの超音波受信器131だけを配置してもよいし、3つ以上の超音波受信器131を配置してもよい。
なお、超音波送信部11および超音波受信部13の配置は、周囲環境を計測できる位置であれば、図2の例に限らずどのような配置でもよい。また、図2に示すように送信用および受信用で超音波を分けずに、送受信併用可能な超音波センサを用いてもよい。
次に、第1の実施形態に係る超音波送信部11における送信信号の走査例について図3を参照して説明する。
超音波送信部11は、インパルス波形となるような送信信号を1回もしくは複数回送信する。1度送信信号を送信した後、受信期間に移行し、計測環境における最大到達距離の往復期間を基準に、超音波の送信を停止して反射波の受信を受信期間中継続する。
本実施形態では、図3に示すように、計測範囲301として、超音波送信部11の正面方向を基準として±45度の走査範囲内で9方向に送信ビーム302を走査する。すなわち、10度ずつ送信ビームの走査方向を変更する。送信信号は物体303で反射して、反射波である受信信号が得られる。受信信号は2つの超音波受信器131で受信されるため、1方向の送信で2つの受信信号を得ることができる。結果として、1つの受信データは、9方向×2つの受信信号=18個の受信信号を含む。なお、計測範囲301は、±45度の範囲に限らず、任意に設定されてもよい。
また、隣接する送信ビーム302では、ビームの範囲の一部が重なるように走査される。すなわち、各送信ビーム302間で重複範囲304が形成される。このようにすることで、計測範囲301において漏れなく走査をすることができる。
次に、第1の実施形態に係る計測装置1の学習時の動作について、図4のフローチャートを参照して説明する。
ここでは、所与の計測範囲における自装置(計測装置1)と周囲の物体との間の距離を計測する。
ステップS401では、多次元距離センサ21が、周囲環境を計測し、少なくとも計測範囲内の2次元距離情報を取得する。
ステップS402では、正解データ蓄積部22が、正解データとなる2次元距離情報を取得する。
ステップS403では、超音波送信部11が、制御情報に基づいて、所与の計測範囲のうちの1つの送信方向に送信信号を送信する。計測範囲は、制御情報に含まれていてもよい。
ステップS404では、超音波受信部13が、ステップS403で送信した送信信号の反射波を受信信号として受信する。
ステップS405では、送信制御部12が、計測範囲内の全方向について送信したかどうかを判定する。全方向について送信が完了していれば、ステップS406に進み、全方向について送信していなければ、ステップS403に戻り同様の処理を繰り返す。
ステップS406では、受信データ蓄積部23が、送信方向と当該送信方向における受信信号とを対応付けて1組の受信データとして蓄積する。
ステップS407では、解析部24が、機械学習に必要なデータ量を取得したかどうかを判定する。なお、機械学習に必要なデータ量の判定は、解析部24が、例えば得られた学習データ603の個数が閾値以上であれば、必要なデータ量を取得したと判定すればよい。
機械学習に必要なデータが取得された場合、ステップS409に進み、機械学習に必要なデータが取得されていない場合、更にデータを取得するため、ステップS408に進む。
ステップS408では、計測対象の環境を変える。これは、様々な環境における受信データを取得して機械学習させるためである。計測対象の環境を変える方法としては、計測装置1を手動で移動させてもよいし、計測装置1を移動ロボットに搭載し、1回の計測が終了するたびに移動ロボットが適宜移動することで、自動で計測対象の環境が変わるようにしてもよい。一方、計測装置1は固定され、計測装置1の周囲に存在する物体を移動させることで計測対象の環境が変わるようにしてもよい。その後ステップS401に戻り、同様の処理を繰り返す。
ステップS409では、解析部24が、受信データと正解データとを用いて機械学習し、推定式を学習結果として算出する。以上で、学習時の計測装置1の動作を終了する。
なお、計測装置1が、ある位置で計測したときの正解データと受信データとの対応付けが取れていればよいため、2次元距離センサによる計測処理の後に超音波による計測処理を行なう順序に限らない。すなわち、超音波による計測処理に続いて2次元距離センサによる計測を行なってもよいし、2次元距離センサによる計測と超音波センサによる計測とを同時に行なってもよい。
次に、受信信号の信号波形の一例について図5を参照して説明する。
図5は、ある一方向に送信した送信信号に対応する受信信号の信号強度の時系列データ(波形データともいう)である。縦軸が信号強度を示し、横軸が時間を示す。上の波形データから順に、第1の超音波受信器で得られた受信信号の波形データ501、第2の超音波受信器で得られた受信信号の波形データ502、右列の超音波送信器群による送信信号の波形データ503、および中央列の超音波送信器群による送信信号の波形データ504を示す。
時系列に沿って説明すると、まず、波形データ503および波形データ504に示すように、超音波のパルスが送信信号として送信される。
波形データ501および波形データ502の最初のピーク511(極大値)は、どこにも反射せずに直接超音波受信器131で受信された送信信号に起因するピークである。2番目のピーク512は、床面からの反射波に起因するピークである。3番目のピーク513は、最大のピークであり、周囲環境において最も近い物体からの反射波に起因するピークである。4番目のピーク514および5番目のピーク515は、周囲環境において2番目および3番目に近い物体からのそれぞれの反射波に起因すると想定されるピークである。
本実施形態では、最も直近の物体からの反射波であるピーク513の値だけではなく、ピーク514およびピーク515の値までを受信信号として用いることで、第1の反射波だけでは得られない情報を含んだ波形データを取得することができる。波形データは、超音波受信器131で受信した受信信号の信号値の波形あっても良いし、受信信号の信号値を包絡線検波して得た包絡線波形でも良いし、各ピーク値の集合であっても良い。
次に、解析部における機械学習の概念図について図6および図7を参照して説明する。
図6は、本実施形態に係る学習データの概念図である。
解析部24は、機械学習の入力として、各方向(ここでは、9方向)の受信データ群(波形データ群)601と、正解データとして対応する2次元距離情報602との組を学習データ603として機械学習させる。なお、2次元距離情報602は、ここでは2次元平面に起点から物体への距離を、起点回りの方位角毎にプロットしたマップ表示としているが、これに限らず方向情報(または座標情報)と距離情報とを対応付けた1組のデータセットであってもよい。起点は、多次元距離センサ21の位置に対応する。
計測装置1は、このような学習データ603を、測定する周囲環境を変更して複数取得し、機械学習に必要なデータ量を取得する。解析部24がその後、機械学習を行い、学習結果として推定式を算出する。
図7は、機械学習に用いるディープラーニングの模式図を示す。
ディープラーニングは、多層ニューラルネットワークを用いた機械学習の技術であり、入力層701、複数の中間層702および出力層703からなり、複数の中間層702が存在する点が特徴である。
多層ニューラルネットワークは、各層間でのみデータが関係づけられることが一般的である。また、本実施形態で想定する多層ニューラルネットワークは、入力層701、中間層702および出力層703の順にデータが向かい、入力層701側にデータがフィードバックされないフィードフォワードタイプである。
解析部24は、各方向の受信データ群と、正解データとして対応する2次元距離情報との組である学習データに基づき多層ニューラルネットワークに機械学習をさせ、受信データ群から正解データを推定するための推定式を算出する。
次に、第1の実施形態に係る計測時の計測装置1について図8のブロック図を参照して説明する。
第1の実施形態に係る計測時の計測装置1は、超音波送信部11、送信制御部12、超音波受信部13および推定部14を含む。
推定部14は、予め取得した受信信号と、物体までの距離情報とに基づいて、現在測定した受信信号から距離情報を推定する。具体的には、推定部14は、解析部24から得られる送信制御部12から制御情報を、超音波受信部13から受信信号をそれぞれ受け取る。推定部14は、計測範囲に亘り送信した送信信号に関する制御情報と受信データと推定式とに基づいて、送信方向に対応する距離情報を推定する。距離情報は、送信信号の送信方向と、計測装置1に最も近い物体と計測装置との間の距離とに関する情報である。なお、距離情報として、2次元距離センサで取得した2次元距離情報を用いてもよい。
次に、計測装置1の計測時の動作について図9のフローチャートを参照して説明する。
計測装置1は、計測したい周囲環境に対してステップS403~ステップS405の処理を行う。
ステップS901では、推定部14が、推定式に基づいて、計測範囲における全方向の送信方向と受信信号とから2次元距離情報を推定する。
2次元距離情報が推定された後は、推定された2次元距離情報を外部に送信すればよい。推定された2次元距離情報の利用例としては、例えば、2次元距離情報を受信したマップ作成部(図示せず)が、平面図に2次元距離情報を描写した距離マップを生成し、表示部(図示せず)が距離マップを表示してもよい。また、計測装置の自己位置同定に用いてもよい。
以上に示した第1の実施形態によれば、送信信号の反射波として複数の反射波までを含む受信信号を用いて機械学習を行い、推定式を求める。つまり、最も近い物体以外の物体からの反射波の値が波形データから独立して抽出できなくとも、情報として波形データに含まれている。よって、このような周辺環境により形成される波形データの情報量を減らすことなく機械学習させることで、高精度な推定式を求めることができる。
また、算出した推定式を用いることで、周囲環境を計測した受信データから精度良く2次元距離情報を算出することができる。よって、低コストの実装で2次元あるいは3次元距離情報を取得する計測装置を実現できる。すなわち、超音波を用いた低コストの実装により高精度の計測装置が実現可能となる。
(第2の実施形態)
第2の実施形態では、周囲の物体または計測装置1自体が移動している状態で周囲環境を計測する場合を想定する。例えば、計測装置1が周囲の物体に近づく場合、ドップラー効果により、送信信号の周波数(送信周波数ともいう)は、反射波の周波数よりも高くなる。一方、計測装置1が周囲の物体から遠ざかる場合、送信周波数は反射波の周波数よりも低くなる。
よって、受信信号を複数の周波数帯域の信号に分離してそれぞれ機械学習を行い、複数の周波数帯域の信号それぞれに対して推定式を算出する点が第1の実施形態と異なる。
第2の実施形態に係る学習時の計測装置1について図10のブロック図を、計測時における計測装置1について図11のブロック図をそれぞれ参照して説明する。
なお、第2の実施形態に係る計測装置1は、超音波受信部13および受信データ蓄積部23の動作の他は、第1の実施形態と同様である。
超音波受信部13は、複数の超音波受信器131と複数のバンドパスフィルタ132とを含む。
複数のバンドパスフィルタ132はそれぞれ、超音波受信器131からの受信信号に対して特定の周波数帯域の信号のみ通過させ、フィルタ後受信信号を生成する。第2の実施形態では、送信信号の周波数帯域と同じ周波数帯域の信号を通過させる第1フィルタ、送信信号の周波数帯域よりも高い周波数帯域の信号を通過させる第2フィルタ、および送信信号の周波数帯域よりも低い周波数帯域の信号を通過させる第3フィルタを用いる。すなわち、1つの受信信号から周波数帯域の異なる3つのフィルタ後受信信号が生成される。
なお、送信信号の周波数帯域よりも高い周波数帯域の範囲、および送信信号の周波数帯域よりも低い周波数帯域の範囲は、特に限定されない。例えば、計測装置1自身が移動する場合は当該計測装置の移動速度、周囲環境に存在する物体が移動する場合は当該物体の移動速度等に基づいて、抽出すべき周波数帯域を決定すればよい。
受信データ蓄積部23では、超音波受信部13の各バンドパスフィルタを通過したフィルタ後受信信号を受け取り、1組の受信データとして蓄積する。
次に、第2の実施形態に係る計測装置1の学習時の動作について図12のフローチャートを参照して説明する。
ステップS1201では、超音波による計測前に、多次元距離センサ21が、周囲環境を計測し、2次元距離情報を取得する。
ステップS1202では、超音波送信部11が、制御情報に基づいて、計測範囲のうちの1方向に送信信号を送信する。
ステップS1203では、超音波受信部13が、ステップS1202で送信した送信信号の反射波を受信信号として受信する。
ステップS1204では、超音波受信部13の複数のバンドパスフィルタ132が、複数の周波数帯域のフィルタ後受信信号を生成する。
ステップS1205では、送信制御部12が、計測範囲内の全方向について送信したかどうかを判定する。全方向について送信が完了していれば、ステップS1206に進み、全方向について送信していなければ、ステップS1201に戻り同様の処理を繰り返す。
ステップS1206では、超音波による計測後に、多次元距離センサ21が、周囲環境を再び計測し、2次元距離情報を取得する。
ステップS1207では、正解データ蓄積部22が、2次元距離情報を蓄積する。すなわち、超音波による計測の前後の2つの正解データが正解データ蓄積部22に蓄積される。
ステップS1208では、受信データ蓄積部23が、送信方向と当該送信方向におけるフィルタ後受信信号とを対応付けて受信データとして蓄積する。具体的には、2つの超音波受信器×9方向×3つのフィルタ後受信信号=54個のフィルタ後受信信号が1組の受信データとして受信データ蓄積部23に蓄積される。
ステップS1209では、解析部24が、機械学習に必要なデータ量を取得したかどうかを判定する。機械学習に必要なデータが取得された場合、ステップS1210に進み、機械学習に必要なデータが取得されていない場合、更にデータを取得するため、ステップS1201に戻り同様の処理を繰り返す。
ステップS1210では、解析部24が、受信データと正解データとを用いて機械学習による解析を行い、超音波による計測前の推定式と超音波による計測後の推定式とを算出する。以上で第2の実施形態に係る計測装置1の動作を終了する。
次に、第2の実施形態に係る計測装置1の計測時の動作について図13のフローチャートを参照して説明する。
ステップS403、ステップS404、ステップS405は同様の処理である。
ステップS1301では、推定部14が、受信データと2つの推定式とに基づいて、超音波による計測前および計測後の2次元距離情報を推定する。
以上に示した第2の実施形態によれば、計測装置は、複数の周波数帯域の受信信号に基づいて機械学習し、推定式を算出する。このようにすることで、計測装置自身が移動する場合および移動物体が存在する場合でも、第1の実施形態と同様に、低コストの実装で2次元あるいは3次元距離情報を取得する計測装置を実現できる。
(第3の実施形態)
第3の実施形態では、1方向の距離を計測可能な1次元距離センサ(例えばレーザ距離センサ)により計測したデータを受信データに含める点が上述の実施形態とは異なる。
第3の実施形態に係る学習時の計測装置1について図14のブロック図を、計測時における計測装置1について図15のブロック図をそれぞれ参照して説明する。
第3の実施形態に係る計測装置1は、第1の実施形態に係る計測時の計測装置に加えて、1次元距離センサ15を含む。
1次元距離センサ15は、レーザを送信する送信部(図示せず)および物体から反射したレーザを受信する受信部(図示せず)を含む。1次元距離センサ15は、送信したレーザと反射したレーザとの位相差もしくは到達時間に基づいて、1次元の距離情報を計測可能であり、1次元距離情報を生成する。
受信データ蓄積部23は、1次元距離センサ15から1次元距離情報を受け取る。受信データ蓄積部23は、1度の測定範囲において測定した受信信号と1次元距離情報とを合わせて1組の受信データとして蓄積する。
第3の実施形態に係る1次元距離センサ15の配置例について図16を参照して説明する。
図16に示すように、1次元距離センサ15は、超音波送信部11および超音波受信部13と同じ平面に配置される。1次元距離センサ15は、例えば正面の1方向の距離を計測し、1次元距離情報を得る。
次に、第3の実施形態に係る超音波送信部11における走査例について図17を参照して説明する。
1次元距離センサ15が、正面方向に対してレーザ1701により距離を計測し、高精度の1次元距離情報を取得する。一方、超音波による計測は、上述の実施形態と同様である。なお、設置する1次元距離センサ15の位置を変更することで、正面方向の1次元距離情報に限らず、計測範囲内であればどの一方向の1次元距離情報を取得してもよい。
以上に示した第3の実施形態によれば、レーザの特性から正面方向など、ある一方向の周囲物体の距離を正確に計測し、正確なデータと超音波の受信データと合わせて機械学習の入力とする。こうすることで、正解データとなる2次元距離情報とのマッチングの精度が向上すると考えられ、結果として機械学習の精度が向上し、2次元距離情報の推定精度を向上させることができる。
なお、上述の実施形態では、2次元平面に関する2次元距離情報を推定する場合を説明したが、方位方向および仰角方向に送信信号を送信し、その反射波を受信信号として受信することで、3次元の距離情報を推定してもよい。この場合、正解データとして取得する距離情報は、2次元距離センサによる測定を3次元空間に拡張して3次元距離情報を得ればよい。
また、上述したように、予め計測装置が計測する環境下で得られたデータに基づき機械学習することで、学習結果が生成される場合を想定するが、これに限らない。
例えば、複数の計測装置が様々な環境下で計測したデータに基づき生成された学習結果をクラウドサーバなどの外部サーバ(図示せず)にアップロードするなどして保存する。ある計測装置が計測を行う場合、例えば推定部14が、計測したい環境に類似した環境で得られた学習結果を外部サーバから取得して(またはダウンロードして)読み込み、計測装置1による計測を実行してもよい。このようにすることで、事前の学習を省略することもでき、即時周囲環境の計測を実行することができる。
上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した計測装置および方法の制御動作による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク(フレキシブルディスク、ハードディスクなど)、光ディスク(CD-ROM、CD-R、CD-RW、DVD-ROM、DVD±R、DVD±RW、Blu-ray(登録商標)Discなど)、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をCPUで実行させれば、上述した実施形態の計測装置および方法の制御と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているOS(オペレーティングシステム)や、データベース管理ソフト、ネットワーク等のMW(ミドルウェア)等が本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本実施形態における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、LANやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。
また、記録媒体は1つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。
なお、上記実施形態に係る解析部24は、上述した学習データ603を多層ニューラルネットワークに機械学習させることで重み付けパラメータを学習および最適化させることにより、正解データを推定するために最適なパラメータが設計された推定式を算出できる学習済み多層ニューラルネットワーク(学習済みモデルともいう)を構築することができる。当該学習済みモデルは、例えばCPUおよびメモリを備えるコンピュータにて用いられるプログラムモジュールとして利用できる。
コンピュータのCPUは、メモリに記憶された学習済みモデルにより、入力層701に入力された受信データに対して、学習済みの重み付けパラメータにより最適化された推定式に基づく演算を行い、出力層703から推定された2次元距離情報を出力するよう動作することもできる。
なお、本実施形態におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の1つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
また、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本実施形態における機能を実現することが可能な機器、装置を総称している。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1・・・計測装置、11・・・超音波送信部、12・・・送信制御部、13・・・超音波受信部、14・・・推定部、15・・・1次元距離センサ、20・・・学習モジュール、21・・・多次元距離センサ、22・・・正解データ蓄積部、23・・・受信データ蓄積部、24・・・解析部、111・・・超音波送信器、112・・・超音波送信器群、131・・・超音波受信器、132・・・バンドパスフィルタ、301・・・計測範囲、302・・・送信ビーム、303・・・物体、304・・・重複範囲、501,502,503,504・・・波形データ、511,512,513,514,515・・・ピーク、601・・・受信データ群、602・・・2次元距離情報、603・・・学習データ、701・・・入力層、702・・・中間層、703・・・出力層、1701・・・レーザ。

Claims (8)

  1. 複数の超音波送信器を制御して超音波に複数方向の指向性を持たせた超音波ビームを送信信号として複数方向に送信する超音波送信部と、
    前記複数方向からの前記送信信号の反射波を第1受信信号として受信する超音波受信部と、
    所与の方向における自装置から物体までの距離を計測し、第1の1次元距離情報を取得する1次元距離センサと、
    学習用の受信信号である第2受信信号と、前記第2受信信号の方向と、前記第2受信信号の取得時に計測された第2の1次元距離情報とを入力データとし、予め取得した前記第2受信信号に対応する物体までの距離を正解データとして学習させた、複数の中間層を有し、かつ各層間でのみデータが関係付けられる多層ニューラルネットワークに基づき、前記第1受信信号と、前記第1受信信号の方向と、前記第1の1次元距離情報とから、距離情報を推定する推定部と、を具備し、
    前記第1受信信号および前記第2受信信号は、複数の極大値を含む信号波形を有する計測装置。
  2. 前記超音波送信部は、隣接する前記超音波ビームの一部が重なるように、前記送信信号を前記複数方向に振って送信する請求項1に記載の計測装置。
  3. 複数の超音波送信器を制御して超音波に複数方向の指向性を持たせた超音波ビームを送信信号として複数方向に送信する超音波送信部と、
    前記複数方向からの前記送信信号の反射波を第1受信信号として受信する超音波受信部と、
    特定周波数帯域の信号を通過させることで、前記第1受信信号から複数の第1フィルタ後受信信号を生成する複数のバンドパスフィルタと、
    学習用の受信信号である第2受信信号から得られる複数の第2フィルタ後受信信号と、前記第2受信信号の方向とを入力データとし、予め取得した前記複数の第2フィルタ後受信信号に対応する、超音波による計測前の物体までの第1距離と計測後における前記物体までの第2距離とを正解データとして学習させた、多層ニューラルネットワークに基づき、前記複数の第1フィルタ後受信信号と前記第1受信信号の方向とから距離情報を推定する推定部とを具備し、
    前記第1受信信号および前記第2受信信号は、複数の極大値を含む信号波形を有する計測装置。
  4. 前記複数方向は、2次元平面における方位方向である請求項2に記載の計測装置。
  5. 前記複数方向は、3次元空間における方位方向および仰角方向である請求項2に記載の計測装置。
  6. 前記推定部は、予め取得した前記第2受信信号と前記物体までの距離とに関する学習結果に基づき、前記距離情報を推定する請求項1から請求項5のいずれか1項に記載の計測装置。
  7. 複数の超音波送信器を制御して超音波に複数方向の指向性を持たせた超音波ビームを送信信号として複数方向に送信し、
    前記複数方向からの前記送信信号の反射波を受信信号として受信し、
    所与の方向における自装置から物体までの距離を計測し、1次元距離情報を取得し、
    前記受信信号と、前記受信信号の方向と、前記1次元距離情報とを入力データとし、多次元距離センサにより得られる自装置から物体までの距離に関する多次元距離情報を正解データとして学習させた、複数の中間層を有し、かつ各層間でのみデータが関係付けられる多層ニューラルネットワークを用いて、推定式を含む学習結果を生成する計測方法であって、
    前記受信信号は、複数の極大値を含む信号波形を有する計測方法。
  8. 複数の超音波送信器を制御して超音波に複数方向の指向性を持たせた超音波ビームを送信信号として複数方向に送信し、
    前記複数方向からの前記送信信号の反射波を第1受信信号として受信し、
    所与の方向における自装置から物体までの距離を計測し、第1の1次元距離情報を取得し、
    学習用の受信信号である第2受信信号と、前記第2受信信号の方向と、前記第2受信信号の取得時に計測された第2の1次元距離情報とを入力データとし、予め取得した前記第2受信信号に対応する物体までの距離を正解データとして学習させた、複数の中間層を有し、かつ各層間でのみデータが関係づけられる多層ニューラルネットワークに基づき、前記第1受信信号と、前記第1受信信号の方向と、前記第1の1次元距離情報とから、距離情報を推定する計測方法であって、
    前記第1受信信号および前記第2受信信号は、複数の極大値を含む信号波形を有する計測方法。
JP2017132917A 2017-07-06 2017-07-06 計測装置および方法 Active JP7080594B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017132917A JP7080594B2 (ja) 2017-07-06 2017-07-06 計測装置および方法
US15/900,253 US10996331B2 (en) 2017-07-06 2018-02-20 Measuring apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017132917A JP7080594B2 (ja) 2017-07-06 2017-07-06 計測装置および方法

Publications (2)

Publication Number Publication Date
JP2019015598A JP2019015598A (ja) 2019-01-31
JP7080594B2 true JP7080594B2 (ja) 2022-06-06

Family

ID=64902649

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017132917A Active JP7080594B2 (ja) 2017-07-06 2017-07-06 計測装置および方法

Country Status (2)

Country Link
US (1) US10996331B2 (ja)
JP (1) JP7080594B2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11157287B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system with variable latency memory access
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11157441B2 (en) * 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US20220206103A1 (en) * 2019-05-13 2022-06-30 Nec Corporation Location estimation system, location estimation method, program, and recording medium
US20220221581A1 (en) * 2019-05-21 2022-07-14 Nippon Telegraph And Telephone Corporation Depth estimation device, depth estimation method, and depth estimation program
JP7300331B2 (ja) * 2019-07-03 2023-06-29 株式会社日立製作所 機械学習用情報処理装置、機械学習用情報処理方法、および機械学習用情報処理プログラム
CN110879397B (zh) * 2019-11-29 2021-10-29 安徽江淮汽车集团股份有限公司 障碍物识别方法、设备、存储介质及装置
JP2022068055A (ja) 2020-10-21 2022-05-09 株式会社日立製作所 生体認証装置および生体認証方法
CN118251615A (zh) * 2021-11-16 2024-06-25 松下电器(美国)知识产权公司 推测方法、推测***和程序
WO2023243348A1 (ja) * 2022-06-14 2023-12-21 ソニーグループ株式会社 物***置解析装置、および物***置解析方法、並びにプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000098031A (ja) 1998-09-22 2000-04-07 Hitachi Ltd インパルスソーナー
JP2001318145A (ja) 2000-05-01 2001-11-16 Yazaki Corp 電子走査式超音波物体検出装置及びその方法
US20150016225A1 (en) 2012-03-08 2015-01-15 Universiteit Antwerpen System and Method for Target Detection

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08220226A (ja) * 1995-02-16 1996-08-30 Tech Res & Dev Inst Of Japan Def Agency 目標信号検出方式
US6987707B2 (en) * 2002-11-12 2006-01-17 General Dynamics Advanced Information Systems, Inc. Method and system for in-air ultrasonic acoustical detection and characterization
JP2005300429A (ja) 2004-04-14 2005-10-27 Matsushita Electric Works Ltd 音響センサ
US7796470B1 (en) * 2006-10-05 2010-09-14 Shotspotter, Inc. Acoustic detection of weapons near transportation centers
EP2428814A1 (en) 2010-09-13 2012-03-14 France Telecom Object detection method, device and system
JP2013104811A (ja) 2011-11-15 2013-05-30 Kansai Electric Power Co Inc:The 超音波距離計測装置及び超音波距離計測方法
US20140122391A1 (en) * 2012-10-31 2014-05-01 21Ct, Inc. Top-Down Abstraction Learning Using Prediction as a Supervisory Signal
US10592805B2 (en) * 2016-08-26 2020-03-17 Ford Global Technologies, Llc Physics modeling for radar and ultrasonic sensors
CN107831759B (zh) * 2016-09-16 2022-09-27 福特全球技术公司 具有自动束缚功能的运送***
US11832969B2 (en) * 2016-12-22 2023-12-05 The Johns Hopkins University Machine learning approach to beamforming

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000098031A (ja) 1998-09-22 2000-04-07 Hitachi Ltd インパルスソーナー
JP2001318145A (ja) 2000-05-01 2001-11-16 Yazaki Corp 電子走査式超音波物体検出装置及びその方法
US20150016225A1 (en) 2012-03-08 2015-01-15 Universiteit Antwerpen System and Method for Target Detection

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CARMENA,J.M.外1名,"The use of Doppler in Sonar-based mobile robot navigation:inspirations from biology",INFORMATION SCIENCES, Volume 161,2004年,Pages 71-94
SANTOS.V.外2名,"Percepstion Maps for the local Navigation of a Mobile Robot: a Neural Network Approach",Proceedings of the 1994 IEEE International Coference on Robotics and Automation,1994年,Volume 3,Pages 2193-2998
浜中雅俊 外2名,"ディープラーニングに基づくドローン飛行エリアの推定",人工知能学会全国大会論文集,第30回,2016年,セッションID:3E4-5,4 Pages
海法宇治,"音響映像ソーナ",日本音響学会誌,Volume 47,Number 1,1990年12月25日,Pages 63-69

Also Published As

Publication number Publication date
US10996331B2 (en) 2021-05-04
US20190011551A1 (en) 2019-01-10
JP2019015598A (ja) 2019-01-31

Similar Documents

Publication Publication Date Title
JP7080594B2 (ja) 計測装置および方法
EP3540464B1 (en) Ranging method based on laser radar system, device and readable storage medium
CN108419446B (zh) 用于激光深度图取样的***及方法
WO2020258721A1 (zh) 智能巡航车导航方法及***
CN110178048A (zh) 交通工具环境地图生成和更新的方法和***
WO2021072710A1 (zh) 移动物体的点云融合方法、***及计算机存储介质
JPWO2017057041A1 (ja) 信号処理装置、信号処理方法、およびプログラム
US20210004566A1 (en) Method and apparatus for 3d object bounding for 2d image data
JP2019053030A (ja) レーダー映像処理方法、装置及びシステム
US11941888B2 (en) Method and device for generating training data for a recognition model for recognizing objects in sensor data of a sensor, in particular, of a vehicle, method for training and method for activating
US11859997B2 (en) Electronic device for generating map data and operation method thereof
EP3441906A1 (en) Information processing apparatus, moving object, information processing method, and computer-readble medium
EP3460515B1 (en) Mapping for autonomous robotic devices
Alkhawaja et al. Techniques of indoor positioning systems (IPS): A survey
CN111801718B (zh) 物体探测装置、物体探测方法、以及记录介质
KR102021202B1 (ko) 다중 센서의 단일 3차원 좌표계 통합을 위한 캘리브레이션 방법
EP3842885A1 (en) Autonomous movement device, control method and storage medium
US11988747B2 (en) Techniques for doppler point set registration
EP4204855A1 (en) Lidar based stereo camera correction
WO2022174392A1 (zh) 定位方法和装置
JP2007333441A (ja) 移動体およびその環境認識センサ
JP6298341B2 (ja) 目標探知支援システムおよびその方法
KR101502071B1 (ko) 랜드마크 기반 비전항법시스템을 위한 카메라 데이터 생성기와 그것을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체
WO2022256976A1 (zh) 稠密点云真值数据的构建方法、***和电子设备
Vaida et al. Automatic extrinsic calibration of LIDAR and monocular camera images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190318

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200303

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200609

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210105

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210105

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210119

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210126

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20210305

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20210309

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210615

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20210831

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211028

C302 Record of communication

Free format text: JAPANESE INTERMEDIATE CODE: C302

Effective date: 20211223

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220303

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220322

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220426

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220525

R151 Written notification of patent or utility model registration

Ref document number: 7080594

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151