JP2018009833A - 自車位置特定装置、及び自車位置特定方法 - Google Patents

自車位置特定装置、及び自車位置特定方法 Download PDF

Info

Publication number
JP2018009833A
JP2018009833A JP2016137478A JP2016137478A JP2018009833A JP 2018009833 A JP2018009833 A JP 2018009833A JP 2016137478 A JP2016137478 A JP 2016137478A JP 2016137478 A JP2016137478 A JP 2016137478A JP 2018009833 A JP2018009833 A JP 2018009833A
Authority
JP
Japan
Prior art keywords
movement amount
vehicle
reliability
calculated
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016137478A
Other languages
English (en)
Other versions
JP6622664B2 (ja
Inventor
宏次朗 立石
Kojiro Tateishi
宏次朗 立石
直輝 川嵜
Naoteru Kawasaki
直輝 川嵜
俊輔 鈴木
Shunsuke Suzuki
俊輔 鈴木
広 水野
Hiroshi Mizuno
広 水野
健 式町
Takeshi Shikimachi
健 式町
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Soken Inc
Original Assignee
Denso Corp
Soken Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Soken Inc filed Critical Denso Corp
Priority to JP2016137478A priority Critical patent/JP6622664B2/ja
Publication of JP2018009833A publication Critical patent/JP2018009833A/ja
Application granted granted Critical
Publication of JP6622664B2 publication Critical patent/JP6622664B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】地図上で特定される自車位置精度の低下を抑制することができる自車位置特定装置、及び自車位置特定方法を提供することを目的とする。
【解決手段】ECU20は、特徴点の自車両を基準とする相対位置の変化を追跡し、追跡した相対位置の変化に基づいて自車両の第1の移動量を算出する移動量算出部26と、第1の移動量の信頼度を設定する信頼度設定部24とを備える。また、信頼度が閾値以上の場合に、第1の移動量に基づいて、自車両に搭載された車速検出部35の出力を補正するための車速補正値を算出する補正値算出部25と、信頼度が閾値以上の場合に、第1の移動量に基づいて、地図上の自車位置を特定する第1位置特定部26と、信頼度が閾値未満の場合に、車速補正値による補正後の車速検出部の出力により第2の移動量を算出し、算出された第2の移動量に基づいて地図上の自車位置を特定する第2位置特定部27と、を備える。
【選択図】 図1

Description

本発明は、地図上の自車位置を特定する自車位置特定装置、及び自車位置特定方法に関する。
従来、地図上の自車位置を特定する自車位置特定装置が知られている。例えば、自車位置特定装置は、自車両が備える車速センサの出力を積分することでこの自車両の移動量を算出し、算出した移動量に基づいて地図上での自車位置を特定する。
また、自車両の周囲に存在する物体の当該自車両を基準とする相対位置の変化に基づいて、地図上の自車位置を特定する自車位置特定装置も知られている。特許文献1には、自車両が備えるステレオカメラによる撮像結果に基づいて、自車両を基準とした物体の相対位置の変化を算出し、算出した相対位置の変化に基づいて自車両の移動量を算出する。そして、この移動量を用いて地図上の自車位置を特定する。
特開平11−51650号公報
車速センサの出力に基づいて算出される移動量は、車輪のスリップ等に起因して定常的に誤差を生じさせる。一方で、ステレオカメラを用いることで物体の三次元情報の変化に基づく自車両の移動量を算出することができるが、周囲の明度や物体を検出するための特徴の有無に応じて物体の検出精度が変化する場合がある。そのため、車速センサとステレオカメラとのいずれを用いて自車両の移動量を算出する場合においても、自車位置を特定するために算出される移動量の精度を低下させる場合がある。
本発明は上記課題に鑑みてなされたものであり、地図上で特定される自車位置精度の低下を抑制することができる自車位置特定装置、及び自車位置特定方法を提供することを目的とする。
上記課題を解決するために本発明では、第1撮像部と第2撮像部とによる自車周囲の撮像結果に基づいて物体の三次元情報を認識する物体認識部と、認識された前記物体の特徴点を抽出する特徴点抽出部と、前記特徴点の自車両を基準とする相対位置の変化を追跡し、追跡した前記相対位置の変化に基づいて前記自車両の第1の移動量を算出する移動量算出部と、前記第1の移動量の信頼度を設定する信頼度設定部と、前記信頼度が閾値以上の場合に、前記第1の移動量に基づいて、前記自車両に搭載された車速検出部の出力を補正するための車速補正値を算出する補正値算出部と、前記信頼度が閾値以上の場合に、前記第1の移動量に基づいて、地図上の自車位置を特定する第1位置特定部と、前記信頼度が閾値未満の場合に、前記車速補正値による補正後の前記車速検出部の出力により第2の移動量を算出し、算出された前記第2の移動量に基づいて前記地図上の前記自車位置を特定する第2位置特定部と、を備える。
第1撮像部と第2撮像部とによる撮像結果に基づいて自車両の移動量を算出する場合、物体の検出精度が低下することでこの物体の相対位置の変化を適正に検出できなくなる場合がある。一方で、各撮像部に代えて車速検出部からの出力に基づいて自車両の移動量を算出する場合、車輪のスリップ等により定常的に誤差が生じるものの、各撮像部による検出精度を低下させる条件の影響を受けることなく自車両の移動量を算出できるという利点がある。この点、上記構成では、特徴点の時系列での相対位置の変化により算出される第1の移動量の信頼度を算出する。そして、この信頼度が閾値以上の場合は、第1の移動量に基づいて車速検出部の出力を補正するための車速補正値を算出するとともに、第1の移動量を用いて自車位置を特定する。一方、信頼度が閾値未満の場合は、車速検出部の出力を車速補正値で補正することより算出される第2の移動量を用いて自車位置を特定することとした。この場合、各撮像部の検出精度が低下する条件下では、この条件の影響を受け難い車速検出部の補正後の出力により自車位置を特定できるため、自車位置の精度の低下を抑制することができる。
車両制御装置100の構成図。 自車位置の特定を説明する図。 地図上での自車位置CPの特定方法を説明するフローチャート。 図3のステップS16の処理を詳細に示すフローチャート。 エッジ点Pの追跡を説明する図。 エッジ点Pの追跡を説明する図。 自車両CSの移動量を説明する図。 第1実施形態に係る信頼度の設定を説明する図。 特定された自車位置CPの変更を説明する図。 第2実施形態に係る物体の類似度DSと第1の移動量の信頼度との関係を説明する図。 図3のステップS17で実施される処理を詳細に示すフローチャート。 第3実施形態における信頼度の算出手法を説明する図。
本発明にかかる自車位置特定装置、及び自車位置特定方法の実施形態を図面と共に説明する。なお、以下の実施形態相互において、互いに同一もしくは均等である部分には、図中、同一符号を付しており、同一符号の部分についてはその説明を援用する。
(第1実施形態)
図1は、自車位置特定装置、及び自車位置特定方法を適用した車両制御装置100を示している。車両制御装置100は、例えば、車両に搭載される車両システムの一例であり、地図上での自車位置を特定し、特定結果に基づいて自車両の運転を支援する。
図1に示すように、車両制御装置100は、各種センサ30と、自車位置特定装置として機能するECU20と、運転支援装置40と、を備えている。
各種センサ30は、GPS受信機31、ステレオカメラ32、車速センサ35、ヨーレートセンサ36、を備えている。
GPS受信機31は、周知の衛星測位システム(GNSS)の一部として機能することで、衛星から送信される電波をGPS情報として受信する。GPS情報には、衛星の位置や電波が送信された時刻や、衛星の位置の誤差を示す情報であるDOP(誤差情報)が含まれている。GPS受信機31は、GPS情報を受信した受信時刻とGPS情報に含まれる発信時刻との差に基づいて、衛星から自車両CSまでの距離を算出する。そして、算出した距離と衛星の位置とをECU20に出力する。
ステレオカメラ32は、自車両CSの進行方向前方を撮像できるよう撮像軸を自車両CSの前方に向けた状態で車室内に設置されている。また、ステレオカメラ32は、車両横方向での位置の異なる第1撮像部33及び第2撮像部34を備えている。第1撮像部33及び第2撮像部34は、例えば、それぞれがCCDイメージセンサやCMOSイメージセンサで構成されており、車両中心から横方向(X軸方向)にそれぞれ左右にずれて配置されている。そのため、各撮像部33,34で撮像された右画像及び左画像とは、物体の見える角度が異なり、画像内の物体に対して両眼視差を生じさせている。また、各撮像部33,34で撮像された画像は、それぞれ所定周期でECU20に出力される。
車速センサ35は、自車両CSの車輪に動力を伝達する回転軸に設けられており、その回転軸の回転数に基づいて自車両CSの速度を検出する。ヨーレートセンサ36は、自車両CSの単位時間当たりでの向きの変化を、自車両CSに実際に発生したヨーレート、すなわち車両の重心点回りの角速度により検出する。車速センサ35が車速検出部として機能し、ヨーレートセンサ36が向き検出部として機能する。
ECU20は、CPU、ROM、RAMを備えたコンピュータとして構成されている。そして、CPUが、内部メモリに記憶されているプログラムを実行することにより、図1に示す各部として機能することができる。また、ECU20は、地図が記録された外部メモリ45に接続されており、この外部メモリ45から地図に記録された情報を読み出すことができる。
また、ECU20は、現在の地図上での自車位置CPを特定する。図2(a)は、時刻t1における自車位置CP(t1)を基準とする物体Obの相対位置Yr1と、時刻t2における自車位置CP(t2)を基準とする物体の相対位置Yr2と、を示している。物体Obの位置が移動しなければ、時刻t1から時刻t2での自車両CSの移動量TAは、時刻t1での相対位置Yr1と時刻t2での相対位置Yr2との差分と等しい関係となる。そのため、ECU20は、図2(b),(c)に示すように、ステレオカメラ32による時系列の異なる撮像結果に基づいて、物体Obの自車両CSを基準とする相対位置をそれぞれ算出する。そして、算出された相対位置の変化により、自車両CSの移動量を算出する。図2(a)の例では、時刻t1における自車位置CPに移動量TAを加えることで、時刻t2での自車位置CP(t2)を特定することができる。
運転支援装置40は、ECU20が特定した自車位置CPに基づいて、自車両CSの走行を制御する。例えば、運転支援装置40は、自車位置CP、車速及びヨーレートにより自車両CSの将来の位置を予測し、予測した将来の位置と道路の認識結果とを用いて、自車両CSが区画白線等を逸脱するおそれがあるか否かを判断する。例えば、運転支援装置40が警報機能を有していれば、自車両が区画白線を逸脱するおそれがあると判断した場合、自車両CSが備えるディスプレイにより警告表示を行ったり、自車両CSが備えるスピーカにより警告音を発生させたりする。また、運転支援装置40が運転補助機能を有していれば、自車両CSが区画白線を逸脱するおそれがあると判断した場合、操舵装置に操舵力を加える。
上述した、ステレオカメラ32の撮像結果を用いた自車位置CPの特定において、周囲の明度や物体を検出するための特徴の有無に応じてステレオカメラ32の検出精度が低下する場合がある。物体Obの検出精度が低下することで、物体Obの自車両CSを基準とする相対位置に誤差が生じ、算出される自車両CSの移動量の精度を低下させる。一方で、車速センサ35の出力に基づいて算出される移動量は、車輪のスリップ等に起因して定常的に誤差を生じさせる。そこで、ECU20は、ステレオカメラ32の検出精度の悪化に伴う、自車位置CPの精度の低下を抑制するために、図1に示す各構成を備えている。
図1に戻り、物体認識部21は、ステレオカメラ32による自車周囲の撮像結果に基づいて物体の三次元情報を認識する。物体認識部21は、第1撮像部33及び第2撮像部34により撮像された右画像と左画像とから、画素ブロック毎の視差情報を算出し、この視差情報に基づいて画素毎に三次元情報(X,Y,Z)を備える距離画像を生成する。そして、各画素を三次元情報に基づいてグループ化し、グループ化された各画素を物体として認識する。この時、各画素の三次元情報に加えて、各画素の輝度分布や画素毎に算出された移動方向ベクトルの向きを用いて各画素を物体としてグループ化してもよい。
特徴点抽出部22は、物体認識部21により三次元情報が認識された物体の特徴点としてエッジ点Pを抽出する。例えば、特徴点抽出部22は、距離画像における三次元情報が認識された物体に対して周知のエッジ点抽出フィルタを用いて、濃度勾配が所定値以上の画素をエッジ点Pとして抽出する。
移動量算出部23は、三次元情報が認識された物体におけるエッジ点Pの自車両CSを基準とする相対位置の変化を追跡し、追跡した相対位置の変化に基づいて自車両CSの第1の移動量を算出する。
信頼度設定部24は、第1の移動量の信頼度を設定する。ここで、信頼度とは、第1の移動量の算出精度を示す指標値である。この信頼度が高い程、第1の移動量の算出精度が高くなり、逆に、信頼度が低い程、第1の移動量の算出精度が低くなる。信頼度の算出方法としては、例えば、第1の移動量を算出する際に用いたエッジ点Pの数や、このエッジ点Pを抽出した物体の類似度に基づいて算出される。
補正値算出部25は、信頼度が閾値Th1以上の場合に、第1の移動量に基づいて、自車両CSに搭載された車速センサ35の出力を補正するための補正値を算出する。この実施形態では、補正値として車速センサ35の出力におけるゲインを変更する補正係数を用いる。また、閾値Th1は、例えば、第1の移動量の算出精度として必要とされる値に基づいて、実験的に算出される値である。
第1位置特定部26は、信頼度が閾値Th1以上の場合に、第1の移動量に基づいて地図上の自車位置CPを特定する。また、第2位置特定部27は、信頼度が閾値Th1未満の場合に、車速補正値αによる補正後の車速センサ35の出力により第2の移動量を算出し、算出されたこの第2の移動量に基づいて地図上の自車位置CPを特定する。
次に、ECU20により実施される地図上での自車位置CPの特定方法を、図3を用いて説明する。図3で示されるフローチャートは、ECU20により所定周期で実施される処理である。なお、以下では、ECU20が現在実施している図3の処理を今回の処理と記載し、前回の処理と区別する。
ステップS11では、GPS情報を取得する。ECU20は、GPS受信機31で受信されたGPS情報を取得する。ステップS11が衛星情報取得部として機能する。
ステップS12では、ステップS11で取得したGPS情報の誤差を判定する。例えば、ECU20は、GPS情報に含まれるDOPに基づいてGPS情報の精度を判定する。これ以外にも、外部メモリ45に記録された地図を参照し、自車両CSの現在位置がトンネル等のGPS情報の受信精度が低下する位置である場合に、GPS情報の精度が低いと判定してもよい。
GPS情報の精度が高い場合(ステップS12:YES)、ステップS13に進み、GPS情報に基づいて自車両CSの地図上の位置を補正する。即ち、GPS情報の精度が高い場合は、このGPS情報に基づいて地図上での自車位置CPを特定する。そして、図3の処理を一旦終了する。
一方、GPS情報の精度が低い場合(ステップS12:NO)、ステレオカメラ32又は車速センサ35の出力に基づいて、地図上での自車位置CPを特定する。まず、ステップS14では、自車両CSの周囲の物体の三次元情報を認識する。ECU20は、ステレオカメラ32の第1撮像部33と第2撮像部34とにより撮像された一対の画像に基づいて距離画像を生成し、この距離画像内での物体の三次元情報(X,Y,Z)を認識する。ステップS14が物体認識工程として機能する。
ステップS15では、三次元情報が認識された物体におけるエッジ点Pを距離画像から抽出する。ステップS15が特徴点抽出工程として機能する。
ステップS16では、ステップS15で抽出されたエッジ点Pの自車両CSを基準とする相対位置の変化を追跡し、追跡した相対位置の変化に基づいて自車両CSの第1の移動量を算出する。ステップS16が移動量算出工程として機能する。
図4は、図3のステップS16の処理を詳細に示すフローチャートである。ステップS31では、ステップS15でエッジ点Pを抽出した物体に所定の静止物が含まれているか否かを判定する。例えば、ECU20は、静止物として、電柱、ガードレール、標識、縁石等を識別するための辞書を記録しており、この辞書に基づいてエッジ点Pを抽出した物体が静止物であるか否かを判定する。これ以外にも、各物体を構成する画素の移動ベクトルを用いて物体が静止物であるか否かを判定してもよい。ステップS31が物体判定部として機能する。
図5(a)で一例として示す距離画像には、エッジ点Pが抽出された物体の内、ステップS31の処理において静止物として判定された物体Ob1〜Ob3が含まれている。図5(b)は、図5(a)に示す物体Ob2の一部を拡大して示しており、物体Ob2の外形やテクスチャを示す画素の濃度勾配に応じてエッジ点Pが抽出されている。
エッジ点Pを抽出した物体に静止物が含まれていない場合(ステップS31:NO)、図4の処理を一旦終了する。この場合、エッジ点Pにおける相対位置の変化の探索を実施できないため、図3,4の処理を一旦終了する。
一方、静止物が含まれている場合(ステップS31:YES)、ステップS32では、今回生成された距離画像でのエッジ点Pの探索領域を設定する。例えば、ECU20は、前回特定された地図上での自車位置CPと前回算出された第1の移動量とを記録しており、各情報に基づいて今回の自車両CSの移動方向を予測する。そして、予測した自車両CSの移動方向に基づいて今回生成された距離画像におけるエッジ点Pの探索領域を設定する。図5(c)では、探索領域としてEA1〜EA3が設定されている。ステップS32が探索領域設定部として機能する。
ステップS33〜S35では、エッジ点Pの追跡処理を実施する。この追跡処理では、図6(a)に示すように、時系列が異なる距離画像間において、エッジ点Pを対応付ける。そして、対応づけられたエッジ点Pの相対位置の変化を算出する。この実施形態では、一例として、異なる距離画像に含まれる物体間のテクスチャの類似度を判定し、類似度に応じて異なる距離画像内のエッジ点Pを対応付ける。
まず、ステップS33では、物体のテクスチャの類似度を判定するために、前回生成された距離画像内において、各探索領域EAに含まれるエッジ点P周囲の輝度分布を示すヒストグラムを算出する。図6(b)は、前回生成された距離画像において、探索領域EA1に含まれるエッジ点Pの周囲の輝度分布を示すヒストグラムである。このヒストグラムでは、横軸を輝度B(例えば0〜255の階調数)とし、縦軸を各輝度の画素数PNとすることで、エッジ点P周囲の輝度分布を示している。
ステップS34では、今回生成された距離画像の各探索領域EAに対して、ステップS33で算出したエッジ点Pの輝度分布に近い輝度分布の領域を探索する。例えば、ECU20は、今回生成された距離画像内の各探索領域に対して、ステップS33で算出された輝度分布との相関係数を算出する。そして、この相関係数が最も高い画素群をテクスチャの類似度が高い領域として判定し、判定した画素群に含まれるエッジ点Pを対応づける。例えば、図6(c)では、今回生成された距離画像において、探索領域EA11に含まれるエッジ点Pの周囲の輝度分布が、図6(b)に示す輝度分布と最も相関係数が高く、各画素群のエッジ点Pが対応づけられている。
ステップS35では、エッジ点Pの相対位置の変化を算出する。ECU20は、ステップS34において対応付けが行われた時系列が異なる距離画像内での各エッジ点Pの三次元情報の差を算出し、この差を相対位置の変化値とする。
各探索領域EA内での全てのエッジ点Pの追跡が実施されていない場合(ステップS36:NO)、ステップS33に戻り、エッジ点Pの追跡を継続する。一方、各探索領域EA内での全てのエッジ点Pの追跡が実施された場合(ステップS36:YES)、ステップS37に進む。
ステップS37では、ステップS35で算出された相対位置の変化に基づいて自車両CSの第1の移動量を算出する。図7に示すように、ECU20は、第1の移動量として、自車両CSの進行方向成分Vfy、横方向成分Vfx、回転方向成分Vfφ(角速度)と、を算出する。ここで、回転方向成分Vfφの算出は、例えば、ステレオカメラ32による撮像結果に基づいて自車両CSが走行する道路の中心線を認識し、この中心線を基準とする自車両CSの進行方向の傾きにより算出する。
なお、複数のエッジ点Pにおいて相対位置の変化の追跡が成功している場合、各エッジ点Pの相対位置の変化を平均し、平均値に基づいて第1の移動量を算出してもよい。
図3に戻り、ステップS17では、ステップS16で算出した移動量の信頼度を設定する。この第1実施形態では、ECU20は、ステップS16で追跡したエッジ点Pの数ENを算出し、算出したエッジ点Pの数ENが少ない程、信頼度を低く設定する。例えば、ECU20は、追跡に用いたエッジ点Pの数ENと信頼度との対応関係を規定するテーブルを記録している。図8に示すテーブルでは、追跡に用いたエッジ点Pの数ENが増加する程、信頼度R1が増加するようその値が定められている。ステップS17が信頼度設定工程として機能する。
ステップS18では、ステップS17で算出した信頼度を、閾値Th1を用いて比較する。信頼度が閾値Th1以上であれば(ステップS18:YES)、ステップS19では、車速センサ35の出力を補正するための車速補正値αを算出する。例えば、車速補正値αは、下記式(1)を用いて算出される。
α=Vfy/Vpy … (1)
ここで、Vfyは、第1の移動量の内、進行方向成分の車速であり、Vpyは、車速センサの計測値(出力)である。
ステップS20では、ヨーレートセンサ36の出力を補正するための向き補正値βを算出する。例えば、向き補正値βは、下記式(2)を用いて算出される。
β=Vfφ/Vpφ … (2)
ここで、Vfφは、第1の移動量の内、回転方向成分(角速度)であり、Vpφは、ヨーレートセンサの計測値(出力)である。ステップS19,S20が補正値算出工程として機能する。
ステップS21では、ステップS16で算出された第1の移動量に基づいて、自車位置CPを特定する。ECU20は、前回特定された自車位置CPから、ステップS16で算出された第1の移動量だけ地図上で変更した位置を今回の自車位置CPとして特定する。ステップS21が第1位置特定工程として機能する。
一方、第1の移動量の信頼度が閾値Th1未満であれば(ステップS18:NO)、ステップS22に進む。この場合、信頼度が閾値Th1未満であるため、第1の移動量を自車位置CPの特定に用いると、地図上の自車位置CPの精度が低下するおそれがある。そのため、ステップS22以下では、ECU20は、車速センサ35の出力を用いて自車位置CPを特定する。
ステップS22では、各補正値による補正後の車速センサ35の出力を第2の移動量として算出し、この第2の移動量に基づいて地図上の前記自車位置CPを特定する。具体的には、ECU20は、向き補正値βによる補正後のヨーレートセンサ36の出力を積分した値に基づいて、自車両CSの向きを特定する。次に、車速補正値αによる補正後の車速センサ35の主力を積分した値に基づいて、自車両CSの進行方向での移動量を算出する。例えば、補正後のヨーレートセンサ36の出力と補正後の車速センサ35の出力とは、下記式(3),(4)を用いて算出される。
AVpφ=βVpφ … (3)
AVpy=αVpy … (4)
ここで、Apφは、ヨーレートセンサ36の出力を向き補正値βで補正した値を示し、AVpyは、車速センサの出力を車速補正値αで補正した値を示す。
ステップS23では、ステップS22で特定された自車位置がGPS情報の誤差に基づいて算出される誤差範囲に含まれるか否かを判定する。例えば、ECU20は、ステップS11で受信したGPS情報に含まれるDOPに基づいて、GPS情報のみに基づいて特定される自車位置CPの誤差範囲を設定する。図9では、GPS情報に基づいて測位される位置を中心Mとして、同心円状に誤差範囲ERが設定されている。
ステップS22で特定した自車位置CPが誤差範囲内であれば(ステップS23:YES)、図3の処理を一旦終了する。この場合、ステップS22で特定された地図上の自車位置CPは、GPS情報に基づく誤差範囲に収まるため、算出された位置を現在の自車位置CPとする。
一方、ステップS22で特定した自車位置CPが誤差範囲を超える場合(ステップS23:NO)、ステップS24では、この自車位置CPを誤差範囲に収まるよう変更する。この場合、ECU20は、ステップS22で特定された自車位置CPをGPS情報に基づく誤差範囲の値に変更する。図9では、誤差範囲から外れていた自車位置CPが誤差範囲に収まるよう地図上での位置が変更されている。
ステップS22〜S24が第2位置特定工程として機能する。ステップS23の処理、又はステップS24の処理が終了すると、図3の処理を一旦終了する。
以上説明したように、この第1実施形態では、ECU20は、エッジ点Pの時系列での相対位置の変化により算出される第1の移動量の信頼度を算出する。そして、この信頼度が閾値Th1以上の場合は、第1の移動量に基づいて車速センサ35の出力を補正するための車速補正値αを算出するとともに、第1の移動量を用いて地図上での自車位置CPを特定する。一方、信頼度が閾値未満の場合は、車速補正値αによる補正後の車速センサ35の出力を第2の移動量として算出し、算出した第2の移動量に基づいて自車位置を特定することとした。この場合、各撮像部の検出精度が低下する条件下では、この条件の影響を受け難い車速センサ35の補正後の出力により自車位置CPを特定できるため、自車位置CPの精度の低下を抑制することができる。
ECU20は、エッジ点Pを抽出した物体が移動を伴わない所定の静止物であるか否かを判定し、静止物として判定された物体のエッジ点Pを追跡した相対位置の変化に基づいて、自車両CSの第1の移動量を算出する。静止物から抽出されるエッジ点Pの地図上の位置は変化することがないため、このエッジ点Pを追跡することで自車両CSと物体との間の相対位置の変化に起因する誤差を低減することができる。その結果、第1の移動量における信頼度の判定精度を高めることができる。
第1の移動量を算出するのに用いるエッジ点Pの数を比較した場合に、追跡した数が多いほど、算出される第1の移動量の頑健性が高くなり、その算出精度が向上する。この点、上記構成では、第1の移動量に対する信頼度をECU20が追跡したエッジ点Pの数に応じて設定することとした。この場合、算出精度が低い第1の移動量ほど、車速センサ35の出力を用いた第2の移動量に置き換えられ易くすることで、自車位置の精度の低下を抑制することができる。
車速センサ35で取得される計測値に対して、この計測値の補正を算出する際に用いられる移動量の向きを揃えることで、補正された車速センサ35の出力により算出される第2の移動量の精度を高めることができる。この点、上記構成では、ECU20は、第1の移動量として算出された自車両CSの進行方向成分により車速センサ35の出力を補正するための車速補正値αを算出することとした。この場合、各撮像部の検出精度が低下する条件下において、地図上での自車両CSの進行方向での位置精度の低下を抑制することができる。
車速センサ35による進行方向での移動量に加えて、ヨーレートセンサの出力により自車両CSの向きを加味することで、地図上の自車位置CPを精度良く特定することができる。この点、上記構成では、ECU20は、第1の移動量として算出された向きにより、ヨーレートセンサ36の出力を補正するための向き補正値βを算出し、車速補正値αによる補正後の車速センサ35の出力に加えて向き補正値による補正後の向き検出部の出力に基づいて、第2の移動量を算出することとした。この場合、自車両CSの移動時における向きを加味して自車位置を特定することができるため、自車両CSの走行時において向きが変化する場合でも、地図上での自車位置精度の低下を適正に抑制することができる。
衛星から送信される衛星情報に基づいて地図上での自車両CSの位置を推定し、この位置と第2の移動量とを用いて自車位置を特定する場合、特定した自車位置がこの衛星情報により求められる誤差範囲を超えて特定される可能性がある。この点、上記構成では、ECU20は、第2の移動量に基づいて特定された自車位置CPを誤差範囲と比較し、特定された自車位置CPが誤差範囲を超えている場合は、この誤差範囲に含まれるよう変更することとした。そのため、特定した自車位置CPが衛星から送信される情報の誤差以上に悪化することを抑制することができる。
前回生成された距離画像でエッジ点Pが抽出された領域と今回生成された距離画像でエッジ点Pが抽出される領域とは近い位置となる可能性が高い。この点、上記構成では、ECU20は、前回特定された地図上の位置と前回算出された第1の移動量とに基づいて予測し、予測された自車両CSの移動方向に基づいて今回生成された距離画像において相対位置の変化を追跡するためのエッジ点Pの探索領域を設定することとした。この場合、追跡に用いるエッジ点Pの探索領域を絞り込むことができるため、第1の移動量の算出に要する時間を短縮することができる。
(第2実施形態)
この第2実施形態では、第1の移動量の算出の際に追跡したエッジ点Pが属する物体Obのテクスチャの類似度に応じて信頼度を設定する。
第1の移動量の算出に用いられる物体におけるテクスチャの類似度DSが高い程、ECU20によるエッジ点Pの対応づけのミスが減少する。そのため、この第2実施形態では、エッジ点Pが抽出された物体Obにおけるテクスチャの類似度DSが高い程、第1の移動量の信頼度を高く設定する。
この場合、図3のステップS17において、三次元情報を認識した時系列が異なる物体間での物体Ob間のテクスチャの類似度DSを算出し、算出した類似度DSに応じて第1の移動量の信頼度を設定する。物体Obのテクスチャの類似度DSの算出方法は、例えば、図6のステップS34で用いた輝度分布間の相関係数を算出することで行う。そして、この相関係数が小さい程、類似度DSを低い値に算出し、相関係数が大きい程、類似度DSを高い値に算出する。
そして、ECU20は、テクスチャの類似度DSから第1の移動量の信頼度を算出する当たり、類似度DSと信頼度との対応関係を規定するテーブルを記録している。図10に示すテーブルでは、異なる距離画像間での物体の類似度DSが低い程、信頼度R2が低下するようその値が定められている。
以上説明したようにこの第2実施形態では、追跡に用いる物体のテクスチャの類似度を比較した場合、この類似度が高い程、エッジ点間の対応付けのミスが低減し、第1の移動量を適正に算出する可能性が高くなる。この点、上記構成では、ECU20は、第1の移動量に対する信頼度を第1撮像部33と第2撮像部34とによる撮像結果の異なる物体間におけるテクスチャの類似度に応じて設定することとした。この場合、エッジ点P間の対応付けのミスが高い第1の移動量ほど、第2の移動量に置き換えられ易くなるため、エッジ点Pの対応付けミスに起因する自車位置精度の低下を抑制することができる。
(第3実施形態)
この第3実施形態では、異なる自車位置CPから同一のエッジ点Pの位置をそれぞれ算出し、この位置のずれ量に基づいて第1の移動量の信頼度を算出する。
図11は、図3のステップS17で実施される処理を詳細に示すフローチャートである。図12は、第3実施形態における信頼度の算出手法を説明する図である。
図11のステップS41では、図3のステップS16において今回算出された第1の移動量に基づいて今回の自車位置CPを特定する。
ステップS42では、前回生成された距離画像内におけるエッジ点Pの現在の相対座標上での位置AP(n−1)を算出する。ECU20は、前回の距離画像において三次元情報により認識されたエッジ点Pの相対位置を、今回特定された自車位置CP(n)を基準とする相対座標に投影することで、エッジ点Pの位置AP(n−1)を算出する。例えば、今回算出された第1の移動量に基づいて前回生成された距離画像内でのエッジ点Pの各位置を変更することで、各位置を相対座標内の位置AP(n−1)とする。ステップS41,ステップS42が位置算出部として機能する。
ステップS43では、ステップS42で算出したエッジ点Pの相対座標上での位置AP(n−1)と、今回生成された距離画像内で抽出された同一のエッジ点Pの位置AP(n)とのずれ量を算出する。図12(a)では、各位置におけるそれぞれのエッジ点Pの相対座標上での位置を示している。ECU20は、算出された相対座標上の各エッジ点Pの位置のずれ量を、全てのエッジ点で総和する。
ここで、エッジ点Pを静止物から抽出している場合、現在の相対座標上に投影される各エッジ点Pの位置は同じ位置となるはずである。そのため、相対座標上の各エッジ点Pの位置がずれている場合、ステップS41での自車位置CPの算出に用いた第1の移動量に誤差が生じている可能性が高くなる。また、第1の移動量の誤差が大きい程、地図上のエッジ点Pの位置のずれ量の総和が大きくなると考えられる。
そのため、ステップS44では、ステップS43で算出された各エッジ点Pのずれ量の総和に応じて、信頼度を設定する。現在の相対座標上での各エッジ点Pのずれ量の総和が大きくなる程、第1の移動量の誤差が大きいとみなし、信頼度を低い値に設定する。例えば、ECU20は、ステップS43で算出されたずれ量の総和PEと第1の移動量の信頼度R3との対応関係を規定するテーブルを記録している。図12(b)に示すテーブルでは、ずれ量の総和PEが増加する程、信頼度R3が低下するようその値が定められている。
図3のステップS18に戻り、設定した信頼度R3に応じて、第1の移動量を用いた自車位置CPの特定、又は、第2の移動量を用いた自車位置CPの特定を行う。
ステップS42において、ECU20は、今回算出された第1の移動量に基づいて、前回より前のエッジ点Pの相対位置をエッジ点Pの現在の相対座標での位置として算出し、算出した位置と今回の撮像結果により抽出された同一のエッジ点Pの相対位置とのずれ量を算出してもよい。
以上説明したようにこの第3実施形態では、静止物から抽出されるエッジ点Pの位置は変化することがないため、時系列の異なる距離画像内での各エッジ点Pの位置が異なる場合、自車位置CPを特定するために用いた第1の移動量に誤差が生じている可能性がある。この点、上記構成では、ECU20は、今回算出された第1の移動量に基づいて、前回又は前回より前のエッジ点Pの相対位置をエッジ点Pの現在の相対座標での位置として算出するとともに、算出した位置と今回の撮像結果により抽出された同一のエッジ点Pの相対位置とのずれ量を算出する。そして、算出されたずれ量が大きい程、信頼度を低く設定することとした。この場合、地図上の静止物から抽出されたエッジ点Pを基準とすることで、第1の移動量における信頼度の判定精度を高めることができる。
(その他の実施形態)
ECU20は、GPS受信機31を備える構成としがこれに限定されず、GPS受信機31を備えていなくともよい。この場合、ECU20は、図3のステップS13で示したGPS情報により自車位置を特定する機能を有しないこととなる。
自車両CSの進行方向での移動量のみに基づいて地図上の自車位置CPを特定するものであってもよい。この場合、図3のステップS22において、自車両CSの向きの特定は実施されず、車速補正値αによる補正後の車速センサ35の主力を積分した値に基づいて自車両CSの進行方向での移動量のみを算出する。
上述した第1実施形態及び第2実施形態において、エッジ点Pを抽出する物体は所定の静止物に限定されず、隣接する走行レーンを低速で走行する他車両、又は歩行者であってもよい。例えば、低速で走行する物体から抽出したエッジ点Pに基づいて地図上の自車位置CPを特定する場合、ECU20は、物体から抽出されたエッジ点Pにより算出される物体の相対位置の変化に車速センサ35の出力を加えて、自車両の第1の移動量を算出する。そして、算出した第1の移動量に基づいて、地図上の自車位置を特定する。
ECU20が参照する地図は、このECU20に接続された外部メモリ45に記録されている以外にも、ネットワークを経由して不図示のサーバーからダウンロードするものであってもよい。また、ECU20がI/Fを介してスマートフォン等の端末にアクセスできる場合に、この端末を介して地図を取得するものであってもよい。
21…物体認識部、22…特徴点抽出部、23…移動量算出部、24…信頼度設定部、25…補正値算出部、26…第1位置特定部、27…第2位置特定部、33…第1撮像部、34…第2撮像部、CP…自車位置、CS…自車両。

Claims (10)

  1. 第1撮像部(33)と第2撮像部(32)とによる自車周囲の撮像結果に基づいて物体の三次元情報を認識する物体認識部と、
    認識された前記物体の特徴点を抽出する特徴点抽出部と、
    前記特徴点の自車両を基準とする相対位置の変化を追跡し、追跡した前記相対位置の変化に基づいて前記自車両の第1の移動量を算出する移動量算出部と、
    前記第1の移動量の信頼度を設定する信頼度設定部と、
    前記信頼度が閾値以上の場合に、前記第1の移動量に基づいて、前記自車両に搭載された車速検出部(35)の出力を補正するための車速補正値を算出する補正値算出部と、
    前記信頼度が閾値以上の場合に、前記第1の移動量に基づいて、地図上の自車位置を特定する第1位置特定部と、
    前記信頼度が閾値未満の場合に、前記車速補正値による補正後の前記車速検出部の出力により第2の移動量を算出し、算出された前記第2の移動量に基づいて前記地図上の前記自車位置を特定する第2位置特定部と、を備える自車位置特定装置。
  2. 前記特徴点が抽出された物体が移動を伴わない所定の静止物であるか否かを判定する物体判定部を有し、
    前記移動量算出部は、前記静止物として判定された前記物体における前記特徴点の前記相対位置の変化に基づいて、前記自車両の第1の移動量を算出する、請求項1に記載の自車位置特定装置。
  3. 前記信頼度設定部は、前記移動量算出部が追跡した前記特徴点の数を算出し、算出した前記特徴点の数が少ない程、前記信頼度を低く設定する、請求項1又は請求項2に記載の自車位置特定装置。
  4. 前記移動量算出部は、前記第1撮像部と前記第2撮像部とによる前記撮像結果の時系列が異なる前記物体間でのテクスチャを比較し、類似する前記テクスチャを有する各物体から抽出された前記特徴点の前記相対位置の変化を追跡することで、前記第1の移動量を算出し、
    前記信頼度設定部は、前記特徴点が抽出された前記物体間の前記テクスチャの類似度が低い程、前記信頼度を低く設定する、請求項1又は請求項2に記載の自車位置特定装置。
  5. 今回算出された前記第1の移動量に基づいて、前回又は前回より前の前記特徴点の前記相対位置を前記特徴点の現在の相対座標での位置として算出するとともに、算出した位置と今回の撮像結果により抽出された同一の前記特徴点の相対位置とのずれ量を算出する位置算出部を備え、
    前記信頼度設定部は、算出された前記ずれ量が大きい程、前記信頼度を低く設定する、請求項2に記載の自車位置特定装置。
  6. 前記移動量算出部は、前記第1の移動量として前記自車両の進行方向成分を算出し、
    前記補正値算出部は、前記移動量算出部により算出された前記進行方向成分に基づいて、前記車速補正値を算出する、請求項1から請求項5のいずれか一項に記載の自車位置特定装置。
  7. 前記自車両の向きを算出する向き算出部を備え、
    前記補正値算出部は、前記信頼度が閾値以上の場合に、前記移動量算出部により算出された前記向きに基づいて、前記自車両に搭載された向き検出部(36)の出力を補正するための向き補正値を算出し、
    前記第2位置特定部は、前記車速補正値による補正後の前記車速検出部の出力と前記向き補正値による補正後の前記向き検出部の出力とに基づいて、前記第2の移動量を算出し、算出された前記第2の移動量に基づいて前記地図上の前記自車位置を特定する、請求項6に記載の自車位置特定装置。
  8. 衛星から送信される当該衛星の位置と前記衛星の位置の誤差情報とを含む衛星情報を取得する衛星情報取得部を備え、
    前記第2位置特定部は、前記第2の移動量に基づいて特定した前記自車位置が前記誤差情報に基づいて算出した誤差範囲を超える場合に、特定した前記自車位置を前記誤差範囲に含まれるよう変更する、請求項1から請求項7のいずれか一項に記載の自車位置特定装置。
  9. 前記物体認識部は、前記第1撮像部と前記第2撮像部とのそれぞれで撮像した各画像に基づいて前記物体の三次元情報を示す情報が付与された距離画像を生成し、前記距離画像に基づいて前記物体の前記三次元情報を認識し、
    前記第1の移動量又は前記第2の移動量に基づいて前回特定された前記地図上での前記自車位置と前回算出された前記第1の移動量とに基づいて前記自車両の移動方向を予測し、予測した前記自車両の移動方向に基づいて、今回生成された前記距離画像に対して、前記移動量算出部が前記第1の移動量を算出するために追跡する前記特徴点の探索領域を設定する探索領域設定部を備える、請求項1から請求項8のいずれか一項に記載の自車位置特定装置。
  10. 第1撮像部と第2撮像部とによる自車周囲の撮像結果に基づいて物体の三次元情報を認識する物体認識工程と、
    認識された前記物体の特徴点を抽出する特徴点抽出工程と、
    前記特徴点の自車両を基準とする相対位置の変化を追跡し、追跡した前記相対位置の変化に基づいて前記自車両の第1の移動量を算出する移動量算出工程と、
    前記第1の移動量の信頼度を設定する信頼度設定工程と、
    前記信頼度が閾値以上の場合に、前記第1の移動量に基づいて、前記自車両に搭載された車速検出部の出力を補正するための車速補正値を算出する補正値算出工程と、
    前記信頼度が閾値以上の場合に、前記第1の移動量に基づいて、地図上の自車位置を特定する第1位置特定工程と、
    前記信頼度が閾値未満の場合に、前記車速補正値による補正後の前記車速検出部の出力により第2の移動量を算出し、算出された前記第2の移動量に基づいて前記地図上の前記自車位置を特定する第2位置特定工程と、を備える自車位置特定方法。
JP2016137478A 2016-07-12 2016-07-12 自車位置特定装置、及び自車位置特定方法 Active JP6622664B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016137478A JP6622664B2 (ja) 2016-07-12 2016-07-12 自車位置特定装置、及び自車位置特定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016137478A JP6622664B2 (ja) 2016-07-12 2016-07-12 自車位置特定装置、及び自車位置特定方法

Publications (2)

Publication Number Publication Date
JP2018009833A true JP2018009833A (ja) 2018-01-18
JP6622664B2 JP6622664B2 (ja) 2019-12-18

Family

ID=60995342

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016137478A Active JP6622664B2 (ja) 2016-07-12 2016-07-12 自車位置特定装置、及び自車位置特定方法

Country Status (1)

Country Link
JP (1) JP6622664B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019133318A (ja) * 2018-01-30 2019-08-08 トヨタ自動車株式会社 位置推定システム
WO2020137313A1 (ja) * 2018-12-28 2020-07-02 パナソニックIpマネジメント株式会社 位置測定装置
JP2020118451A (ja) * 2019-01-18 2020-08-06 株式会社デンソーテン 移動量算出装置
JP7086245B1 (ja) 2021-03-18 2022-06-17 三菱電機株式会社 進路生成装置および車両制御装置
EP3971525A4 (en) * 2019-05-15 2022-06-22 Nissan Motor Co., Ltd. SELF-POSITIONING CORRECTION METHOD AND SELF-POSITIONING CORRECTION DEVICE

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0618274A (ja) * 1991-05-22 1994-01-25 Nec Home Electron Ltd 車載用航法装置
JP2007078409A (ja) * 2005-09-12 2007-03-29 Mitsubishi Electric Corp 物体測位装置
JP2009074859A (ja) * 2007-09-19 2009-04-09 Toyota Central R&D Labs Inc 運動計測装置及び位置計測装置
JP2009266003A (ja) * 2008-04-25 2009-11-12 Hitachi Ltd 物体認識装置、および物体認識方法
JP2010197279A (ja) * 2009-02-26 2010-09-09 Aisin Aw Co Ltd ナビゲーション装置及びナビゲーション用プログラム
JP2011232168A (ja) * 2010-04-27 2011-11-17 Clarion Co Ltd ナビゲーション装置
JP2012168788A (ja) * 2011-02-15 2012-09-06 Toyota Central R&D Labs Inc 運動推定装置及びプログラム
JP2016099172A (ja) * 2014-11-19 2016-05-30 株式会社豊田中央研究所 車両位置推定装置及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0618274A (ja) * 1991-05-22 1994-01-25 Nec Home Electron Ltd 車載用航法装置
JP2007078409A (ja) * 2005-09-12 2007-03-29 Mitsubishi Electric Corp 物体測位装置
JP2009074859A (ja) * 2007-09-19 2009-04-09 Toyota Central R&D Labs Inc 運動計測装置及び位置計測装置
JP2009266003A (ja) * 2008-04-25 2009-11-12 Hitachi Ltd 物体認識装置、および物体認識方法
JP2010197279A (ja) * 2009-02-26 2010-09-09 Aisin Aw Co Ltd ナビゲーション装置及びナビゲーション用プログラム
JP2011232168A (ja) * 2010-04-27 2011-11-17 Clarion Co Ltd ナビゲーション装置
JP2012168788A (ja) * 2011-02-15 2012-09-06 Toyota Central R&D Labs Inc 運動推定装置及びプログラム
JP2016099172A (ja) * 2014-11-19 2016-05-30 株式会社豊田中央研究所 車両位置推定装置及びプログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019133318A (ja) * 2018-01-30 2019-08-08 トヨタ自動車株式会社 位置推定システム
WO2020137313A1 (ja) * 2018-12-28 2020-07-02 パナソニックIpマネジメント株式会社 位置測定装置
JP2020118451A (ja) * 2019-01-18 2020-08-06 株式会社デンソーテン 移動量算出装置
US11385254B2 (en) 2019-01-18 2022-07-12 Denso Ten Limited Movement distance calculation device
JP7206938B2 (ja) 2019-01-18 2023-01-18 株式会社デンソーテン 移動量算出装置
EP3971525A4 (en) * 2019-05-15 2022-06-22 Nissan Motor Co., Ltd. SELF-POSITIONING CORRECTION METHOD AND SELF-POSITIONING CORRECTION DEVICE
US11754403B2 (en) 2019-05-15 2023-09-12 Nissan Motor Co., Ltd. Self-position correction method and self-position correction device
JP7086245B1 (ja) 2021-03-18 2022-06-17 三菱電機株式会社 進路生成装置および車両制御装置
JP2022143640A (ja) * 2021-03-18 2022-10-03 三菱電機株式会社 進路生成装置および車両制御装置

Also Published As

Publication number Publication date
JP6622664B2 (ja) 2019-12-18

Similar Documents

Publication Publication Date Title
JP6622664B2 (ja) 自車位置特定装置、及び自車位置特定方法
KR102022388B1 (ko) 실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법
US11205284B2 (en) Vehicle-mounted camera pose estimation method, apparatus, and system, and electronic device
JP6241422B2 (ja) 運転支援装置、運転支援方法、および運転支援プログラムを記憶する記録媒体
US8594378B2 (en) 3D object detecting apparatus and 3D object detecting method
KR20190087266A (ko) 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
US10909395B2 (en) Object detection apparatus
JP4702569B2 (ja) 車両用画像処理装置
JP2018036067A (ja) 自車位置認識装置
KR101326943B1 (ko) 추월차량 경고 시스템 및 추월차량 경고 방법
JP5278108B2 (ja) 移動体検出システム及び移動体検出方法
JP6708730B2 (ja) 移動体
JP6278791B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
JP2018048949A (ja) 物体識別装置
JP6649859B2 (ja) 自車位置推定装置、自車位置推定方法
US20200193184A1 (en) Image processing device and image processing method
JP2018017668A (ja) 情報処理装置、及び情報処理プログラム
KR102195040B1 (ko) 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법
US10643077B2 (en) Image processing device, imaging device, equipment control system, equipment, image processing method, and recording medium storing program
CN116892949A (zh) 地上物检测装置、地上物检测方法以及地上物检测用计算机程序
US11477371B2 (en) Partial image generating device, storage medium storing computer program for partial image generation and partial image generating method
JP7293100B2 (ja) カメラシステム
CN114037977A (zh) 道路灭点的检测方法、装置、设备及存储介质
JP2018036075A (ja) 自車位置特定装置、自車位置特定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181217

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191023

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191029

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191122

R150 Certificate of patent or registration of utility model

Ref document number: 6622664

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250