JP7027006B2 - 走行車線認識装置、走行車線認識方法及びプログラム - Google Patents

走行車線認識装置、走行車線認識方法及びプログラム Download PDF

Info

Publication number
JP7027006B2
JP7027006B2 JP2017215487A JP2017215487A JP7027006B2 JP 7027006 B2 JP7027006 B2 JP 7027006B2 JP 2017215487 A JP2017215487 A JP 2017215487A JP 2017215487 A JP2017215487 A JP 2017215487A JP 7027006 B2 JP7027006 B2 JP 7027006B2
Authority
JP
Japan
Prior art keywords
lane
information
traveling
boundary line
lane boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017215487A
Other languages
English (en)
Other versions
JP2019087083A (ja
Inventor
敏夫 櫛田
浩道 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2017215487A priority Critical patent/JP7027006B2/ja
Publication of JP2019087083A publication Critical patent/JP2019087083A/ja
Application granted granted Critical
Publication of JP7027006B2 publication Critical patent/JP7027006B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instructional Devices (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、走行車線認識装置、走行車線認識方法及びプログラムに関する。
従来より、車両に搭載された撮像装置が撮影した撮影画像から、車線境界線(レーンマーク)を検出し、自車両が走行する車線(レーン)を認識する走行車線認識装置が知られている。
当該走行車線認識装置により走行車線が正しく認識されることで、各種車載器では、安全運転支援に関して、運転者に様々なサービスを提供することができる。例えば、ナビゲーション装置では、自車両をナビゲーションする際、認識された走行車線に基づき、適切なタイミングで運転者に車線変更を促すことができる。
特開2015-026234号公報
一方で、従来の走行車線認識装置では、検出対象物以外の対象物(路肩の段差やガードレール、あるいは、反対車線の車線境界線など)を、走行車線を認識する際の車線境界線として誤検出することがあった。このような場合、従来の走行車線認識装置では、走行車線の認識精度の低下が不可避であった。
本発明は上記課題に鑑みてなされたものであり、走行車線の認識精度を向上させることを目的とする。
一態様によれば、走行車線認識装置は以下のような構成を有する。すなわち、
車両が走行する道路の車線数に関する情報を、前記車両の位置情報に基づいて取得する取得部と、
前記車両に搭載された撮像装置が撮影した撮影画像から、前記車両の進行方向に対して第1の側に位置する第1の車線境界線情報と、前記車両の進行方向に対して前記第1の側とは反対の第2の側に位置する第2の車線境界線情報とを検出する検出部と、
検出された前記第1及び第2の車線境界線情報それぞれから、前記車両が走行している走行車線の認識に用いる車線境界線情報を選択する選択部と、
前記車両が進行方向に対して前記第1の側から数えて何番目の走行車線を走行しているのかを示す走行車線情報であって、前記選択部に通知した走行車線情報と、前記選択部に走行車線情報を通知したことに応じて、前記選択部から通知された前記選択された第1及び第2の車線境界線情報それぞれに含まれる車線境界線の数及び種類とを比較することで、前記車両の走行車線情報を認識する判断部と、を有し、
前記選択部は、
検出された前記第1及び第2の車線境界線情報それぞれが示す前記第1の側に位置する車線境界線の数及び前記第2の側に位置する車線境界線の数と、
取得された前記車線数に関する情報と、前記判断部より通知された走行車線情報とに応じて特定した前記第1の側に位置する車線境界線の数及び前記第2の側に位置する車線境界線の数
の比較結果に基づいて、前記走行車線の認識に用いる車線境界線情報を選択することを特徴とする。
本発明によれば、走行車線の認識精度を向上させることができる。
画像処理システムのシステム構成の一例を示す図である。 画像処理装置のハードウェア構成の一例を示す図である。 撮像装置の配置例及び撮像装置の撮影範囲の一例を示す図である。 走行車線情報出力処理において用いられる各情報の定義を説明するための図である。 走行車線情報出力部の機能構成の一例を示す第1の図である。 走行車線情報出力処理の流れを示す第1のフローチャートである。 車線境界線検出処理の具体例を示す図である。 車線数情報取得処理の具体例を示す図である。 使用車線境界線選択処理の詳細を示すフローチャートである。 使用車線境界線選択処理の具体例を示す図である。 走行車線情報出力処理の処理結果を示す図である。 使用車線境界線選択処理の効果を示す図である 走行車線情報出力部の機能構成の一例を示す第2の図である。 走行車線情報出力処理の流れを示す第2のフローチャートである。 信頼度算出処理の詳細を示すフローチャートである。
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
[第1の実施形態]
<画像処理システムのシステム構成>
はじめに、走行車線認識装置として機能する画像処理装置を有する、画像処理システムについて説明する。図1は、画像処理システムのシステム構成の一例を示す図である。図1に示すように、画像処理システム100は、撮像装置110と、画像処理装置120とを有する。撮像装置110と画像処理装置120とは、車両に搭載された状態で、有線または無線により通信可能に接続される。
撮像装置110は、車両の外部を撮影することで得られる撮影画像を、画像処理装置120に送信する。画像処理装置120には、走行車線情報出力プログラムがインストールされており、当該プログラムが実行されることで、画像処理装置120では、走行車線情報出力部130が実現される。これにより、画像処理装置120は、画像処理システム100において、走行車線認識装置として機能する。
走行車線情報出力部130は、撮像装置110より送信された撮影画像をフレーム単位で処理し、撮影画像から車線境界線情報を検出する。また、走行車線情報出力部130は、検出した車線境界線情報から、走行車線の認識に用いる車線境界線情報を選択する。更に、選択した車線境界線情報を用いて自車両の走行車線を認識することで走行車線の車線番号を判断し、判断した車線番号を走行車線情報として出力する。
なお、走行車線情報出力部130では、走行車線の認識に用いる車線境界線情報を選択するにあたり、GPS(Global Positioning System)150から、自車両の現在の位置情報(緯度、経度等)を取得する。また、走行車線情報出力部130は、取得した位置情報に基づいて、地図情報格納部140を参照し、自車両が走行する道路の車線数に関する情報を取得する。上記車線境界線情報の選択は、当該車線数に関する情報を用いて行われる(詳細は後述)。
<画像処理装置のハードウェア構成>
次に、画像処理装置120のハードウェア構成について説明する。図2は、画像処理装置のハードウェア構成の一例を示す図である。図2に示すように、画像処理装置120は、CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203を有する。CPU201、ROM202、RAM203はいわゆるコンピュータを形成する。また、画像処理装置120は、補助記憶部204、接続部205、GPS機能部206を有する。なお、画像処理装置120の各部は、バス207を介して相互に接続されている。
CPU201は、補助記憶部204にインストールされている各種プログラム(例えば、走行車線情報出力プログラム等)を実行するデバイスである。ROM202は、不揮発性メモリであり、補助記憶部204にインストールされている各種プログラムをCPU201が実行するために必要な各種プログラム、データ等を記憶する、主記憶デバイスとして機能する。具体的には、ROM202はBIOS(Basic Input/Output System)やEFI(Extensible Firmware Interface)等のブートプログラム等を記憶する。RAM203は、補助記憶部204にインストールされている各種プログラムがCPU201によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
補助記憶部204は、各種プログラムや、各種プログラムを実行する際に用いる情報を記憶する補助記憶デバイスである。上述した地図情報格納部140は、補助記憶部204において実現される。
接続部205は、撮像装置110と接続され、撮像装置110より送信される撮影画像を受信するデバイスである。GPS機能部206は、GPS150より自車両の現在の位置情報(緯度、経度等)を取得するデバイスである。
<撮像装置の配置例及び撮像装置の撮影範囲>
次に、撮像装置110の配置例及び撮像装置110の撮影範囲について説明する。図3は、撮像装置の配置例及び撮像装置の撮影範囲の一例を示す図である。図3に示すように、撮像装置110は、車両300の後部中央位置に配置され、車両300の後方を撮影する。
撮像装置110の撮影範囲は、領域310に示すとおり広範囲にわたっており、車両300が複数車線の道路のいずれの車線を走行しても、全ての車線境界線が撮影画像に含まれるように構成されている。
<走行車線情報出力処理において用いられる各情報の説明>
次に、走行車線情報出力部130が走行車線情報出力処理を実行する際に用いる、各情報の定義について説明する。図4は、走行車線情報出力処理において用いられる各情報の定義を説明するための図である。図4の例は、片側4車線の道路400を走行中の車両300を上から見た様子を示している。同図を用いて各情報の定義について説明する。
図4に示すように、片側4車線の道路400において、車両300の進行方向に対して左側には、車線境界線401、車線境界線402、車線境界線403、ガードレール404等の各要素が含まれる。一方、車両300の進行方向に対して右側(反対側)には、車線境界線411、車線境界線412、反対車線の車線境界線413等の各要素が含まれる。
このため、車両300に搭載された撮像装置110により撮影される撮影画像には、これらの各要素に対応する情報要素が含まれ、画像処理装置120では、これらの各情報要素を含む情報を、車線境界線情報として検出する。このうち、車両300の進行方向に対して左側の位置から検出される車線境界線情報を、"leftMs"と定義する。一方、車両300の進行方向に対して右側の位置から検出される車線境界線情報を、"rightMs"と定義する。
また、車線境界線情報"leftMs"に含まれる各情報要素のうち、車両300に最も近い位置から検出された情報要素を、"leftMs.LaneMark[0]"と定義する。図4の例では、車線境界線401に対応する撮影画像内の情報要素が、"leftMs.LaneMark[0]"と定義される。以下、同様に、車両300に近い位置から順に、各情報要素が"leftMs.LaneMark[1]"~"leftMs.LaneMark[3]"と定義される。
この結果、図4に示すように、情報要素"leftMs.LaneMark[1]"は、車線境界線402に対応し、情報要素"leftMs.LaneMark[2]"は、車線境界線403に対応することになる。また、情報要素"leftMs.LaneMark[3]"は、ガードレール404に対応することになる。なお、図4の例では、車線境界線情報"leftMs"に含まれる情報要素として、撮影画像から4つの情報要素が検出されているため、車線境界線情報の情報要素数(leftMs.numLMarks)は、"4"となる。
また、車線境界線情報"rightMs"に含まれる各情報要素のうち、車両300に最も近い位置から検出された情報要素を、"rightMs.LaneMark[0]"と定義する。図4の例では、車線境界線411に対応する撮影画像内の情報要素が、"rightMs.LaneMark[0]"と定義される。以下、同様に、車両300に近い位置から順に、各情報要素が"rightMs.LaneMark[1]"~"rightMs.LaneMark[2]"と定義される。
この結果、図4に示すように、情報要素"rightMs.LaneMark[1]"は、車線境界線412に対応し、情報要素"rightMs.LaneMark[2]"は、反対車線の車線境界線413に対応することになる。なお、図4の例では、車線境界線情報"rightMs"に含まれる情報要素として、撮影画像から3つの情報要素が検出されているため、車線境界線情報の情報要素数(rightMs.numLMarks)は、"3"となる。
更に、走行車線情報出力部130が取得する情報には、地図情報と位置情報とが含まれ、走行車線情報出力部130では、地図情報と位置情報とに基づいて、車両300が走行する道路の車線数に関する情報を取得する。図4において情報"numLanes"は、地図情報と位置情報とに基づいて取得した車線数に関する情報を表しており、図4の例では、"numLanes"="4"となる。
更に、走行車線情報出力部130が取得する情報には、車両300が走行する道路に規定された各車線の車線番号が含まれる。図4において情報"LaneNo."は、走行車線情報出力部130が取得する車線番号を表しており、図4の例では、車両300の進行方向に対して、左側から順に、"LaneNo."="0"、"1"、"2"、"3"と規定されている。
<走行車線情報出力部の機能構成>
次に、走行車線情報出力部130の機能構成について説明する。図5は、走行車線情報出力部の機能構成の一例を示す第1の図である。図5に示すように、走行車線情報出力部130は、撮影画像取得部510、車線境界線検出部520、使用車線境界線選択部530、走行車線判断部540、車線数情報取得部550を有する。
撮影画像取得部510は、撮影画像を取得し、フレーム単位で車線境界線検出部520に通知する。車線境界線検出部520は、撮影画像取得部510よりフレーム単位で通知された撮影画像を受信し、車線境界線情報("leftMs"、"rightMs")を検出する。
ここで、車線境界線検出部520は、所定の条件が成立するまでの間は、検出した車線境界線情報("leftMs"、"rightMs")を、走行車線判断部540に直接通知する。所定の条件とは、例えば、走行車線情報出力部130が走行車線情報出力処理を開始してからの経過時間が、所定の時間閾値を超えた場合等が考えられる。あるいは、走行車線情報出力部130が走行車線情報出力処理を実行したフレーム数が、所定のフレーム数閾値を超えた場合等が考えられる。一方、車線境界線検出部520は、所定の条件が成立したと判定した場合には、検出した車線境界線情報("leftMs"、"rightMs")を、使用車線境界線選択部530に通知する。
使用車線境界線選択部530は、車線境界線検出部520より通知された車線境界線情報の各情報要素から、走行車線の認識に用いる情報要素を選択する。なお、車線境界線情報の各情報要素のうち、使用車線境界線選択部530が選択した情報要素を、以下では、"sel_leftMs.LaneMark[i]"、または、"sel_rightMs.LaneMark[i]"と定義する。なお、iは、選択した情報要素が、車両300に近い側から数えてi番目の情報要素であることを表している。また、選択した情報要素"sel_leftMs.LaneMark[i]"と"sel_rightMs.LaneMark[i]"とを、以下では、まとめて、「選択した車線境界線情報(sel_leftMs、sel_rightMs)」と定義する。
使用車線境界線選択部530は、選択した車線境界線情報("sel_leftMs"、"sel_rightMs")を、走行車線判断部540に通知する。なお、使用車線境界線選択部530は、以下の手順により車線境界線情報を選択する。
(a)使用車線境界線選択部530は、車線数情報取得部550より、車両300が走行する道路の車線数に関する情報("numLanes")を取得する。
(b)使用車線境界線選択部530は、走行車線判断部540より、車両300が進行方向に対して左側から数えて何番目の走行車線を走行しているのかを示す情報(走行車線の車線番号)を取得する。なお、走行車線判断部540より取得する走行車線の車線番号を、以下では、"LanePosition"と定義する。
(c)使用車線境界線選択部530は、取得した走行車線の車線番号("LanePosition")に基づいて、車両300の進行方向に対して左側に存在する車線境界線の数を特定する。例えば、"LanePosition"="0"の場合、車両300の進行方向に対して左側に存在する車線の数は"0"であるため、車線境界線の数は"1"と特定できる。また、"LanePosition"="1"の場合、車両300の進行方向に対して左側に存在する車線の数は"1"であるため、車線境界線の数は"2"と特定できる。なお、取得した走行車線の車線番号に基づいて特定した、車両300の進行方向に対して左側に存在する車線境界線の数は、車線境界線検出部520より通知された車線境界線情報の各情報要素の中から選択すべき情報要素の数(選択範囲)に他ならない。以下、当該選択範囲を、"leftNumUse"と定義する。
(d)使用車線境界線選択部530は、取得した車線数に関する情報("numLanes")と、取得した走行車線の車線番号("LanePosition")とに基づいて、車両300の進行方向に対して右側に存在する車線境界線の数を特定する。例えば、"LanePosition"="0"で"numLanes"="4"の場合、車両300の進行方向に対して右側に存在する車線の数は"3"であるため、車線境界線の数は"4"と特定できる。また、"LanePosition"="1"の場合、車両300の進行方向に対して右側に存在する車線の数は"2"であるため、車線境界線の数は"3"と特定できる。なお、取得した走行車線の車線番号に基づいて特定した、車両300の進行方向に対して右側に存在する車線境界線の数は、車線境界線検出部520より通知された車線境界線情報の各情報要素の中から選択すべき情報要素の数(選択範囲)に他ならない。以下、当該選択範囲を"rightNumUse"と定義する。
(e)使用車線境界線選択部530は、車両300の進行方向に対して左側から検出した車線境界線情報("leftMs")と、車両300の進行方向に対して左側の選択範囲("leftNumUse")とを比較する。また、使用車線境界線選択部530は、車線境界線情報("leftMs")の各情報要素のうち、選択範囲("leftNumUse")に含まれる数の情報要素("leftMs.LaneMark[i]")を選択する。
(f)使用車線境界線選択部530は、車両300の進行方向に対して右側から検出した車線境界線("rightMs")と、車両300の進行方向に対して右側の選択範囲("rightNumUse")とを比較する。また、使用車線境界線選択部530は、車線境界線情報("rightMs")の各情報要素のうち、選択範囲("rightNumUse")に含まれる数の情報要素("rightMs.LaneMark[i]")を選択する。
以上の手順((a)~(f))により、使用車線境界線選択部530では、車線境界線情報を選択することができる。
走行車線判断部540は、車両300の現在の走行車線を認識し、車線番号("LanePosition")を判断する。例えば、走行車線判断部540が、車線境界線検出部520から、検出した車線境界線情報("leftMs"、"rightMs")を受信したとする。この場合、走行車線判断部540は、検出した車線境界線情報("leftMs"、"rightMs")に基づいて走行車線を認識する。
また、例えば、走行車線判断部540が、使用車線境界線選択部530から、選択した車線境界線情報("sel_leftMs"、"sel_rightMs")を受信したとする。この場合、走行車線判断部540は、選択した車線境界線情報("sel_leftMs"、"sel_rightMs")に基づいて走行車線を認識する。なお、車線境界線情報に基づいて走行車線を認識する認識方法は、従来の任意の方法が適用可能であり、ここでは説明を省略する。
更に、走行車線判断部540は、認識した走行車線に基づいて判断した車線番号("LanePosition")を走行車線情報として出力するとともに、使用車線境界線選択部530に通知する。
車線数情報取得部550は、地図情報格納部140より、地図情報を取得する。また、車線数情報取得部550は、GPS機能部206が受信した、車両300の現在の位置情報を取得する。更に、車線数情報取得部550は、車両300が走行する道路を特定し、特定した道路の車線数に関する情報("numLanes")を、使用車線境界線選択部530に通知する。
<走行車線情報出力処理の流れ及び具体例>
次に、走行車線情報出力部130による走行車線情報出力処理の流れ及び具体例について説明する。図6は、走行車線情報出力処理の流れを示す第1のフローチャートである。撮像装置110が撮影を開始することで、走行車線情報出力部130は、図6に示す走行車線情報出力処理を実行する。
ステップS601において、撮影画像取得部510は、「撮影画像取得処理」を実行し、撮像装置110より送信された撮影画像を取得する。ステップS602において、車線境界線検出部520は、「車線境界線情報検出処理」を実行し、撮影画像より車線境界線情報を検出する。
ステップS603において、車線境界線検出部520は、所定の条件が成立したか否かを判定する。ステップS603において、所定の条件が成立していないと判定した場合には(ステップS603においてNoの場合には)、ステップS607に進む。ステップS607において、車線境界線検出部520は、検出した車線境界線情報を、走行車線判断部540に通知する。
一方、ステップS603において、所定の条件が成立したと判定した場合には(ステップS603においてYesの場合には)、ステップS604に進む。ステップS604において、車線数情報取得部550は、「車線数情報取得処理」を実行し、車線数に関する情報を取得する。
ステップS605において、使用車線境界線選択部530は、「使用車線境界線選択処理」を実行し、検出した車線境界線情報の各情報要素から、走行車線の認識に用いる情報要素を選択する。ステップS606において、使用車線境界線選択部530は、選択した車線境界線情報を、走行車線判断部540に通知する。
ステップS608において、走行車線判断部540は、「走行車線認識処理」を実行し、検出した車線境界線情報または選択した車線境界線情報に基づいて、車両300の走行車線を認識し、認識した走行車線の車線番号を判断する。ステップS609において、撮影画像取得部510は、走行車線情報出力処理を終了するか否かを判定する。ステップS609において、終了しないと判定した場合には(ステップS609においてNoの場合には)、ステップS601に戻る。一方、ステップS609において、終了すると判定した場合には(ステップS609においてYesの場合には)、走行車線情報出力処理を終了する。
続いて、図6に示した走行車線情報出力処理の上記各ステップの具体例または詳細について説明する。ここでは、特に、ステップS602、S604、S605の具体例または詳細について説明する。
(1)ステップS602(車線境界線情報検出処理)の具体例
図7は、車線境界線情報検出処理の具体例を示す図である。図7に示すように、撮影画像700には、車線境界線401、車線境界線402、車線境界線403、ガードレール404の各要素に対応する各情報要素が含まれる。更に、撮影画像700には、車線境界線411、車線境界線412、反対車線の車線境界線413の各要素に対応する各情報要素が含まれる。
撮影画像710は、撮影画像700に対して、車線境界線検出部520が、車線境界線情報検出処理を実行し、点線で示す各情報要素を含む車線境界線情報を検出した様子を示している。
車線境界線情報720は、検出した各情報要素のうち、車両300の進行方向に対して左側に位置する情報要素を含む車線境界線情報"leftMs"の具体例を示している。車線境界線情報720において、"a"、"b"は、それぞれ、各情報要素を、直線式Y=aX+bで表した場合の係数である。また、"width"は、各情報要素の線幅を表している。更に、"type"は、各情報要素の線種を表しており、"0"は破線を、"1"は実線をそれぞれ表している。なお、車線境界線情報720の場合、車両300の進行方向に対して、左側に位置する情報要素の数("leftMs.numLMarks")は、"4"である。
同様に、車線境界線情報730は、検出した各情報要素のうち、車両300の進行方向に対して右側に位置する情報要素を含む車線境界線情報"rightMs"の具体例を示している。車線境界線情報720と同様、"a"、"b"は、それぞれ、各情報要素を、直線式Y=aX+bで表した場合の係数である。また、"width"は、各情報要素の線幅を表している。更に、"type"は、各情報要素の線種を表しており、"0"は破線を、"1"は実線をそれぞれ表している。なお、車線境界線情報730の場合、車両300の進行方向に対して右側に位置する情報要素の数("rightMs.numLMarks")は、"3"である。
(2)ステップS604(車線数情報取得処理)の具体例
図8は、車線数情報取得処理の具体例を示す図である。図8において、地図情報800は、車線数情報取得部550が、地図情報格納部140より読み出した地図情報の一例である。また、図8において、地図情報810は、地図情報800に、車両300の現在の位置情報を反映させた様子を示している。地図情報810に示すように、GPS機能部206より、取得した車両300の現在の位置情報を反映させることで、車線数情報取得部550では、車両300が走行する道路400を特定することができる。
ここで、地図情報810には、道路ごとに車線数に関する情報が対応付けられているものとする。このため、図8の例によれば、車線数情報取得部550は、道路400に対応付けられた車線数に関する情報("numLanes")として"4"を取得する。
(3)ステップS605(使用車線境界線選択処理)の詳細
図9は、使用車線境界線選択処理の詳細を示すフローチャートである。ステップS901において、使用車線境界線選択部530は、車両300が走行する道路400の車線数に関する情報("numLanes"="4")を取得する。
ステップS902において、使用車線境界線選択部530は、走行車線判断部540より車両300の走行車線の車線番号("LanePosition")を取得し、選択範囲("leftNumUse")を算出する。ここで、走行車線判断部540は、車両300の現在の走行車線の車線番号("LanePosition")を"2"と判断しているものとする。このため、使用車線境界線選択部530は、走行車線情報("LanePosition"="2")に1を加算して、選択範囲("leftNumUse")="3"を算出する。
ステップS903において、使用車線境界線選択部530は、算出した選択範囲("leftNumUse")が、検出した車線境界線情報("leftMs")に含まれる情報要素の数("leftMs.numLMarks")より大きいか否かを判定する。ステップS903において、算出した選択範囲が、検出した車線境界線情報に含まれる情報要素の数より大きいと判定した場合には(ステップS903においてYesの場合には)、ステップS904に進む。
ステップS904において、使用車線境界線選択部530は、検出した車線境界線情報("leftMs")に含まれる情報要素の数("leftMs.numLMarks")を、選択範囲("leftNumUse")とする。
一方、ステップS903において、算出した選択範囲が、検出した車線境界線情報に含まれる情報要素の数以下であると判定した場合には(ステップS903においてNoの場合には)、ステップS905に進む。ここで、算出した選択範囲("leftNumUse"="3")は、検出した車線境界線情報("leftMs")に含まれる情報要素の数("leftMs.numLMarks"="4")以下である。このため、使用車線境界線選択部530は、ステップS902において算出した選択範囲を変更することなくステップS905に進む。
ステップS905において、使用車線境界線選択部530は、取得した車両300の走行車線の車線番号("LanePosition")と、取得した車線数に関する情報("numLanes")とに基づき、選択範囲("rightNumUse")を算出する。具体的には、使用車線境界線選択部530は、車線数に関する情報("numLanes"="4")から走行車線の車線番号("LanePosition"="2")を差し引くことで、選択範囲("rightNumUse")="2"を算出する。
ステップS906において、使用車線境界線選択部530は、算出した選択範囲("rightNumUse")が、検出した車線境界線情報("rightMs")に含まれる情報要素の数("rightMs.numLMarks")より大きいか否かを判定する。ステップS906において、算出した選択範囲が、検出した車線境界線情報に含まれる情報要素の数より大きいと判定した場合には(ステップS906においてYesの場合には)、ステップS907に進む。
ステップS907において、使用車線境界線選択部530は、検出した車線境界線("rightMs")に含まれる情報要素の数("rightMs.numLMarks")を、選択範囲("rightNumUse")とする。
一方、ステップS906において、算出した選択範囲が、検出した車線境界線に含まれる情報要素の数以下であると判定した場合には(ステップS906においてNoの場合には)、図6のステップS606に戻る。ここで、算出した選択範囲("rightNumUse"="2")は、検出した車線境界線情報("rightMs")に含まれる情報要素の数("rightMs.numLMarks"="3")以下である。このため、使用車線境界線選択部530は、ステップS905において算出した選択範囲を変更することなく図6のステップS606に戻る。
(4)ステップS605(使用車線境界線選択処理)の具体例
図10は、使用車線境界線選択処理の具体例を示す図である。図10(a)に示すように、使用車線境界線選択部530では、車線境界線検出部520より、検出した車線境界線情報("leftMs")として、車線境界線情報720を受信する。そして、使用車線境界線選択部530では、使用車線境界線選択処理を実行することで、選択範囲("leftNumUse")として、"3"を算出する。そこで、使用車線境界線選択部530は、検出した車線境界線情報720から3つの情報要素("leftMs.LaneMark[0]"~"leftMs.LaneMark[2]")を選択する。
この結果、使用車線境界線選択部530では、選択した情報要素("sel_leftMs.LaneMarks[0]"~"sel_leftMs.LaneMarks[2]")を含む車線境界線情報1010を走行車線判断部540に通知する。
また、図10(b)に示すように、使用車線境界線選択部530では、車線境界線検出部520より、検出した車線境界線情報("rightMs")として、車線境界線情報730を受信する。そして、使用車線境界線選択部530では、使用車線境界線選択処理を実行することで、選択範囲("rightNumUse")として、"2"を算出する。そこで、使用車線境界線選択部530は、車線境界線情報730から2つの情報要素("rightMs.LaneMark[0]"~"rightMs.LaneMark[1]")を選択する。
この結果、使用車線境界線選択部530では、選択した情報要素("sel_rightMs.LaneMarks[0]"~"sel_rightMs.LaneMarks[1]")を含む車線境界線情報1020を走行車線判断部540に通知する。
<走行車線情報出力処理の処理結果>
次に、走行車線情報出力処理の処理結果について説明する。図11は、走行車線情報出力処理の処理結果を示す図である。このうち、図11(a)は、比較対象として、所定条件が成立する前の、走行車線情報出力処理の処理結果を示しており、図11(b)は、所定条件が成立した後の、走行車線情報出力処理の処理結果を示している。
図11(a)に示すように、所定条件が成立する前は、車線境界線検出部520により検出された車線境界線情報に含まれる情報要素全てを用いて、走行車線が認識され、車線番号が判断される。このため、図11(a)に示すように、車両300の現在の走行車線の車線番号("LanePosition")を、"3"と誤判断する場合があった。
一方、図11(b)に示すように、所定条件が成立した後は、使用車線境界線選択部530が、検出された車線境界線情報から、走行車線の認識に用いる情報要素を選択する。そして、走行車線判断部540が、選択された情報要素を含む車線境界線情報を用いて走行車線を認識する。このため、図11(b)に示すように、車両300の現在の走行車線の車線番号("LanePosition")を"2"と正しく判断することができる。
<使用車線境界線選択処理の効果>
次に、使用車線境界線選択処理の効果について説明する。図12は、使用車線境界線選択処理の効果を示す図である。図12において、横軸は、走行車線情報出力処理を開始してからの経過時間を表しており、縦軸は、各経過時間での、走行車線情報出力処理の処理結果である走行車線情報(走行車線の車線番号("LanePosition"))についての正答率を表している。
図12に示すように、所定の条件が成立したタイミング1200で、使用車線境界線選択処理が開始されると、タイミング1200以降は、正答率が大きく上昇する。
<まとめ>
以上の説明から明らかなように、本実施形態における画像処理装置120は、撮影画像から検出した車線境界線情報に基づいて、走行車線を認識するにあたり、
・車両が走行する道路の車線数に関する情報を取得する。
・検出された車線境界線情報の情報要素の数と、取得した車線数に関する情報に応じて特定される車線境界線の数とを比較し、比較結果に基づいて、走行車線の認識に用いる情報要素を選択する。
これにより、本実施形態における画像処理装置120によれば、検出対象物以外の対象物が排除された車線境界線情報を用いて、走行車線を認識することが可能となる。この結果、本実施形態における画像処理装置120によれば、走行車線の認識精度を向上させることができる。
[第2の実施形態]
上記第1の実施形態では、所定の条件の成否を、経過時間やフレーム数等に基づいて判定するものとして説明した。これに対して、第2の実施形態では、走行車線判断部540より出力される走行車線情報(走行車線の車線番号)の信頼度に基づいて判定する。以下、第2の実施形態について、上記第1の実施形態との相違点を中心に説明する。
<走行車線情報出力部の機能構成>
図13は、走行車線情報出力部の機能構成の一例を示す第2の図である。図5で示した機能構成との相違点は、図13の場合、信頼度算出部1310を有する点である。
信頼度算出部1310は、走行車線判断部540が判断する、車両300の走行車線の車線番号についての信頼度を算出する。具体的には、信頼度算出部1310は、まず、使用車線境界線選択部530より、選択範囲("leftNumUse"、"rightNumUse")を取得する。なお、本実施形態において使用車線境界線選択部530は、所定の条件が成立しているか否かに関わらず、車線境界線検出部520より、検出された車線境界線情報("leftMs"、"rightMs")を取得しているものとする。また、使用車線境界線選択部530は、検出された車線境界線情報に基づいて選択範囲("leftNumUse"、"rightNumUse")を算出しているものとする。
続いて、信頼度算出部1310は、車線数情報取得部550により取得された、車線数に関する情報("numLanes")を使用車線境界線選択部530を介して取得する。
そして、信頼度算出部1310は、取得した選択範囲("leftNumUse"、"rightNumUse")と、取得した車線数に関する情報("numLanes")とを用いて、信頼度("reliability")を算出する。更に、信頼度算出部1310は、算出した信頼度("reliability")を、車線境界線検出部520に通知する。
なお、車線境界線検出部520では、信頼度算出部1310より、信頼度("reliability")を取得すると、取得した信頼度が、所定の閾値以上か否かを判定する。所定の閾値未満であった場合には、所定の条件が成立しないと判定する。この場合、車線境界線検出部520は、検出した車線境界線情報("leftMs"、"rightMs")を、直接、走行車線判断部540に通知する。
一方、受信した信頼度が、所定の閾値以上であると判定した場合には、所定の条件が成立したと判定する。この場合、車線境界線検出部520は、使用車線境界線選択部530に使用車線境界線選択処理の実行を指示する。
<走行車線情報出力処理の流れ>
次に、走行車線情報出力部130による走行車線情報出力処理の流れについて説明する。図14は、走行車線情報出力処理の流れを示す第2のフローチャートである。図6を用いて説明した第1のフローチャートとの相違点は、ステップS1401、S1402である。
ステップS1401において、信頼度算出部1310は、「信頼度算出処理」を実行し、走行車線判断部540が判断する走行車線の車線番号("LanePosition")の信頼度("reliability")を算出する。ステップS1402において、車線境界線検出部520は、信頼度算出部1310により算出された信頼度("reliability")が、所定の閾値以上であるか否かを判定する。
ステップS1402において、所定の閾値以上であると判定した場合には(ステップS1402においてYesの場合には)、ステップS604に進む。一方、ステップS1402において、所定の閾値未満であると判定した場合には(ステップS1402においてNoの場合には)、ステップS607に進む。
<信頼度算出処理の詳細>
次に、信頼度算出処理(図14のステップS1401)の詳細について説明する。図15は、信頼度算出処理の詳細を示すフローチャートである。ステップS604において、車線数情報取得部550は、「車線数情報取得処理」を実行し、車線数に関する情報を取得する。ステップS1501において、信頼度算出部1310は、車線数に関する情報("numLanes")を、使用車線境界線選択部530を介して車線数情報取得部550より取得する。
ステップS605において、使用車線境界線選択部530は、「使用車線境界線選択処理」を実行し、選択範囲を算出する。ステップS1502において、信頼度算出部1310は、算出された選択範囲("leftNumUse"、"rightNumUse")を、使用車線境界線選択部530より取得する。
ステップS1503において、信頼度算出部1310は、車線数に関する情報("numLanes")と、選択範囲("leftNumUse"、"rightNumUse")とに基づいて、信頼度を算出する。具体的には、信頼度算出部1310は、下式(1)に基づいて、信頼度("reliability")を算出する。
(式1)
reliability=(leftNumUse+rightNumUse)/(numLanes+1)×100
つまり、信頼度("reliability")は、車線数に関する情報から算出される車線境界線の数("numLanes"+1)と、選択範囲("leftNumUse"、"rightNumUse")の和算値との一致度を表している。
なお、信頼度算出処理(図15)において、「車線数情報取得処理」及び「使用車線境界線選択処理」を実行した場合には、図14の走行車線情報出力処理において、「車線数情報取得処理」及び「使用車線境界線選択処理」の実行は省略してもよい。
<まとめ>
以上の説明から明らかなように、本実施形態における画像処理装置120は、走行車線判断部540より出力される走行車線情報についての信頼度を算出し、算出した信頼度に基づいて、使用車線境界線選択処理の開始タイミングを決定する。
これにより、本実施形態における画像処理装置120によれば、上記第1の実施形態と同様の効果を享受できるとともに、更に、適切なタイミングで使用車線境界線選択処理を開始することができる。
[その他の実施形態]
上記第1及び第2の実施形態では、車両300の進行方向に対して左側から、車線番号が規定されているものとして説明した。このため、使用車線境界線選択処理において、使用車線境界線選択部530は、車両300の走行車線の車線番号("LanePosition")に1を加算して、選択範囲(leftNumUse)を算出した。
しかしながら、車両300の進行方向に対して右側から、車線番号が規定されている場合には、この限りではない。この場合、使用車線境界線選択部530は、走行車線判断部540より取得した車両300の走行車線の車線番号("LanePosition")と、車線数に関する情報("numLanes")とに基づき、選択範囲(leftNumUse)を算出する。
つまり、上記第1及び第2の実施形態における使用車線境界線選択処理は、車両300の進行方向に対して左側または右側のいずれかを、第1の側と読み替え、第1の側とは反対側を第2の側と読み替えることで、車線番号の規定方法によらず実行することができる。
また、上記第1及び第2の実施形態では、撮像装置110を車両300の後部中央位置に配置し、車両300の後方を撮影するものとして説明した。しかしながら、撮像装置110の配置位置及び撮影方向はこれに限定されず、例えば、前部中央位置に配置し、車両300の前方を撮影するように構成してもよい。
また、上記第1及び第2の実施形態では、走行車線認識装置として機能する画像処理装置120を、他の車載器とは別体に構成するものとして説明したが、他の車載器と一体的に構成してもよい。
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
100 :画像処理システム
110 :撮像装置
120 :画像処理装置
130 :走行車線情報出力部
510 :撮影画像取得部
520 :車線境界線検出部
530 :使用車線境界線選択部
540 :走行車線判断部
550 :車線数情報取得部
1310 :信頼度算出部

Claims (9)

  1. 車両が走行する道路の車線数に関する情報を、前記車両の位置情報に基づいて取得する取得部と、
    前記車両に搭載された撮像装置が撮影した撮影画像から、前記車両の進行方向に対して第1の側に位置する第1の車線境界線情報と、前記車両の進行方向に対して前記第1の側とは反対の第2の側に位置する第2の車線境界線情報とを検出する検出部と、
    検出された前記第1及び第2の車線境界線情報それぞれから、前記車両が走行している走行車線の認識に用いる車線境界線情報を選択する選択部と、
    前記車両が進行方向に対して前記第1の側から数えて何番目の走行車線を走行しているのかを示す走行車線情報であって、前記選択部に通知した走行車線情報と、前記選択部に走行車線情報を通知したことに応じて、前記選択部から通知された前記選択された第1及び第2の車線境界線情報それぞれに含まれる車線境界線の数及び種類とを比較することで、前記車両の走行車線情報を認識する判断部と、を有し、
    前記選択部は、
    検出された前記第1及び第2の車線境界線情報それぞれが示す前記第1の側に位置する車線境界線の数及び前記第2の側に位置する車線境界線の数と、
    取得された前記車線数に関する情報と、前記判断部より通知された走行車線情報とに応じて特定した前記第1の側に位置する車線境界線の数及び前記第2の側に位置する車線境界線の数
    の比較結果に基づいて、前記走行車線の認識に用いる車線境界線情報を選択することを特徴とする走行車線認識装置。
  2. 前記選択部は、
    検出された前記第1の車線境界線情報に含まれる第1の車線境界線の数より、特定した前記第1の車線境界線の数の方が大きい場合、検出された前記第1の車線境界線情報に含まれる第1の車線境界線の数に基づいて、前記走行車線の認識に用いる第1の車線境界線情報を選択することを特徴とする請求項に記載の走行車線認識装置。
  3. 前記選択部は、
    特定した前記第1の車線境界線の数が、検出された前記第1の車線境界線情報に含まれる第1の車線境界線の数以下の場合、特定した前記第1の車線境界線の数に基づいて、前記走行車線の認識に用いる第1の車線境界線情報を選択することを特徴とする請求項に記載の走行車線認識装置。
  4. 前記選択部は、
    検出された前記第2の車線境界線情報に含まれる第2の車線境界線の数より、特定した前記第2の車線境界線の数の方が大きい場合、検出された前記第2の車線境界線情報に含まれる第2の車線境界線の数に基づいて、前記走行車線の認識に用いる第2の車線境界線情報を選択することを特徴とする請求項に記載の走行車線認識装置。
  5. 前記選択部は、
    特定した前記第2の車線境界線の数が、検出された前記第2の車線境界線情報に含まれる第2の車線境界線の数以下の場合、特定した前記第2の車線境界線の数に基づいて、前記走行車線の認識に用いる第2の車線境界線情報を選択することを特徴とする請求項に記載の走行車線認識装置。
  6. 前記判断部は、
    所定の条件が成立するまでの間、検出された前記第1及び第2の車線境界線情報それぞれに含まれる車線境界線の数及び種類を用いて前記走行車線情報を認識
    前記所定の条件が成立した後は、前記選択部に通知した走行車線情報と、前記選択部に走行車線情報を通知したことに応じて、前記選択部から通知された前記選択された第1及び第2の車線境界線情報それぞれに含まれる車線境界線の数及び種類とを比較することで、前記走行車線情報を認識することを特徴とする請求項に記載の走行車線認識装置。
  7. 取得された前記車線数に関する情報に基づいて算出される車線境界線の数と、前記選択された第1の車線境界線情報に含まれる第1の車線境界線の数と前記選択された第2の車線境界線情報に含まれる第2の車線境界線の数との和算値と、の一致度を算出する算出部を更に有し、
    算出された一致度に基づいて、前記所定の条件の成否が判定されることを特徴とする請求項に記載の走行車線認識装置。
  8. 車両が走行する道路の車線数に関する情報を、前記車両の位置情報に基づいて取得する取得工程と、
    前記車両に搭載された撮像装置が撮影した撮影画像から、前記車両の進行方向に対して第1の側に位置する第1の車線境界線情報と、前記車両の進行方向に対して前記第1の側とは反対の第2の側に位置する第2の車線境界線情報とを検出する検出工程と、
    検出された前記第1及び第2の車線境界線情報それぞれから、前記車両が走行している走行車線の認識に用いる車線境界線情報を選択する選択工程と、
    前記車両が進行方向に対して前記第1の側から数えて何番目の走行車線を走行しているのかを示す走行車線情報であって、前記選択工程を実行する選択部に通知した走行車線情報と、前記選択部に走行車線情報を通知したことに応じて、前記選択部から通知された前記選択された第1及び第2の車線境界線情報それぞれに含まれる車線境界線の数及び種類とを比較することで、前記車両の走行車線情報を認識する判断工程と、を有し、
    前記選択工程は、
    検出された前記第1及び第2の車線境界線情報それぞれが示す前記第1の側に位置する車線境界線の数及び前記第2の側に位置する車線境界線の数と、
    取得された前記車線数に関する情報と、前記判断工程において通知された走行車線情報とに応じて特定した前記第1の側に位置する車線境界線の数及び前記第2の側に位置する車線境界線の数
    の比較結果に基づいて、前記走行車線の認識に用いる車線境界線情報を選択することを特徴とする走行車線認識方法。
  9. 車両が走行する道路の車線数に関する情報を、前記車両の位置情報に基づいて取得する取得工程と、
    前記車両に搭載された撮像装置が撮影した撮影画像から、前記車両の進行方向に対して第1の側に位置する第1の車線境界線情報と、前記車両の進行方向に対して前記第1の側とは反対の第2の側に位置する第2の車線境界線情報とを検出する検出工程と、
    検出された前記第1及び第2の車線境界線情報それぞれから、前記車両が走行している走行車線の認識に用いる車線境界線情報を選択する選択工程と、
    前記車両が進行方向に対して前記第1の側から数えて何番目の走行車線を走行しているのかを示す走行車線情報であって、前記選択工程を実行する選択部に通知した走行車線情報と、前記選択部に走行車線情報を通知したことに応じて、前記選択部から通知された前記選択された第1及び第2の車線境界線情報それぞれに含まれる車線境界線の数及び種類とを比較することで、前記車両の走行車線情報を認識する判断工程と、を有し、
    前記選択工程は、
    検出された前記第1及び第2の車線境界線情報それぞれが示す前記第1の側に位置する車線境界線の数及び前記第2の側に位置する車線境界線の数と、
    取得された前記車線数に関する情報と、前記判断工程において通知された走行車線情報とに応じて特定した前記第1の側に位置する車線境界線の数及び前記第2の側に位置する車線境界線の数
    の比較結果に基づいて、前記走行車線の認識に用いる車線境界線情報を選択することを特徴とするプログラム。
JP2017215487A 2017-11-08 2017-11-08 走行車線認識装置、走行車線認識方法及びプログラム Active JP7027006B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017215487A JP7027006B2 (ja) 2017-11-08 2017-11-08 走行車線認識装置、走行車線認識方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017215487A JP7027006B2 (ja) 2017-11-08 2017-11-08 走行車線認識装置、走行車線認識方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2019087083A JP2019087083A (ja) 2019-06-06
JP7027006B2 true JP7027006B2 (ja) 2022-03-01

Family

ID=66763101

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017215487A Active JP7027006B2 (ja) 2017-11-08 2017-11-08 走行車線認識装置、走行車線認識方法及びプログラム

Country Status (1)

Country Link
JP (1) JP7027006B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114396958B (zh) * 2022-02-28 2023-08-18 重庆长安汽车股份有限公司 基于多车道多传感器的车道定位方法、***及车辆

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003063273A (ja) 2001-08-30 2003-03-05 Hitachi Ltd 車両走行制御装置
JP2007140883A (ja) 2005-11-18 2007-06-07 Alpine Electronics Inc カメラ利用逆走検出装置
JP2008276642A (ja) 2007-05-02 2008-11-13 Xanavi Informatics Corp 走行車線認識装置および走行車線認識方法
JP2015068649A (ja) 2013-09-26 2015-04-13 パイオニア株式会社 表示制御装置、制御方法、プログラム、及び記憶媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003063273A (ja) 2001-08-30 2003-03-05 Hitachi Ltd 車両走行制御装置
JP2007140883A (ja) 2005-11-18 2007-06-07 Alpine Electronics Inc カメラ利用逆走検出装置
JP2008276642A (ja) 2007-05-02 2008-11-13 Xanavi Informatics Corp 走行車線認識装置および走行車線認識方法
JP2015068649A (ja) 2013-09-26 2015-04-13 パイオニア株式会社 表示制御装置、制御方法、プログラム、及び記憶媒体

Also Published As

Publication number Publication date
JP2019087083A (ja) 2019-06-06

Similar Documents

Publication Publication Date Title
CN111721285B (zh) 在自动代客泊车***中用于估计位置的设备及方法
JP4940168B2 (ja) 駐車スペース認識装置
US10937190B2 (en) Vehicle localization apparatus and method
US10414396B2 (en) Lane division line recognition apparatus, lane division line recognition method, driving assist apparatus including lane division line recognition apparatus, and driving assist method including lane division line recognition method
WO2017094567A1 (ja) 追跡装置
US20160379066A1 (en) Method and Camera System for Distance Determination of Objects from a Vehicle
CN111311902B (zh) 一种数据处理方法、装置、设备和机器可读介质
JP6395010B2 (ja) 課金位置評価用情報提供システム
JP6776707B2 (ja) 自車位置推定装置
JP6261832B1 (ja) 走行路認識装置及び走行路認識方法
JP4677981B2 (ja) 自車位置特定方法及び自車位置特定装置
JP6339058B2 (ja) 車載器および車頭間距離算出方法
KR102037129B1 (ko) 차량의 위치 보정 장치 및 방법과 이를 이용한 차량 위치 보정 시스템 및 무인 운행이 가능한 차량
CN111028534A (zh) 一种泊车位检测方法及装置
JP2007278813A (ja) 車両位置測位装置
CN112184827B (zh) 校准多个摄像机的方法及装置
KR101894052B1 (ko) 차량용 사고영상 기록장치의 차량 속도 측정 장치 및 방법
JP7027006B2 (ja) 走行車線認識装置、走行車線認識方法及びプログラム
KR20200057513A (ko) 차량 위치 추정 장치 및 방법
WO2018016599A1 (ja) 画像処理装置及び画像処理方法
JP2008082925A (ja) ナビゲーション装置、その制御方法及び制御プログラム
JP2019007739A (ja) 自己位置推定方法及び自己位置推定装置
KR20160064275A (ko) 차량 위치 인식 장치 및 방법
WO2019220987A1 (ja) 端末装置および収集方法
JP2018120303A (ja) 物体検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220215

R150 Certificate of patent or registration of utility model

Ref document number: 7027006

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150