JP6997542B2 - Feature detection system - Google Patents
Feature detection system Download PDFInfo
- Publication number
- JP6997542B2 JP6997542B2 JP2017110512A JP2017110512A JP6997542B2 JP 6997542 B2 JP6997542 B2 JP 6997542B2 JP 2017110512 A JP2017110512 A JP 2017110512A JP 2017110512 A JP2017110512 A JP 2017110512A JP 6997542 B2 JP6997542 B2 JP 6997542B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- feature
- specific feature
- unit
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Instructional Devices (AREA)
- Navigation (AREA)
- Image Processing (AREA)
Description
本発明は、地物検出システム及び地図データのデータ構造技術に関する。 The present invention relates to a feature detection system and a data structure technique for map data.
近年、地物を精度よく検出し、もって車両の運転を支援する装置が普及している。これに関連して、自車両に搭載された画像認識装置を備え、各地物の画像認識に成功する可能性をあらわす認識可能性情報に基づいて画像認識処理の対象とする地物を決定する技術が提案されている（特許文献１）。 In recent years, devices that accurately detect features and support the driving of vehicles have become widespread. In relation to this, a technology that is equipped with an image recognition device mounted on the own vehicle and determines the feature to be the target of image recognition processing based on the recognizability information that indicates the possibility of successful image recognition of each area. Has been proposed (Patent Document 1).
本発明は、地物を適切に検出することを可能とする地物検出システム及び地図データのデータ構造を提供することを課題とする。 An object of the present invention is to provide a feature detection system capable of appropriately detecting a feature and a data structure of map data.
本発明の一形態によれば、データ記憶部に記憶された特定の地物が存在する可能性のある第１の領域に対応する第１の領域情報を参照して特定の地物の誤検出を判定する判定部を有する地物検出システムを提供する。この地物検出システムは、データ記憶部は、特定の地物が別の位置から変更して設置される可能性のある第２の領域に対応する第２の領域情報を有し、判定部は、画像から特定の地物を検出する検出部によって検出された特定の地物の位置と、特定の地物の第１の領域情報に基づく第１の領域との位置関係に基づいて、検出された特定の地物の誤検出を判定し、特定の地物が誤検出でないと判定した場合、検出された特定の地物の位置と、特定の地物の第２の領域情報に基づく第２の領域との位置関係に基づいて、検出された特定の地物が以前に別の位置に設置されていた地物であるかを判定する。 According to one embodiment of the present invention, erroneous detection of a specific feature is performed by referring to the first area information corresponding to the first area in which the specific feature stored in the data storage unit may exist. Provided is a feature detection system having a determination unit for determining. In this feature detection system, the data storage unit has the second area information corresponding to the second area where a specific feature may be changed from another position and installed, and the determination unit is , Detected based on the positional relationship between the position of the specific feature detected by the detection unit that detects the specific feature from the image and the first area based on the first area information of the specific feature . If a false detection of a specific feature is determined and it is determined that the specific feature is not a false detection, a second based on the position of the detected specific feature and the second area information of the specific feature. Based on the positional relationship with the area of, it is determined whether the detected specific feature is a feature previously installed at another position.
上記の地物検出システムにおいて、さらに更新部を有し、データ記憶部は、既存の特定の地物の各々に関する位置の情報の情報を有し、更新部は、判定部が検出された特定の地物の各々に関する位置と、特定の地物の第２の領域との位置関係に基づき、検出された特定の地物が以前に別の位置に設置されていた地物であると判定した場合、既存の特定の地物に関する位置の情報を検出された特定の地物の位置の情報に基づいて更新する。In the above feature detection system, the update unit further has an update unit, the data storage unit has information on the position of each of the existing specific features, and the update unit is a specific unit in which the determination unit is detected. When it is determined that the detected specific feature is a feature previously installed in another position based on the positional relationship between the position of each feature and the second area of the specific feature. , Update location information for existing specific features based on detected specific feature location information.
上記の地物検出システムにおいて、さらに更新部を有し、データ記憶部は、既存の特定の地物の各々に関する位置の情報を有し、更新部は、判定部が検出された特定の地物の各々に関する位置と、特定の地物の第２の領域との位置関係に基づき、検出された特定の地物が以前に別の位置に設置されていた地物ではないと判定した場合、検出された特定の地物の位置の情報を追加する。 In the above feature detection system, the update unit further has an update unit, the data storage unit has position information regarding each of the existing specific features, and the update unit is a specific feature in which the determination unit is detected. If it is determined that the detected specific feature is not a feature previously installed in another position based on the positional relationship between the position of each of the above and the second area of the specific feature, it is detected. Add information on the location of specific features that have been created.
上記の地物検出システムにおいて、データ記憶部は、道路を構成する車線の走行方向に沿った位置の情報及び車線の繋がりをあらわす情報を含む車線に関する情報の一部を構成する情報であって、車線の一部である所定の区間の走行方向に沿った位置の情報及び所定の区間に隣接する区間との繋がりをあらわす情報とを含む区間情報とを有し、判定部は、検出された特定の地物の位置と、区間情報に関連する第１の領域情報に基づく第１の領域との位置関係に基づいて、検出された特定の地物の誤検出を判定し、検出部によって検出される特定の地物は道路を構成する車線の走行方向に沿って存在する交通に関する地物である。 In the above-mentioned feature detection system, the data storage unit is information constituting a part of information about a lane including information on a position along a traveling direction of a lane constituting a road and information indicating a connection between lanes. It has section information including information on the position along the traveling direction of a predetermined section that is a part of the lane and information indicating a connection with a section adjacent to the predetermined section, and the determination unit detects and identifies the section. Based on the positional relationship between the position of the feature and the first area based on the first area information related to the section information, the false detection of the detected specific feature is determined and detected by the detection unit. Certain features are traffic-related features that exist along the direction of travel of the lanes that make up the road.
図１は、制御システムの一例である実施形態１乃至２における地物検出システム１である。その地物検出システム１は、移動体である車両２に搭載され、情報制御部３、記憶部４、入力部５、位置取得部６、車速情報取得部７、検出部８及び車両制御部９を有する。情報制御部３は、地図データ取得部１０、経路探索部１１、位置特定部１２、経路特定部１３、誘導部１４、地物誤検出判断部１５、地物情報更新部１６等の所定の機能を実現する機能部を含み、図示していないＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を備える。情報制御部のＣＰＵは、ＲＯＭに格納された各種プログラムを読み出して、ＲＡＭに展開して実行することで、各種プログラムに関する機能を実現する。なお、地図データ取得部１０、経路探索部１１、位置特定部１２、経路割当部１３、誘導部１４、地物誤検出判断部１５、地物情報更新部１６等の機能部は、プログラムによって実現される機能である。
FIG. 1 is a
記憶部４は、ハードディスクやＳＤ－ＲＡＭ等の大容量記憶媒体で構成されている。 記憶部４には、経路探索処理、車両の位置特定、車両誘導制御等に用いられる地図データ２０が記憶されている。地図データ２０は、道路ネットワーク情報３０、車線ネットワーク情報３１、地物情報３２、関連情報３３、基本情報テーブル３４、存在可能領域テーブル３５、存在確率テーブル３６、存在確率閾値テーブル３７、移動可能領域テーブル３８、移動確率テーブル３９、移動確率閾値テーブル４０を有している。また、地図データ２０には２次メッシュを２５６分割したメッシュ情報を含んでおり、道路ネットワーク情報３０、車線ネットワーク情報３１、地物情報３２、関連情報３３、基本情報テーブル３４、存在可能領域テーブル３５、存在確率テーブル３６、存在確率閾値テーブル３７、移動可能領域テーブル３８、移動確率テーブル３９、移動確率閾値テーブル４０を構成する各々の情報とメッシュ情報とが関連付けられた状態で記憶されている。
The storage unit 4 is composed of a large-capacity storage medium such as a hard disk or SD-RAM. The storage unit 4
道路ネットワーク情報３０は、道路の特定地点（例えば、道路の分岐地点）に関する情報を含む複数の地点情報及び道路の所定区間に関する情報を含む複数の道路区間情報を有し、その複数の地点情報及びその複数の道路区間情報により道路の繋がりをあらわす情報である。車線ネットワーク情報３１は、道路を構成する車線の走行方向に沿った位置の情報及び車線の繋がりをあらわす情報を含む車線に関する情報の一部を構成する情報であり、その車線の一部である所定の区間の走行方向に沿った位置の情報及びその所定の区間に隣接する区間との繋がりをあらわす情報とを含む複数の車線区間情報から構成されている。この車線ネットワーク情報３１は、道路を構成する車線の走行方向に沿った位置の情報及び車線の繋がりをあらわす情報を含む車線に関する情報の一部を構成する情報であって、車線の一部である所定の区間の走行方向に沿った位置の情報及び所定の区間に隣接する区間との繋がりをあらわす情報とを含む区間情報の一例である。
地物情報３２は、道路沿いに存在する標識をあらわす標識情報、道路の区画線をあらわす区画線情報等を含むものである。関連情報３３は、車線ネットワーク情報３１の車線区間情報と地物情報とを関連付けるための情報であり、具体的には、車線区間情報と標識情報とを関連付ける標識関連情報、車線区間情報と区画線情報とを関連付ける区画線関連情報等を含むものである。なお、車線区間情報、地物情報及び関連情報の詳細については、後述で説明する。
The
The
地図データ取得部１０は、地図データの取得要求に応じて、記憶部４に記憶されている所望の地図データ２０を抽出する。経路探索部１１は、記憶部４に記憶されている道路ネットワーク情報３０を用いて経路探索処理を実行する。具体的には、経路探索部１１は、道路ネットワーク情報３０に含まれる道路区間情報と地点情報とを用いて出発地から目的地に至る経路探索処理を実行する。そして、経路探索処理により出発地から目的地に至るまでの道順（出発地から目的地までを接続する複数の地点情報と複数の道路区間情報）を示す経路情報が作成される。なお、経路探索の手法としては、ダイクストラ法など周知の方法を採用し、道路区間情報に含まれるコスト情報を用いて出発地から目的地までの最短経路を探索する。
The map
入力部５は、利用者から経路設定や車両誘導のための指示入力を受付ける。位置取得部６は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を構成する人工衛星から受信した電波や、車両に備えられたジャイロからの信号に基づいて、緯度及び経度を含む車両の位置に関する位置情報を取得する。車速情報取得部７は、車速センサから取得したパルス信号に基づいて、車両の速度に関する情報を取得する。検出部８は、車両周辺の標識や信号機や道路の標示ペイント（例えば、区画線）等の被写体の画像情報である車両の周辺情報を取得する。
位置特定部１２は、位置取得部６により取得された位置情報から車両の位置が道路上のいずれの位置であるかを特定したり、地物情報３３及び画像取得部８により取得された
周辺情報から車両の位置が道路上のいずれの位置であるかを特定する。
The
The position specifying unit 12 specifies which position on the road the vehicle is located on the road from the position information acquired by the
経路特定部１３は、経路探索部１１で作成された道路ネットワーク情報３０の経路情報を用いて車線ネットワーク情報３１に経路を特定する処理を行う。なお、以下で説明する実施形態は、経路特定部１３により車線ネットワーク情報３１に特定された経路を走行する例である。 誘導部１４は、車両制御部が道路の所定の車線に沿って移動するように車両を制御するための誘導情報を生成し、車両制御部９に出力する。車両制御部９は、誘導情報に基づき道路の所定の車線に沿って移動するように車両を制御（操舵、加速・減速、停止等）する。
The
なお、地物検出システム１は、情報制御部３及び記憶部４が、車両２内に搭載されず、サーバ内に搭載され、サーバ内の情報制御部３が、通信情報として、入力部５、位置取得部６、車速情報取得部７及び画像取得部８の情報を受領するとともに、地物誤検出判断部１５及び地物情報更新部１６の処理を行い、通信情報として誘導情報を車両制御部９に出力する構成であっても良い。また、地物検出システム１は、記憶部２０が、車両２内に搭載されず、サーバ内に搭載され、車両内の情報制御部３が、地図データの取得要求に応じて、記憶部４に記憶されている所望の地図データ２０を通信情報によって抽出及び受領する構成であっても良い。
In the
（実施形態１）
図２は、本実施形態の地図データ２０のデータ構造の概念を説明するための図である。５０は、地図データ２０のデータ構造の概念図であり、車線区間情報ＬＬ１～ＬＬ６、標識情報Ｍ１及びＭ２、信号機情報ＴＬ１、境界線情報ＢＬ１及びＢＬ２、区画線情報ＣＬ１～ＣＬ３、停止線情報Ｓ１等を含んでいる。車線区間情報ＬＬ１と標識情報Ｍ１とが関連情報Ｒ１により、車線区間情報ＬＬ２と標識情報Ｍ１とが関連情報Ｒ２により、車線区間情報ＬＬ３と標識情報Ｍ２とが関連情報Ｒ３により、車線区間情報ＬＬ４と標識情報Ｍ２が関連情報Ｒ４により、車線区間情報ＬＬ３と信号機情報ＴＬ１とが関連情報Ｒ５により、車線区間情報ＬＬ４と信号機情報ＴＬ１とが関連情報Ｒ６により各々関連付けられている。また、車線区間情報ＬＬ１と境界線情報ＢＬ１とが関連情報Ｒ７により、車線区間情報ＬＬ３と境界線情報ＢＬ１とが関連情報Ｒ８により、車線区間情報ＬＬ５と境界線情報ＢＬ１とが関連情報Ｒ９により、車線区間情報ＬＬ２と境界線情報ＢＬ２とが関連情報Ｒ１０により、車線区間情報ＬＬ４と境界線情報ＢＬ２とが関連情報Ｒ１１により、車線区間情報ＬＬ６と境界線情報ＢＬ２とが関連情報Ｒ１２により各々関連付けられている。また、車線区間情報ＬＬ１と区画線情報ＣＬ１及び区画線情報ＣＬ２が関連情報Ｌ１３により、車線区間情報ＬＬ２と区画線情報ＣＬ２及び区画線情報ＣＬ３が関連情報Ｒ１４により、車線区間情報ＬＬ３と停止線情報Ｓ１とが関連情報Ｒ１５により、車線区間情報ＬＬ４と停止線情報Ｓ１とが関連情報Ｒ１６により、車線区間情報ＬＬ６と停止線情報Ｓ１とが関連情報Ｒ１７により各々関連付けられている。５１は実際の道路をあらわす図であり、２つの車線を含む道路と５０ｋｍ走行の速度規制をあらわす速度標識、一時停止をあらわす規制標識、停止線、及び信号機をあらわしている。また特定の地物Ａは検出部８によって検出された特定の地物をあらわしている。
(Embodiment 1)
FIG. 2 is a diagram for explaining the concept of the data structure of the
図３～図６は、本実施形態の地図データ２０のデータ構造の詳細を説明するための図である。
3 to 6 are diagrams for explaining the details of the data structure of the
図３（ａ）は、車線ネットワーク情報３１の車線区間情報ＬＬ１～ＬＬ６の詳細を説明するための図である。車線区間情報ＬＬ１～ＬＬ６の各々は、その車線区間情報ＬＬ１～ＬＬ６を識別するための識別情報、その車線区間情報ＬＬ１～ＬＬ６に対応する車線の中心線の座標点列をあらわす座標情報、その車線区間情報座標情報ＬＬ１～ＬＬ６に対応する区間の退出側の区間に対応する車線区間情報の識別情報である退出側識別情報、その車線区間情報ＬＬ１～ＬＬ６に対応する区間の進入側の区間に対応する車線区間情報の識別情報である進入側識別情報等が含まれている。そして、座標情報により道路を構成する車線の走行方向に沿った位置をあらわし、退出側識別情報及び進入側接続識別情報により車線の繋がりをあらわしている。
FIG. 3A is a diagram for explaining the details of the lane section information LL1 to LL6 of the
図３（ｂ）は、地物情報３２の詳細を説明するための図である。地物情報３２は、その地物情報を識別するための識別情報、その地物の種別をあらわす地物種別情報、その地物の中心をあらわす座標情報を緯度経度（ｘ、ｙ）及び高さ（ｚ）で含んでいる。なお、地物情報３２に含まれる座標情報は、その地物の中心座標を含んでいても、その地物の形状をあらわす座標を複数含んでいても良い。
FIG. 3B is a diagram for explaining the details of the
図４は、関連情報３３の詳細を説明するための図である。関連情報Ｒ１～Ｒ１７は、その関連情報を識別するための識別情報、地物情報を識別するための地物の識別情報、車線区間情報を識別するための車線区間識別情報、地物情報が対応する車線区間情報に対して左右いずれに位置するかを示す地物位置情報を含んでいる。
FIG. 4 is a diagram for explaining the details of the
図５（ａ）は、基本情報テーブル３４の詳細を説明するための図である。基本情報テーブル３４は、存在可能領域及び移動可能領域の緯度経度（ｘ、ｙ）及び高さ（ｙ）を構成する各要素の基準をなす情報を含んでいる。標識高さＨＨは標識の地表面からの高さをあらわす情報である。縁石高さＥＨは縁石の地表面からの高さをあらわす情報である。歩道幅情報ＨＷは歩道の幅をあらわす情報である。レーン幅ＬＷは道路を構成するレーンの幅をあらわす情報である。信号高さＳＨは信号機の地表面からの高さをあらわす情報である。外側線と歩道間の幅ＭＷは外側線と歩道間の幅をあらわす情報である。 FIG. 5A is a diagram for explaining the details of the basic information table 34. The basic information table 34 contains information that forms a reference for each element constituting the latitude / longitude (x, y) and height (y) of the existable area and the movable area. The sign height HH is information indicating the height of the sign from the ground surface. Curb height EH is information indicating the height of the curb from the ground surface. Sidewalk width information HW is information indicating the width of the sidewalk. The lane width LW is information representing the width of the lanes constituting the road. The signal height SH is information indicating the height of the traffic light from the ground surface. The width MW between the outside line and the sidewalk is information indicating the width between the outside line and the sidewalk.
図５（ｂ）は、存在可能領域テーブル３５（相対座標）の詳細を説明するための図である。存在可能領域テーブル３５（相対座標）は、特定の地物が存在する可能性のある領域であり、存在可能領域テーブル３５（相対座標）は存在可能領域に対応する情報を含んでいる。より具体的には、存在可能領域テーブル３５（相対座標）は、その特定の地物に対応する地物種別の情報をあらわす検出地物の情報、その特定の地物が存在する可能性のある領域の基準となる基準地物の情報、その特定の地物の基準地物に対する相対的な位置の方向をあらわす基準地物との相対位置方向の情報、その基準地物の位置を基準とした相対位置座標に対応する地物の存在する存在可能領域Ａ０～Ａｎを含んでいる。そして、その存在可能領域Ａ０～Ａｎに含まれる相対位置座標により存在可能領域Ａ０～Ａｎの領域の矩形の位置の絶対的な緯度情報（ｘ）及び高さ情報（ｚ）を判断することが可能となる。例えば、検出地物である標識Ｍ１であれば、基準地物のｘ方向の座標の位置を基準にして左方向にＨＷの位置までの幅を有するとともに、基準地物のｚ方向の座標の位置を基準にして高さ方向にＥＨの位置からＨＨの位置までの高さを有する存在可能領域をあらわしている。存在可能領域テーブル３５は、特定の地物が存在する可能性のある存在可能領域に対応する存在可能領域情報の一例である。 FIG. 5B is a diagram for explaining the details of the existable area table 35 (relative coordinates). The existence possible area table 35 (relative coordinates) is an area where a specific feature may exist, and the existence possibility area table 35 (relative coordinates) contains information corresponding to the existence possibility area. More specifically, the existable area table 35 (relative coordinates) shows the information of the detected feature representing the information of the feature type corresponding to the specific feature, and the specific feature may exist. Based on the information of the reference feature that is the reference of the area, the information of the relative position direction with the reference feature that shows the direction of the relative position of the specific feature with respect to the reference feature, and the position of the reference feature. It includes the possible areas A0 to An where the feature corresponding to the relative position coordinates exists. Then, it is possible to determine the absolute latitude information (x) and height information (z) of the rectangular position in the region of the region A0 to An that can exist from the relative position coordinates included in the region A0 to An. It becomes. For example, the marker M1 which is a detected feature has a width to the position of HW in the left direction with respect to the position of the coordinate of the reference feature in the x direction and the position of the coordinate of the reference feature in the z direction. Represents a possible region having a height from the position of EH to the position of HH in the height direction with reference to. The existence possible area table 35 is an example of the existence possible area information corresponding to the existence possible area where a specific feature may exist.
図５（ｃ）は、存在確率テーブル３６の詳細を説明するための図である。存在確率テーブル３６は、存在可能領域との距離に応じて、特定の地物が存在する確率をあらわしている。例えば、存在可能領域との距離がプラスマイナス０％である場合、特定の地物が存在する確率は１００％である。存在可能領域との距離がプラスマイナス１０％である場合、特定の地物が存在する確率は８０％である。このように、存在可能領域との距離が大きくなるにつれて、特定の地物が存在する確率が低くなっている。 FIG. 5C is a diagram for explaining the details of the existence probability table 36. The existence probability table 36 shows the probability that a specific feature exists according to the distance from the possible area. For example, if the distance to the possible area is plus or minus 0%, the probability that a specific feature exists is 100%. When the distance to the existence area is plus or minus 10%, the probability that a specific feature exists is 80%. In this way, as the distance from the possible area increases, the probability that a specific feature exists decreases.
図５（ｄ）は存在確率閾値テーブル３７の詳細を説明するための図である。存在確率閾値テーブル３７は、特定の地物に対応する閾値を含んでいる。例えば、特定の地物が標識である場合、閾値は８０％である。また、特定の地物が道路標示である場合、閾値は５０％である。 FIG. 5D is a diagram for explaining the details of the existence probability threshold table 37. The existence probability threshold table 37 includes a threshold value corresponding to a specific feature. For example, if a particular feature is a sign, the threshold is 80%. If the specific feature is a road marking, the threshold is 50%.
図６は、図５（ａ）及び図５（ｂ）に基づく存在可能領域３５（相対座標）の概念を説明するための図である。
図６（ａ）は、基本情報テーブル３４であり、図５（ａ）と同一である。
図６（ｂ）は、検出地物が標識Ｍ１であり、基準地物が道路境界線ＢＬ１である場合の存在可能領域Ａ１をあらわしている。存在可能領域Ａ１のＡＬ１は、車線区間情報ＮＷＬＬ１の幅であるＬＬ１Ｗと同一である。存在可能領域Ａ１のＡＬ２は、ＥＨ及びＨＨと同一である。存在可能領域Ａ１のＡＬ３は－ＨＷと同一である。基準点ｐは、車線区間情報ＬＬ１の始点座標から道路境界線ＢＬ１に対して垂線を引いた交点をあらわしている。基準点ｐは、存在可能領域Ａ１のＡＬ１～ＡＬ３と接続している。
図６（ｃ）は、基準地物が道路境界線ＢＬ１である場合の存在可能領域Ａ１の一例をあらわしている。基準点ｐと存在可能領域Ａ１におけるＡＬ１～ＡＬ３とは、１５０ｃｍ幅としている。この１５０ｃｍ幅は、標識の設置高さの下限値である１５０ｃｍに対応している。
FIG. 6 is a diagram for explaining the concept of the possible region 35 (relative coordinates) based on FIGS. 5 (a) and 5 (b).
FIG. 6A is a basic information table 34, which is the same as FIG. 5A.
FIG. 6B shows the possible region A1 when the detected feature is the sign M1 and the reference feature is the road boundary line BL1. AL1 of the presentable region A1 is the same as LL1W which is the width of the lane section information NLLL1. AL2 of the presentable region A1 is the same as EH and HH. AL3 of the presentable region A1 is the same as -HW. The reference point p represents an intersection obtained by drawing a perpendicular line from the starting point coordinates of the lane section information LL1 to the road boundary line BL1. The reference point p is connected to AL1 to AL3 of the possible region A1.
FIG. 6C shows an example of the possible region A1 when the reference feature is the road boundary line BL1. The reference point p and AL1 to AL3 in the possible region A1 have a width of 150 cm. This 150 cm width corresponds to 150 cm, which is the lower limit of the installation height of the sign.
図７（ａ）は、移動可能領域テーブル３８の詳細を説明するための図である。移動可能領域テーブル３８は、画像から特定の地物を検出する検出部によって検出される特定の地物が以前に別の位置に設置されていた場合に、別の位置として可能性のある領域であり、移動可能領域テーブルは移動可能領域に対応する情報を含んでいる。より具体的には、移動可能領域テーブルは、特定の地物に対応する地物の種別をあらわす基準地物情報、その基準地物の位置を基準とした相対位置座標をあらわす緯度経度情報（ｘ、ｙ）及び高さ情報（ｚ）を含んでいる。そして、その相対位置座標により配置可能領域の周縁となる位置の絶対的な緯度経度情報（ｘ、ｙ）及び高さ情報（ｚ）を判断することが可能となる。例えば、基準地物が標識あれば、配置可能領域は、基準地物のｘ方向の座標の位置を基準にして－ｘ方向にＨＡ１、＋ｙ方向にＨＡ１の位置までの幅を有し、基準地物のｙ方向の座標の位置を基準にして－ｙ方向にＨＢ１、＋ｙ方向にＨＢ１の位置までの幅を有し、基準地物のｚ方向の座標の位置を基準にして－ｚ方向にＨＣ１、＋ｚ方向にＨＣ１の位置までの幅を持つ領域を有している。なお、移動可能領域テーブル３８は、以前設置されていた固定型の標識等の地物に対して定義しても良いし、移動型の標識等の地物に対して定義するものとしても良い。移動可能領域テーブル３８は、検出された特定の地物が以前に別の位置に設置されていた場合に、別の位置として可能性のある移動可能領域に対応する移動可能領域情報の一例である。 FIG. 7A is a diagram for explaining the details of the movable area table 38. The movable area table 38 is an area that may be a different position if the specific feature detected by the detector that detects the specific feature from the image was previously installed in another position. Yes, the movable area table contains information corresponding to the movable area. More specifically, the movable area table has reference feature information representing the type of feature corresponding to a specific feature, and latitude / longitude information (x) representing relative position coordinates based on the position of the reference feature. , Y) and height information (z). Then, it is possible to determine the absolute latitude / longitude information (x, y) and height information (z) of the position that becomes the peripheral edge of the displaceable area from the relative position coordinates. For example, if the reference feature is marked, the placeable area has a width from the position of the coordinates of the reference feature in the x direction to the position of HA1 in the −x direction and HA1 in the + y direction, and has a width to the position of the reference land. It has a width up to the position of HB1 in the -y direction and HB1 in the + y direction with respect to the position of the coordinates in the y direction of the object, and HC1 in the -z direction with respect to the position of the coordinates in the z direction of the reference feature. , Has a region having a width up to the position of HC1 in the + z direction. The movable area table 38 may be defined for a feature such as a fixed type sign that has been previously installed, or may be defined for a feature such as a mobile sign. The movable area table 38 is an example of movable area information corresponding to a movable area that may be located at another position when the detected specific feature was previously installed at another position. ..
図７（ｂ）は、移動確率テーブル３９の詳細を説明するための図である。移動確率テーブル３９は、移動可能領域との距離に応じて、特定の地物が存在する確率をあらわしている。例えば、移動可能領域との距離がプラスマイナス０％である場合、地物が移動している確率は０％である。また、移動可能領域との距離がプラスマイナス４０％である場合、特定の地物が移動している確率は８０％である。このように、移動可能領域との距離が大きくなるにつれて、特定の地物が移動している確率が高くなる。 FIG. 7B is a diagram for explaining the details of the movement probability table 39. The movement probability table 39 shows the probability that a specific feature exists according to the distance from the movable area. For example, if the distance to the movable area is plus or minus 0%, the probability that the feature is moving is 0%. Further, when the distance to the movable area is plus or minus 40%, the probability that a specific feature is moving is 80%. In this way, as the distance from the movable area increases, the probability that a specific feature is moving increases.
図７（ｃ）は移動確率閾値テーブル４０の詳細を説明するための図である。移動確率閾値テーブル４０は、特定の地物に対応する閾値を含んでいる。例えば、特定の地物が標識である場合、閾値は８０％である。また、特定の地物が道路標示である場合、閾値は５０％である。 FIG. 7C is a diagram for explaining the details of the movement probability threshold table 40. The movement probability threshold table 40 includes a threshold corresponding to a specific feature. For example, if a particular feature is a sign, the threshold is 80%. If the specific feature is a road marking, the threshold is 50%.
図８は、図７（ａ）に基づく移動可能領域テーブル３８の詳細を説明するための図である。
図８（ａ）は、標識Ｍ１における移動可能領域Ｂ１、標識Ｍ２における移動可能領域Ｂ２をあらわしている。また、移動可能領域Ｂ１及び移動可能領域Ｂ２は、それぞれ標識Ｍ１及び標識Ｍ２の縦横幅の領域に対して、検出精度等で補正された領域をあらわしている。図８（ｂ）は、移動可能領域Ｂ１による移動有無判定の例を示している。検出地物Ａは検出部８によって検出された地物であり、距離Ｄ２は、検出地物Ａと移動可能領域Ｂ１との距離をあらわしている。なお、距離Ｄ２の算出は、検出地物Ａと標識情報Ｍ１との距離でも良い。
FIG. 8 is a diagram for explaining the details of the movable area table 38 based on FIG. 7A.
FIG. 8A shows the movable region B1 on the label M1 and the movable region B2 on the label M2. Further, the movable region B1 and the movable region B2 represent regions corrected by detection accuracy or the like with respect to the regions having the vertical and horizontal widths of the labeled M1 and the labeled M2, respectively. FIG. 8B shows an example of determining whether or not to move by the movable area B1. The detected feature A is a feature detected by the detection unit 8, and the distance D2 represents the distance between the detected feature A and the movable area B1. The distance D2 may be calculated by the distance between the detected feature A and the sign information M1.
図９は、実施形態１の地物検出処理の動作フローを説明するための図である。
情報制御部３は、地物検出情報取得処理、存在可能領域算出処理、判定処理、地物情報更新処理を行う。以下では図２～図１３を適宜参照しながら、地物検出情報取得処理、存在可能領域算出処理、判定処理、地物情報更新処理の詳細を説明する。
FIG. 9 is a diagram for explaining an operation flow of the feature detection process of the first embodiment.
The
図１０は、地物検出情報取得処理の動作フローを説明するための図である。
情報制御部３は、地物検出情報取得処理として以下の処理を行う。
（１）画像から特定の地物を検出する検出部８によって検出された特定の地物Ａを検出する。例えば、予め地物の形状に関するパターンデータと特定の地物Ａの形状を比較するパターンマッチングや学習モデルに記憶された地物の形状、模様、色彩等と特定の地物Ａの形状、模様、色彩等を比較することにより特定の地物Ａを検出する（ステップＳ１００）。
（２）検出された特定の地物Ａの位置Ａ０を取得する。特定の地物Ａの位置Ａ０は、緯度経度などの絶対位置でも良く、車両と特定の地物Ａの相対位置でも良い（ステップＳ１０１）。
（３）検出された特定の地物である特定の地物Ａの地物の種別を取得する。予め地物の形状に関するパターンデータと特定の地物Ａの形状を比較しパターンマッチングや学習モデルに記憶された地物の形状、模様、色彩等と特定の地物Ａの形状、模様、色彩等を比較することにより地物の種別を取得する。地物の種別には、標識、信号機、道路標示等の地物毎の大分類の種別を取得するものとしても良い。また地物が標識である場合規制標識、案内標識、指示標識としても良いし、地物が信号機である場合、矢印信号や歩行者信号等の小分類の種別を取得するものとしても良い（ステップＳ１０２）。この特定の地物Ａは、検出部によって検出される道路を構成する車線の走行方向に沿って存在する交通に関する地物の一例である。
（４）検出部８の検出精度情報を取得する。検出精度情報は検出部８において画像を取得した際の精度を示すものであり、例えばメートル単位の精度や、センチメートル単位の精度でも良い。また、横方向に１０ｃｍ、縦方向に５０ｃｍのように縦方向と横方向で異なる精度でもよい（ステップＳ１０３）。
FIG. 10 is a diagram for explaining an operation flow of the feature detection information acquisition process.
The
(1) The specific feature A detected by the detection unit 8 that detects the specific feature from the image is detected. For example, pattern matching that compares the pattern data related to the shape of the feature with the shape of the specific feature A in advance, the shape, pattern, color, etc. of the feature stored in the learning model and the shape, pattern of the specific feature A, A specific feature A is detected by comparing colors and the like (step S100).
(2) Acquire the position A0 of the detected specific feature A. The position A0 of the specific feature A may be an absolute position such as latitude and longitude, or may be a relative position between the vehicle and the specific feature A (step S101).
(3) Acquire the type of the feature of the specific feature A, which is the detected specific feature. The pattern data related to the shape of the feature and the shape of the specific feature A are compared in advance, and the shape, pattern, color, etc. of the feature stored in the pattern matching and learning model and the shape, pattern, color, etc. of the specific feature A, etc. The type of feature is obtained by comparing. As the type of the feature, the type of the major classification for each feature such as a sign, a traffic light, and a road marking may be acquired. Further, when the feature is a sign, it may be a regulation sign, a guide sign, or an instruction sign, or when the feature is a traffic light, it may be to acquire a subclass type such as an arrow signal or a pedestrian signal (step). S102). This specific feature A is an example of a feature related to traffic existing along the traveling direction of the lane constituting the road detected by the detection unit.
(4) Acquire the detection accuracy information of the detection unit 8. The detection accuracy information indicates the accuracy when the image is acquired by the detection unit 8, and may be, for example, an accuracy in meters or an accuracy in centimeters. Further, the accuracy may be different in the vertical direction and the horizontal direction, such as 10 cm in the horizontal direction and 50 cm in the vertical direction (step S103).
図１１は、存在可能領域算出処理の動作フローを説明するための図である。情報制御部３は、存在可能領域算出処理として以下の処理を行う。
（１）特定の地物Ａの位置情報と車線ネットワークデータ３１に含まれる複数の車線区間情報の各々の座標情報とを比較し、特定の地物Ａに最も近い位置座標を有する車線ネットワークデータ３１が車線区間情報ＬＬ３であることを特定し車線区間情報ＬＬ３を取得する（ステップＳ２００）。
（２）特定の地物Ａの地物の種別である標識に基づいて、存在可能領域テーブル３５から
特定の地物Ａである標識に対応する基準地物の道路境界線ＢＬ１を取得する。（ステップＳ２０１）。
（３）基準地物の道路境界線ＢＬ１の中心座標と存在可能領域テーブルの領域Ａ０～領域ＡＮに基づいて、道路境界線ＢＬ１に関する存在可能領域情報Ａ１を算出する。ここで、存在可能領域情報Ａ１のｙ方向の範囲は、車線区間情報ＬＬ３の一方の端点から他方の端点までの範囲（図６（ｂ）参照）である。ここで、車線区間情報ＬＬ３の退出側識別情報ＬＬ５及び進入側識別情報ＬＬ１（図３（ａ）参照）に基づいて、存在可能領域情報Ａ１のｙ方向の範囲は、車線区間情報ＬＬ３の車線変更情報ＬＬ１とは反対側の端点から車線区間情報ＬＬ５の車線変更情報ＬＬ１とは反対側の端点までの範囲としても良い（ステップＳ２０２）。
（４）関連情報３３に基づいて取得した車線区間情報ＬＬ３に関連する地物を取得する。車線区間情報ＬＬ３には、関連情報Ｒ３により標識情報Ｍ２、関連情報Ｒ５により信号機情報ＴＬ１、関連情報Ｒ７により道路境界線情報ＢＬ１、関連情報Ｒ１５により停止線情報Ｓ１が関連付けられているため、標識情報Ｍ２、信号機情報ＴＬ１，道路境界線情報ＢＬ１，停止線情報Ｓ１を取得する（ステップＳ２０３）。
（５）取得された関連する地物である標識情報Ｍ２、信号機情報ＴＬ１，道路境界線情報ＢＬ１、停止線情報Ｓ１に基づいて、存在可能領域情報Ａ１から標識情報Ｍ２、信号機情報ＴＬ１，道路境界線情報ＢＬ１、停止線情報Ｓ１に対応する領域情報を削除する（ステップＳ２０４）。（６）存在可能領域Ａ１が属するメッシュ情報を取得し、当該メッシュに関連付けられたすべての車線区間情報の座標点列に基づいて。車線区間の座標点列から車線区間情報の存在する車線区間情報存在領域を作成する。そして、存在可能領域情報Ａ１から車線区間情報存在領域に対応する領域情報を削除する（ステップＳ２０５）
FIG. 11 is a diagram for explaining an operation flow of the existence possible area calculation process. The
(1) The position information of the specific feature A is compared with the coordinate information of each of the plurality of lane section information included in the
(2) Based on the sign that is the type of the feature of the specific feature A, the road boundary line BL1 of the reference feature corresponding to the sign that is the specific feature A is acquired from the existence area table 35. (Step S201).
(3) The existence possible area information A1 regarding the road boundary line BL1 is calculated based on the center coordinates of the road boundary line BL1 of the reference feature and the area A0 to the area AN of the possible area table. Here, the range of the possible region information A1 in the y direction is the range from one end point of the lane section information LL3 to the other end point (see FIG. 6B). Here, based on the exit side identification information LL5 and the approach side identification information LL1 (see FIG. 3A) of the lane section information LL3, the range of the possible area information A1 in the y direction is the lane change of the lane section information LL3. The range may be from the end point on the opposite side of the information LL1 to the end point on the opposite side of the lane change information LL1 in the lane section information LL5 (step S202).
(4) The feature related to the lane section information LL3 acquired based on the
(5) Based on the acquired related features such as sign information M2, traffic light information TL1, road boundary line information BL1, and stop line information S1, the existence area information A1 to sign information M2, traffic light information TL1, and road boundary. The area information corresponding to the line information BL1 and the stop line information S1 is deleted (step S204). (6) Acquire the mesh information to which the possible region A1 belongs, and based on the coordinate point sequence of all the lane section information associated with the mesh. Create a lane section information existence area where lane section information exists from the coordinate point sequence of the lane section. Then, the area information corresponding to the lane section information existence area is deleted from the existence possible area information A1 (step S205).
図１２は、判定処理の動作フローを説明するための図である。情報制御部３は、判定処理として以下の処理を行う。
（１）取得した車線ネットワークデータ３１の関連地物に地物種別Ｔ１の存在可能領域情報Ａ１が存在するか判定する。関連地物に地物種別Ｔ１である道路境界線情報ＢＬ１の存在可能領域情報Ａ１が存在する場合（ステップ３００でＹｅｓ）、取得したレーンネットワークデータ３１には特定の地物Ａの存在可能領域情報Ａ１があると判定する。一方で関連地物に地物種別Ｔ１である道路境界線情報ＢＬ１の存在可能領域情報Ａ１が存在しない場合（ステップＳ３００でＮＯ）、特定の地物Ａは誤検出であると判定し（ステップＳ３１０）、判定処理を終了する。
（２）検出部８の精度情報を基に、道路境界線情報ＢＬ１の存在可能領域情報Ａ１を補正する。例えば検出部８の精度情報が横方向１ｍ、縦方向１ｍである場合、道路境界線情報ＢＬ１の存在可能領域Ａ１の緯度経度情報をそれぞれ１ｍ補正し存在可能領域情報Ａ２とする（ステップＳ３０１）。
（３）特定の地物Ａの位置Ａ０が存在可能領域情報Ａ２の範囲内に含まれる場合（ステップＳ３０２でＹＥＳ）、地物情報更新処理に進む．一方で、特定の地物Ａの位置Ａ０が存在可能領域情報Ａ２の範囲内に含まれない場合（ステップＳ３０２でＮＯ）、特定の地物Ａと存在可能領域情報Ａ２との距離Ｄ０を算出する。距離Ｄ０は、地物の重心からの距離でも良いし、別途計算した地物自体の存在領域との距離を用いても良い（ステップＳ３０３）。
（４）検出部８の精度情報を基に、距離Ｄ０を補正する。例えば検出部８の精度情報が横方向１ｍ、縦方向１ｍである場合、距離Ｄ０の緯度経度情報をそれぞれ１ｍ補正し距離Ｄ１とする（ステップＳ３０４）。
（５）距離Ｄ１と存在確率テーブルとに基づいて特定の地物Ａの存在確率α０を算出する。例えば、補正された距離Ｄ０と存在可能領域との距離がプラスマイナス１０％であれば、特定の地物Ａの存在確率α０が８０％であると算出する（ステップＳ３０５）。
（６）特定の地物Ａの存在確率閾値β０を取得する。特定の地物Ａは標識であるため、対応する存在確率閾値β０８０％を取得する（ステップＳ３０６）。
（７）算出した存在確率α０と取得した存在確率閾値β０を比較し、存在確率α０が存在確率閾値β０よりも大きい場合（ステップＳ３０７でＹＥＳ）、地物情報更新処理に進む。一方で、存在確率α０が存在確率閾値β０以下の場合（ステップＳ３０７でＮＯ）、検出した特定の地物Ａは誤検出であると判定し（ステップＳ３１０）、判定処理を終了する。
上記の処理は、判定部が画像から特定の地物を検出する検出部によって検出された特定の地物の存在可能領域情報に基づく存在可能領域に対する位置関係に基づいて、検出された特定の地物の誤検出を判定する処理の一例である。
FIG. 12 is a diagram for explaining an operation flow of the determination process. The
(1) It is determined whether or not the existence area information A1 of the feature type T1 exists in the related feature of the acquired
(2) Based on the accuracy information of the detection unit 8, the existence area information A1 of the road boundary line information BL1 is corrected. For example, when the accuracy information of the detection unit 8 is 1 m in the horizontal direction and 1 m in the vertical direction, the latitude / longitude information of the existing region A1 of the road boundary line information BL1 is corrected by 1 m to obtain the existing region information A2 (step S301).
(3) When the position A0 of the specific feature A is included in the range of the possible area information A2 (YES in step S302), the process proceeds to the feature information update process. On the other hand, when the position A0 of the specific feature A is not included in the range of the possible area information A2 (NO in step S302), the distance D0 between the specific feature A and the possible area information A2 is calculated. .. The distance D0 may be the distance from the center of gravity of the feature or the distance to the existing region of the feature itself calculated separately (step S303).
(4) The distance D0 is corrected based on the accuracy information of the detection unit 8. For example, when the accuracy information of the detection unit 8 is 1 m in the horizontal direction and 1 m in the vertical direction, the latitude / longitude information of the distance D0 is corrected by 1 m to obtain the distance D1 (step S304).
(5) The existence probability α0 of the specific feature A is calculated based on the distance D1 and the existence probability table. For example, if the distance between the corrected distance D0 and the possible area is plus or minus 10%, it is calculated that the existence probability α0 of the specific feature A is 80% (step S305).
(6) Acquire the existence probability threshold β0 of a specific feature A. Since the specific feature A is a sign, the corresponding existence probability threshold β080% is acquired (step S306).
(7) The calculated existence probability α0 and the acquired existence probability threshold value β0 are compared, and if the existence probability α0 is larger than the existence probability threshold value β0 (YES in step S307), the process proceeds to the feature information update process. On the other hand, when the existence probability α0 is equal to or less than the existence probability threshold β0 (NO in step S307), it is determined that the detected specific feature A is erroneous detection (step S310), and the determination process is terminated.
In the above processing, the detection unit detects a specific feature from the image, and the detection is based on the positional relationship with respect to the existence area based on the existence area information of the specific feature detected by the detection unit. This is an example of a process for determining an erroneous detection of an object.
図１３は、地物情報更新処理の動作フローを説明するための図である。情報制御部３は、地物情報更新処理として以下の処理を行う。
（１）特定の地物Ａと車線区間情報ＬＬ３に関連する地物に同じ種別Ｔ０の地物Ｂが存在するか判定する。特定の地物Ａと車線区間情報ＬＬ３に関連する地物である標識情報Ｍ２とは同じ種別であるため、特定の地物Ａと標識情報Ｍ２とは同一である可能性があると判定する（ステップＳ４００でＹＥＳ）、一方で、関連する地物と特定の地物Ａとが同じ種別でない場合（ステップＳ４００でＮＯ）、特定の地物Ａは新規地物として地図情報に登録し（ステップＳ４０８）、特定の地物Ａは新規地物と判定し（ステップＳ４０９）、地物情報更新処理を終了する。上記の処理は、判定部が検出された特定の地物の移動可能領域に対する位置関係に基づき、検出された特定の地物が以前に別の位置に設置されていた地物ではないと判定した場合、検出された特定の地物の位置の情報を追加する処理の一例である。
（２）標識情報Ｍ２と同様に特定の地物Ａと同じ種別Ｔ０の地物情報を地物情報３２から全て取得し（ステップＳ４０１）、そのうち一つを処理対象として、地物情報３２から取得した同じ種別Ｔ０の地物情報の地物数分、以下（３）～（６）の処理を繰り返す（ステップＳ４０２）。
（３）地物情報３２から地物Ｂに対応する標識情報Ｍ２の位置情報Ｂ０を取得する（ステップＳ４０３）。
（４）移動可能領域テーブル４０から標識情報Ｍ２の移動可能領域情報Ｂ２を算出する（ステップＳ４０４）。
（５）検出部８の精度情報を基に、標識情報Ｍ２の移動可能領域情報Ｂ２を補正する。例えば検出部８の精度情報が横方向１ｍ、縦方向１ｍである場合、標識情報Ｍ２の移動可能領域情報Ｂ２の位置情報を横方向１ｍ、縦方向１ｍ補正し移動可能領域情報Ｂ３とする（ステップＳ４０５）。
（６）特定の地物Ａの位置Ａ０が移動可能領域情報Ｂ３の範囲内に含まれているか判定する。特定の地物Ａの位置Ａ０が移動可能領域情報Ｂ３の範囲内に含まれている場合（ステップＳ４０６でＹＥＳ）、特定の地物Ａと標識情報Ｍ２は同一であると判定する。一方で特定の地物Ａが移動可能領域情報Ｂ３の範囲内に含まれていない場合（ステップＳ４０６でＮＯ）、繰り返し処理において、ステップＳ４０１で取得した地物の中で未処理状態の地物を一つ選択し、新たな処理対象として、（３）の処理を行う（ステップＳ４０７）。
（７）特定の地物Ａと同一であると判断した地物が一つも存在しなかった場合（ステップＳ４０７）、特定の地物Ａは新規地物として地図情報に登録し（ステップＳ４０８）、特定の地物Ａは新規地物と判定し（ステップＳ４０９）、地物情報更新処理を終了する。上記の処理は、判定部が検出された特定の地物の移動可能領域に対する位置関係に基づき、検出された特定の地物が以前に別の位置に設置されていた地物ではないと判定した場合、検出された特定の地物の位置の情報を追加する処理の一例である。
（８）特定の地物Ａの位置Ａ０と移動可能領域情報Ｂ３との距離Ｄ２を算出する（ステップＳ４１０）。
（９）検出部８の精度情報を基に、距離Ｄ２を補正する。例えば検出部８の精度情報が横方向１ｍ、縦方向１ｍである場合、距離Ｄ２の位置情報を横方向１ｍ、縦方向１ｍ補正し距離Ｄ３とする（ステップＳ４１１）。
（１０）距離Ｄ３と移動確率テーブル４１に基づいて移動確率α１を算出する。例えば、距離Ｄ３と移動可能領域との距離がプラスマイナス２０％であれば、特定の地物Ａの移動確率α１が４０％であると算出する（ステップＳ４１２）。
（１１）移動確率閾値テーブル４２から標識情報Ｍ２の移動確率閾値β１を取得する。標識の移動確率閾値は８０％であるため、標識情報Ｍ２の移動確率閾値β１は８０％を取得する（ステップＳ４１３）。
（１２）算出した移動確率α１と取得した移動確率閾値β１を比較し、移動確率α１が移動確率閾値β１以下の場合（ステップＳ４１４でＹＥＳ）、特定の地物Ａは標識情報Ｍ２と同一であると判定し（ステップＳ４１５）、地物情報更新処理を終了する。一方で、移動確率α１が移動確率閾値β１よりも大きい場合（ステップＳ４１４でＮＯ）、標識情報Ｍ２の位置Ｂ０を特定の地物Ａの位置Ａ０で更新する（ステップＳ４２０）、そして特定の地物Ａは標識情報Ｍ２と同一でかつ移動していると判定し（ステップＳ４２１）、地物情報更新処理を終了する。上記の処理（ステップＳ４０１～Ｓ４０７、ステップＳ４１０～Ｓ４１４）が、判定部は特定の地物が誤検出でないと判定した場合、検出された特定の地物の、移動可能領域情報に基づく移動可能領域に対する位置関係に基づいて、検出された特定の地物が以前に別の位置に設置されていた地物であるかを判定する処理の一例である。また、上記の処理（ステップＳ４１４、ステップＳ４２０）は、判定部が検出された特定の地物の移動可能領域に対する位置関係に基づき、検出された特定の地物が以前に別の位置に設置されていた地物であると判定した場合、既に存在している地物として取り扱われている特定の地物に関する位置の情報を検出された特定の地物の位置の情報に基づいて更新する処理の一例である。
ここで、移動確率α１が移動確率閾値β１以下の場合（ステップＳ４１４でＹＥＳ）、標識情報Ｍ２の位置Ｂ０を特定の地物Ａの位置Ａ０で更新するものとしても良く（ステップＳ４２０）、特定の地物Ａは標識情報Ｍ２と同一でかつ移動していると判定してもよい（ステップＳ４２１）。
FIG. 13 is a diagram for explaining an operation flow of the feature information update process. The
(1) It is determined whether or not a feature B of the same type T0 exists in a specific feature A and a feature related to the lane section information LL3. Since the specific feature A and the sign information M2, which is a feature related to the lane section information LL3, are of the same type, it is determined that the specific feature A and the sign information M2 may be the same (). YES in step S400), on the other hand, if the related feature and the specific feature A are not of the same type (NO in step S400), the specific feature A is registered in the map information as a new feature (step S408). ), The specific feature A is determined to be a new feature (step S409), and the feature information update process is terminated. In the above processing, the determination unit determines that the detected specific feature is not a feature previously installed at another position based on the positional relationship of the detected specific feature with respect to the movable area. In the case, it is an example of the process of adding the information of the position of the detected specific feature.
(2) As with the sign information M2, all the feature information of the same type T0 as the specific feature A is acquired from the feature information 32 (step S401), and one of them is taken as the processing target and acquired from the
(3) The position information B0 of the sign information M2 corresponding to the feature B is acquired from the feature information 32 (step S403).
(4) The movable area information B2 of the sign information M2 is calculated from the movable area table 40 (step S404).
(5) The movable area information B2 of the sign information M2 is corrected based on the accuracy information of the detection unit 8. For example, when the accuracy information of the detection unit 8 is 1 m in the horizontal direction and 1 m in the vertical direction, the position information of the movable area information B2 of the sign information M2 is corrected by 1 m in the horizontal direction and 1 m in the vertical direction to obtain the movable area information B3 (step). S405).
(6) It is determined whether the position A0 of the specific feature A is included in the range of the movable area information B3. When the position A0 of the specific feature A is included in the range of the movable area information B3 (YES in step S406), it is determined that the specific feature A and the sign information M2 are the same. On the other hand, when the specific feature A is not included in the range of the movable area information B3 (NO in step S406), in the iterative process, the unprocessed feature among the features acquired in step S401 is selected. One is selected and the process of (3) is performed as a new process target (step S407).
(7) When there is no feature determined to be the same as the specific feature A (step S407), the specific feature A is registered in the map information as a new feature (step S408). The specific feature A is determined to be a new feature (step S409), and the feature information update process is terminated. In the above processing, the determination unit determines that the detected specific feature is not a feature previously installed at another position based on the positional relationship of the detected specific feature with respect to the movable area. In the case, it is an example of the process of adding the information of the position of the detected specific feature.
(8) The distance D2 between the position A0 of the specific feature A and the movable area information B3 is calculated (step S410).
(9) The distance D2 is corrected based on the accuracy information of the detection unit 8. For example, when the accuracy information of the detection unit 8 is 1 m in the horizontal direction and 1 m in the vertical direction, the position information of the distance D2 is corrected by 1 m in the horizontal direction and 1 m in the vertical direction to obtain the distance D3 (step S411).
(10) The movement probability α1 is calculated based on the distance D3 and the movement probability table 41. For example, if the distance between the distance D3 and the movable area is plus or minus 20%, it is calculated that the movement probability α1 of the specific feature A is 40% (step S412).
(11) The movement probability threshold value β1 of the marker information M2 is acquired from the movement probability threshold value table 42. Since the movement probability threshold value of the marker is 80%, the movement probability threshold value β1 of the label information M2 acquires 80% (step S413).
(12) The calculated movement probability α1 and the acquired movement probability threshold value β1 are compared, and when the movement probability α1 is equal to or less than the movement probability threshold value β1 (YES in step S414), the specific feature A is the same as the marking information M2. (Step S415), and the feature information update process is terminated. On the other hand, when the movement probability α1 is larger than the movement probability threshold β1 (NO in step S414), the position B0 of the marker information M2 is updated at the position A0 of the specific feature A (step S420), and the specific feature. It is determined that A is the same as the sign information M2 and is moving (step S421), and the feature information update process is terminated. When the above processing (steps S401 to S407, steps S410 to S414) determines that the specific feature is not erroneous detection, the movable area based on the movable area information of the detected specific feature It is an example of the process of determining whether the detected specific feature is a feature previously installed at another position based on the positional relationship with respect to. Further, in the above process (step S414, step S420), the detected specific feature is previously installed at another position based on the positional relationship with respect to the movable area of the specific feature detected by the determination unit. When it is determined that the feature has already existed, the position information regarding the specific feature that is already treated as an existing feature is updated based on the detected position information of the specific feature. This is just one example.
Here, when the movement probability α1 is equal to or less than the movement probability threshold value β1 (YES in step S414), the position B0 of the marker information M2 may be updated at the position A0 of the specific feature A (step S420). It may be determined that the feature A is the same as the sign information M2 and is moving (step S421).
＜変形例＞
なお、この発明は上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。例えば次のような変形も可能である。
<Modification example>
The present invention is not limited to the above embodiment, and can be implemented in various embodiments without departing from the gist thereof. For example, the following modifications are possible.
上記の実施形態において、存在可能領域３５（相対座標）は１の領域を構成する例を説明した。上記に代えて、存在可能領域３５（相対座標）は複雑な幾何形状を含む領域を構成するとしても良い。
図１４（ａ）は、存在可能領域テーブル３５（相対座標）の詳細を説明するための図である。存在可能領域テーブル３５（相対座標）は、検出地物、基準地物情報、基準地物に対する相対的位置方向をあらわす情報、存在可能領域Ａ０～Ａ１の緯度経度（ｘ、ｙ）及び高さ（ｚ）を含んでいる。
In the above embodiment, an example in which the existable region 35 (relative coordinates) constitutes one region has been described. Instead of the above, the possible region 35 (relative coordinates) may constitute a region including a complicated geometric shape.
FIG. 14A is a diagram for explaining the details of the existable area table 35 (relative coordinates). The existing area table 35 (relative coordinates) shows the detected feature, the reference feature information, the information indicating the relative position direction with respect to the reference feature, the latitude / longitude (x, y) and the height (x, y) of the existable areas A0 to A1. z) is included.
上記の実施形態において、存在可能領域テーブル３５（相対座標）はその特定の地物が存在する可能性のある領域の基準となる基準地物情報に対応する地物の存在する領域Ａ０～Ａｎの緯度経度及び高さを用いた例を説明した。この存在可能領域テーブル３５（相対座標）に代えて、レーンネットワークＩＤ毎に領域Ａ０～Ａｎの緯度経度及び高さを含む存在可能領域テーブル３５（絶対座標）を用いるものとしても良い。 In the above embodiment, the existable area table 35 (relative coordinates) is the area A0 to An where the feature corresponding to the reference feature information which is the reference of the area where the specific feature may exist is present. An example using latitude / longitude and height was explained. Instead of the existence possible area table 35 (relative coordinates), the existence possible area table 35 (absolute coordinates) including the latitude / longitude and height of the areas A0 to An may be used for each lane network ID.
図１４（ｂ）は、存在可能領域テーブル３５（絶対座標）の例を説明するための図である。 その存在可能領域テーブル３５は、特定の地物Ａを含むレーンネットワークＩＤ毎に領域Ａ０～Ａｎの緯度経度（ｘ、ｙ）及び高さ（Ｚ）を含んでいる。図１４（ｂ）の存在可能領域テーブル３５（絶対座標）によれば、存在可能領域算出処理（図９のステップＳ２０及び図９）、検出部８の精度情報を基に地物種別Ｔの存在可能領域Ａ１の補正処理（図１２のステップＳ３００、ステップＳ３０１、ステップＳ３０４～ステップＳ３０７、図１３のステップＳ４０３、ステップＳ４０６）は行わなくてもよい。そのため、存在可能領域テーブル３５（絶対座標）によれば、存在可能領域テーブル３５（相対座標）を用いる場合に比べては処理を簡略化することができる。 FIG. 14B is a diagram for explaining an example of the existable region table 35 (absolute coordinates). The possible region table 35 includes latitude / longitude (x, y) and height (Z) of regions A0 to An for each lane network ID including a specific feature A. According to the existence possible area table 35 (absolute coordinates) in FIG. 14B, the existence of the feature type T based on the existence possible area calculation process (steps S20 and FIG. 9 in FIG. 9) and the accuracy information of the detection unit 8. The correction process of the possible region A1 (step S300, step S301, step S304 to step S307, step S403, step S406 of FIG. 13) may not be performed. Therefore, according to the existable area table 35 (absolute coordinates), the processing can be simplified as compared with the case where the existable area table 35 (relative coordinates) is used.
存在可能領域テーブル３５（相対座標）及び存在可能領域テーブル３５（絶対座標）に対応する存在可能領域の形状は、平面形状でもよく、五角形、六角形などの幾何形状でもよい。 また、存在可能領域は複数の幾何形状により構成されるものであっても良い。 The shape of the existable region corresponding to the existable region table 35 (relative coordinates) and the existable region table 35 (absolute coordinates) may be a planar shape or a geometric shape such as a pentagon or a hexagon. Further, the possible region may be composed of a plurality of geometric shapes.
図１５（ａ）は、存在可能領域テーブル３５（絶対座標）の詳細を説明するための図である。存在可能領域テーブル３５（絶対座標）は、レーンＮＷＩＤ、基準地物、存在可能領域Ａ０～Ａ１の緯度経度（ｘ、ｙ）及び高さ（ｚ）を含んでいる。図１５（ｂ）における６０は、地図データ２０のデータ構造の概念図であり、図１５（ａ）の存在可能領域テーブル３５（絶対座標）に対応する存在可能領域Ａ０～Ａ１の概念を説明するための図である。存在可能領域Ａ０は頂点ｐ０～ｐ７、存在可能領域Ａ１は頂点ｐ１０～ｐ１７を含んでいる。存在可能領域Ａ０及び存在可能領域Ａ１により複数の幾何形状を構成している。
FIG. 15A is a diagram for explaining the details of the existable region table 35 (absolute coordinates). The Existent Area Table 35 (absolute coordinates) includes the lane NWID, the reference feature, the latitude / longitude (x, y) and the height (z) of the existable areas A0 to A1.
図１６（ａ）は、存在可能領域テーブル３５（絶対座標）の詳細を説明するための図である。存在可能領域テーブル３５（絶対座標）は、レーンＮＷＩＤ、基準地物、存在可能領域Ａ０～Ａ２の緯度経度（ｘ、ｙ）及び高さ（ｚ）を含んでいる。図１６（ｂ）における７０は、地図データ２０のデータ構造の概念図であり、図１６（ａ）の存在可能領域テーブル３５（絶対座標）に対応する存在可能領域Ａ０～Ａ２の概念を説明するための図である。存在可能領域Ａ０は頂点ｐ０～ｐ７、存在可能領域Ａ１は頂点ｐ１０～ｐ１７、存在可能領域Ａ２は頂点ｐ２０～ｐ２７を含んでいる。存在可能領域Ａ０～Ａ２によりトンネル状の幾何形状を構成している。
FIG. 16A is a diagram for explaining the details of the existable area table 35 (absolute coordinates). The existable area table 35 (absolute coordinates) includes the lane NWID, the reference feature, the latitude / longitude (x, y) and the height (z) of the possible areas A0 to A2.
存在可能領域テーブル３５は検出部８の中に組み込み、検出部８によって検出された検出結果が存在可能領域内に存在する場合に、地物検出情報取得処理に用いてもよい。この構成によれば、地物検出情報取得処理は、検出部８によって検出された検出結果が存在可能領域に存在する場合にのみ行われるため、処理対象を削減することができる。 The existence possibility area table 35 may be incorporated in the detection unit 8 and used for the feature detection information acquisition process when the detection result detected by the detection unit 8 exists in the existence possibility area. According to this configuration, the feature detection information acquisition process is performed only when the detection result detected by the detection unit 8 exists in the existable area, so that the processing target can be reduced.
上記の実施形態には、さらに誤検出判断処理の処理結果を報知する検出結果報知部を含んでも良い。この検出結果報知部によれば、検出部８を用いた検出結果の処理内容の把握、検出部８の検出精度の補正及び検出部８の性能改善をすることが可能となる。 The above embodiment may further include a detection result notification unit that notifies the processing result of the false detection determination process. According to this detection result notification unit, it is possible to grasp the processing content of the detection result using the detection unit 8, correct the detection accuracy of the detection unit 8, and improve the performance of the detection unit 8.
上記の実施形態には、さらに検出処理の判定結果とともに検出部８を識別する識別ＩＤや精度情報を含む記録情報記録するデータ記録部を含んでも良い。このデータ記録部によれば、記録情報の確からしさの判定や、記録情報の改ざん防止に用いることができる。また、第１の検出部８による記録情報と第２の検出部８による記録情報とを比較することにより、第１の検出部８と第２の検出部８との性能を比較することが可能となる。 The above embodiment may further include a data recording unit that records recorded information including an identification ID that identifies the detection unit 8 and accuracy information together with the determination result of the detection process. According to this data recording unit, it can be used for determining the certainty of the recorded information and preventing falsification of the recorded information. Further, by comparing the recorded information by the first detection unit 8 and the recorded information by the second detection unit 8, it is possible to compare the performance of the first detection unit 8 and the second detection unit 8. It becomes.
上記の実施形態において、車両を移動体として用いた例を説明した。この車両に代えて、歩行者、ドローン等の飛翔体を含む移動体により用いられるものとしても良い。 In the above embodiment, an example in which a vehicle is used as a moving body has been described. Instead of this vehicle, it may be used by a moving body including a flying object such as a pedestrian or a drone.
移動確率による同一地物の移動有無判定処理（ステップＳ４１４）は、移動確率テーブルによる判断でも良いし、地物同士の距離に関する移動有無閾値テーブル（図１７参照）に基づいて判断しても良い。 The movement presence / absence determination process (step S414) of the same feature based on the movement probability may be determined by the movement probability table or may be determined based on the movement presence / absence threshold table (see FIG. 17) regarding the distance between the features.
特許文献１により実現される画像認識装置の技術は、各地物の画像認識に施工する可能性をあらわす認識可能情報を得られない場合、必ずしも画像認識処理の対象とする地物を決定することができないことがあった。上記で説明した実施形態は、これらの課題を解決するものである。以上の実施形態の全部又は一部に記載された態様は、地物を適切に検出することを可能とする地物検出システム及び地図データのデータ構造を提供すること、処理速度の向上、処理精度の向上、使い勝手の向上、データを利用した機能の向上又は適切な機能の提供その他の機能向上又は適切な機能の提供、データ及び／又はプログラムの容量の削減、装置及び／又はシステムの小型化等の適切なデータ、プログラム、記録媒体、装置及び／又はシステムの提供、並びにデータ、プログラム、装置又はシステムの制作・製造コストの削減、制作・製造の容易化、制作・製造時間の短縮等のデータ、プログラム、記録媒体、装置及び／又はシステムの制作・製造の適切化のいずれか一つの課題を解決する。
The technology of the image recognition device realized by
１ 走行支援システム
２ 車両
３ 情報制御部
４ 記憶部
５ 入力部
６ 位置取得部
７ 車速情報取得部
８ 検出部
９ 車両制御部
１０ 地図データ取得部
１１ 経路探索部
１２ 位置特定部
１３ 経路特定部
１４ 誘導部
１５ 地物誤検出判断部
１６ 地物情報更新部
２０ 地図データ
３０ 道路ネットワーク情報
３１ 車線ネットワーク情報
３２ 地物情報
３３ 関連情報
３４ 基本情報テーブル
３５ 存在可能領域テーブル
３６ 存在確率テーブル
３７ 存在確率閾値テーブル
３８ 移動可能領域テーブル
３９ 移動確率テーブル
４０ 移動確率閾値テーブル
1 Driving
Claims (4)
前記データ記憶部は、前記特定の地物が別の位置から変更して設置される可能性のある第２の領域に対応する第２の領域情報を有し、
前記判定部は、画像から前記特定の地物を検出する検出部によって検出された前記特定の地物の位置と、前記特定の地物の前記第１の領域情報に基づく前記第１の領域との位置関係に基づいて、前記検出された特定の地物の誤検出を判定し、
前記特定の地物が誤検出でないと判定した場合、前記検出された特定の地物の位置と、前記特定の地物の前記第２の領域情報に基づく前記第２の領域との位置関係に基づいて、前記検出された特定の地物が以前に別の位置に設置されていた地物であるかを判定する地物検出システム。 A feature having a determination unit for determining false detection of a specific feature by referring to the first area information corresponding to the first area where the specific feature stored in the data storage unit may exist. It ’s a detection system.
The data storage unit has a second area information corresponding to a second area in which the specific feature may be modified and installed from another position.
The determination unit includes the position of the specific feature detected by the detection unit that detects the specific feature from the image, and the first region based on the first region information of the specific feature. Based on the positional relationship of, the false detection of the specific detected feature is determined , and
When it is determined that the specific feature is not erroneous detection, the positional relationship between the detected position of the specific feature and the second area based on the second area information of the specific feature is determined. Based on this, a feature detection system that determines whether the detected specific feature is a feature previously installed at another location .
前記更新部は、前記判定部が前記検出された特定の地物の各々に関する位置と、前記特定の地物の前記第２の領域との位置関係に基づき、前記検出された特定の地物が以前に別の位置に設置されていた地物であると判定した場合、前記データ記憶部に記憶された特定の地物に関する位置の情報を前記検出された特定の地物の前記位置の情報に基づいて更新する請求項１記載の地物検出システム。 In the updating unit, the detected specific feature is based on the positional relationship between the position of the determination unit with respect to each of the detected specific features and the second region of the specific feature. When it is determined that the feature is previously installed at another position, the position information regarding the specific feature stored in the data storage unit is used as the information at the position of the detected specific feature. The feature detection system according to claim 1, which is updated based on the above.
前記更新部は、前記判定部が前記検出された特定の地物の各々に関する位置と、前記特定の地物の前記第２の領域との位置関係に基づき、前記検出された特定の地物が以前に別の位置に設置されていた地物ではないと判定した場合、前記データ記憶部に前記検出された特定の地物の情報を追加する請求項１または請求項２記載の地物検出システム。 In the updating unit, the detected specific feature is based on the positional relationship between the position of the determination unit with respect to each of the detected specific features and the second region of the specific feature. The feature detection system according to claim 1 or 2, wherein if it is determined that the feature is not previously installed at another position, the information of the detected specific feature is added to the data storage unit. ..
前記判定部は、前記検出された特定の地物の位置と、前記区間情報に関連する第１の領域情報に基づく前記第１の領域との位置関係に基づいて、前記検出された特定の地物の誤検出を判定し、 The determination unit is based on the positional relationship between the position of the detected specific feature and the first region based on the first region information related to the section information, and the detected specific land. Judging the false detection of an object,
前記検出部によって検出される前記特定の地物は前記道路を構成する車線の走行方向に沿って存在する地物である請求項１から請求項３のいずれか１項記載の地物検出システム。 The feature detection system according to any one of claims 1 to 3, wherein the specific feature detected by the detection unit is a feature existing along the traveling direction of the lane constituting the road.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017110512A JP6997542B2 (en) | 2017-06-05 | 2017-06-05 | Feature detection system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017110512A JP6997542B2 (en) | 2017-06-05 | 2017-06-05 | Feature detection system |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2018205103A JP2018205103A (en) | 2018-12-27 |
| JP2018205103A5 JP2018205103A5 (en) | 2020-05-07 |
| JP6997542B2 true JP6997542B2 (en) | 2022-01-17 |
Family
ID=64955681
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017110512A Active JP6997542B2 (en) | 2017-06-05 | 2017-06-05 | Feature detection system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6997542B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7327355B2 (en) * | 2020-11-05 | 2023-08-16 | トヨタ自動車株式会社 | Map update device and map update method |
| CN114427876B (en) * | 2021-12-15 | 2023-11-28 | 武汉中海庭数据技术有限公司 | Automatic checking method and system for association relation of traffic sign |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016173321A (en) | 2015-03-17 | 2016-09-29 | 本田技研工業株式会社 | Road sign determination device |
| WO2017208396A1 (en) | 2016-06-01 | 2017-12-07 | パイオニア株式会社 | Feature data structure, storage medium, information processing device, and detection device |
-
2017
- 2017-06-05 JP JP2017110512A patent/JP6997542B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016173321A (en) | 2015-03-17 | 2016-09-29 | 本田技研工業株式会社 | Road sign determination device |
| WO2017208396A1 (en) | 2016-06-01 | 2017-12-07 | パイオニア株式会社 | Feature data structure, storage medium, information processing device, and detection device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018205103A (en) | 2018-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4680131B2 (en) | Own vehicle position measuring device | |
| US7463974B2 (en) | Systems, methods, and programs for determining whether a vehicle is on-road or off-road | |
| JP7068456B2 (en) | Driving environment information generation method, driving control method, driving environment information generation device | |
| US20080243378A1 (en) | System and method for vehicle navigation and piloting including absolute and relative coordinates | |
| CN112325896B (en) | Navigation method, navigation device, intelligent driving equipment and storage medium | |
| JP4977218B2 (en) | Self-vehicle position measurement device | |
| CN101641610A (en) | System and method for vehicle navigation and piloting including absolute and relative coordinates | |
| JP5531733B2 (en) | Road information acquisition device | |
| JP2017215653A (en) | Detailed route creation device, automatic drive system for vehicle and detailed route creation program | |
| JP2018021832A (en) | Vehicle travel controller and vehicle travel control method | |
| CN107003136B (en) | Information processing apparatus | |
| JP6997542B2 (en) | Feature detection system | |
| JP7068756B2 (en) | Map data generator, computer-readable recording medium and map data generator | |
| WO2018198513A1 (en) | Travel support device and data structure of map data | |
| US20210139046A1 (en) | Method for operating a more highly automated vehicle (hav), in particular a highly automated vehicle | |
| JP7151905B2 (en) | Vehicle position specifying device and vehicle position specifying method | |
| JP2016218505A (en) | Sign information update system and update method thereof, data structure, and computer program | |
| JP5098475B2 (en) | Distance calculation device and distance calculation method | |
| JP7188890B2 (en) | Driving support system and program | |
| JP7158894B2 (en) | Control system and program | |
| JP2019158381A (en) | Control system and data structure for map data | |
| EP3835724B1 (en) | Self-location estimation method and self-location estimation device | |
| JP2021179624A (en) | Map data generation method | |
| US20210294321A1 (en) | Method for checking whether a switch of a driving mode can be safely carried out | |
| JP6974295B2 (en) | Driving support device, program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200323 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200415 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210218 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210330 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210526 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211122 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211217 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6997542 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |