JP6929038B2 - Own vehicle position determination method and own vehicle position determination system - Google Patents

Own vehicle position determination method and own vehicle position determination system Download PDF

Info

Publication number
JP6929038B2
JP6929038B2 JP2016208455A JP2016208455A JP6929038B2 JP 6929038 B2 JP6929038 B2 JP 6929038B2 JP 2016208455 A JP2016208455 A JP 2016208455A JP 2016208455 A JP2016208455 A JP 2016208455A JP 6929038 B2 JP6929038 B2 JP 6929038B2
Authority
JP
Japan
Prior art keywords
vehicle
information
lane
notification device
traveling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016208455A
Other languages
Japanese (ja)
Other versions
JP2018072011A (en
Inventor
英之 菅野
英之 菅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renault SAS
Original Assignee
Renault SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renault SAS filed Critical Renault SAS
Priority to JP2016208455A priority Critical patent/JP6929038B2/en
Publication of JP2018072011A publication Critical patent/JP2018072011A/en
Application granted granted Critical
Publication of JP6929038B2 publication Critical patent/JP6929038B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、自車位置判定方法及び自車位置判定システムに関する。 The present invention relates to a vehicle position determination method and a vehicle position determination system.

従来より、道路上に設置されたカメラで車両を検出し、検出した車両が走行している車線の情報を車両に通知する技術が知られている（特許文献１）。 Conventionally, there has been known a technique of detecting a vehicle with a camera installed on a road and notifying the vehicle of information on the lane in which the detected vehicle is traveling (Patent Document 1).

特開２００６−７２９２５号公報Japanese Unexamined Patent Publication No. 2006-72925

しかしながら、特許文献１に記載された発明では、大型バスやトラックなどの後ろに自車両が存在する場合、大型バスやトラックが遮蔽物となり道路上に設置されたカメラでは自車両を検出できないため、車線の情報を自車両に通知できない。これにより、自車両は走行している車線を特定できない。 However, in the invention described in Patent Document 1, when the own vehicle exists behind a large bus or truck, the large bus or truck becomes a shield and the own vehicle cannot be detected by the camera installed on the road. I cannot notify my vehicle of lane information. As a result, the own vehicle cannot identify the lane in which the vehicle is traveling.

本発明は、上記問題に鑑みて成されたものであり、その目的は、自車両の前方を走行する大型バスやトラックなどにより、道路上に設置されたカメラで自車両を認識できない場合でも、自車両の走行車線を推定することができる自車位置判定方法及び自車位置判定システムを提供することである。 The present invention has been made in view of the above problems, and an object of the present invention is to use a large bus or truck traveling in front of the own vehicle even when the own vehicle cannot be recognized by a camera installed on the road. It is an object of the present invention to provide a own vehicle position determination method and an own vehicle position determination system capable of estimating the traveling lane of the own vehicle.

本発明の一態様に係る自車位置判定方法は、ＧＰＳ受信機から取得した自車両の位置情報と、地図データベースに格納されている、複数の車線を有する道路上に設置された通知装置の位置情報を用いて自車両が通知装置に接近したか否かを判定し、自車両が通知装置に接近したと判定された場合に、自車両から通知装置に対して自車両を識別するための識別情報を送信し、通知装置に備えられた路上カメラが道路を撮像した第１撮像画像と識別情報から第１撮像画像上に自車両が存在しないと判断された場合に通知装置から送信される、各車線を走行する車両の有無に関する車線占有情報を受信し、自車両に設置された車載カメラが道路を撮像した第２撮像画像から、少なくとも各車線の一部を走行する車両の有無に関する周辺車両情報を抽出し、車線占有情報と周辺車両情報とを比較し、自車両の走行車線を推定する。 The own vehicle position determination method according to one aspect of the present invention includes the position information of the own vehicle acquired from the GPS receiver and the position of the notification device installed on the road having a plurality of lanes stored in the map database. The information is used to determine whether or not the own vehicle has approached the notification device, and when it is determined that the own vehicle has approached the notification device, identification for identifying the own vehicle from the own vehicle to the notification device. Information is transmitted, and when it is determined from the first captured image obtained by capturing the road by the road camera provided in the notification device and the identification information that the own vehicle does not exist on the first captured image, the information is transmitted from the notification device . Peripheral vehicles related to the presence or absence of vehicles traveling in at least a part of each lane from the second captured image obtained by receiving lane occupancy information regarding the presence or absence of vehicles traveling in each lane and capturing the road by an in-vehicle camera installed in the own vehicle. Information is extracted, the lane occupancy information is compared with the surrounding vehicle information, and the driving lane of the own vehicle is estimated.

本発明によれば、自車両の前方を走行する大型バスやトラックなどにより、道路上に設置されたカメラで自車両を認識できない場合でも、自車両の走行車線を推定することができる。 According to the present invention, it is possible to estimate the traveling lane of the own vehicle even when the camera installed on the road cannot recognize the own vehicle due to a large bus or truck traveling in front of the own vehicle.

図１は、本発明の実施形態に係る自車位置判定システムの全体構成図である。FIG. 1 is an overall configuration diagram of the own vehicle position determination system according to the embodiment of the present invention. 図２は、本発明の実施形態に係る自車位置判定システムの概略構成図である。FIG. 2 is a schematic configuration diagram of the own vehicle position determination system according to the embodiment of the present invention. 図３は、路上カメラの撮像画像から抽出した情報と車載カメラの撮像画像から抽出した情報を説明する図である。FIG. 3 is a diagram for explaining the information extracted from the image captured by the road camera and the information extracted from the image captured by the vehicle-mounted camera. 図４は、車線占有情報と周辺車両情報と自車位置情報との比較を説明する図である。FIG. 4 is a diagram for explaining a comparison between lane occupancy information, peripheral vehicle information, and own vehicle position information. 図５は、本発明の実施形態に係る自車位置判定システムの動作例を示すシーケンス図である。FIG. 5 is a sequence diagram showing an operation example of the own vehicle position determination system according to the embodiment of the present invention. 図６は、本発明の実施形態の係る自車位置判定システムの全体構成図である。FIG. 6 is an overall configuration diagram of the own vehicle position determination system according to the embodiment of the present invention. 図７は、本発明の実施形態の変形例１に係る自車位置判定システムの全体構成図である。FIG. 7 is an overall configuration diagram of the own vehicle position determination system according to the first modification of the embodiment of the present invention. 図８は、路上カメラの撮像画像から抽出した情報と車載カメラの撮像画像から抽出した情報を説明する図である。FIG. 8 is a diagram for explaining the information extracted from the image captured by the road camera and the information extracted from the image captured by the vehicle-mounted camera. 図９は、車線占有情報と周辺車両情報と自車位置情報との比較を説明する図である。FIG. 9 is a diagram illustrating a comparison between lane occupancy information, peripheral vehicle information, and own vehicle position information. 図１０は、路上カメラの撮像画像から抽出した情報と車載カメラの撮像画像から抽出した情報を説明する図である。FIG. 10 is a diagram illustrating information extracted from an image captured by a road camera and information extracted from an image captured by an in-vehicle camera. 図１１は、車線占有情報と周辺車両情報と自車位置情報との比較を説明する図である。FIG. 11 is a diagram illustrating a comparison between lane occupancy information, peripheral vehicle information, and own vehicle position information.

以下、本発明の実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the description of the drawings, the same parts are designated by the same reference numerals and the description thereof will be omitted.

図１を参照して、本実施形態に係る自車位置判定システム１００の全体構成図について説明する。図１に示すように、自車位置判定システム１００は、データセンタ１と、ネットワーク２と、自車両３と、通知装置４とを備える。また、自車両３の前方に大型バスＢ１が存在する。図１に示す道路は片側５車線であり、道路を走行する車両を見下ろす位置に通知装置４が設置されている。自車両３は、ネットワーク２を介して、データセンタ１と双方向通信を行う。通知装置４は、ネットワーク２を介して、データセンタ１から情報を取得する。ネットワーク２は、各種情報を送受信可能な通信網である。例えば、ネットワーク２は、電気通信事業者により設置された専用線、公衆交換電話網、衛星通信回線、移動体通信回線等の各種通信回線で構成される。 The overall configuration diagram of the own vehicle position determination system 100 according to the present embodiment will be described with reference to FIG. As shown in FIG. 1, the own vehicle position determination system 100 includes a data center 1, a network 2, a own vehicle 3, and a notification device 4. In addition, there is a large bus B1 in front of the own vehicle 3. The road shown in FIG. 1 has five lanes on each side, and the notification device 4 is installed at a position overlooking a vehicle traveling on the road. The own vehicle 3 performs bidirectional communication with the data center 1 via the network 2. The notification device 4 acquires information from the data center 1 via the network 2. The network 2 is a communication network capable of transmitting and receiving various information. For example, the network 2 is composed of various communication lines such as a dedicated line, a public switched telephone network, a satellite communication line, and a mobile communication line installed by a telecommunications carrier.

次に図２を参照して、データセンタ１、自車両３、及び通知装置４の構成について説明する。データセンタ１は、自車両３及び通知装置４と通信するための通信機１０と、ＩＤ生成部１１と、通知装置４に起動を要求する起動要求部１２とを備える。 Next, the configurations of the data center 1, the own vehicle 3, and the notification device 4 will be described with reference to FIG. The data center 1 includes a communication device 10 for communicating with the own vehicle 3 and the notification device 4, an ID generation unit 11, and an activation request unit 12 that requests the notification device 4 to start.

ＩＤ生成部１１は、自車両３を識別するための情報であるＩＤを生成する。ＩＤ生成部１１は、自車両３から接近通知を受信した際に、ＩＤを生成する。本実施形態のＩＤには、車種、登録番号、車体色などが含まれる。 The ID generation unit 11 generates an ID which is information for identifying the own vehicle 3. The ID generation unit 11 generates an ID when the approach notification is received from the own vehicle 3. The ID of this embodiment includes a vehicle model, a registration number, a vehicle body color, and the like.

自車両３は、データセンタ１及び通知装置４と通信するための通信機３０と、ＧＰＳ受信機３１と、車載カメラ３２と、地図データベース３３と、コントローラ３４とを備える。 The own vehicle 3 includes a communication device 30 for communicating with the data center 1 and the notification device 4, a GPS receiver 31, an in-vehicle camera 32, a map database 33, and a controller 34.

ＧＰＳ受信機３１は、人工衛星からの電波を受信することにより、自車両の現在位置を検出する。ＧＰＳ受信機３１は、検知した現在位置をコントローラ３４に出力する。 The GPS receiver 31 detects the current position of the own vehicle by receiving radio waves from the artificial satellite. The GPS receiver 31 outputs the detected current position to the controller 34.

車載カメラ３２は、ＣＣＤ（ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）やＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を有するカメラである。車載カメラ３２は、自車両の周囲（前方、左右側方）を撮像できる位置に複数台設置される。車載カメラ３２は、所定の周期で自車両の周囲を撮像し、撮像した画像をコントローラ３４に出力する。 The in-vehicle camera 32 is a camera having an image sensor such as a CCD (charge-coupled device) or a CMOS (complementary metal accessory semi-device). A plurality of in-vehicle cameras 32 are installed at positions where the surroundings (front, left and right sides) of the own vehicle can be imaged. The in-vehicle camera 32 takes an image of the surroundings of the own vehicle at a predetermined cycle, and outputs the captured image to the controller 34.

地図データベース３３には、道路ネットワークを表す道路ネットワークデータ、地図を描画するための地図描画データ、施設、店舗、建物、建築物などの詳細情報を表す施設情報データなどが格納されている。また、地図データベース３３には、通知装置４が設置されている場所が格納されている。 The map database 33 stores road network data representing a road network, map drawing data for drawing a map, facility information data representing detailed information such as facilities, stores, buildings, and buildings. Further, the map database 33 stores the place where the notification device 4 is installed.

コントローラ３４は、ＧＰＳ受信機３１、車載カメラ３２、地図データベース３３から取得した情報を処理する回路であり、例えばＩＣ、ＬＳＩ等により構成される。コントローラ３４は、例えば、ＧＰＳ受信機３１から取得した現在位置と地図データベース３３に格納されている通知装置４の位置から、自車両３の前方に通知装置４が設置されているか否かを判定する。 The controller 34 is a circuit that processes information acquired from the GPS receiver 31, the in-vehicle camera 32, and the map database 33, and is composed of, for example, an IC, an LSI, or the like. The controller 34 determines whether or not the notification device 4 is installed in front of the own vehicle 3 from, for example, the current position acquired from the GPS receiver 31 and the position of the notification device 4 stored in the map database 33. ..

通知装置４は、データセンタ１及び自車両３と通信するための通信機４０と、路上カメラ４１と、画像処理回路４２とを備える。 The notification device 4 includes a communication device 40 for communicating with the data center 1 and the own vehicle 3, a road camera 41, and an image processing circuit 42.

路上カメラ４１は、ＣＣＤやＣＭＯＳなどの撮像素子を有するカメラであり、通知装置４が設置されている道路を撮像する。また、路上カメラ４１は、道路の車線をすべて撮像できる画角を有する。図１に示す例では、路上カメラ４１は、５車線すべてを撮像できる。路上カメラ４１は、撮像した画像を画像処理回路４２に出力する。 The road camera 41 is a camera having an image sensor such as a CCD or CMOS, and images the road on which the notification device 4 is installed. Further, the road camera 41 has an angle of view capable of capturing all the lanes of the road. In the example shown in FIG. 1, the road camera 41 can image all five lanes. The road camera 41 outputs the captured image to the image processing circuit 42.

画像処理回路４２は、路上カメラ４１によって撮像された画像を処理する回路であり、例えばＩＣ、ＬＳＩ等により構成される。具体的には、画像処理回路４２は、路上カメラ４１によって撮像された画像から自車両３を抽出し、自車両３の走行車線を特定する。そして、通知装置４は、画像処理回路４２によって特定された走行車線情報を自車両３に通知する。 The image processing circuit 42 is a circuit that processes an image captured by the road camera 41, and is composed of, for example, an IC, an LSI, or the like. Specifically, the image processing circuit 42 extracts the own vehicle 3 from the image captured by the road camera 41 and identifies the traveling lane of the own vehicle 3. Then, the notification device 4 notifies the own vehicle 3 of the traveling lane information specified by the image processing circuit 42.

ここで、図１に示すように、自車両３の前方に大型バスＢ１が存在するため、路上カメラ４１は、大型バスＢ１によって隠れる自車両３を撮像することができず、自車両３を認識できない。これにより、通知装置４は自車両３に走行車線情報を通知できず、自車両３は走行車線を認識できない。 Here, as shown in FIG. 1, since the large bus B1 exists in front of the own vehicle 3, the road camera 41 cannot image the own vehicle 3 hidden by the large bus B1 and recognizes the own vehicle 3. Can not. As a result, the notification device 4 cannot notify the own vehicle 3 of the traveling lane information, and the own vehicle 3 cannot recognize the traveling lane.

そこで、本実施形態では、画像処理回路４２は、路上カメラ４１によって撮像された大型バスＢ１が写る画像（第１撮像画像）から車線占有情報と車線番号を抽出する。車線占有情報とは、道路上の車両の有無を示す情報である。図１の示すシーンでは車線Ｌ３に大型バスＢ１が存在するため、車線占有情報は図３に示すように、「００１００」と表現できる。「０」は道路上に車両が存在しないことを示し、「１」は道路上に車両が存在することを示す。通知装置４は、画像処理回路４２によって抽出された車線占有情報と車線番号を自車両３に送信する。 Therefore, in the present embodiment, the image processing circuit 42 extracts the lane occupancy information and the lane number from the image (first captured image) of the large bus B1 captured by the road camera 41. The lane occupancy information is information indicating the presence or absence of a vehicle on the road. In the scene shown in FIG. 1, since the large bus B1 exists in the lane L3, the lane occupancy information can be expressed as “00100” as shown in FIG. "0" indicates that there is no vehicle on the road, and "1" indicates that there is a vehicle on the road. The notification device 4 transmits the lane occupancy information and the lane number extracted by the image processing circuit 42 to the own vehicle 3.

また、コントローラ３４は、車載カメラ３２によって撮像された大型バスＢ１が写る画像（第２撮像画像）から周辺車両情報を抽出する。周辺車両情報とは、自車両３周辺の車両の有無を示す情報である。図１の示すシーンでは自車両３の前方に大型バスＢ１が存在するため、周辺車両情報は図３に示すように、「０１０」と表現できる。なお、車載カメラ３２は、画角が限られているため自車両３の走行車線とその両隣の車線を含む３車線までしか撮像できないものとして説明する。すなわち、車載カメラ３２は、図１に示す車線Ｌ１〜Ｌ５のうち、少なくとも一部の車線を撮像するカメラである。 In addition, the controller 34 extracts peripheral vehicle information from an image (second captured image) of the large bus B1 captured by the vehicle-mounted camera 32. The peripheral vehicle information is information indicating the presence or absence of vehicles around the own vehicle 3. In the scene shown in FIG. 1, since the large bus B1 exists in front of the own vehicle 3, the peripheral vehicle information can be expressed as "010" as shown in FIG. It should be noted that the in-vehicle camera 32 will be described as being capable of capturing only up to three lanes including the traveling lane of the own vehicle 3 and the lanes adjacent to the traveling lane because the angle of view is limited. That is, the in-vehicle camera 32 is a camera that captures at least a part of the lanes L1 to L5 shown in FIG.

コントローラ３４は、通知装置４から受信した車線占有情報と、抽出した周辺車両情報とを比較する。このとき、コントローラ３４は、周辺車両情報について、自車両３周辺の車両の有無を判定し、数字の並びを反転させた後、車線占有情報と比較する。数字の並びを反転する理由は、路上カメラ４１は自車両３の前方側から自車両３を撮影するのに対し、車載カメラ３２は自車両３の前方（及び側方）を走行する車両の後部（及び側面）を撮影するため、車両占有情報の数字の並びと周辺車両情報の数字の並びは逆になるからである。図４に示すように、コントローラ３４は、車線占有情報の数字の並びと、周辺車両情報の数字の並びを比較する。比較の結果、コントローラ３４は、自車両３前方の大型バスＢ１の走行車線は、車線Ｌ３であると推定する。そして、図４に示すように大型バスＢ１と自車両３との位置関係から、コントローラ３４は、自車両３の走行車線は車線Ｌ３であると推定する。 The controller 34 compares the lane occupancy information received from the notification device 4 with the extracted peripheral vehicle information. At this time, the controller 34 determines the presence or absence of vehicles around the own vehicle 3 with respect to the peripheral vehicle information, reverses the arrangement of the numbers, and then compares the information with the lane occupancy information. The reason for reversing the arrangement of numbers is that the road camera 41 captures the own vehicle 3 from the front side of the own vehicle 3, while the in-vehicle camera 32 captures the rear portion of the vehicle traveling in front of (and sideways) of the own vehicle 3. This is because the numbers in the vehicle occupancy information and the numbers in the surrounding vehicle information are reversed in order to photograph (and the side surface). As shown in FIG. 4, the controller 34 compares the sequence of numbers in the lane occupancy information with the sequence of numbers in the peripheral vehicle information. As a result of the comparison, the controller 34 estimates that the traveling lane of the large bus B1 in front of the own vehicle 3 is the lane L3. Then, as shown in FIG. 4, the controller 34 estimates that the traveling lane of the own vehicle 3 is the lane L3 from the positional relationship between the large bus B1 and the own vehicle 3.

次に、図５のシーケンス図を参照して、データセンタ１、自車両３、及び通知装置４の一動作例を説明する。 Next, an operation example of the data center 1, the own vehicle 3, and the notification device 4 will be described with reference to the sequence diagram of FIG.

ステップＳ１０１において、コントローラ３４は、通知装置４が自車両３の前方に設置されているか否かを判定する。具体的には、コントローラ３４は、ＧＰＳ受信機３１から取得した現在位置と地図データベース３３に格納されている通知装置４の位置から、自車両３の前方に通知装置４が設置されているか否かを判定する。通知装置４が設置されている場合（ステップＳ１０１でＹｅｓ）、処理はステップＳ１０２に進む。一方、通知装置４が設置されていない場合（ステップＳ１０１でＮｏ）、処理は待機する。 In step S101, the controller 34 determines whether or not the notification device 4 is installed in front of the own vehicle 3. Specifically, the controller 34 determines whether or not the notification device 4 is installed in front of the own vehicle 3 from the current position acquired from the GPS receiver 31 and the position of the notification device 4 stored in the map database 33. To judge. If the notification device 4 is installed (Yes in step S101), the process proceeds to step S102. On the other hand, when the notification device 4 is not installed (No in step S101), the process waits.

ステップＳ１０２について、コントローラ３４は、自車両３が通知装置４に接近していることを示す信号をデータセンタ１に送信する。 Regarding step S102, the controller 34 transmits a signal indicating that the own vehicle 3 is approaching the notification device 4 to the data center 1.

ステップＳ１０３において、ＩＤ生成部１１は、自車両３の車種、登録番号、車体色などが含まれるＩＤを生成し、生成したＩＤを自車両３に送信する。 In step S103, the ID generation unit 11 generates an ID including the vehicle model, registration number, vehicle body color, etc. of the own vehicle 3, and transmits the generated ID to the own vehicle 3.

ステップＳ１０４において、起動要求部１２は、起動信号を通知装置４に送信し、起動を要求する。 In step S104, the activation requesting unit 12 transmits an activation signal to the notification device 4 to request activation.

ステップＳ１０５において、コントローラ３４は、自車両３が通知装置４の手前まで接近したか否かを判定する。自車両３が通知装置４の手前まで接近した場合（ステップＳ１０５でＹｅｓ）、処理はステップＳ１０６に進む。一方、自車両３が通知装置４の手前まで接近していない場合（ステップＳ１０５でＮｏ）、処理は待機する。 In step S105, the controller 34 determines whether or not the own vehicle 3 has approached the front of the notification device 4. When the own vehicle 3 approaches the front of the notification device 4 (Yes in step S105), the process proceeds to step S106. On the other hand, when the own vehicle 3 is not close to the front of the notification device 4 (No in step S105), the process waits.

ステップＳ１０６において、コントローラ３４は、データセンタ１から受信したＩＤを通知装置４に送信する。 In step S106, the controller 34 transmits the ID received from the data center 1 to the notification device 4.

ステップＳ１０７において、通知装置４は、自車両３を認識する。具体的には、まず路上カメラ４１が道路を撮像し、撮像された画像から画像処理回路４２は自車両３を抽出する。画像処理回路４２は、抽出した自車両３と、自車両３から受信したＩＤとを比較し、車種、登録番号、車体色などが一致していれば画像の車両は自車両３であると認識する。図１に示すように、画像処理回路４２が、大型バスＢ１によって隠れる自車両３を認識できない場合（ステップＳ１０７でＮｏ）、画像処理回路４２は、路上カメラ４１によって撮像された大型バスＢ１が写る画像から車線占有情報と車線番号を抽出する。 In step S107, the notification device 4 recognizes the own vehicle 3. Specifically, the road camera 41 first images the road, and the image processing circuit 42 extracts the own vehicle 3 from the captured image. The image processing circuit 42 compares the extracted own vehicle 3 with the ID received from the own vehicle 3, and recognizes that the vehicle in the image is the own vehicle 3 if the vehicle type, registration number, vehicle body color, etc. match. do. As shown in FIG. 1, when the image processing circuit 42 cannot recognize the own vehicle 3 hidden by the large bus B1 (No in step S107), the image processing circuit 42 captures the large bus B1 imaged by the road camera 41. Extract lane occupancy information and lane number from the image.

ステップＳ１０８において、通知装置４は、画像処理回路４２によって抽出された車線占有情報と車線番号を自車両３に送信する。 In step S108, the notification device 4 transmits the lane occupancy information and the lane number extracted by the image processing circuit 42 to the own vehicle 3.

一方、図６に示すように、自車両３の前方に大型バスＢ１が存在せず、路上カメラ４１が自車両３を撮像できる場合、画像処理回路４２は自車両３を認識できる。画像処理回路４２が自車両３を認識した場合（ステップＳ１０７でＹｅｓ）、処理はステップＳ１１２に進む。 On the other hand, as shown in FIG. 6, when the large bus B1 does not exist in front of the own vehicle 3 and the road camera 41 can image the own vehicle 3, the image processing circuit 42 can recognize the own vehicle 3. When the image processing circuit 42 recognizes the own vehicle 3 (Yes in step S107), the process proceeds to step S112.

ステップＳ１０９において、コントローラ３４は、車載カメラ３２によって撮像された大型バスＢ１が写る画像から周辺車両情報を抽出する。 In step S109, the controller 34 extracts peripheral vehicle information from the image of the large bus B1 captured by the vehicle-mounted camera 32.

ステップＳ１１０において、コントローラ３４は、通知装置４から受信した車線占有情報と、抽出した周辺車両情報とを比較する。 In step S110, the controller 34 compares the lane occupancy information received from the notification device 4 with the extracted peripheral vehicle information.

ステップＳ１１１において、コントローラ３４は、ステップＳ１１０の比較結果から自車両３の走行車線を推定する。 In step S111, the controller 34 estimates the traveling lane of the own vehicle 3 from the comparison result of step S110.

ステップＳ１１２において、画像処理回路４２は、路上カメラ４１によって撮像された画像から自車両３の走行車線を特定する。 In step S112, the image processing circuit 42 identifies the traveling lane of the own vehicle 3 from the image captured by the road camera 41.

ステップＳ１１３において、通知装置４は、画像処理回路４２によって特定された走行車線情報を自車両３に通知する。 In step S113, the notification device 4 notifies the own vehicle 3 of the traveling lane information specified by the image processing circuit 42.

ステップＳ１１４において、コントローラ３４は、通知装置４から受信した走行車線情報から自車両３の走行車線を認識する。図６に示す例では、コントローラ３４は、自車両３の走行車線が車線Ｌ３であると認識する。 In step S114, the controller 34 recognizes the traveling lane of the own vehicle 3 from the traveling lane information received from the notification device 4. In the example shown in FIG. 6, the controller 34 recognizes that the traveling lane of the own vehicle 3 is the lane L3.

次に、図７を参照して、本実施形態の変形例１について説明する。変形例１では、図７に示すように、自車両３の前方に複数の大型バスＢ１，Ｂ３〜Ｂ５が存在し、自車両３の左側方に大型バスＢ２が存在する。換言すれば、自車両３の左側方に存在する大型バスＢ２は、自車両３の前方に存在する大型バスＢ１，Ｂ３〜５と比較して、通知装置４から離れている。 Next, a modification 1 of the present embodiment will be described with reference to FIG. 7. In the first modification, as shown in FIG. 7, a plurality of large buses B1 and B3 to B5 exist in front of the own vehicle 3, and a large bus B2 exists on the left side of the own vehicle 3. In other words, the large bus B2 existing on the left side of the own vehicle 3 is farther from the notification device 4 than the large buses B1 and B3 to 5 existing in front of the own vehicle 3.

図７に示すシーンでは図１に示すシーンと同様に、路上カメラ４１は、大型バスＢ１によって隠れる自車両３を撮像することができない。そこで、画像処理回路４２は、車線占有情報と車線番号を抽出する。図７の示すシーンでは車線占有情報は、図８に示すように「１１１１１」と表現できる。次に、コントローラ３４は、周辺車両情報を抽出する。図７の示すシーンでは周辺車両情報は、図８に示すように「１１１」と表現できる。そして、コントローラ３４は、車線占有情報と、周辺車両情報とを比較する。ここで、図９に示すように、比較には３パターンがある。図７に示すシーンではパターン２が正しいため、パターン１とパターン３を排除し、パターン２を選択する必要がある。 In the scene shown in FIG. 7, similarly to the scene shown in FIG. 1, the road camera 41 cannot take an image of the own vehicle 3 hidden by the large bus B1. Therefore, the image processing circuit 42 extracts the lane occupancy information and the lane number. In the scene shown in FIG. 7, the lane occupancy information can be expressed as "11111" as shown in FIG. Next, the controller 34 extracts peripheral vehicle information. In the scene shown in FIG. 7, the peripheral vehicle information can be expressed as "111" as shown in FIG. Then, the controller 34 compares the lane occupancy information with the peripheral vehicle information. Here, as shown in FIG. 9, there are three patterns in the comparison. Since the pattern 2 is correct in the scene shown in FIG. 7, it is necessary to exclude the pattern 1 and the pattern 3 and select the pattern 2.

そこで、変形例１では、画像処理回路４２は、路上カメラ４１によって撮像された大型バスＢ１〜Ｂ５が写る画像から、通知装置４から大型バスＢ１〜Ｂ５までの距離をそれぞれ算出する。そして、通知装置４から走行前後方向に第１所定距離離れた場所に存在する車両を「１」、通知装置４から走行前後方向に第２所定距離（第１所定距離＜第２所定距離）離れた場所に存在する車両を「２」とすると、車線占有情報は図１０に示すように「１２１１１」と表現できる。 Therefore, in the first modification, the image processing circuit 42 calculates the distance from the notification device 4 to the large buses B1 to B5 from the image of the large buses B1 to B5 captured by the road camera 41. Then, the vehicle existing at a place separated from the notification device 4 in the first predetermined distance in the front-rear direction is "1", and the vehicle is separated from the notification device 4 in the front-rear direction by the second predetermined distance (first predetermined distance <second predetermined distance). Assuming that the vehicle existing at the above location is "2", the lane occupancy information can be expressed as "12111" as shown in FIG.

また、コントローラ３４は、車載カメラ３２によって撮像された大型バスＢ２〜Ｂ４が写る画像から、自車両３から大型バスＢ２〜４までの距離をそれぞれ算出する。そして、自車両３から走行前後方向に第３所定距離離れた場所に存在する車両を「１」、自車両３から走行前後方向に第４所定距離（第４所定距離＜第３所定距離）離れた場所に存在する車両を「２」とすると、周辺車両情報は図１０に示すように「２１１」と表現できる。このように、通知装置４から距離及び自車両３から距離を用いることにより比較パターンを絞り込むことができる。 Further, the controller 34 calculates the distances from the own vehicle 3 to the large buses B2 to 4 from the images of the large buses B2 to B4 captured by the in-vehicle camera 32. Then, the vehicle existing at a place separated from the own vehicle 3 in the traveling front-rear direction by a third predetermined distance is "1", and the vehicle is separated from the own vehicle 3 in the traveling front-rear direction by a fourth predetermined distance (fourth predetermined distance <third predetermined distance). Assuming that the vehicle existing at the above location is "2", the peripheral vehicle information can be expressed as "211" as shown in FIG. In this way, the comparison pattern can be narrowed down by using the distance from the notification device 4 and the distance from the own vehicle 3.

そしてコントローラ３４は、図１１に示すように、車線占有情報と周辺車両情報とを比較する。このとき、コントローラ３４は、周辺車両情報について、自車両３周辺の車両の有無を判定し、数字の並びを反転させた後、車線占有情報と比較する。数字の並びを反転する理由は、路上カメラ４１は自車両３の前方側から自車両３を撮影するのに対し、車載カメラ３２は自車両３の前方（及び側方）を走行する車両の後部（及び側面）を撮影するため、車両占有情報の数字の並びと周辺車両情報の数字の並びは逆になるからである。比較の結果、コントローラ３４は、自車両３前方の大型バスＢ３の走行車線は、車線Ｌ３であると推定する。そして、図１１に示すように大型バスＢ３と自車両３との位置関係から、コントローラ３４は、自車両３の走行車線は車線Ｌ３であると推定する。 Then, as shown in FIG. 11, the controller 34 compares the lane occupancy information with the surrounding vehicle information. At this time, the controller 34 determines the presence or absence of vehicles around the own vehicle 3 with respect to the peripheral vehicle information, reverses the arrangement of the numbers, and then compares the information with the lane occupancy information. The reason for reversing the arrangement of numbers is that the road camera 41 photographs the own vehicle 3 from the front side of the own vehicle 3, while the in-vehicle camera 32 captures the rear portion of the vehicle traveling in front of (and sideways) of the own vehicle 3. This is because the numbers in the vehicle occupancy information and the numbers in the surrounding vehicle information are reversed in order to photograph (and the side surface). As a result of the comparison, the controller 34 estimates that the traveling lane of the large bus B3 in front of the own vehicle 3 is the lane L3. Then, as shown in FIG. 11, the controller 34 estimates that the traveling lane of the own vehicle 3 is the lane L3 from the positional relationship between the large bus B3 and the own vehicle 3.

以上説明したように、本実施形態に係る自車位置判定システム１００によれば、以下の作用効果が得られる。 As described above, according to the own vehicle position determination system 100 according to the present embodiment, the following effects can be obtained.

路上カメラ４１が、大型バスＢ１によって隠れる自車両３を撮像することができない場合、画像処理回路４２は、路上カメラ４１によって撮像された大型バスＢ１が写る画像から車線占有情報と車線番号を抽出する。コントローラ３４は、車載カメラ３２によって撮像された大型バスＢ１が写る画像から周辺車両情報を抽出する。そして、コントローラ３４は、車線占有情報と周辺車両情報とを比較し、自車両３の走行車線を推定する。これにより、自車位置判定システム１００は、自車両３の前方を走行する大型バスやトラックなどにより、路上カメラ４１では自車両３を認識できない場合でも、自車両３の走行車線を推定することができる。 When the road camera 41 cannot image the own vehicle 3 hidden by the large bus B1, the image processing circuit 42 extracts the lane occupancy information and the lane number from the image of the large bus B1 captured by the road camera 41. .. The controller 34 extracts peripheral vehicle information from the image of the large bus B1 captured by the vehicle-mounted camera 32. Then, the controller 34 compares the lane occupancy information with the peripheral vehicle information, and estimates the traveling lane of the own vehicle 3. As a result, the own vehicle position determination system 100 can estimate the traveling lane of the own vehicle 3 even if the road camera 41 cannot recognize the own vehicle 3 due to a large bus or truck traveling in front of the own vehicle 3. can.

また、車線占有情報と周辺車両情報との比較パターンが複数ある場合には、自車位置判定システム１００は、通知装置４から各車線を走行する車両までの距離と、自車両３から少なくとも各車線の一部を走行する車両までの距離を算出し、算出した距離情報（第１距離情報及び第２距離情報）を含む車線占有情報と周辺車両情報とを比較する。このように、自車位置判定システム１００は、通知装置４から距離及び自車両３から距離を用いることにより比較パターンを絞り込むことができる。これにより、自車位置判定システム１００は、車線数が多く、かつ並走車両が多いシーンでも、自車両３の走行車線を精度よく推定することができる。 When there are a plurality of comparison patterns between the lane occupancy information and the surrounding vehicle information, the own vehicle position determination system 100 determines the distance from the notification device 4 to the vehicle traveling in each lane and at least each lane from the own vehicle 3. The distance to the vehicle traveling in a part of the above is calculated, and the lane occupancy information including the calculated distance information (first distance information and the second distance information) is compared with the surrounding vehicle information. In this way, the own vehicle position determination system 100 can narrow down the comparison pattern by using the distance from the notification device 4 and the distance from the own vehicle 3. As a result, the own vehicle position determination system 100 can accurately estimate the traveling lane of the own vehicle 3 even in a scene where the number of lanes is large and the number of parallel vehicles is large.

上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。 Although embodiments of the invention have been described above, the statements and drawings that form part of this disclosure should not be understood to limit the invention. Various alternative embodiments, examples and operational techniques will be apparent to those skilled in the art from this disclosure.

本実施形態において、通知装置４側では、路上カメラ４１が撮像した画像を画像処理回路４２が処理し、自車両３側では、車載カメラ３２が撮像した画像をコントローラ３４が処理したが、これに限定されない。例えば、通知装置４は、路上カメラ４１が撮像した画像を自車両３に送信し、コントローラ３４が、受信した画像を処理してもよい。これにより、通知装置４に設置された画像処理回路４２が不要になり、コスト低減に貢献できる。 In the present embodiment, on the notification device 4 side, the image processing circuit 42 processes the image captured by the road camera 41, and on the own vehicle 3 side, the controller 34 processes the image captured by the in-vehicle camera 32. Not limited. For example, the notification device 4 may transmit the image captured by the road camera 41 to the own vehicle 3, and the controller 34 may process the received image. This eliminates the need for the image processing circuit 42 installed in the notification device 4, and can contribute to cost reduction.

また、データセンタ１が画像処理装置を有し、通知装置４と自車両３から受信した画像をデータセンタ１に設置された画像処理装置が処理するようにしてもよい。これにより、通知装置４の画像処理回路４２及び自車両３のコントローラ３４の一部（画像処理に関する機能）が不要になり、コスト低減に貢献できる。 Further, the data center 1 may have an image processing device, and the image processing device installed in the data center 1 may process the images received from the notification device 4 and the own vehicle 3. This eliminates the need for a part of the image processing circuit 42 of the notification device 4 and the controller 34 of the own vehicle 3 (functions related to image processing), which can contribute to cost reduction.

なお、上述の実施形態の各機能は、１または複数の処理回路により実装され得る。処理回路は、電気回路を含む処理装置等のプログラムされた処理装置を含む。処理回路は、また、実施形態に記載された機能を実行するようにアレンジされた特定用途向け集積回路（ＡＳＩＣ）や従来型の回路部品のような装置を含む。 Each function of the above-described embodiment can be implemented by one or a plurality of processing circuits. The processing circuit includes a programmed processing device such as a processing device including an electric circuit. Processing circuits also include devices such as application specific integrated circuits (ASICs) and conventional circuit components arranged to perform the functions described in the embodiments.

１００ 自車位置判定システム
１ データセンタ
２ ネットワーク
３ 自車両
４ 通知装置
１０、３０、４０ 通信機
１１ ＩＤ生成部
１２ 起動要求部
３１ ＧＰＳ受信機
３２ 車載カメラ
３３ 地図データベース
３４ コントローラ
４１ 路上カメラ
４２ 画像処理回路 100 Own vehicle position determination system 1 Data center 2 Network 3 Own vehicle 4 Notification device 10, 30, 40 Communication device 11 ID generation unit 12 Activation request unit 31 GPS receiver 32 In-vehicle camera 33 Map database 34 Controller 41 Road camera 42 Image processing circuit

Claims (3)

ＧＰＳ受信機から取得した自車両の位置情報と、地図データベースに格納されている、複数の車線を有する道路上に設置された通知装置の位置情報を用いて前記自車両が前記通知装置に接近したか否かを判定し、
前記自車両が前記通知装置に接近したと判定された場合に、前記自車両から前記通知装置に対して前記自車両を識別するための識別情報を送信し、
前記通知装置に備えられた路上カメラが前記道路を撮像した第１撮像画像と前記識別情報から前記第１撮像画像上に前記自車両が存在しないと判断された場合に前記通知装置から送信される、各車線を走行する車両の有無に関する車線占有情報を受信し、
前記自車両に設置された車載カメラが前記道路を撮像した第２撮像画像から、少なくとも前記各車線の一部を走行する車両の有無に関する周辺車両情報を抽出し、
前記車線占有情報と前記周辺車両情報とを比較し、前記自車両の走行車線を推定する
ことを特徴とする自車位置判定方法。 The own vehicle approaches the notification device using the position information of the own vehicle acquired from the GPS receiver and the position information of the notification device installed on the road having a plurality of lanes stored in the map database. Judge whether or not
When it is determined that the own vehicle has approached the notification device, the own vehicle transmits identification information for identifying the own vehicle to the notification device.
When the road camera provided in the notification device determines from the first captured image of the road and the identification information that the own vehicle does not exist on the first captured image, the notification device transmits the image. , Receives lane occupancy information regarding the presence or absence of vehicles traveling in each lane,
From the second captured image obtained by the in-vehicle camera installed in the own vehicle, the peripheral vehicle information regarding the presence or absence of a vehicle traveling in at least a part of each lane is extracted.
A method for determining a position of a own vehicle, which comprises comparing the lane occupancy information with the information on surrounding vehicles and estimating the traveling lane of the own vehicle. 前記路上カメラが撮像した前記第１撮像画像から抽出された、前記路上カメラから前記各車線を走行する車両までの走行前後方向の第１距離情報を含む車線占有情報を受信し、
前記第２撮像画像から、前記自車両から少なくとも前記各車線の一部を走行する車両までの走行前後方向の第２距離情報を含む周辺車両情報を抽出し、
前記第１距離情報を含む車線占有情報と前記第２距離情報を含む前記周辺車両情報とを比較し、前記自車両の走行車線を推定することを特徴とする請求項１に記載の自車位置判定方法。 The lane occupancy information including the first distance information in the front-rear direction from the road camera to the vehicle traveling in each lane, which is extracted from the first captured image captured by the road camera, is received.
From the second captured image, peripheral vehicle information including the second distance information in the traveling front-rear direction from the own vehicle to the vehicle traveling in at least a part of each lane is extracted.
The vehicle position according to claim 1, wherein the lane occupancy information including the first distance information and the peripheral vehicle information including the second distance information are compared to estimate the traveling lane of the own vehicle. Judgment method. 自車両の位置情報を取得するＧＰＳ受信機と、
複数の車線を有する道路上に設置された通知装置の位置情報を格納する地図データベースと、
前記通知装置に備えられた路上カメラが前記道路を撮像した第１撮像画像と識別情報から前記第１撮像画像上に前記自車両が存在しないと判断された場合に前記通知装置から送信される、各車線を走行する車両の有無に関する車線占有情報を受信する通信機と、
前記自車両に設置された車載カメラと、
前記ＧＰＳ受信機から取得した前記自車両の位置情報と、前記地図データベースに格納されている前記通知装置の位置情報を用いて前記自車両が前記通知装置に接近したか否かを判定するコントローラと、を備え、
前記コントローラは、
前記自車両が前記通知装置に接近したと判定した場合に、前記通知装置に対して前記自車両を識別するための前記識別情報を送信し、
前記車載カメラが前記道路を撮像した第２撮像画像から、少なくとも前記各車線の一部を走行する車両の有無に関する周辺車両情報を抽出し、前記車線占有情報と前記周辺車両情報とを比較し、前記自車両の走行車線を推定する
ことを特徴とする自車位置判定装置。 A GPS receiver that acquires the location information of your vehicle,
A map database that stores the location information of notification devices installed on roads with multiple lanes,
When it is determined that the own vehicle does not exist on the first captured image from the first captured image and the identification information obtained by the road camera provided in the notification device, the notification device transmits the image. A communication device that receives lane occupancy information regarding the presence or absence of vehicles traveling in each lane,
The in -vehicle camera installed in the own vehicle and
A controller that determines whether or not the own vehicle has approached the notification device by using the position information of the own vehicle acquired from the GPS receiver and the position information of the notification device stored in the map database. , Equipped with
The controller
When it is determined that the own vehicle has approached the notification device, the identification information for identifying the own vehicle is transmitted to the notification device, and the identification information is transmitted.
From the second captured image obtained by the in-vehicle camera capturing the road, peripheral vehicle information regarding the presence or absence of a vehicle traveling in at least a part of each lane is extracted, and the lane occupancy information and the peripheral vehicle information are compared. Estimate the driving lane of the own vehicle
Vehicle position determination apparatus characterized by and this.
JP2016208455A 2016-10-25 2016-10-25 Own vehicle position determination method and own vehicle position determination system Active JP6929038B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016208455A JP6929038B2 (en) 2016-10-25 2016-10-25 Own vehicle position determination method and own vehicle position determination system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016208455A JP6929038B2 (en) 2016-10-25 2016-10-25 Own vehicle position determination method and own vehicle position determination system

Publications (2)

Publication Number Publication Date
JP2018072011A JP2018072011A (en) 2018-05-10
JP6929038B2 true JP6929038B2 (en) 2021-09-01

Family

ID=62112691

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016208455A Active JP6929038B2 (en) 2016-10-25 2016-10-25 Own vehicle position determination method and own vehicle position determination system

Country Status (1)

Country Link
JP (1) JP6929038B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112602122B (en) * 2018-08-24 2023-08-11 日本电信电话株式会社 Lane pricing device, method, and recording medium
JP7310313B2 (en) * 2019-05-30 2023-07-19 住友電気工業株式会社 POSITION CORRECTION SERVER, POSITION MANAGEMENT DEVICE, MOBILE POSITION MANAGEMENT SYSTEM AND METHOD, POSITION INFORMATION CORRECTION METHOD, COMPUTER PROGRAM, IN-VEHICLE DEVICE, AND VEHICLE
CN115503712B (en) * 2022-09-22 2024-06-28 南京长江自动化研究院有限公司 Intelligent network-connected automobile predictive control method and system considering road running conditions

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008249666A (en) * 2007-03-30 2008-10-16 Fujitsu Ten Ltd Vehicle position specifying device and vehicle position specifying method
JP4609467B2 (en) * 2007-09-10 2011-01-12 住友電気工業株式会社 Peripheral vehicle information generation device, peripheral vehicle information generation system, computer program, and peripheral vehicle information generation method
JP5692114B2 (en) * 2012-02-15 2015-04-01 トヨタ自動車株式会社 Driving lane recognition device
DE102012024873A1 (en) * 2012-12-19 2014-06-26 Audi Ag Method and control device for providing a road ahead

Also Published As

Publication number Publication date
JP2018072011A (en) 2018-05-10

Similar Documents

Publication Publication Date Title
TWI534764B (en) Apparatus and method for vehicle positioning
KR101874279B1 (en) Information presentation system
KR102166512B1 (en) Method, device, map management device and system for precise location tracking of automobiles in the surrounding environment
US20080136673A1 (en) Method and apparatus for recognizing parking slot by using bird&#39;s eye view and parking assist system using the same
JP6929038B2 (en) Own vehicle position determination method and own vehicle position determination system
CN110088801B (en) Driving region detection device and driving assistance system
KR101751112B1 (en) Apparatus for generating traffic information base on image and Method thereof
JP4692000B2 (en) Travel time calculation system and travel time calculation method
KR20190025165A (en) Parking enforcement Method and parking enforcemnt system by using a 3D travelling enforcemnt device
KR101612836B1 (en) Method and device for acquisiting accident image in vehicle, and computer readable medium for performing the method
JP2010097335A (en) Driving intention estimating device
JP4762830B2 (en) Perimeter monitoring system
US20200158520A1 (en) Map update apparatus, map update system, map update method, and program
KR101472490B1 (en) System for detecting parking and stopping of the vehicle using image analyzing
KR20150055278A (en) System and method for collecting traffic information using vehicle radar
JP2010107435A (en) Feature position recognition device
CN111433082A (en) System and method for detecting in-vehicle conflicts
JP2006285694A (en) Inter-vehicle communication system
EP1494194A2 (en) Vehicle braking apparatus and method
JP2004258981A (en) Vehicle monitoring method and device
JP2006285692A (en) Inter-vehicle communication system
CN110995981B (en) Image processing apparatus, control method thereof, non-transitory readable recording medium, information processing system
JP2021131869A (en) Road surface state estimation device
JP4572826B2 (en) Road marking line detection device
KR20110132096A (en) Control method and apparatus for exclusive road

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190826

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201104

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210713

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210810

R150 Certificate of patent or registration of utility model

Ref document number: 6929038

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150