JP6569138B2 - 車軸数検出装置、車種判別システム、車軸数検出方法及びプログラム - Google Patents
車軸数検出装置、車種判別システム、車軸数検出方法及びプログラム Download PDFInfo
- Publication number
- JP6569138B2 JP6569138B2 JP2015042516A JP2015042516A JP6569138B2 JP 6569138 B2 JP6569138 B2 JP 6569138B2 JP 2015042516 A JP2015042516 A JP 2015042516A JP 2015042516 A JP2015042516 A JP 2015042516A JP 6569138 B2 JP6569138 B2 JP 6569138B2
- Authority
- JP
- Japan
- Prior art keywords
- tire
- vehicle
- image
- captured image
- axles
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07B—TICKET-ISSUING APPARATUS; FARE-REGISTERING APPARATUS; FRANKING APPARATUS
- G07B15/00—Arrangements or apparatus for collecting fares, tolls or entrance fees at one or more control points
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/015—Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/02—Detecting movement of traffic to be counted or controlled using treadles built into the road
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Devices For Checking Fares Or Tickets At Control Points (AREA)
- Image Analysis (AREA)
Description
この場合、料金自動収受機は、車種判別システムによって判別された車種区分に応じた額の料金を利用者から徴収する。
しかしながら、上述の仕組みによれば、車種判別システムは、車体の全てが車両検知器を通過し終わった後でなければ、車両の車軸数を特定することができない。したがって、従来、高速道路等に設けられた料金収受設備においては、走行する全ての車両についての車軸数を特定できるようにする目的で、走行する車両の最大車長(例えば、18m)を考慮して、車種判別システムと料金自動収受機との間隔が当該最大車長以上となるように設置されている。
このようにすることで、車両の運転座席が料金自動収受機に到達する前の段階で、当該車両のタイヤを含む撮影画像を取得できる。したがって、車両の運転座席が料金自動収受機に到達する前の段階において、取得した撮影画像に基づいて車両の車軸数を特定できる。以上より、上述の車軸数検出装置は、十分な設置スペースを確保できない場所にも設置可能で、かつ、走行する車両の車軸数を特定することができる。
ここで、撮影画像同士のパターンマッチング処理は、対比する撮影画像によってはタイヤの抽出結果に誤差(誤抽出、抽出抜け)が生じることが想定される。そこで、上記のような構成とすることで、パターンマッチング処理に基づく車軸数の特定結果と実際の車軸数とが一致するように、パターンマッチング処理が最適化されるので、車軸数を一層高精度に特定することができる。
このようにすることで、車両の車体全体が一つの撮影画像の撮影範囲内に収まらないような場合であっても、連続撮影により複数の撮影画像を取得することで、走行中の車両の一方側の側面から視認可能なタイヤ全てを写像として捉えることができる。また、複数の撮影画像に渡って写されたタイヤが同一のタイヤであった場合には、タイヤの数を重複して数えないようにするので、上記タイヤの数を精度よく特定することができる。したがって、車両の一方側の側面から視認できるタイヤの数が当該車両の車軸数に一致することを利用して、当該車両の車軸数を精度よく特定することができる。
このようにすることで、一回の撮影で取得された一つの撮影画像のみに基づいて、車両の全てのタイヤの数を特定することができるので、車軸数の特定に要する処理を簡素化、かつ、高速化することができる。
ここで、取得された撮影画像によっては、隣接して設けられた複数のタイヤを一つ一つ精度よく抽出することが困難となる場合が想定される。そこで、上記のような構成とすることで、隣接して設けられたタイヤ群が写された参照画像とのパターンマッチング処理を経て、取得された撮影画像から当該タイヤ群の抽出を行うことができる。したがって、隣接して設けられたタイヤ群を、撮影画像から精度よく抽出することができる。
このようにすることで、上記光学素子に対し一般的なカメラを組み合わせて用いることができるので、特殊な仕様のカメラを用いない簡素な構成とすることができる。
このようにすることで、パターンマッチング処理において、シングルタイヤ、ダブルタイヤのいずれの分類に属する参照画像に基づいて抽出されたタイヤかを参照することで、車両の車軸数ばかりでなく、当該車両のタイヤの構成がシングルタイヤかダブルタイヤかを判別することができる。
以下、第1の実施形態に係る車種判別システムについて、図1〜図7を参照ながら説明する。
図1は、第1の実施形態に係る料金収受設備の全体構成を示す図である。
第1の実施形態に係る料金収受設備1は、有料道路である高速道路の出口料金所(料金形式によっては入口料金所)に設けられ、高速道路の利用者から、当該利用者が乗車する車両Aの車種区分に応じた額の料金の収受を行うための設備である。
図1に示す例では、高速道路の利用者が乗車する車両Aは、出口料金所に設けられた料金収受設備1において高速道路側から一般道路側へと通じる車線Lを走行している。車線Lの両側にはアイランドIが敷設されており、料金収受設備1を構成する各種装置が設置されている。
以下、車線Lが延在する方向(図1における±X方向)を「車線方向」と記載し、また、車線Lの車線方向における高速道路側(図1における+X方向側)を「上流側」、又は、車両Aの「進行方向手前側」とも記載する。また、車線Lの車線方向における一般道路側(図1における−X方向側)を「下流側」、又は、車両Aの「進行方向奥側」とも記載する。
車種判別システム10は、車線Lを走行する車両Aの車種区分(例えば、「軽自動車」、「普通車」、「中型車」、「大型車」及び「特大車」等の区分)を判別する装置である。
車種判別システム10は、車線Lの上流側に設けられ、アイランドI上に設けられた各種検出センサ(進入側車両検知器10A、撮影装置10C)と、車線Lの路面上に埋設された踏板(踏板10B)と、を有してなる。
料金自動収受機20は、車種判別システム10の下流側におけるアイランドI上に設けられ、車種判別システム10によって判別された車両Aの車種区分に応じた金額を課金する。
また、主制御装置10Dは、車種区分の判別結果を直ちに料金自動収受機20に通知する。これにより、料金自動収受機20は、車両Aとの料金収受処理において、車種判別システム10によって判別された車種区分に応じた額を課金することができる。
なお、本実施形態において、主制御装置10Dは、車種判別システム10(例えば、図1に示すように、進入側車両検知器10A)に内蔵されている態様で図示しているが、他の実施形態においてはこの態様に限定されない。例えば、他の実施形態においては、主制御装置10DがアイランドI上、又は、遠隔地に設置された車種判別システム10以外の装置に内蔵され、通信ネットワーク等で接続される態様であってもよい。
図2は、車体サイズが大きい車種区分(「大型車」、「特大車」)に属する車両Aが料金収受設備1に進入した場合の例を示している。
一方、撮影装置10Cは、アイランドI上において、撮影方向Nが車線Lの下流側から上流側を向き、かつ、車線方向(走行する車両Aの側面)に対し傾斜するように設置されている。これにより、撮影装置10Cは、「大型車」(又は、「特大車」)に属する車両Aの車体のうち、踏板10Bの上を通過していない部分のタイヤを斜め前方から、車両進入時点からの連続撮影で取得した撮影画像(後述)のいずれかで撮影できる。
図3は、第1の実施形態に係る車種判別システムの機能構成を示す図である。
図3に示すように、車種判別システム10は、進入側車両検知器10Aと、踏板10Bと、撮影装置10Cと、主制御装置10Dと、を備えている。進入側車両検知器10A、踏板10B及び撮影装置10Cの各種機能及び位置関係については、図1、図2を用いて説明した通りである。
車軸数検出装置100は、撮影装置10Cにより取得される車両Aについての撮影画像に基づいて、当該車両Aの車軸数を検出する。
また、車種区分判別部11は、車軸数検出装置100が検出した車両Aの車軸数に基づいて、当該車両Aの車種区分を判別する。なお、車種区分判別部11は、上記車軸数に加え、例えば、踏板10Bから取得可能なトレッド幅、又は、図1に図示しない車高検知器、車長検知器、ナンバープレート読取機から取得可能な車両Aの車高情報、車長情報、ナンバープレート情報(プレートサイズ、色等)に基づいて、当該車両Aの車種区分を判別するものであってもよい。
車種区分判別部11は、車種区分の判別結果を料金自動収受機20に出力する。車種区分の判別結果を受け付けた料金自動収受機20は、当該車種区分に応じた額の料金の支払いを求める。
画像取得部101は、撮影装置10Cが一定のレート(例えば30フレーム/秒)で取得する撮影画像を逐次取得する。
タイヤ抽出部102は、画像取得部101が取得した撮影画像と、走行する車両のタイヤを含む画像であって予め記憶部106に記憶された複数の参照画像と、のパターンマッチング処理を行い、上記撮影画像に含まれるタイヤを抽出する。
車軸数特定部103は、タイヤ抽出部102によるタイヤの抽出結果に基づいて、車両Aの車軸数を特定する。具体的には、車軸数特定部103は、車両Aについて撮影された複数の撮影画像の各々に含まれるタイヤの数を数えることで、車両Aの車軸数を特定する。ここで、車軸数特定部103は、車両Aの一方側の側面(例えば、図1における−Y方向側の側面)から視認できるタイヤの数は、当該車両Aの車軸数に一致することを利用している。
踏み付け回数取得部104は、車線L上の所定位置(進入側車両検知器10A(図1)と同じ位置)に埋設された踏板10Bを通じて、車両Aによる踏板10Bの踏み付け回数を取得する。具体的には、踏み付け回数取得部104は、進入側車両検知器10Aによる車両Aの通過が検知されている間における、踏板10Bの踏み付け回数をカウントする。踏み付け回数取得部104が取得した踏み付け回数は、車両Aの実際の車軸数を示す検出値となる。
同一タイヤ判定部103aは、一定のレート(30フレーム/秒)で取得される複数の撮影画像のうち一の撮影画像に含まれる車両Aのタイヤと、他の撮影画像に含まれる車両Aのタイヤと、が同一のタイヤか否かを判定する。
タイヤ計数部103bは、複数の撮影画像の各々に含まれるタイヤの数を数える。この場合において、タイヤ計数部103bは、同一タイヤ判定部103aが同一と判定した複数のタイヤについては一のタイヤとみなしてタイヤの数を数える。
図4、図5は、それぞれ、第1の実施形態に係るタイヤ抽出部の機能を説明する第1の図、第2の図である。
画像取得部101は、撮影装置10Cによる30フレーム/秒の連続撮影の中で、車両Aの車体の車線方向における、異なる一部(車線方向に関して位置が異なる部分)がそれぞれ撮影された複数の撮影画像を取得する(本実施形態においては、各撮影画像には、車両Aの車体のうち互いに重複する部分が含まれているものとする)。例えば、画像取得部101は、図4に示すような車両Aの一部が撮影された撮影画像Dを取得する。
図4に示すように、撮影画像Dには、「特大車」に属する車両A(図1、図2)の車体の一部を進行方向奥側から進行方向手前側に向かって斜めから見た様子が写されている。タイヤ抽出部102は、撮影画像Dと予め記憶部106に記憶された複数の参照画像Drefとのパターンマッチング処理を行い、車両Aのタイヤ及びその周辺の車体の一部を含むタイヤ含有画像Tを抽出する。
また、複数の参照画像Drefは、記憶部106において、車両の車体におけるタイヤの取り付け位置別(「1軸目」か「2軸目以降」か)、及び、タイヤの構成別(「シングルタイヤ」か「ダブルタイヤ」か)に予め分類されて記憶されている。
具体的には、一の分類に属する複数の参照画像Drefの各画像上に示された共通する特徴(例えば、「タイヤ」の写像として共通する輪状の図形等)と類似する特徴を有する領域を、撮影画像Dの中から探索する。その際、各々の類似の度合いを「一致度」として数値化し、撮影画像Dのうち当該一致度が所定の判定閾値以上となる領域を抽出する。
タイヤ抽出部102は、撮影画像Dのうち上記のように分類された参照画像Drefを通じて一致度が高い領域をタイヤ含有画像Tとして抽出する。
図6は、第1の実施形態に係る車軸数特定部の機能を説明する図である。
タイヤ抽出部102は、画像取得部101により取得された複数の撮影画像D(D0、D1、・・・)の各々に対して上述したパターンマッチング処理を行い、複数のタイヤ含有画像Tを抽出する。
そして、車軸数特定部103の同一タイヤ判定部103aは、複数の撮影画像Dから抽出されたタイヤ含有画像Tの各々に含まれる複数のタイヤが、同一のタイヤか否かを判定する。
以下、同一タイヤ判定部103aの機能について、図6を参照しながら順を追って説明する。
ここで、タイヤ含有画像T11に含まれるタイヤは、走行する車両Aについて、タイヤ抽出部102によって初めて抽出されたタイヤである。したがって、タイヤ計数部103bは、タイヤ抽出部102の抽出結果であるタイヤ含有画像T11に基づいて、車両Aの1軸目のタイヤをカウントする。
ここで、同一タイヤ判定部103aは、前回取得した撮影画像D1から抽出されたタイヤ含有画像T11と、今回新たに取得した撮影画像D2から抽出されたタイヤ含有画像T21と、の各々に含まれるタイヤが同一のタイヤか否かを判定する。
各タイヤの周辺の車体を含むタイヤ含有画像T11とタイヤ含有画像T21との一致度が所定の判定閾値以上となる場合には、同一タイヤ判定部103aは、タイヤ含有画像T11、タイヤ含有画像T21の各々に含まれる各タイヤが同一のタイヤであると判定する。ここで、タイヤ含有画像T11、タイヤ含有画像T21の各々に含まれるタイヤは、実際には、いずれも車両Aの1軸目のタイヤ(同一のタイヤ)である。したがって、タイヤ含有画像T11とタイヤ含有画像T21との一致度は判定閾値以上となり、その結果、同一タイヤ判定部103aは、タイヤ含有画像T11とタイヤ含有画像T21との各々に含まれるタイヤが同一であると判定する。
ここで、タイヤ含有画像T21、タイヤ含有画像T31の各々に含まれるタイヤは、いずれも車両Aの1軸目のタイヤ(同一のタイヤ)である。したがって、タイヤ含有画像T21とタイヤ含有画像T31との一致度は判定閾値以上となり、その結果、同一タイヤ判定部103aは、タイヤ含有画像T21とタイヤ含有画像T31との各々に含まれるタイヤが同一であると判定する。
一方、タイヤ含有画像T32に含まれるタイヤは、車両Aの2軸目のタイヤ(タイヤ含有画像T21に含まれるタイヤとは別のタイヤ)である。したがって、タイヤ含有画像T21とタイヤ含有画像T32との一致度は判定閾値未満となり、その結果、同一タイヤ判定部103aは、タイヤ含有画像T21とタイヤ含有画像T32との各々に含まれるタイヤは同一ではないと判定する。
一方、タイヤ含有画像T32に含まれるタイヤは、これまでに取得された撮影画像D0〜D2に含まれるタイヤとは異なる新たなタイヤである。したがって、タイヤ計数部103bは、タイヤ抽出部102の抽出結果であるタイヤ含有画像T32に基づいて、車両Aの2軸目のタイヤをカウントする。
その結果、タイヤ含有画像T31と、タイヤ含有画像T41、T42と、の一致度はいずれも判定閾値未満となり、同一タイヤ判定部103aは、タイヤ含有画像T31に含まれるタイヤと、タイヤ含有画像T41、T42の各々に含まれるタイヤと、が同一ではないと判定する。
更に、タイヤ含有画像T32とタイヤ含有画像T41との一致度は判定閾値以上、タイヤ含有画像T32とタイヤ含有画像T42との一致度は判定閾値未満となる。したがって、同一タイヤ判定部103aは、タイヤ含有画像T32に含まれるタイヤとタイヤ含有画像T41に含まれるタイヤとは同一であり、かつ、タイヤ含有画像T32に含まれるタイヤとタイヤ含有画像T42に含まれるタイヤとは同一ではないと判定する。
一方、タイヤ含有画像T42に含まれるタイヤは、これまでに取得された撮影画像D0〜D3に含まれるタイヤとは異なる新たなタイヤである。したがって、タイヤ計数部103bは、タイヤ抽出部102の抽出結果であるタイヤ含有画像T42に基づいて、車両Aの3軸目のタイヤをカウントする。
そこで、同一タイヤ判定部103aは、複数のタイヤ含有画像Tに含まれる各タイヤが同一のタイヤか否かを判定するにあたり、抽出された各タイヤ含有画像Tが存在する撮影画像D上の位置に応じて当該タイヤ含有画像Tのサイズを調整する(正規化する)処理を行った後で、一致度を算出する。
このようにすることで、撮影画像D上の位置(領域)に応じたタイヤの写像サイズの変動成分が排されるため、複数の撮影画像Dに含まれるタイヤが同一のタイヤか否か、をより精度よく判定することができる。
図7は、第1の実施形態に係るパターンマッチング処理学習部の機能を説明する図である。
図7に示すグラフは、タイヤ抽出部102のパターンマッチング処理により算出された、撮影画像D(図4)と参照画像Dref(図5)との一致度(縦軸)を、連続して取得された複数の撮影画像Dの各々(横軸)について示している。
上述したように、車両Aの運転座席が料金自動収受機20に到達した段階において、車両Aの車体の進行方向手前側の一部は、踏板10Bの上を通過していない状態にある。しかし、撮影装置10Cは、踏板10Bよりも上流側(進行方向手前側)の所定範囲を撮影可能に設けられているので、画像取得部101は、踏板10B上を通過する前のタイヤを含む撮影画像を取得できる。したがって、同段階において、車軸数特定部103は、取得された撮影画像に基づいて車両Aの車軸数を特定でき、また、車種区分判別部11は、当該特定された車軸数に基づいて車両Aの車種区分を判別できる。
図7によれば、各撮影画像Dに写された車両Aの1軸目、2軸目及び4軸目のタイヤについては参照画像Drefとの一致度が判定閾値THを上回り、車両Aの3軸目のタイヤについては参照画像Drefとの一致度が判定閾値THを下回っている。この場合、タイヤ抽出部102は、各撮影画像Dから、1軸目、2軸目及び4軸目のタイヤを含むタイヤ含有画像T(図4)を抽出するが、3軸目のタイヤを含むタイヤ含有画像Tを抽出しない。その結果、車軸数特定部103は、車両Aの実際の車軸数は“4”であるにもかかわらず車軸数を“3”と特定する。
なお、タイヤ抽出部102によるパターンマッチング処理の結果に基づく車軸数の特定結果が、実際の車軸数(踏み付け回数)よりも大きかった場合には、パターンマッチング処理学習部105は、タイヤ含有画像Tの誤抽出が発生しているものと判断し、パターンマッチング処理の判定に用いられる判定閾値THの引き上げを行う。
これにより、パターンマッチング処理に基づく車軸数の特定結果が実際の車軸数(踏み付け回数)と異なる度合いが最小となるように、判定閾値THの最適化が図られる。
このようなパターンマッチング処理学習部105の処理によれば、パターンマッチング処理に用いる参照画像Drefを効率よく収集することができる。
なお、上記「判定条件を調整する」とは、具体的には、「判定閾値THの引き下げ又は引き上げを行う」こと、及び、「一致度が判定閾値THに満たなかったタイヤ含有画像Tを、新たな参照画像Drefとして記憶部106に追加する」ことの少なくとも何れか一方を意味するものとする。
以上、第1の実施形態に係る車種判別システム10によれば、画像取得部101は、車両Aの進行方向奥側から進行方向手前側に向かって、車線Lを走行する車両Aのタイヤを含む撮影画像Dを撮影可能な撮影装置10Cから当該撮影画像Dを取得する。また、タイヤ抽出部102は、取得された撮影画像Dと、複数の車両のタイヤを含む画像であって予め記憶部106に記憶された複数の参照画像Drefと、のパターンマッチング処理を行い、撮影画像Dに含まれるタイヤを抽出する。そして、車軸数特定部103は、タイヤ抽出部102によるタイヤの抽出結果に基づいて、車両Aの車軸数を特定する。
また、車種判別システム10は、車両Aが写された撮影画像Dと、予め用意された画像であって複数の車両のタイヤ周辺が写された参照画像Drefと、のパターンマッチング処理に基づいて車両Aのタイヤの数(即ち、車軸数)を特定する。したがって、撮影画像Dから車両Aの車軸数を高精度に特定することができる。
以上より、車種判別システム10は、十分な設置スペースを確保できない場所にも設置可能で、かつ、走行する車両の車種区分を詳細に判別できる。
このようにすることで、車両Aの車体全体が一つの撮影画像Dの撮影範囲内に収まらないような場合であっても、連続撮影により複数の撮影画像Dを取得することで、走行中の車両Aの全てのタイヤを写像として捉えることができる。これにより、車両のタイヤの数を精度よく特定することができる。また、複数の撮影画像Dに渡って写されたタイヤが同一のタイヤであった場合には、タイヤの数を重複して数えないようにするので、車両Aのタイヤの数を一層精度よく特定することができる。
このようにすることで、パターンマッチング処理において、シングルタイヤ、ダブルタイヤのいずれの分類に属する参照画像Drefに基づいて抽出されたタイヤ(タイヤ含有画像T)かを参照することで、車両Aのタイヤの構成がシングルタイヤかダブルタイヤかを判別することができる。したがって、車種区分を判別するための情報として、車軸数ばかりでなく、車両Aが有するタイヤの構成(シングルタイヤかダブルタイヤか)を取得することができるので、一層精度よく車種区分を判別することができる。
そこで、他の実施形態に係る複数の参照画像Drefは、記憶部106において、撮影画像Dにおける所定の領域別に予め分類されて記憶されていてもよい。具体的には、参照画像Drefは、「画像右側」、「画像中央」、「画像左側」等と分類される。この場合、タイヤ抽出部102は、例えば、撮影画像Dのうち左側の所定領域(左側1/3)に属する画像については、「画像左側」に分類された参照画像Drefとのパターンマッチング処理を行う。
このようにすることで、取得された撮影画像Dにおける左側の領域、中央の領域、右側の領域の各々に対し、撮影されたタイヤの写像のサイズに応じた適切な参照画像Drefとのパターンマッチング処理を行うことができる。
以下、第2の実施形態に係る車種判別システムについて、図8〜図10を参照ながら説明する。
図8は、第2の実施形態に係る撮影装置の構造を示す図である。
図8に示すように、第2の実施形態に係る撮影装置10Cは、カメラ本体部10C1と、収容ケース10C2と、シリンドリカルレンズ10C3と、を有して構成される。
収容ケース10C2は、カメラ本体部10C1の筐体全体を覆うように設けられたケースであって、屋外に設置されるカメラ本体部10C1を粉塵や雨滴等から保護する目的で設けられる。
シリンドリカルレンズ10C3は、収容ケース10C2に設けられたレンズである。シリンドリカルレンズ10C3は、収容ケース10C2における、カメラ本体部10C1の光軸R(撮影方向N)上に設けられ、高さ方向(±Z方向)を軸とする凹型の湾曲面を有している。
カメラ本体部10C1は、収容ケース10C2に設けられたシリンドリカルレンズ10C3を通じて外部からの光を集光することで、撮影範囲(画角)を水平方向に広角化させることができる。これにより、カメラ本体部10C1は、車線Lを走行する車両Aの車体の車線方向における全部が含まれる範囲を撮影可能とされる。
図9、図10は、それぞれ、第2の実施形態に係るタイヤ抽出部の機能を説明する第1の図、第2の図である。
第2の実施形態において、撮影装置10Cは、例えば、進入側車両検知器10Aからの検知信号に基づいて、車両Aが車線方向における進入側車両検知器10Aの位置に到達したタイミングで一回のみ撮影を行う。ここで、図9は、上記タイミングにおける一回の撮影で取得された撮影画像D’の例を示している。
また、第2の実施形態に係る複数の参照画像Drefは、記憶部106において、隣接タイヤ数別(「1軸」、「2軸隣接」又は「3軸隣接」)に予め分類されて記憶されている。
例えば、図9に示す例では、タイヤ抽出部102は、パターンマッチング処理を経て、「1軸」に属する参照画像Dref1と一致度が高い領域として、撮影画像D’からタイヤ含有画像Ta、Tbを抽出する。同様に、タイヤ抽出部102は、パターンマッチング処理を経て、「2軸隣接」に属する参照画像Dref2と一致度が高い領域として、撮影画像D’からタイヤ含有画像Tcを抽出する。
以上、第2の実施形態に係る車種判別システム10によれば、画像取得部101は、シリンドリカルレンズ10C3(図8)を有して車両Aの車体の車線方向における全部が含まれる範囲を撮影可能とされた撮影装置10Cから一つの撮影画像D’(図9)を取得する。そして、タイヤ抽出部102は、一つの撮影画像D’に含まれるタイヤを抽出し、車軸数特定部103は、タイヤ抽出部102によるタイヤの抽出結果に基づいて、一つの撮影画像D’に含まれる全てのタイヤの数を数える。
また、一般的なカメラ(カメラ本体部10C1)とシリンドリカルレンズ10C3とを組み合わせて用いることで、特殊な仕様のカメラを用いない簡素な構成で、車両Aの車体全体を含む撮影画像D’を取得することができる。したがって、車種判別システム10の製造コストを抑えることができる。
ここで、シリンドリカルレンズ10C3により車両Aの写像を水平方向に圧縮して撮影した場合、車両Aの写像の一部(特に車体後方端側)が明瞭に写らないことが想定される。そうすると、写像が水平方向に圧縮されて写された撮影画像D’から、「2軸隣接」、「3軸隣接」等、隣接して設けられた複数のタイヤを一つ一つ精度よく抽出することが困難となる場合が想定される。
そこで、本実施形態のように、「2軸隣接」、「3軸隣接」として設けられた2つ又は3つのタイヤ群が含まれる参照画像Dref(Dref1、Dref2、Dref3)を予め用意するとともに、撮影画像D’に対し当該参照画像Drefを対比の対象とするパターンマッチング処理を行う。このようにすることで、「2軸隣接」、「3軸隣接」として設けられたタイヤ群を、その分類単位で撮影画像D’から精度よく抽出することができる。したがって、一つの撮影画像D’に基づく車両Aの車軸数の特定精度を高めることができる。
以上、第2の実施形態に係る車種判別システム10について詳細に説明したが、第2の実施形態に係る車種判別システム10の具体的な態様は、上述のものに限定されることはなく、要旨を逸脱しない範囲内において種々の設計変更等を加えることは可能である。
本変形例に係るタイヤ抽出部102は、第2の実施形態と同様に、車両Aの車体全体が写された一つの撮影画像D’と、予め記憶部106に記憶された複数の参照画像Drefと、のパターンマッチング処理を行う。
同様に、例えば、「4軸車の3・4軸目」の分類に属する参照画像Drefは、実際の車軸数が“4”の車両において、2つ隣接して設けられた3・4軸目のタイヤ群を含む撮影画像である。
そして、本変形例に係る車軸数特定部103は、高い一致度が得られた参照画像Drefの分類に基づいて、撮影画像D’に写された車両Aの車軸数を特定する。
この場合、車軸数特定部103は、取得された撮影画像D’と高い一致度を有する参照画像Drefが、「4軸車」の分類の中から最も多く得られたことを参照し、撮影画像D’に写された車両Aの車軸数を“4”と特定する。
また、この場合において、車軸数特定部103は、パターンマッチング処理を通じて実際に撮影画像D’から抽出されたタイヤの数と、高い一致度を有する参照画像Drefが最も多く得られた分類「n軸車」の“n”(n=2、3、4、・・・)と、を比較して、“n”の方が大きい場合には、車両Aの車軸数を“n”と特定する。このようにすることで、パターンマッチング処理を通じて撮影画像D’から全てのタイヤを正しく抽出することができなかった場合であっても、車両Aの車軸数を正しく取得することができる。
ただし、パターンマッチング処理を通じて撮影画像D’から抽出されたタイヤの数に比べて上記“n”の値が小さい場合は、(n軸車である)車両Aが更に被牽引車を牽引している可能性が考えられる。そのため、この場合は、車軸数特定部103は、参照画像Drefの分類(「n軸車」)によって特定される車軸数(“n”)ではなく、パターンマッチング処理により実際に抽出したタイヤ数を車両Aの車軸数として特定するものとする。
例えば、撮影装置10Cは、カメラ本体部10C1自身が専用の広角レンズを備える態様であってもよい。
例えば、シリンドリカルレンズ10C3は、収容ケース10C2の内側又は外側に別途設けられる態様であってもよい。
また、第2の実施形態(及びその変形例)に係る車種判別システム10において、第1の実施形態と同様に、参照画像Drefが、更に、タイヤの構成別(シングルタイヤかダブルタイヤか)に分類されていてもよい。
また、主制御装置10Dは、各種機能構成が単一の装置筐体に収められる態様に限定されず、主制御装置10Dが有する各種機能構成が、ネットワークで接続される複数の装置に渡って具備される態様であってもよい。
10 車種判別システム
10A 進入側車両検知器
10B 踏板
10C 撮影装置
10C1 カメラ本体部
10C2 収容ケース
10C3 シリンドリカルレンズ
10D 主制御装置
100 車軸数検出装置
101 画像取得部
102 タイヤ抽出部
103 車軸数特定部
103a 同一タイヤ判定部
103b タイヤ計数部
104 踏み付け回数取得部
105 パターンマッチング処理学習部
106 記憶部
11 車種区分判別部
20 料金自動収受機
40 発進制御機
50 発進側車両検知器
L 車線
A 車両
I アイランド
d1 間隔
d2 車長
N 撮影方向
R 光軸
D 撮影画像
T タイヤ含有画像
TH 判定閾値
Claims (16)
- 車両の進行方向において料金収受機よりも手前に設置され、光軸が車両の進行方向に対し進行方向手前側に向く成分を有し、前記車両の進行方向奥側から前記進行方向手前側に向かって、当該車両のタイヤを含む撮影画像を撮影することができる撮影装置から前記撮影画像を取得する画像取得部と、
前記画像取得部が取得した前記撮影画像と、車両のタイヤを含む画像であって予め記憶部に記憶された複数の参照画像と、のパターンマッチング処理を行い、前記撮影画像に含まれるタイヤを抽出するタイヤ抽出部と、
前記タイヤの抽出結果に基づいて、前記車両の車軸数を特定する車軸数特定部と、
を備える車軸数検出装置。 - 車両のタイヤを含む撮影画像を撮影する撮影装置から前記撮影画像を取得する画像取得部と、
前記画像取得部が取得した前記撮影画像と、車両のタイヤを含む画像であって予め記憶部に記憶された複数の参照画像と、のパターンマッチング処理を行い、前記撮影画像に含まれるタイヤを抽出するタイヤ抽出部と、
前記タイヤの抽出結果に基づいて、前記車両の車軸数を特定する車軸数特定部と、
前記車両が走行する車線の所定位置に埋設された踏板を通じて、当該車線を走行する車両による前記踏板の踏み付け回数を取得する踏み付け回数取得部と、
前記踏み付け回数取得部が取得した前記踏み付け回数と、前記車軸数特定部が特定した車軸数の特定結果と、に基づいて、前記パターンマッチング処理に用いる判定条件を調整するパターンマッチング処理学習部と、
を備える車軸数検出装置。 - 車両のタイヤを含む撮影画像を撮影する撮影装置から前記撮影画像を取得する画像取得部と、
前記画像取得部が取得した前記撮影画像と、車両のタイヤを含む画像であって予め記憶部に記憶された複数の参照画像と、のパターンマッチング処理を行い、前記撮影画像に含まれるタイヤを抽出するタイヤ抽出部と、
前記タイヤの抽出結果に基づいて、前記車両の車軸数を特定する車軸数特定部と、
を備え、
前記画像取得部は、前記車両の車体の車線方向における、異なる一部がそれぞれ撮影された複数の撮影画像を取得し、
前記タイヤ抽出部は、複数の前記撮影画像の各々に含まれる前記タイヤを抽出し、
前記車軸数特定部は、
複数の前記撮影画像の各々に含まれるタイヤの数を数えるタイヤ計数部と、
一の前記撮影画像に含まれるタイヤと他の前記撮影画像に含まれるタイヤとが同一のタイヤか否かを判定する同一タイヤ判定部と、を有し、
前記タイヤ計数部は、前記同一タイヤ判定部が同一と判定した複数のタイヤについては一のタイヤとみなして前記タイヤの数を数える
車軸数検出装置。 - 車両のタイヤを含む撮影画像を撮影する撮影装置から前記撮影画像を取得する画像取得部と、
前記画像取得部が取得した前記撮影画像と、車両のタイヤを含む画像であって予め記憶部に記憶された複数の参照画像と、のパターンマッチング処理を行い、前記撮影画像に含まれるタイヤを抽出するタイヤ抽出部と、
前記タイヤの抽出結果に基づいて、前記車両の車軸数を特定する車軸数特定部と、
を備え、
前記画像取得部は、前記車両の車体の車線方向における全部が撮影された一つの撮影画像を取得し、
前記タイヤ抽出部は、前記一つの撮影画像に含まれる前記タイヤを抽出し、
前記車軸数特定部は、前記一つの撮影画像に含まれる全てのタイヤの数を数えるタイヤ計数部を有する
車軸数検出装置。 - 前記タイヤ抽出部は、隣接タイヤ数別に分類された前記参照画像とのパターンマッチング処理を行う
請求項4に記載の車軸数検出装置。 - 前記画像取得部は、車線方向に視野を拡大可能な光学素子を有して前記車両の車体の車線方向における全部が含まれる範囲を撮影可能とされた前記撮影装置から前記撮影画像を取得する
請求項4又は請求項5に記載の車軸数検出装置。 - 前記タイヤ抽出部は、シングルタイヤかダブルタイヤかの構成別に分類された前記参照画像とのパターンマッチング処理を行う
請求項4に記載の車軸数検出装置。 - 請求項1から請求項7の何れか一項に記載の車軸数検出装置と、
前記車軸数検出装置が検出した車軸数に基づいて、前記車両の車種区分を判別する車種区分判別部と、
を備える車種判別システム。 - 車両の進行方向において料金収受機よりも手前に設置され、光軸が車両の進行方向に対し進行方向手前側に向く成分を有し、前記車両の進行方向奥側から前記進行方向手前側に向かって、当該車両のタイヤを含む撮影画像を撮影することができる撮影装置から前記撮影画像を取得するステップと、
取得した前記撮影画像と、車両のタイヤを含む画像であって予め記憶部に記憶された複数の参照画像と、のパターンマッチング処理を行い、前記撮影画像に含まれるタイヤを抽出するステップと、
前記タイヤの抽出結果に基づいて、前記車両の車軸数を特定するステップと、
を有する車軸数検出方法。 - 車両のタイヤを含む撮影画像を撮影する撮影装置から前記撮影画像を取得するステップと、
取得した前記撮影画像と、車両のタイヤを含む画像であって予め記憶部に記憶された複数の参照画像と、のパターンマッチング処理を行い、前記撮影画像に含まれるタイヤを抽出するステップと、
前記タイヤの抽出結果に基づいて、前記車両の車軸数を特定するステップと、
前記車両が走行する車線の所定位置に埋設された踏板を通じて、当該車線を走行する車両による前記踏板の踏み付け回数を取得するステップと、
取得した前記踏み付け回数と、前記車軸数を特定するステップにおいて特定した前記車軸数の特定結果と、に基づいて、前記パターンマッチング処理に用いる判定条件を調整するステップと
を有する車軸数検出方法。 - 車両のタイヤを含む撮影画像を撮影する撮影装置から前記撮影画像を取得するステップと、
取得した前記撮影画像と、車両のタイヤを含む画像であって予め記憶部に記憶された複数の参照画像と、のパターンマッチング処理を行い、前記撮影画像に含まれるタイヤを抽出するステップと、
前記タイヤの抽出結果に基づいて、前記車両の車軸数を特定するステップと、
を有し、
前記撮影画像を取得するステップでは、前記車両の車体の車線方向における、異なる一部がそれぞれ撮影された複数の撮影画像を取得し、
前記タイヤを抽出するステップでは、複数の前記撮影画像の各々に含まれる前記タイヤを抽出し、
前記車軸数を特定するステップは、
複数の前記撮影画像の各々に含まれるタイヤの数を数えるステップと、
一の前記撮影画像に含まれるタイヤと他の前記撮影画像に含まれるタイヤとが同一のタイヤか否かを判定するステップと、を有し、
前記タイヤの数を数えるステップでは、前記判定するステップにおいて同一と判定した複数の前記タイヤについては一のタイヤとみなして前記タイヤの数を数える
車軸数検出方法。 - 車両のタイヤを含む撮影画像を撮影する撮影装置から前記撮影画像を取得するステップと、
取得した前記撮影画像と、車両のタイヤを含む画像であって予め記憶部に記憶された複数の参照画像と、のパターンマッチング処理を行い、前記撮影画像に含まれるタイヤを抽出するステップと、
前記タイヤの抽出結果に基づいて、前記車両の車軸数を特定するステップと、
を有し、
前記撮影画像を取得するステップでは、前記車両の車体の車線方向における全部が撮影された一つの撮影画像を取得し、
前記タイヤを抽出するステップでは、前記一つの撮影画像に含まれる前記タイヤを抽出し、
前記車軸数を特定するステップでは、前記一つの撮影画像に含まれる全てのタイヤの数を数える
車軸数検出方法。 - 車軸数検出装置のコンピュータを、
車両の進行方向において料金収受機よりも手前に設置され、光軸が車両の進行方向に対し進行方向手前側に向く成分を有し、前記車両の進行方向奥側から前記進行方向手前側に向かって、当該車両のタイヤを含む撮影画像を撮影することができる撮影装置から前記撮影画像を取得する画像取得手段、
前記画像取得手段が取得した前記撮影画像と、車両のタイヤを含む画像であって予め記憶部に記憶された複数の参照画像と、のパターンマッチング処理を行い、前記撮影画像に含まれるタイヤを抽出するタイヤ抽出手段、及び
前記タイヤの抽出結果に基づいて、前記車両の車軸数を特定する車軸数特定手段、
として機能させるプログラム。 - 車軸数検出装置のコンピュータを、
車両のタイヤを含む撮影画像を撮影する撮影装置から前記撮影画像を取得する画像取得手段、
前記画像取得手段が取得した前記撮影画像と、車両のタイヤを含む画像であって予め記憶部に記憶された複数の参照画像と、のパターンマッチング処理を行い、前記撮影画像に含まれるタイヤを抽出するタイヤ抽出手段、
前記タイヤの抽出結果に基づいて、前記車両の車軸数を特定する車軸数特定手段、
前記車両が走行する車線の所定位置に埋設された踏板を通じて、当該車線を走行する車両による前記踏板の踏み付け回数を取得する踏み付け回数取得手段、及び
前記踏み付け回数取得部が取得した前記踏み付け回数と、前記車軸数特定手段が特定した車軸数の特定結果と、に基づいて、前記パターンマッチング処理に用いる判定条件を調整するパターンマッチング処理学習手段、
として機能させるプログラム。 - 車軸数検出装置のコンピュータを、
車両のタイヤを含む撮影画像を撮影する撮影装置から前記撮影画像を取得する画像取得手段、
前記画像取得手段が取得した前記撮影画像と、車両のタイヤを含む画像であって予め記憶部に記憶された複数の参照画像と、のパターンマッチング処理を行い、前記撮影画像に含まれるタイヤを抽出するタイヤ抽出手段、及び
前記タイヤの抽出結果に基づいて、前記車両の車軸数を特定する車軸数特定手段、
として機能させ、
前記画像取得手段は、前記車両の車体の車線方向における、異なる一部がそれぞれ撮影された複数の撮影画像を取得し、
前記タイヤ抽出手段は、複数の前記撮影画像の各々に含まれる前記タイヤを抽出し、
前記車軸数特定手段は、
複数の前記撮影画像の各々に含まれるタイヤの数を数えるタイヤ計数手段と、
一の前記撮影画像に含まれるタイヤと他の前記撮影画像に含まれるタイヤとが同一のタイヤか否かを判定する同一タイヤ判定手段と、を有し、
前記タイヤ計数手段は、前記同一タイヤ判定手段が同一と判定した複数のタイヤについては一のタイヤとみなして前記タイヤの数を数える
プログラム。 - 車軸数検出装置のコンピュータを、
車両のタイヤを含む撮影画像を撮影する撮影装置から前記撮影画像を取得する画像取得手段、
前記画像取得手段が取得した前記撮影画像と、車両のタイヤを含む画像であって予め記憶部に記憶された複数の参照画像と、のパターンマッチング処理を行い、前記撮影画像に含まれるタイヤを抽出するタイヤ抽出手段、
前記タイヤの抽出結果に基づいて、前記車両の車軸数を特定する車軸数特定手段、
として機能させ、
前記画像取得手段は、前記車両の車体の車線方向における全部が撮影された一つの撮影画像を取得し、
前記タイヤ抽出手段は、前記一つの撮影画像に含まれる前記タイヤを抽出し、
前記車軸数特定手段は、前記一つの撮影画像に含まれる全てのタイヤの数を数えるタイヤ計数手段を有する
プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015042516A JP6569138B2 (ja) | 2015-03-04 | 2015-03-04 | 車軸数検出装置、車種判別システム、車軸数検出方法及びプログラム |
MYPI2017703158A MY187840A (en) | 2015-03-04 | 2016-03-02 | Vehicle-axle-number detection device, vehicle-type determination system, vehicle-axle-number detection method, and program |
PCT/JP2016/056383 WO2016140250A1 (ja) | 2015-03-04 | 2016-03-02 | 車軸数検出装置、車種判別システム、車軸数検出方法及びプログラム |
KR1020177024135A KR20170109018A (ko) | 2015-03-04 | 2016-03-02 | 차축 수 검출 장치, 차종 판별 시스템, 차축 수 검출 방법 및 프로그램 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015042516A JP6569138B2 (ja) | 2015-03-04 | 2015-03-04 | 車軸数検出装置、車種判別システム、車軸数検出方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016162354A JP2016162354A (ja) | 2016-09-05 |
JP6569138B2 true JP6569138B2 (ja) | 2019-09-04 |
Family
ID=56845168
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015042516A Active JP6569138B2 (ja) | 2015-03-04 | 2015-03-04 | 車軸数検出装置、車種判別システム、車軸数検出方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP6569138B2 (ja) |
KR (1) | KR20170109018A (ja) |
MY (1) | MY187840A (ja) |
WO (1) | WO2016140250A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6828587B2 (ja) * | 2017-05-22 | 2021-02-10 | トヨタ自動車株式会社 | 画像処理システム、画像処理方法、情報処理装置及び記録媒体 |
WO2019064682A1 (ja) | 2017-09-26 | 2019-04-04 | パナソニックIpマネジメント株式会社 | リフトアップ判定装置、及びリフトアップ判定方法 |
WO2019087444A1 (ja) * | 2017-10-31 | 2019-05-09 | パナソニックIpマネジメント株式会社 | ダブルタイヤ判定装置、及びダブルタイヤ判定方法 |
JP2019197314A (ja) * | 2018-05-08 | 2019-11-14 | 株式会社東芝 | 車種判別装置及び車種判別方法 |
KR102097673B1 (ko) * | 2019-04-29 | 2020-04-06 | 주식회사에스에이티 | 차량의 측면 영상을 이용한 차량 정보 획득 시스템 및 방법 |
JP6900448B2 (ja) * | 2019-10-28 | 2021-07-07 | 龍一 今井 | 車推定装置 |
JP7425645B2 (ja) * | 2020-03-26 | 2024-01-31 | 三菱重工機械システム株式会社 | 車軸数検出装置、料金収受システム、車軸数検出方法、及びプログラム |
US11961335B1 (en) * | 2020-06-26 | 2024-04-16 | Harris County Toll Road Authority | Dual mode electronic toll road system |
KR102573990B1 (ko) * | 2022-11-08 | 2023-09-06 | 한국건설기술연구원 | 듀얼 카메라를 이용한 차축 검지 및 차종 분류 시스템 및 방법 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08233525A (ja) * | 1995-02-24 | 1996-09-13 | Hitachi Ltd | 車種判別装置 |
-
2015
- 2015-03-04 JP JP2015042516A patent/JP6569138B2/ja active Active
-
2016
- 2016-03-02 KR KR1020177024135A patent/KR20170109018A/ko not_active Application Discontinuation
- 2016-03-02 WO PCT/JP2016/056383 patent/WO2016140250A1/ja active Application Filing
- 2016-03-02 MY MYPI2017703158A patent/MY187840A/en unknown
Also Published As
Publication number | Publication date |
---|---|
KR20170109018A (ko) | 2017-09-27 |
JP2016162354A (ja) | 2016-09-05 |
WO2016140250A1 (ja) | 2016-09-09 |
MY187840A (en) | 2021-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6569138B2 (ja) | 車軸数検出装置、車種判別システム、車軸数検出方法及びプログラム | |
JP4813987B2 (ja) | 車種判別装置を要しない料金自動収受システム | |
RU2658204C2 (ru) | Устройство для систем сбора дорожных пошлин или телематических систем | |
JP5781638B2 (ja) | 入口料金収受施設、出口料金収受施設、料金収受システム、通行券発行方法及びプログラム | |
JP6627183B2 (ja) | 同一車両検出装置、料金収受設備、同一車両検出方法及びプログラム | |
KR101880243B1 (ko) | 차량번호와 하이패스 단말고유번호의 매칭 정확도를 향상시킨 다차로 기반 하이패스 시스템 | |
KR101396526B1 (ko) | 고속도로 통행권 교환 단속 시스템 및 그 방법 | |
JP6535938B2 (ja) | 料金収受設備、料金収受方法及びプログラム | |
KR101819568B1 (ko) | 전기차 및 하이패스 인식에 따른 주차 관리 시스템 운영 방법 | |
JP2014048964A (ja) | 駐車場システム | |
JP3004501B2 (ja) | 車種判別装置 | |
JP2009048225A (ja) | 車両認識装置及び車両認識方法 | |
KR20020032049A (ko) | 요금 징수방법 | |
JP5517669B2 (ja) | 料金自動収受機およびその処理方法 | |
KR101363176B1 (ko) | 전자 요금 징수 시스템 및 방법 | |
JP6584001B2 (ja) | 料金収受機、料金収受システム、統計システム、料金収受方法及びプログラム | |
JP2010218482A (ja) | 不正車両検出装置及び不正車両検出プログラム及び記録媒体 | |
JP3562417B2 (ja) | 自動料金収受システム | |
JP6300011B2 (ja) | 料金機械及びこれを備える料金所設備 | |
JP7097193B2 (ja) | 料金収受システム、及び料金収受方法 | |
JP2024015738A (ja) | 車両監視システム、車両監視装置、及び車両監視方法 | |
CN111833469B (zh) | 应用于收费站点的车辆计费方法及*** | |
JP2017041095A (ja) | 料金収受機、料金収受システム、料金収受方法及びプログラム | |
JP2024081293A (ja) | 情報処理装置、情報処理方法、情報処理プログラム、情報処理システム | |
JP2007058608A (ja) | 駐車場案内装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20150305 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20160323 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20160324 |
|
A625 | Written request for application examination (by other person) |
Free format text: JAPANESE INTERMEDIATE CODE: A625 Effective date: 20171218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181016 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181102 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20181217 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190709 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190717 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6569138 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |