JP5962442B2 - 標識認識システム、標識認識方法、及び標識認識プログラム - Google Patents
標識認識システム、標識認識方法、及び標識認識プログラム Download PDFInfo
- Publication number
- JP5962442B2 JP5962442B2 JP2012243159A JP2012243159A JP5962442B2 JP 5962442 B2 JP5962442 B2 JP 5962442B2 JP 2012243159 A JP2012243159 A JP 2012243159A JP 2012243159 A JP2012243159 A JP 2012243159A JP 5962442 B2 JP5962442 B2 JP 5962442B2
- Authority
- JP
- Japan
- Prior art keywords
- sign
- recognition
- recognition target
- feature
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
また、領域設定手段は、地物特定手段にて特定された地物の位置及び種類と、位置情報取得手段にて取得された位置情報とに基づいて、存在予測領域を設定するので、存在予測領域を一層正確に設定することが可能になり、認識対象標識の認識精度を一層向上させることができる。
また、地物は、認識対象標識以外の標識である非認識対象標識であるので、非認識対象標識以外の地物に比べて、存在予測領域を正確に設定することが可能になり、認識対象標識の認識精度をさらに一層向上させることができる。
まず、本実施の形態に係る標識認識システムの構成を説明する。図1は、本実施の形態に係る標識認識システムを例示するブロック図である。図1に示すように、標識認識システム1は、カメラ10、操作部20、ディスプレイ30、スピーカ40、及び標識認識装置50を備えている。ここで、「標識」とは、車両の走行を案内するための標識であって、所定形状の外枠の内側に、案内に対応した所定の記号(例えば文字や図形)を表示することによって構成されており、一時停止等を案内する「道路標識」や、一時停止の時間帯等を案内する「補助標識」等を含む概念である。なお、以下において、標識の「外枠形状」とは、標識を構成する板状体の外縁の形状と、この板状体の表面にペイントされた枠線の形状とを含む。
カメラ10は、自己の車両(以下、自車と称する)の前方を撮影する撮影手段である。このカメラ10は、例えば自車の前端部に少なくとも1台設置され、自車の前方を撮影する。カメラ10が撮影した画像データ(例えば2次元の画像データ等)は、制御部60に入力される。なお、カメラ10の具体的な構成は任意で、例えばCMOSイメージセンサやCCDイメージセンサ等の公知の撮像素子、及びレンズやプリズム等の公知の光学系部品を用いて構成されている。
操作部20は、ユーザによる操作入力を受け付ける操作手段である。この操作手段としては、例えば、タッチパネル、リモートコントローラの如き遠隔操作手段、あるいはハードスイッチ等、公知の操作手段を用いることができる。
ディスプレイ30は、制御部60の制御に基づいて各種の画像を表示する表示手段である。このディスプレイ30としては、例えば、公知の液晶ディスプレイや有機ELディスプレイの如きフラットパネルディスプレイを用いることができる。
スピーカ40は、制御部60の制御に基づいて各種の音声を出力する出力手段である。スピーカ40より出力される音声の具体的な態様は任意であり、必要に応じて生成された合成音声や、予め録音された音声を出力することができる。
標識認識装置50は、標識を画像認識するための装置であり、制御部60、及びデータ記録部70を備えている。
制御部60は、標識認識装置50を制御する制御手段であり、具体的には、CPU、当該CPU上で解釈実行される各種のプログラム(OSなどの基本制御プログラムや、OS上で起動され特定機能を実現するアプリケーションプログラムを含む)、及びプログラムや各種のデータを格納するためのRAMの如き内部メモリを備えて構成されるコンピュータである。特に、本実施の形態に係る標識認識プログラムは、任意の記録媒体又はネットワークを介して標識認識システム1にインストールされることで、制御部60の各部を実質的に構成する。尚、本実施の形態では、標識認識システムとしてナビゲーション装置を適用しているため、制御部60もナビゲーション装置のコンピュータである。従って、図示されてはいないが、ナビゲーション装置において周知である現在地の検出、施設検索、ルート探索、及びルート案内などの機能も備えている。無論、これらの機能において必要なセンサ類(例えば、GPSやジャイロセンサ、速度センサなど)やデータ類(地図データベース、施設データベースなど)も図示されていないが備えている。
データ記録部70は、標識認識装置50の動作に必要なプログラム及び各種のデータを記録する記録手段であり、例えば、外部記録装置としてのハードディスク(図示省略)を用いて構成されている。ただし、ハードディスクに代えてあるいはハードディスクと共に、磁気ディスクの如き磁気的記録媒体、又はDVDやブルーレイディスクの如き光学的記録媒体を含む、その他の任意の記録媒体を用いることができる。
次に、このように構成される標識認識システム1によって実行される標識認識処理について説明する。図4は、標識認識処理のフローチャートである(以下の各処理の説明ではステップを「S」と略記する)。図5、図6は、存在予測領域のパターンを例示した図である。この標識認識処理は、認識対象標識を画像認識するための処理であり、例えば標識認識システム1への電源投入後に所定周期にて繰り返し実行される。なお、以下の処理の説明において、制御主体を特記しない処理については、制御部60にて実行されるものとし、情報の取得元や取得経路を特記しない場合については、公知のタイミング及び公知の方法にて、データ記録部70に予め格納されており、あるいは、操作部20を介してユーザ等によって入力されるものとする。
次に、存在予測領域設定処理について説明する。図7は、存在予測領域設定処理のフローチャートである。存在予測領域設定処理は、存在予測領域を設定するための処理である。
このように本実施の形態によれば、標識認識部62bは、認識対象標識の外枠を画像認識することができない場合であっても、領域設定部62dにより設定された存在予測領域の内部における記号を画像認識することで、認識対象標識を認識するので、認識対象標識の外形を認識し難い状況においても、認識対象標識を確実に認識することが可能になり、認識対象標識の認識精度を向上させることができる。また、取得した画像内の領域の全てに対して、標識の内部における記号を画像認識する場合と比較して、処理負荷を低減することができる。
以上、本発明に係る実施の形態について説明したが、本発明の具体的な構成及び手段は、特許請求の範囲に記載した各発明の技術的思想の範囲内において、任意に改変及び改良することができる。以下、このような変形例について説明する。
まず、発明が解決しようとする課題や発明の効果は、上述の内容に限定されるものではなく、発明の実施環境や構成の細部に応じて異なる可能性があり、上述した課題の一部のみを解決したり、上述した効果の一部のみを奏することがある。例えば、標識認識部62bが従来より認識対象標識を正確に認識できない場合であっても、認識対象標識の認識を従来とは異なる技術により従来と同様に達成できている場合には、本願発明の課題が解決されている。
また、上述した各電気的構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散や統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散や統合して構成できる。例えば、標識認識システム1の各構成要素の一部を端末に配置すると共に、標識認識システム1の各構成要素の他の一部をサーバに配置して、これら端末とサーバを任意のネットワークを介して相互に接続してもよい。また、制御部60に備えられたCPUがカメラCPUと、ナビCPUとを備えて構成されている場合に、例えば制御部60の各構成要素の一部をカメラCPUに配置し、制御部60の各構成要素の他の一部をナビCPUに配置してもよい。
上記の実施の形態では、カメラ10は、自車の前方を撮影すると説明したが、自車の前方以外の方向を撮影してもよく、例えば、自車の後方、右方、又は左方を撮影してもよい。あるいは、自車の前方、後方、右方、左方のすべてを撮影してもよい。
上記の実施の形態では、認識対象標識の種類を特定するために、SA1〜SA3の処理が行われると説明したが、認識の対象として特定された標識であればよいので、例えば、これらSA1〜SA3の処理に代えて、操作部20を介してユーザによって設定された標識の種類が、対象認識標識の種類として特定されてもよい。
上記の実施の形態では、SB1において、非認識対象標識の外枠形状が検出されたか否かを判定されると説明したが、例えば非認識対象標識以外の地物の外枠形状、あるいは非認識対象標識及び非認識対象標識以外の地物の外枠形状が検出されてもよい。この場合において、例えば、SB2〜SB4の処理が省略され、SB5において、SB1の検出結果に基づいて非認識対象標識以外の地物が特定される。そして、SB6において、SB5にて特定された非認識対象標識以外の地物の位置に基づいて、存在予測領域が特定される。
(付記)
付記1の標識認識システムは、標識の外枠を画像認識し、当該画像認識した外枠の内部における記号を画像認識することで、前記標識を認識する標識認識手段を備える標識認識システムであって、地物の位置を特定する地物特定手段と、前記地物特定手段にて特定された地物の位置に基づいて、当該地物の周辺において認識対象標識が存在することが予測される領域である存在予測領域を設定する領域設定手段と、をさらに備え、前記標識認識手段は、前記認識対象標識の外枠を画像認識することができない場合には、前記領域設定手段により設定された存在予測領域の内部における記号を画像認識することで、前記認識対象標識を認識する。
付記2の標識認識システムは、付記1に記載の標識認識システムにおいて、前記地物の種類と、当該地物の周辺に存在することが予測される前記認識対象標識の位置とを、相互に対応させるための位置情報を取得する位置情報取得手段を備え、前記地物特定手段は、前記地物の位置及び種類を特定し、前記領域設定手段は、前記地物特定手段にて特定された地物の位置及び種類と、前記位置情報取得手段にて取得された位置情報とに基づいて、前記存在予測領域を設定する。
付記3の標識認識システムは、付記1又は2に記載の標識認識システムにおいて、前記地物の種類と、当該地物の周辺に存在することが予測される前記認識対象標識の種類とを、相互に対応させるための種類情報を取得する種類情報取得手段を備え、前記地物特定手段は、前記地物の位置及び種類を特定し、前記標識認識手段は、前記地物特定手段にて特定された地物の種類と、前記種類情報取得手段にて取得された種類情報とに基づいて、前記認識対象標識の種類を特定する。
付記4の標識認識システムは、付記1から3のいずれか一項に記載の標識認識システムにおいて、当該標識認識システムが設置された車両の走行環境と、当該走行環境において当該車両の周辺に存在することが予測される前記認識対象標識の種類とを、相互に対応させるための環境情報を取得する環境情報取得手段と、前記走行環境を特定する走行環境特定手段とを備え、前記標識認識手段は、前記走行環境特定手段にて特定された走行環境と、前記環境情報取得手段にて取得された環境情報とに基づいて、前記認識対象標識の種類を特定する。
付記5の標識認識システムは、付記1から4のいずれか一項に記載の標識認識システムにおいて、前記地物は、認識対象標識以外の標識である非認識対象標識である。
付記6の標識認識システムは、付記5に記載の標識認識システムにおいて、前記地物特定手段は、前記標識認識手段が前記非認識対象標識の外枠を画像認識し、当該画像認識した外枠の内部における記号を画像認識することにより認識した前記非認識対象標識を、前記地物として特定し、前記領域設定手段は、前記地物特定手段にて特定された前記非認識対象標識の位置に基づいて、当該前記非認識対象標識の周辺において認識対象標識が存在することが予測される領域である存在予測領域を設定し、前記標識認識手段は、前記領域設定手段にて前記存在予測領域が設定された場合には、当該設定された存在予測領域の内部における記号を画像認識することで、前記認識対象標識を認識する。
付記7の標識認識方法は、標識の外枠を画像認識し、当該画像認識した外枠の内部における記号を画像認識することで、前記標識を認識する標識認識ステップを含む標識認識方法であって、地物の位置を特定する地物特定ステップと、前記地物特定ステップにおいて特定された地物の位置に基づいて、当該地物の周辺において認識対象標識が存在することが予測される領域である存在予測領域を設定する領域設定ステップと、をさらに含み、前記標識認識ステップにおいて、前記認識対象標識の外枠を画像認識することができない場合には、前記領域設定ステップにおいて設定された存在予測領域の内部における記号を画像認識することで、前記認識対象標識を認識する。
付記8の標識認識プログラムは、付記7に記載の方法をコンピュータに実行させる標識認識プログラムである。
(付記の効果)
付記1に記載の標識認識システム、請求項7に記載の標識認識方法、及び請求項8に記載の標識認識プログラムによれば、標識認識手段は、認識対象標識の外枠を画像認識することができない場合には、領域設定手段により設定された存在予測領域の内部における記号を画像認識することで、認識対象標識を認識するので、認識対象標識の外形を認識し難い状況においても、認識対象標識を確実に認識することが可能になり、認識対象標識の認識精度を向上させることができる。
付記2に記載の標識認識システムによれば、領域設定手段は、地物特定手段にて特定された地物の位置及び種類と、位置情報取得手段にて取得された位置情報とに基づいて、存在予測領域を設定するので、存在予測領域を一層正確に設定することが可能になり、認識対象標識の認識精度を一層向上させることができる。
付記3に記載の標識認識システムによれば、標識認識手段は、地物特定手段にて特定された地物の種類と、種類情報取得手段にて取得された種類情報とに基づいて、認識対象標識の種類を特定するので、例えば、記号を画像認識するためのロジックが複数設けられている場合でも、特定された認識対象標識の種類に応じたロジックを選択して処理することができ、認識対象標識を一層正確に認識することが可能になる。
付記4に記載の標識認識システムによれば、標識認識手段は、走行環境特定手段にて特定された走行環境と、環境情報取得手段にて取得された環境情報とに基づいて、認識対象標識の種類を特定するので、自車の走行環境に応じた認識対象標識を様々な状況に合わせて選択することができ、例えば、記号を画像認識するためのロジックが複数設けられている場合でも、特定された認識対象標識の種類に応じたロジックを選択して処理することができ、認識対象標識を一層正確に認識することが可能になる。
付記5に記載の標識認識システムによれば、地物は、認識対象標識以外の標識である非認識対象標識であるので、非認識対象標識以外の地物に比べて、存在予測領域を正確に設定することが可能になり、認識対象標識の認識精度をさらに一層向上させることができる。
付記6に記載の標識認識システムによれば、地物特定手段は、標識認識手段が非認識対象標識の外枠を画像認識し、当該画像認識した外枠の内部における記号を画像認識することにより認識した非認識対象標識を、地物として特定し、領域設定手段は、地物特定手段としての標識認識手段にて特定された非認識対象標識の位置に基づいて、当該非認識対象標識の周辺において認識対象標識が存在することが予測される領域である存在予測領域を設定し、標識認識手段は、領域設定手段にて存在予測領域が設定された場合には、当該設定された存在予測領域の内部における記号を画像認識することで、認識対象標識を認識するので、認識された非認識対象標識の位置に基づいて存在予測領域を設定することができ、存在予測領域をさらに一層正確に設定することが可能になる。
10 カメラ
20 操作部
30 ディスプレイ
40 スピーカ
50 標識認識装置
60 制御部
61 情報取得部
61a 位置情報取得部
61b 種類情報取得部
61c 環境情報取得部
62 画像認識部
62a 走行環境特定部
62b 標識認識部
62c 地物特定部
62d 領域設定部
63 案内部
70 データ記録部
71 標識基本情報テーブル
72 標識関連情報テーブル
73 環境情報テーブル
Claims (6)
- 標識の外枠を画像認識し、当該画像認識した外枠の内部における記号を画像認識することで、前記標識を認識する標識認識手段を備える標識認識システムであって、
地物の位置を特定する地物特定手段と、
前記地物特定手段にて特定された地物の位置に基づいて、当該地物の周辺において認識対象標識が存在することが予測される領域である存在予測領域を設定する領域設定手段と、
前記地物の種類と、当該地物の周辺に存在することが予測される前記認識対象標識の位置とを、相互に対応させるための位置情報であって、上方、下方、左方、又は右方への標識サイズに対応した距離による、前記認識対象標識以外の標識である非認識対象標識に対する前記認識対象標識の相対的な位置又はこれらの組合せを特定する位置情報を取得する位置情報取得手段と、をさらに備え、
前記地物は、前記非認識対象標識であり、
前記地物特定手段は、前記非認識対象標識の位置及び種類を特定し、
前記領域設定手段は、前記地物特定手段にて特定された前記非認識対象標識の位置及び種類と、前記位置情報取得手段にて取得された前記位置情報とに基づいて、前記存在予測領域を設定し、
前記標識認識手段は、前記認識対象標識の外枠を画像認識することができない場合には、前記領域設定手段により設定された前記存在予測領域の内部における記号を画像認識することで、前記認識対象標識を認識する、
標識認識システム。 - 前記地物の種類と、当該地物の周辺に存在することが予測される前記認識対象標識の種類とを、相互に対応させるための種類情報を取得する種類情報取得手段を備え、
前記地物特定手段は、前記非認識対象標識の位置及び種類を特定し、
前記標識認識手段は、前記地物特定手段にて特定された前記非認識対象標識の種類と、前記種類情報取得手段にて取得された種類情報とに基づいて、前記認識対象標識の種類を特定する、
請求項1に記載の標識認識システム。 - 当該標識認識システムが設置された車両の走行環境と、当該走行環境において当該車両の周辺に存在することが予測される前記認識対象標識の種類とを、相互に対応させるための環境情報を取得する環境情報取得手段と、
前記走行環境を特定する走行環境特定手段と、を備え、
前記標識認識手段は、前記走行環境特定手段にて特定された走行環境と、前記環境情報取得手段にて取得された環境情報とに基づいて、前記認識対象標識の種類を特定する、
請求項1又は2に記載の標識認識システム。 - 前記地物特定手段は、前記標識認識手段が前記非認識対象標識の外枠を画像認識し、当該画像認識した外枠の内部における記号を画像認識することにより認識した前記非認識対象標識を、前記地物として特定し、
前記領域設定手段は、前記地物特定手段にて特定された前記非認識対象標識の位置に基づいて、当該非認識対象標識の周辺において前記認識対象標識が存在することが予測される領域である存在予測領域を設定し、
前記標識認識手段は、前記領域設定手段にて前記存在予測領域が設定された場合には、当該設定された存在予測領域の内部における記号を画像認識することで、前記認識対象標識を認識する、
請求項1から3のいずれか一項に記載の標識認識システム。 - 標識の外枠を画像認識し、当該画像認識した外枠の内部における記号を画像認識することで、前記標識を認識する標識認識ステップを含む標識認識方法であって、
地物の位置を特定する地物特定ステップと、
前記地物特定ステップにおいて特定された地物の位置に基づいて、当該地物の周辺において認識対象標識が存在することが予測される領域である存在予測領域を設定する領域設定ステップと、
前記地物の種類と、当該地物の周辺に存在することが予測される前記認識対象標識の位置とを、相互に対応させるための位置情報であって、上方、下方、左方、又は右方への標識サイズに対応した距離による、前記認識対象標識以外の標識である非認識対象標識に対する前記認識対象標識の相対的な位置又はこれらの組合せを特定する位置情報を取得する位置情報取得ステップと、をさらに含み、
前記地物は、前記非認識対象標識であり、
前記地物特定ステップにおいて、前記非認識対象標識の位置及び種類を特定し、
前記領域設定ステップにおいて、前記地物特定ステップにおいて特定された前記非認識対象標識の位置及び種類と、前記位置情報取得ステップにおいて取得された前記位置情報とに基づいて、前記存在予測領域を設定し、
前記標識認識ステップにおいて、前記認識対象標識の外枠を画像認識することができない場合には、前記領域設定ステップにおいて設定された存在予測領域の内部における記号を画像認識することで、前記認識対象標識を認識する、
標識認識方法。 - 請求項5に記載の方法をコンピュータに実行させる標識認識プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012243159A JP5962442B2 (ja) | 2012-11-02 | 2012-11-02 | 標識認識システム、標識認識方法、及び標識認識プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012243159A JP5962442B2 (ja) | 2012-11-02 | 2012-11-02 | 標識認識システム、標識認識方法、及び標識認識プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014092936A JP2014092936A (ja) | 2014-05-19 |
JP5962442B2 true JP5962442B2 (ja) | 2016-08-03 |
Family
ID=50936967
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012243159A Active JP5962442B2 (ja) | 2012-11-02 | 2012-11-02 | 標識認識システム、標識認識方法、及び標識認識プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5962442B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6833750B2 (ja) * | 2018-03-19 | 2021-02-24 | 株式会社東芝 | 認識装置、車両システム及びプログラム |
JP7138718B2 (ja) | 2018-10-30 | 2022-09-16 | 三菱電機株式会社 | 地物検出装置、地物検出方法および地物検出プログラム |
JP6799091B2 (ja) * | 2019-01-11 | 2020-12-09 | 名古屋電機工業株式会社 | 表示装置および表示方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4557288B2 (ja) * | 2005-01-28 | 2010-10-06 | アイシン・エィ・ダブリュ株式会社 | 画像認識装置及び画像認識方法、並びにそれを用いた位置特定装置、車両制御装置及びナビゲーション装置 |
JP5327241B2 (ja) * | 2011-02-02 | 2013-10-30 | 株式会社デンソー | 物体識別装置 |
-
2012
- 2012-11-02 JP JP2012243159A patent/JP5962442B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014092936A (ja) | 2014-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4940168B2 (ja) | 駐車スペース認識装置 | |
JP5569365B2 (ja) | 案内装置、案内方法、及び案内プログラム | |
JP6688090B2 (ja) | 物体認識装置および物体認識方法 | |
CN104778190B (zh) | 用于取得地图的方法和电子装置 | |
JP2018501543A (ja) | 現在存在する走行状況を特定するための方法及び装置 | |
CN112313137B (zh) | 行驶信息处理装置和处理方法 | |
JP5078677B2 (ja) | ナビゲーションシステム | |
JP2015146119A (ja) | 標識認識装置、通行区分および距離単位判定方法 | |
JP6224344B2 (ja) | 情報処理装置、情報処理方法並びに情報処理システム及び情報処理プログラム | |
JP5962442B2 (ja) | 標識認識システム、標識認識方法、及び標識認識プログラム | |
KR102074209B1 (ko) | 운전 주의 정보 안내 장치 및 방법 | |
JP2006317286A (ja) | 車載ナビゲーション装置 | |
JP2018072069A (ja) | 地図データ構造、送信装置及び地図表示装置 | |
JP2017062706A (ja) | 走行支援システム、走行支援方法及びコンピュータプログラム | |
JP5327241B2 (ja) | 物体識別装置 | |
JP4482794B2 (ja) | 交通標識識別装置および交通標識識別方法 | |
JP2007071539A (ja) | 車載ナビゲーション装置 | |
JP2020119515A (ja) | 設置物認識システム及びそのプログラム | |
JP2014145666A (ja) | 走行案内システム、走行案内方法及びコンピュータプログラム | |
JP2011174723A (ja) | 案内誘導装置及び案内誘導方法 | |
TWI451990B (zh) | 車道定位系統、車道定位方法及路面標記 | |
JP5573266B2 (ja) | 車両用対象物画像認識装置、車両用対象物画像認識方法及びコンピュータプログラム | |
JP2008139157A (ja) | 車載用ナビゲーション装置 | |
JP4220354B2 (ja) | 他車位置表示装置及び他車情報提示方法 | |
JP2008292279A (ja) | 文字認識によるデータベース更新を行うナビゲーション装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150320 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160315 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160513 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160531 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160613 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5962442 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |