JP6016411B2 - 進入者検知システム、進入者検知方法、および進入者検知プログラム - Google Patents
進入者検知システム、進入者検知方法、および進入者検知プログラム Download PDFInfo
- Publication number
- JP6016411B2 JP6016411B2 JP2012081404A JP2012081404A JP6016411B2 JP 6016411 B2 JP6016411 B2 JP 6016411B2 JP 2012081404 A JP2012081404 A JP 2012081404A JP 2012081404 A JP2012081404 A JP 2012081404A JP 6016411 B2 JP6016411 B2 JP 6016411B2
- Authority
- JP
- Japan
- Prior art keywords
- intruder
- person
- toll gate
- intruder detection
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Devices For Checking Fares Or Tickets At Control Points (AREA)
- Burglar Alarm Systems (AREA)
- Alarm Systems (AREA)
Description
この場合、例えば、車線の間のアイランド上に設けられたブース内で料金収受の対応をしている係員が進入者を発見した場合、声をかけることで注意喚起を行ったり、安全な場所までの退避を呼びかる等の処置がとられている。
また、鉄道の踏切に代表される進入禁止場所を撮像し、撮像した画像から進入禁止場所に進入者が進入していることを認識する技術がある(例えば、特許文献1参照)。
近年、料金所にはETC専用の走行レーンや自動料金収受機が普及してきており、省人化および無人化の進むなかで、料金所に配置される収受員の人数も減少しきているため、進入者の対応をできる人が少なくなってきている。また、料金所の車線と事務所とは離れて設置されることが多く、事務所から料金所に駆けつけるまでに時間がかかり、迅速に対応できない場合が多い。
このため、料金所の運営に問題が生じ、車線を一時的に封鎖したり、安全が十分に確保できなくなるおそれがある。
これにより、案内制御が不要となる料金所の関係者に対しては案内制御を実行せずにすむ。このため、不要に係員が料金所に呼び出される事態を回避することができる。
また、本発明の一態様による進入検知システムにおいて、前記案内制御装置は、前記進入者が前記料金所の関係者の有する特徴を含まない者であると判定した場合、前記進入者を安全な場所に退避させるための誘導制御と、前記検知結果に対応する走行レーンへの車両の進入を禁止するための規制制御との両方を実行する。
作業員のヘルメットや作業服には、料金所に進入する車両が作業員を見つけやすくするため、発光材や反射材が取り付けられている場合が多い。このような作業者を判別する際に、濃度が閾値以上の領域を検出する方法が有効である。
作業員のヘルメットや作業服には、安全第一や、白黒のストライプの模様、あるいは、作業員の会社名等が印刷されている場合が多い。このような作業者を判別する際に、特定の模様あるいは文字を検出する方法が有効である。
前記撮像装置によって撮像された撮像画像内から検出された人の形状を示す画像領域のうち、特定の色を含む画像領域が予め決められた閾値以上の割合で含まれている場合、前記撮像装置によって撮像されたエリア内に前記料金所の関係者がいると判定する。
同じ会社の作業服であれば、全ての作業員の作業服に同じ色である場合が多い。このような作業者を判別する際に、特定の色を検出する方法が有効である。
作業員のヘルメットや作業服には、料金所に進入する車両が作業員を見つけやすくするため、発光材や反射材が取り付けられている場合が多い。このような作業者を判別する際に、濃度が閾値以上の領域を検出する方法が有効である。
本発明の実施形態について図面を参照して詳細に説明する。図1は、本実施形態に係る進入者検知システム1の構成を示すブロック図である。なお、ここでは、本実施形態に係る進入者検知システム1の制御系の構成例について説明する。
図1に示す通り、車線制御サーバ100は、進入者検知装置200に含まれるカメラ201およびセンサ202と、車線制御装置300に含まれるスピーカー301、横断遮断機302、信号機303、および発進制御機304と、それぞれ接続されている。また、車線制御サーバ100は、ネットワークを介して監視サーバ400と接続されている。
この車線制御サーバ100、例えば、各車線の車線制御装置300に含まれる各機器を制御するサーバである。本実施形態において、車線制御サーバ100は、車線毎に用意され、車線毎に車両の交通を制御するために車線制御装置300に含まれる各機器に対して制御信号を出力するサーバである。なお、本発明はこれに限られず、車線制御サーバ100は、複数の車線を制御するものであってもよい。
この進入者検知システム1は、例えば高速道路等の有料道路の料金所に進入した進入者を安全に案内するためのシステムである。
カメラ201は、例えば、料金所に進入する車両が通過する車線を撮像する車線監視カメラ211と、料金所内のアイランドを撮像するアイランドカメラ212とを含む。この車線監視カメラ211の上には、車線付近を照らす照明手段211aが取り付けられている。また、アイランドカメラ212の上には、アイランドを照らす照明手段212aが取り付けられている。この照明手段211a、212aは、例えばハロゲンランプであって、車線監視カメラ211あるいはアイランドカメラ212の光軸とほぼ同じ光軸を向くように設置される。
このカメラ201が撮像した撮像画像のデータは、車線制御サーバ100に出力される。なお、このカメラ201が撮像した撮像画像は、所定の画像処理手段によってディジタル化され、車線制御サーバ100に転送される。そして、車線制御サーバ100は、この撮像画像のデータに基づき、撮像画像内に含まれる予め登録された車両もしくは人の特徴量と類似する特徴量を有する部分を、公知のパターン認識技術等により検出する。なお、詳細については後述する。
センサ202は、料金所に進入する車両や人を検出するセンサである。このセンサ202は、例えば、反射型光電センサであって、車線方向と直交する方向にセンサ光を出射する発光部と、このセンサ光が計測対象物で反射した反射光を受光する受光部からなる。この受光部は、発光部側に設けられ、車線上に存在する物体から反射するセンサ光を受光する。センサ202は、センサ光を受光するタイミングや光量等に基づき、車線上に存在する物体を検出したことを示す情報や、検出した物体までの距離、つまり、車線上での物体の位置を示す情報を車線制御サーバ100に出力される。
この車線制御装置300は、例えば、料金所に進入した進入者を出口や安全が確保された場所に誘導する進入者誘導手段と、進入者が存在する付近の走行レーンに車両が進入することを規制する車両規制手段とを備える。
この進入者誘導手段には、スピーカー301と、横断遮断機302とが含まれる。
スピーカー301は、料金自動収受機やインターフォンに設けられる既設の設備である。このスピーカー301は、走行レーンの近くに係員がいない場合であって、料金の支払いや通行券の発券等の際に、ドライバーが係員と会話をするときに用いられている。
横断遮断機302は、車線ごとに用意され、アイランド上に設けられている。この横断遮断機302は、遮断機が下げられている状態(閉状態)において、アイランドにいる人が走行レーンを通過することを規制するための機器である。また、横断遮断機302は、遮断機が上げられている状態(開状態)において、安全が確保されている走行レーンを人が通過させるための機器である。
信号機303は、走行レーン毎に用意され、走行ゲートの屋根部分(キャノピー)、ガントリ等に設置されている。この信号機303は、当該走行レーンに車両が進入可能なときは青色のランプを点灯させ、進入不可能なときは赤色のランプを点灯させる。
発進制御機304は、走行レーン毎に用意され、アイランドに設置されている。この発進制御機304は、一組の阻止棒を備え、阻止棒が下げられている状態(閉状態)において、車両が走行レーンを通過することを規制するための機器である。また、発進制御機304は、阻止棒が上げられている状態(開状態)において、車両を通過させるための機器である。
通信部101は、進入者検知装置200に含まれる各機器と、車線制御装置300に含まれる各機器と、例えばケーブルによって接続されている。また、通信部101は、監視サーバ400とネットワークを介して接続されている。通信部101は、接続されるカメラ201およびセンサ202からの出力信号を入力する。また、通信部101は、案内制御部104から出力される案内制御信号をスピーカー301、横断遮断機302、信号機303、発進制御機304、および監視サーバ400に出力する。
この画像処理部102は、例えば、車両の形状を示す特徴量を示す情報や、人の形状を示す特徴量を示す情報を記憶する記憶部105を参照して、撮像画像の中から車両や人を検出する。なお、画像処理部102は、パターン認識の技術を利用した画像処理に限られず、例えば、撮像画像内において動く移動体を検出し、予め決められた動きをする移動体を車両として検出し、予め決められた動き以外の動きをする移動体を進入者として検出するものであってもよい。
本実施形態において、料金所の関係者の有する特徴を示す情報を記憶部105に登録しておく。判定部103は、この記憶部105を参照して、画像処理部102の画像解析結果や、センサ202の出力情報が示す進入者が料金所の関係者の有する特徴を含むか否かを判定する。この判定部103は、例えば、料金所の関係者である作業員がよく着用する安全ベストや作業服を示す特徴を有する進入者を、料金所の関係者であると判定する。
判定部103は、進入者が料金所の関係者でないと判定した場合、検出した進入者が案内制御の必要な者であることを示す情報を案内制御部104に出力する。
本実施形態において案内制御部104は、誘導対象者である進入者(料金所の関係者以外の進入者)がいると判定部103によって判定された場合、この進入者を安全な場所に退避させるための誘導制御、あるいは危険な場所への進入者および車両の進入を禁止するための規制制御のうち少なくとも1つを含む案内制御を実行する。
また案内制御部104は、進入者が検出された場合、スピーカー301に対して、「誘導灯に従って出口まで退避してください」との誘導音声を出力させる。
さらに、案内制御部104は、進入者が検出された場合、進入者のいるアイランドから進入者が走行レーンに出ることを規制するように横断遮断機302を下げる制御をする。
また、案内制御部104は、進入者が検出された場合、進入者があることを示す警報を監視サーバ400に出力させる制御をする。
図2に示す通り、本実施形態に係る料金所には、複数の走行レーンが設けられており、例えば、第1走行レーン、第2走行レーン、および第3走行レーンが平行に設けられている。この第1走行レーン、第2走行レーン、および第3走行レーンには、それぞれ信号機303_1、303_2、303_3が設けられている。
この第1〜3走行レーンの両側には、車線制御装置300に含まれる各機器が設置されるアイランドが設けられている。
図示の例では、第1走行レーンの進入側に車両の通過する車線を撮像する車線監視カメラ211_1が設置されている。また、第2走行レーンの中間付近には、料金所内のアイランドを撮像するアイランドカメラ212_2が設置されている。さらに、第3走行レーンの発進側に車両の通過する車線を撮像する車線監視カメラ211_3が設置されている。
図3に示す通り、第2車両判定装置502_2は、第2走行レーンを挟んで第2走行レーンの両端に配置される複数のセンサ202を含む。このセンサ202は、例えば、第2走行レーンよりも一段高くなっているアイランドの側面に配置されているものであってもよい。
この第2車両判定装置502_2のセンサ202は、発光部が配置されているアイランド側に備えられ、発光部から出射し反射物に反射した光を受光する受光部を備える。この受光部は受光した光の光量を示す情報を出力する。
図4(a)に示す例において、作業員は、特定の色のヘルメットと作業服を着用している。例えば、作業員は、黄色のヘルメットと、青色の作業服を着用している。カメラ201がこの作業者を撮像した場合、この撮像画像データに基づき画像処理部102が画像処理により、例えば、撮像画像の明度や色相を抽出し、黄色の画像領域と青色の画像領域を検出する。パターン認識等によって、画像処理部102により検出された人の形状を示す画像領域の中に、この黄色の画像領域や青色の画像領域が予め決められた閾値以上の割合で含まれている場合、判定部103は、この人の形状を示す画像領域は、作業員を示す画像であって、カメラ201が撮像したエリアに作業員がいると判定する。
また、作業員のヘルメットや作業服には、安全第一や、白黒のストライプの模様、あるいは、作業員の会社名等が印刷されている場合が多い。また、同じ会社の作業服であれば、全ての作業員の作業服に同じ色や模様が施されている場合が多い。このような作業者を判別する際に、図4(a)、(c)を参照して説明したとおり、特定の色や模様や文字を検出する方法が有効である。
(ステップST1)
カメラ201は、撮像した撮像画像のデータを車線制御サーバ100に出力する。また、センサ202は、センサ光の検出結果を示す情報を車線制御サーバ100に出力する。車線制御サーバ100の画像処理部102は、カメラ201によって撮像された画像データに基づき、例えばパターン認識の技術を利用して、登録されている人の形状を示す特徴量と類似する対象物を撮像画像から検出する。
そして、車線制御サーバ100の判定部103は、カメラ201やセンサ202からの出力信号に基づき、進入者が料金所に存在しているか否かを判定する。
進入者が料金所内に存在していると判定した場合、判定部103は、この進入者が料金所の関係者であるか否かを判定する。
例えば、画像処理部102により検出された人の形状を示す画像領域の中に、濃度が閾値以上となる画像領域が予め決められた閾値以上の割合で含まれている場合、判定部103は、この人の形状を示す画像領域は、作業員を示す画像であって、カメラ201が撮像したエリアに作業員がいると判定する。
また、画像処理部102により検出された人の形状を示す画像領域の中に、黄色の画像領域や青色の画像領域が予め決められた閾値以上の割合で含まれている場合、判定部103は、この人の形状を示す画像領域は、作業員を示す画像であって、カメラ201が撮像したエリアに作業員がいると判定する。
さらに、画像処理部102により検出された人の形状を示す画像領域の中に、この特定の模様や文字を含む画像領域が予め決められた閾値以上の割合で含まれている場合、判定部103は、この人の形状を示す画像領域は、作業員を示す画像であって、カメラ201が撮像したエリアに作業員がいると判定する。
また、判定部103は、この判定部103は、第2車両判定装置502_2のセンサ202の受光部の受光量が予め決められた閾値以上であるか否かを判定する。光量が閾値以上である場合、判定部103は、作業員が第2走行レーン上にいると判定する。
そして、判定部103は、作業者が第2走行レーン上にいないと判定した場合、検出した進入者が案内制御の必要な者であることを示す情報を案内制御部104に出力する。
これにより、案内制御が不要となる料金所の関係者に対しては案内制御を実行せずにすむ。このため、不要に係員が料金所に呼び出される事態を回避することができる。
また、上記プログラムは、このプログラムを記録装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
Claims (8)
- 料金所内にいる進入者を検知する進入者検知装置と、
前記進入者検知装置の検知結果に基づき、前記進入者検知装置によって検知された前記進入者が前記料金所の関係者の有する特徴を含む者であるか否かを判定する判定装置と、
前記進入者が前記料金所の関係者の有する特徴を含まない者であると判定した場合、前記進入者を安全な場所に退避させるための誘導制御を実行する案内制御装置と、
を備えることを特徴とする進入者検知システム。 - 前記案内制御装置は、
前記進入者が前記料金所の関係者の有する特徴を含まない者であると判定した場合、前記進入者を安全な場所に退避させるための誘導制御と、前記検知結果に対応する走行レーンへの車両の進入を禁止するための規制制御との両方を実行する
請求項1に記載の進入者検知システム。 - 前記進入者検知装置は、
前記料金所内を撮像する撮像装置を備え、
前記判定装置は、
前記撮像装置によって撮像された撮像画像内から検出された人の形状を示す画像領域のうち、濃度が予め決められた閾値以上となる画像領域が含まれている場合、前記撮像装置によって撮像されたエリア内に前記料金所の関係者がいると判定することを特徴とする請求項1又は請求項2に記載の進入者検知システム。 - 前記判定装置は、
前記撮像装置によって撮像された撮像画像内から検出された人の形状を示す画像領域のうち、特定の模様あるいは文字を含む画像領域が予め決められた閾値以上の割合で含まれている場合、前記撮像装置によって撮像されたエリア内に前記料金所の関係者がいると判定することを特徴とする請求項3に記載の進入者検知システム。 - 前記判定装置は、
前記撮像装置によって撮像された撮像画像内から検出された人の形状を示す画像領域のうち、特定の色を含む画像領域が予め決められた閾値以上の割合で含まれている場合、前記撮像装置によって撮像されたエリア内に前記料金所の関係者がいると判定することを特徴とする請求項3又は請求項4に記載の進入者検知システム。 - 前記進入者検知装置は、
センサ光を出射する発光部と前記センサ光を受光する受光部とを含むセンサを備え、
前記判定装置は、
前記センサ光を反射する反射物からの反射光の光量が予め決められた閾値以上である場合、センサ光が出射されるエリア内に前記料金所の関係者がいると判定することを特徴とする請求項1から5のうちいずれか一項に記載の進入者検知システム。 - 料金所内にいる進入者を検知する進入者検知ステップと、
前記進入者検知ステップの検知結果に基づき、検知された前記進入者が前記料金所の関係者の有する特徴を含む者であるか否かを判定する判定ステップと、
前記進入者が前記料金所の関係者の有する特徴を含まない者であると判定した場合、前記進入者を安全な場所に退避させるための誘導制御を実行する案内制御ステップと、
を備えることを特徴とする進入者検知方法。 - コンピュータを、
料金所内にいる進入者を検知する進入者検知手段、
前記進入者検知手段の検知結果に基づき、検知された前記進入者が前記料金所の関係者の有する特徴を含む者であるか否かを判定する判定手段、
前記進入者が前記料金所の関係者の有する特徴を含まない者であると判定した場合、前記進入者を安全な場所に退避させるための誘導制御を実行する案内制御手段、
として機能させるための進入者検知プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012081404A JP6016411B2 (ja) | 2012-03-30 | 2012-03-30 | 進入者検知システム、進入者検知方法、および進入者検知プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012081404A JP6016411B2 (ja) | 2012-03-30 | 2012-03-30 | 進入者検知システム、進入者検知方法、および進入者検知プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013210890A JP2013210890A (ja) | 2013-10-10 |
JP6016411B2 true JP6016411B2 (ja) | 2016-10-26 |
Family
ID=49528646
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012081404A Active JP6016411B2 (ja) | 2012-03-30 | 2012-03-30 | 進入者検知システム、進入者検知方法、および進入者検知プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6016411B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6375830B2 (ja) * | 2014-09-26 | 2018-08-22 | 三菱重工機械システム株式会社 | 料金所システム、料金機械および音声出力制御方法 |
JP6386929B2 (ja) * | 2015-02-03 | 2018-09-05 | 株式会社東芝 | 料金収受システム |
CN114093042A (zh) * | 2021-11-29 | 2022-02-25 | 河北高速公路集团有限公司京秦分公司 | 一种etc门架安全管理*** |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08340527A (ja) * | 1995-06-14 | 1996-12-24 | Kansai Electric Power Co Inc:The | 移動物体自動監視システム |
JP2004232174A (ja) * | 2003-01-28 | 2004-08-19 | Yoshiro Hiraiwa | 画像認識用人型シンボル付き保護帽 |
JP5085891B2 (ja) * | 2006-06-26 | 2012-11-28 | セコム株式会社 | 警告機能を備えた人体検知装置 |
JP4738313B2 (ja) * | 2006-10-27 | 2011-08-03 | 三菱重工業株式会社 | 料金自動収受システム |
JP2008210312A (ja) * | 2007-02-28 | 2008-09-11 | Tekunamu:Kk | 料金所横断用遮断装置 |
JP2008269351A (ja) * | 2007-04-20 | 2008-11-06 | Toshiba Corp | 危険防止システム及び危険防止方法 |
JP5097045B2 (ja) * | 2008-07-31 | 2012-12-12 | 株式会社三共 | 工事現場防犯システム |
JP5305979B2 (ja) * | 2009-02-24 | 2013-10-02 | 株式会社東芝 | 監視システム及び監視方法 |
-
2012
- 2012-03-30 JP JP2012081404A patent/JP6016411B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013210890A (ja) | 2013-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102619558B1 (ko) | 자율주행차의 제어시스템 및 그 제어방법 | |
KR101385525B1 (ko) | 스쿨존 안전통행 시스템 | |
KR101884324B1 (ko) | 횡단보도 음성안내 보조장치 | |
KR101661237B1 (ko) | 횡단보도의 교통신호안전시스템 | |
KR101737803B1 (ko) | 객체 정보 수집 장치 및 그 방법 | |
ES2327469T3 (es) | Sistema de supervision de vias mediante imagenes de video. | |
KR100862561B1 (ko) | 교통사고 검지 시스템 | |
KR102181222B1 (ko) | 횡단보도 보행자의 안전 관리 시스템 | |
KR102337088B1 (ko) | 어린이 보호구역 사고예방시스템 | |
KR101036947B1 (ko) | 컴퓨터 영상 분석기술을 이용한 범죄 및 사고예방 자동경비 시스템 | |
ZA201006521B (en) | Devices and method for classifying vehicles | |
KR100960991B1 (ko) | 스쿨존 내의 로봇을 이용한 교통제어 시스템 및 그 방법 | |
KR101635477B1 (ko) | 횡단보도의 교통신호안전시스템 | |
CN112037399B (zh) | 一种闸机通行指示的控制方法、闸机设备及*** | |
JP6447425B2 (ja) | 違反抑止装置およびこれを備えた違反抑止システム | |
KR20210083025A (ko) | 인공지능 기반 횡단보도 보행자 검출 및 사고 예방 시스템 | |
KR102484348B1 (ko) | 교통약자 횡단보도 구역 보행자 위치 추적 스마트폴시스템 | |
JP6016411B2 (ja) | 進入者検知システム、進入者検知方法、および進入者検知プログラム | |
KR102254195B1 (ko) | 교통 감응 신호에 대한 안내를 제공하기 위한 교통 제어 시스템 및 그에 관한 방법 | |
KR20200028081A (ko) | 카메라가 구비된 스마트 신호등 시스템 | |
KR102185100B1 (ko) | 횡단보도 보행자 안전관리 시스템 및 그 방법 | |
KR20190114347A (ko) | 어린이 보호구역의 안전속도준수 제어시스템 | |
WO2021112277A1 (ko) | 횡단보도 보행자의 안전 관리 시스템 | |
KR101672780B1 (ko) | 어린이 보호 구역 내의 지능형 영상감시 시스템 | |
KR20220071514A (ko) | 영상 기반의 객체 인식 및 주변 환경 감지를 통한 보행 신호 제어 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150325 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20160323 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20160324 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160323 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160419 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160616 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20160617 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160830 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160927 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6016411 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |