JP6052062B2 - 人物探索システム - Google Patents
人物探索システム Download PDFInfo
- Publication number
- JP6052062B2 JP6052062B2 JP2013112816A JP2013112816A JP6052062B2 JP 6052062 B2 JP6052062 B2 JP 6052062B2 JP 2013112816 A JP2013112816 A JP 2013112816A JP 2013112816 A JP2013112816 A JP 2013112816A JP 6052062 B2 JP6052062 B2 JP 6052062B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- driver
- face image
- image information
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/085—Registering performance data using electronic data carriers
- G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Biodiversity & Conservation Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Alarm Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Time Recorders, Dirve Recorders, Access Control (AREA)
- Collating Specific Patterns (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Description
たとえば、運転者の顔画像から運転者の眠気度や脇見運転を検出して、必要に応じて警告音を出力する技術が提案されている(特許文献1)。あるいは、運転者は故障の発生前にその兆候を感じ取ることに着目して、運転者の表情の僅かな変化から、車両が故障する前に故障の兆候を検出する技術(特許文献2)や、運転者の顔画像が登録した顔画像と一致するか否かを判断することによって車両の盗難を防止する技術(特許文献3)が提案されている。
A.装置構成 :
図1には、本実施例の人物探索システム1の構成が示されている。図示されるように、本実施例の人物探索システム1は、車両10に搭載されて運転者の顔画像を撮影する車載カメラ100や、運転者の顔画像から顔の特徴量を生成する処理などを行う制御装置110、車両10とは別の場所に設けられ、探索対象者に関する情報を登録するデータベース20などから構成されている。
このうち、制御部111は、車両10が備える車速センサー120で検出された車両10の状態(停止/走行)に基づいて、顔画像を要求する要求信号を車載カメラ100へ出力する。特徴量生成部112は、車載カメラ100で撮影された顔画像を受け取ると、その顔画像から顔の特徴量(目、鼻、口などの形状や大きさなど)を生成して、制御部111に出力する。
また、位置情報取得部113は、GPS装置130がGPS衛星(図示省略)から受信したGPS信号に基づいて、車両10の位置情報を取得して、制御部111に出力する。通信部114は、制御部111から特徴量や位置情報を受け取り、これらの情報を、所定の無線通信回線で接続されたデータベース20へ送信する。また、記憶部115には、車両10の車両番号(車両10を識別可能な情報)が記憶されており、この車両番号も特徴量や位置情報とともにデータベース20へ送信される。
図2には、本実施例の制御部111が実行する運転者情報送信処理のフローチャートが示されている。制御部111は、車両10のエンジンが起動されると運転者情報送信処理を開始し、車両10が走行を開始したか否かを判断する(S100)。車両10が走行を開始したか否かは、車速センサー120で検出された速度がゼロでないことを制御部111が検出することで判断する。この結果、車両10が走行を開始していなければ(S100:no)、この判断処理を繰り返し、車両10が走行を開始するまで待機状態となる。
ここで、車両10の運転者は、エンジンを起動した状態のまま別の者へ運転を交代することもあり、交代時は車両10を一旦停止させるものと考えられる。このため、上述したように、車両10が(停止した状態から)走行を開始したら(S100:yes)、S102以降の一連の処理を繰り返すこととしておけば、車両10のエンジンが起動された状態のまま運転者が交代することがあっても、その交代後の運転者について探索対象者であるか否かを判断することができる。
図3には、データベース20が実行する探索対象者検出処理のフローチャートが示されている。データベース20は、車両10から送信されてきた各種情報に応じて、次のような処理を行うことで、車両10の運転者が探索対象者であるか否かを判断するとともに、該運転者が探索対象者である場合はその位置を検出する。
S200の判断処理の結果、特徴量および車両番号を受信していなければ(S200:no)、今度は、位置情報および車両番号を車両10から受信したか否かを判断する(S202)。図2を用いて前述したように、位置情報および車両番号が車両10から送信されるのは、車両10の運転者が探索対象者であるとデータベース21で判断された場合(一致信号を受信した後)であり、これら位置情報および車両番号情報は、探索対象者が運転する車両10を追跡するために、繰り返し車両10から送信される。
S202の判断処理の結果、位置情報および車両番号を受信していなければ(S202:no)、そのまま先頭のS200処理に戻る。
図4には、データベース20が記憶している情報が概念的に示されている。図示されるように、データベース20には、探索対象者と、その探索対象者の顔画像のファイル名(顔画像ファイル)と、顔画像から抽出した特徴量とが、予め登録されている。また、各探索対象者に対応付けて、車両番号および位置情報を記憶することが可能である。
データベース20は、S204の処理で、車両10から受信した特徴量と、予め登録されている探索対象者の特徴量とを照合する。その結果、車両10から受信した特徴量が何れかの探索対象者の特徴量に一致している場合は(S206:yes)、該一致した探索対象者に対応付けて車両番号を記憶する(S208)。これにより、探索対象者が運転する車両10の車両番号が記憶される。図4に示す例では、車両10から受信した特徴量と探索対象者「C」の特徴量とが一致したことにより、探索対象者「C」に対応付けて車両10の車両番号「nnnnn」が記憶されている。
尚、図2を用いて前述したように、位置情報および車両番号は、第2所定時間毎に車両10からデータベース20へ送信されることから(図2のS114参照)、データベース20に記憶される位置情報も第2所定時間毎に更新される。
また、ほとんどの車両において、車載カメラ100は運転席の前方で、しかも運転席から近距離に設けられているので、これらの車両同士で、顔画像の撮影条件を近似させることができ、均質な顔画像を得ることができる。そして、このように鮮明で均質な顔画像から特徴量を生成して、該特徴量を探索対象者の特徴量と照合するので、容易に且つ高い精度で探索対象者を見つけ出すことができる。また、探索対象者が見つかった場合は、該探索対象者が運転する車両10は該車両10の位置情報をデータベース20に送信するので、該探索対象者の位置を特定することができる。
また、本実施例のデータベースは、探索対象者の顔画像に基づく特徴量(探索者顔画像情報)を記憶する。また、車両10の通信部114(送信手段)によって送信された運転者の特徴量(運転者顔画像情報)を探索対象者の特徴量(探索者顔画像情報)と照合する。また、照合の結果、運転者の特徴量(運転者顔画像情報)が探索対象者の特徴量(探索者顔画像情報)に一致したら、探索対象者に対応付けて車両10の通信部114(送信手段)によって送信された位置情報を記憶する。従って、本実施例のデータベースは、本発明における「探索対象者記憶手段」,「照合手段」,「位置情報記憶手段」に対応している。
上述した実施例の人物探索システム1には、幾つかの変形例が存在する。以下では、これらの変形例について実施例との相違点に焦点を当てて説明する。尚、以下に説明する変形例においては、上述した実施例と同様な構成については同じ符号を付すこととして、詳細な説明は省略する。
上述した実施例では、車両10が一致信号を受信するまでは(データベース20で、車両10の運転者が探索対象者であると判断されるまでは)、車両10が走行を開始するたびに、運転者が交代した可能性があるので、運転者の特徴量をデータベース20へ送信するものとして説明した。
もっとも、車両10は、信号機や標識に基づき一旦停止する場合等のように、運転者が交代しないまま走行を開始する場合も多い。従って、車両10で運転者が交代したか否かを判断し、運転者が交代したと判断した場合に、運転者の特徴量をデータベース20に送信することとしてもよい。
そこで、S308の処理では、直前に生成された特徴量(直前に撮影された顔画像から生成された特徴量)を記憶部115から読み出し、そのような特徴量と、今回新たに生成された特徴量とが一致するか否かを判断する(S308)。
また、運転者が交代したと判断されていない場合は、特徴量および車両番号をデータベース20へ送信しないので、車両10からデータベース20に送信される情報量を抑制することができる。
上述した実施例では、データベース20に予め登録されている探索対象者を探索するものとして説明した。これに対して、データベース20に予め登録されていなくても、交通違反等によって、車両10の運転者を探索する必要性が生じた場合に、該運転者を探索することとしてもよい。
そして、変形例2の特徴量生成部112は、車載カメラ100から顔画像を受け取ると、そのまま該顔画像(運転者顔画像情報)を制御部111へ出力する。この顔画像は、後述するように、速度違反を行った車両10の運転者を見つけ出す際の手がかりとなる。
これに対して、これらの情報を受信した場合は(S500:yes)、受信した顔画像から顔の特徴量を生成する(S502)。そして、生成された特徴量を、予め登録(記憶)された探索対象者の特徴量と照合する(S504)。この結果、生成された特徴量が探索対象者の特徴量と一致した場合、すなわち、車両10の運転者が予め登録(記憶)された探索対象者であると判断された場合(S506:yes)、警察署等の関係機関へ、予めデータベース20に登録されている探索対象者に関する情報(関連情報)と、位置情報,車両番号を報知する(S508)。探索を行う関係機関の係員は、これらの情報を手がかりにして、車両10の運転者を見つけ出すことができる。
この結果、運転者の特徴量が候補者の特徴量と一致した場合、その運転者は正規の運転者(候補者)であると考えられる。これに対して、運転者の特徴量が候補者の特徴量と一致しない場合、その運転者は正規の運転者(候補者)ではない者(不審者)と考えることができる。この場合は、制御部111は、上述のS406の処理と同様に、車載カメラ100で撮影された運転者の顔画像を、車両10の位置情報および車両番号とともに通信部114からデータベース20へ送信する。このようにすることで、運転者が正規の運転者でない場合に、探索を行う関係機関の係員は、車両10からデータベース20が受信した顔画像,位置情報,車両番号を手がかりにして、車両10の運転者を見つけ出すことができる。
上述した実施例では、運転者の顔画像を撮影する処理は、車両10の走行中に行うものとして説明した。これに限らず、運転者の顔画像を撮影する処理は、車両10の走行中であって、ハンドルの操舵角が所定範囲内であるときに行うこととしてもよい。
その結果、ハンドルの操舵角が所定範囲内である場合は(S602:yes)、顔画像を要求する要求信号を車載カメラ100へ出力して、車載カメラ100に運転者の顔画像を撮影させる(S604)。そして、特徴量生成部112に、撮影した顔画像から特徴量を生成させる(S606)。
この後は、図2を用いて前述したS106の処理(特徴量および車両番号をデータベース20へ送信する処理)に移って、上述した実施例の場合と同様に、それ以降の一連の処理を実行する。
この結果、車両10が走行中であると判断されたら(S608:yes)、再度、上述したS602の処理に戻り、ハンドルの操舵角が所定の範囲内であるか否かを判断する(S602)。こうすることで、いずれ、車両10の走行中にハンドルの操舵角が所定範囲内となったら(車両10が直進に近い状態となったら)、運転者の顔画像を撮影する(S604)。
尚、S608の判断処理で、車両10が走行中ではないと判断された場合(S608:no)、すなわち、車両10が直進に近い状態にならないまま走行を停止した場合は、先頭のS600の処理に戻って、再度、車両10が走行を開始したら(S600:yes)、S602以降の上述した処理を繰り返す。
110…制御装置、 111…制御部、 112…特徴量生成部、
113…位置情報取得部、114…通信部、 115…記憶部、
120…車速センサー、 130…GPS装置。
Claims (4)
- 車両と、前記車両と所定の通信回線を介して接続されたデータベースとを備えた人物探索システムであって、
前記車両は、
運転席の前方に設けられた車載カメラと、
前記車両のハンドルの操舵角を検出する操舵角検出手段と、
前記操舵角が前記車両の直進方向を含む所定範囲内である場合に、前記車載カメラで運転者の顔画像を撮影することによって運転者顔画像情報を生成する生成手段と、
前記車両の位置情報を取得する位置情報取得手段と、
前記運転者顔画像情報および前記位置情報を前記データベースへ送信する送信手段と
を備え、
前記データベースは、
探索対象者の顔画像に基づく探索者顔画像情報を記憶する探索対象者記憶手段と、
前記送信手段によって送信された前記運転者顔画像情報を前記探索者顔画像情報と照合する照合手段と、
前記照合手段による照合の結果、前記運転者顔画像情報が前記探索者顔画像情報に一致したら、前記探索対象者に対応付けて前記送信手段によって送信された前記位置情報を記憶する位置情報記憶手段と
を備える人物探索システム。 - 請求項1に記載の人物探索システムであって、
前記生成手段は、前記車両の走行が開始されると前記運転者顔画像情報を生成する手段である人物探索システム。 - 請求項1または請求項2に記載の人物探索システムであって、
前記送信手段は、新たに生成された前記運転者顔画像情報と該運転者顔画像情報より前に生成された前記運転者顔画像情報とが異なる場合に、前記新たに生成された運転者顔画像情報を前記データベースに送信する手段である人物探索システム。 - 車両と、前記車両と所定の通信回線を介して接続されたデータベースとを用いた人物探索方法であって、
前記車両にて、ハンドルの操舵角を検出する工程と、
前記操舵角が前記車両の直進方向を含む所定範囲内である場合に、前記車両にて、運転席の前方に設けられた車載カメラで運転者の顔画像を撮影することによって運転者顔画像情報を生成する工程と、
前記車両にて、前記車両の位置情報を取得する工程と、
前記運転者顔画像情報と前記位置情報とを前記車両から前記データベースへ送信する工程と、
前記データベースにて、前記車両から送信された前記運転者顔画像情報を、探索対象者の顔画像に基づく探索者顔画像情報と照合する工程と、
前記データベースにて、前記運転者顔画像情報が前記探索者顔画像情報に一致したら、前記探索者顔画像情報に対応付けて前記位置情報を記憶する工程と
を備える人物探索方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013112816A JP6052062B2 (ja) | 2013-05-29 | 2013-05-29 | 人物探索システム |
PCT/JP2014/002639 WO2014192248A1 (ja) | 2013-05-29 | 2014-05-20 | 人物探索システム、人物探索方法及び車載装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013112816A JP6052062B2 (ja) | 2013-05-29 | 2013-05-29 | 人物探索システム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014232421A JP2014232421A (ja) | 2014-12-11 |
JP2014232421A5 JP2014232421A5 (ja) | 2015-08-13 |
JP6052062B2 true JP6052062B2 (ja) | 2016-12-27 |
Family
ID=51988301
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013112816A Expired - Fee Related JP6052062B2 (ja) | 2013-05-29 | 2013-05-29 | 人物探索システム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6052062B2 (ja) |
WO (1) | WO2014192248A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019168057A1 (ja) * | 2018-03-02 | 2019-09-06 | 日本電気株式会社 | 画像処理装置、画像処理方法、記憶媒体 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107466223B (zh) * | 2015-04-09 | 2021-06-22 | 宝马股份公司 | 用于电子多功能装置的控制 |
WO2017002240A1 (ja) * | 2015-07-01 | 2017-01-05 | 株式会社日立国際電気 | 監視システム、撮影側装置、及び照合側装置 |
CN106355675A (zh) * | 2016-08-31 | 2017-01-25 | 重庆市朗信智能科技开发有限公司 | 一种obd隐藏式汽车行车记录设备 |
JP6402787B2 (ja) | 2017-01-27 | 2018-10-10 | 日本電気株式会社 | 監視システム、監視センター装置、搭載装置、監視方法、処理方法、プログラム |
US20220188394A1 (en) | 2019-04-18 | 2022-06-16 | Nec Corporation | Person specifying device, person specifying method, and recording medium |
CN110113540B (zh) * | 2019-06-13 | 2021-06-04 | 广州小鹏汽车科技有限公司 | 一种车辆拍摄方法、装置、车辆和可读介质 |
CN110443213A (zh) * | 2019-08-12 | 2019-11-12 | 北京比特大陆科技有限公司 | 面部检测方法、目标检测方法和装置 |
CN111078927A (zh) * | 2019-12-19 | 2020-04-28 | 罗普特科技集团股份有限公司 | 基于家谱数据识别驾驶员身份的方法、装置、存储介质 |
JP2021119436A (ja) * | 2020-01-30 | 2021-08-12 | 荘太郎 林 | 交通事故と逃げ得が急激に大幅に激減する自動車。 |
JP2022134915A (ja) * | 2021-03-04 | 2022-09-15 | 株式会社Jvcケンウッド | 検知機能制御装置、検知機能制御方法、及びプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006260483A (ja) * | 2005-03-18 | 2006-09-28 | Toshiba Corp | 顔照合システム及び顔照合方法 |
JP2009059259A (ja) * | 2007-09-03 | 2009-03-19 | Masahiro Watanabe | 車両運行管理システム |
-
2013
- 2013-05-29 JP JP2013112816A patent/JP6052062B2/ja not_active Expired - Fee Related
-
2014
- 2014-05-20 WO PCT/JP2014/002639 patent/WO2014192248A1/ja active Application Filing
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019168057A1 (ja) * | 2018-03-02 | 2019-09-06 | 日本電気株式会社 | 画像処理装置、画像処理方法、記憶媒体 |
JP2019153938A (ja) * | 2018-03-02 | 2019-09-12 | 日本電気株式会社 | 画像処理装置、画像処理方法、プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2014192248A1 (ja) | 2014-12-04 |
JP2014232421A (ja) | 2014-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6052062B2 (ja) | 人物探索システム | |
US20150243111A1 (en) | Driver log generation | |
US11587442B2 (en) | System, program, and method for detecting information on a person from a video of an on-vehicle camera | |
JP6509361B2 (ja) | 駐車支援装置及び駐車支援方法 | |
WO2019148819A1 (zh) | 辅助车辆行驶的方法及装置 | |
CN110741424B (zh) | 危险信息收集装置 | |
JP2017198799A (ja) | 情報収集システム | |
JP6048246B2 (ja) | 車間距離計測装置及び車間距離計測方法 | |
JP2009237897A (ja) | 画像認識装置 | |
US11782973B2 (en) | System and method for sharing accident information of vehicle | |
CN111325088B (zh) | 信息处理***、记录介质以及信息处理方法 | |
JP2019067201A (ja) | 車両捜索システム、車両捜索方法、ならびに、それに用いられる車両およびプログラム | |
JP2002342883A (ja) | 危険運転抑制装置 | |
JP6288204B1 (ja) | 車両用制限速度検出装置 | |
JP2009159241A (ja) | 駐車時停止支援システム | |
JP2004064409A (ja) | 情報記録装置、情報記録方法及び情報記録用プログラム | |
JP7030000B2 (ja) | 情報処理方法、情報処理システム、および、プログラム | |
JP6331232B2 (ja) | 車両用制限速度検出装置 | |
KR102309833B1 (ko) | 자율 주행 차량에서 자율 주행 중 광고 제공 장치 및 그 방법 | |
JP2020021107A (ja) | 情報提供システム | |
JP7110254B2 (ja) | 捜索システム | |
JP2019159924A (ja) | 車載機、運転評価システム、情報処理方法、及びプログラム | |
WO2024095450A1 (ja) | 地図データ作成システム、プローブ情報生成装置及び地図データ作成方法 | |
JP6288205B1 (ja) | 車両用制限速度検出装置 | |
CN116895058A (zh) | 物体信息取得方法以及用于实现该方法的*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150625 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150818 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160927 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161012 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161114 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6052062 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |