JPWO2017047687A1 - 監視システム - Google Patents
監視システム Download PDFInfo
- Publication number
- JPWO2017047687A1 JPWO2017047687A1 JP2017539963A JP2017539963A JPWO2017047687A1 JP WO2017047687 A1 JPWO2017047687 A1 JP WO2017047687A1 JP 2017539963 A JP2017539963 A JP 2017539963A JP 2017539963 A JP2017539963 A JP 2017539963A JP WO2017047687 A1 JPWO2017047687 A1 JP WO2017047687A1
- Authority
- JP
- Japan
- Prior art keywords
- video
- speed
- camera
- abnormality
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
監視カメラの設定は、映像解析の対象であるかどうか及び、異常が検知されたかどうかに応じて動的に切り替えられうる。
本例の監視システム1は、高速道路の沿線に、所定の間隔で配置される任意の数N台の監視カメラ装置2−1〜2−Nと、交通管制センター等の拠点に集約された中央処理システム3とを備える。
中央処理システム3は、映像解析部4と、映像表示部5と、映像記録部6と、それらを制御するシステム制御部7とを備える。
本例の監視システム1は、大まかには、定常状態、渋滞原因探索、障害物探索、及び障害物観察の4つの状態を有する。長大な路線を管理する交通管制システムでは、この状態遷移は、地理的に局所的に行われうる。
定常状態は、渋滞も障害物もない状態であり、N台の監視カメラ2をトラフィックカウンターの様に用いて、速度異常が発生していないか監視する。また監視カメラ2を巡回的に選択しながらその映像を分析し、車両の避走(障害物を回避するような走行の軌跡)、或いは障害物そのものの検出も試みる。速度異常を検出すると渋滞原因探索状態に遷移し、避走を検出すると障害物探索状態に遷移し、障害物を検出すると障害物観察状態に遷移する。
推定された渋滞の始点が、自然渋滞が頻繁に発生する箇所で有ったり、他の既知の原因が判っている場合は、定常状態に遷移する。そうでなければ、PTZ制御により始点付近の高倍率映像を巡回的に取得し、避走を示す車両の検出を試み、検出すると障害物探索状態に遷移するとともにアラーム(障害物アラーム)を発報する。
本例の監視カメラ2は、撮影した映像から被写体の速度を算出し、速度の異常を検知し速度異常検知情報として、中央処理システムに通知する。
速度解析部22は、入力した映像内の被写体(車両)の実際の速度を計算して出力する。
高画質化処理部23は入力した映像に対して超解像やコントラスト補正等の高画質化処理を施して出力する。速度解析部22と高画質化処理部23は、共通のプロセッサ上で動作するソフトウェアによって実現されうる。或いは共通のFPGA(Field-Programmable Gate Array)のようなハードウェアで、乗算器などを排他的に使用する様態で実現されうる。
また、カメラ制御部24は、中央処理装置からの要求に従って、速度解析部と高画質化処理部の制御を行う。例えば、要求に従って片方の機能のみを動作するようにしても良い。高画質化処理部が動作している場合はその出力を監視カメラ映像として出力し、動作していない場合は撮像部出力映像を監視カメラ映像として出力する。
電動ズームレンズ26は、受信したカメラ制御情報に従って、撮像部21の撮像範囲(ズーム倍率)を変更する。
なお、速度解析部22や高画質化処理部23、カメラ制御部24は、撮像部21のケース内に設けてもよい。
まずS11として、撮像部出力映像を1フレーム取り込む。
次にS12として、入力したフレームに対して動体領域の検出を行う。動体領域は、周知の方法、例えばフレーム間の画素値の違いにより求めることが出来る。
S13において動体が存在したと判断すると、S14として動体領域内で、例えばハリスのコーナー検出やSUSAN演算子により、特徴点を検出する。
次にS15として、動体領域の特徴点を、時間領域で対応付けることで、動体の追跡を行う。各動体領域の特徴点群を、フレーム間で対応付けるような処理として、ミーンシフト、パーティクルフィルタ、カルマンフィルタ等の周知の技術が利用でき、道路脇の柱などにより車両が一時的に隠れても連続した軌跡をえることができる。追跡は、動体領域単位、特徴点単位、或いは距離が近く動きが類似する特徴点のクラスターの単位で行うことができ、対応付けようとうする特徴点の位置の差の他、もし利用できるのであればコーナー(エッジ)の方向や種類の相違も考慮してもよい。また常に同じ位置で単発的に検出される特徴点があるときは、それらの位置を学習して、1回目の検出をマスクするようにしてもよい。渋滞時に密に連なった車両の列は、S12では1つに合体した動体領域として検出されうるが、特徴点群は適当にグループ化するなどして扱うことができる。
最後にS15として、追跡した結果から、速度検出範囲を通過するのに何フレームを要したかを測定する。
まずS31で、各監視カメラ2から速度異常情報の収集を行う。速度異常情報は、各監視カメラの被写体の速度が、一定期間内に設定された範囲から外れたかどうかを示す情報である。既に映像解析の対象となり高画質化モードで動作している監視カメラ2からは速度異常情報が得られないので、代わりに映像解析部4での解析の中で得られる軌跡情報等を利用することができる。 速度の算出は認識や学習等を用いた映像解析と比較して少ない計算コストの画像解析で実現できる。速度異常が検出された監視カメラ付近では、渋滞や車両がブレーキを踏むなど、何らかの異常が起きた可能性がある。
システム制御部7は、速度異常が検出された監視カメラ2の映像を優先して映像解析部4に受け渡す。もし、速度異常が検出されたカメラが位置的に隣り合っていた場合は図3のように先頭の(下流の)監視カメラ2のみの優先度を上げる。これは、渋滞区間に応じて、道路上で連続する複数のカメラが速度異常を検出することが予期されるので、渋滞の先頭に対応するカメラを特に優先して選択することを意図している。 優先度が高いカメラ2がMより多く存在した場合は、最後に解析された時刻から現在までの期間が長いものを優先して解析する。優先度の高いカメラがM以下であった場合は、残った演算リソースによって、優先度の高いカメラに地理的に隣接するカメラやその他の監視カメラの映像を、最後に解析された時刻から現在までの期間が長いものから優先して解析してもよい。映像解析の対象として選択した履歴は、一定期間保持される。
S35では、システム制御部7は、受取った解析結果(最新の1つ)が、避走等の異常を示しているかを判断する。解析結果は誤検出を含みうるので、なお解析結果を過去一定期間分保持し、それらに基づいて判断してもよい。
S37では、S36の検索に基づき、頻繁に解析対象となったカメラの有無を判断する。該当するカメラがあった場合、S35で異常と判断された場合と同じ処理(アラーム発報)に進む。該当するカメラがない場合、処理はS31に戻る。
アラームは、異常が検知されたカメラの映像と位置や時刻等の情報を映像表示装置に送信することにより行う。
例えば、映像解析部4は、上述した認識・学習技術等による道路の損傷検出、障害物の認識(検出)、車両の緊急停車の検出等を行ってもよい。また、監視カメラ2側で高解像度化されなった映像を解析するために、前処理として、コントラスト補正や揺らぎ補正、揺れ補正、超解像処理等を行ってもよい。
また車両の速度を計測する代わりに、所定時間当たりの通過台数を計測し、その変化から渋滞始点を探索してもよい。
また映像解析部4は、路面に引かれた走行レーンの境界ラインをハフ変換等により検出し、それを利用して動体の追跡を行ってもよい。例えば走行レーンの向きと大きく異なる動きを候補から除外して処理量を軽減することができ、レーンの幅を基準に車両の見かけの大きさや避走の程度を判断することができる。また、映像から障害物が検出されたときは、その大きさや走行レーンとの位置関係に基づいて、深刻度の異なるアラームを発報することができる。例えば当初路側帯で検出された障害物が走行レーンに移動したときは、より高い深刻度のアラームを発報し直す。
6 映像記録部、 7 システム制御部、
21 撮像部、 22 速度解析部、 23 高画質化処理部、 24 カメラ制御部、 25 電動雲台、 26 電動ズームレンズ。
Claims (6)
- 複数台のカメラの映像から異常を検知してアラームを発報する監視システムにおいて、被写体の速度又は通過台数の異常を検知する機能を有する複数の監視カメラと、前記監視カメラで検出された前記異常に基づいて前記複数の監視カメラの映像に優先順位をつけて映像解析を行う中央処理装置とを有し、
前記中央処理装置が、前記複数の監視カメラの設定を、前記映像解析の対象であるかどうか若しくは前記映像解析によって異常が検知されたかどうかに応じて切り替えることを特徴とする監視システム。 - 請求項1の監視システムにおいて、前記複数の監視カメラはそれぞれ、
映像を出力する撮像部と、
撮像部の撮像の方向または範囲を変更する電動雲台と、
前記映像を入力され、前記映像内の前記被写体の実際の速度を計算して出力する速度解析器と、
前記映像に対して、高画質化処理を施して出力する高画質化処理器と、
前記中央処理装置からの要求に従って、前記速度解析部と前記高画質化処理部の一方のみを動作させるように制御するカメラ制御器と、を有し、
前記カメラ制御器は、前記速度解析器からの速度に異常があったときに、被写体の速度が一定期間内に設定された範囲から外れたかどうかを示す速度異常検知情報を、前記中央処理装置へ出力するとともに、前記中央処理装置から解析対象となったことを伝達されたとき及び前記映像解析によって異常が検出されたことが伝達されたときに、前記高画質化処理部を動作させ、それ以外のときに前記速度解析部を動作させることを特徴とする監視システム。 - 請求項1又は2の監視システムにおいて、前記中央処理装置は、
前記映像解析の対象とされた監視カメラから受信した映像を、認識若しくは学習を用いて解析する映像解析器と、 異常が検知された映像を優先して表示する映像表示器と、 監視カメラから受取った映像を記録する映像記録機と、 前記複数の監視カメラから収集した速度異常検知情報に基づいて、前記複数の監視カメラの内の所定数以下の監視カメラを前記映像解析の対象として選択し、当該選択された映像が前記映像解析部で解析された結果に基づき、アラームを発報し、前記映像表示器での表示および映像記録機での記録を制御するシステム制御器と、を有することを特徴とする監視システム。 - 請求項2の監視システムにおいて、前記速度解析器は、フレーム間の画素値の違いに基づいて動体領域を検出し、前記動体領域内で特徴点を検出し、前記特徴点を時間領域で対応付けることで、前記被写体の追跡を行うものであり、追跡した前記被写体が、速度検出範囲を通過するのに要したフレーム数に基づいて前記実際の速度を測定することを特徴とする監視システム。
- 請求項3の監視システムにおいて、前記被写体は道路を走行する車両であり、 前記映像解析器は、車両を認識する能力を有し、予め正常時の車両の走行軌跡を蓄積若しくは学習しており、与えられた映像内で認識した車両を追跡して、異常な走行軌跡の発生を検知し、 前記システム制御器は、前記速度異常検知を出力した監視カメラの映像を優先して前記映像解析器に解析させ、前記速度異常検知を出力した監視カメラが道路上で連続しているときは、当該道路における車両の進行方向で先頭にある監視カメラの優先度を上げて、前記映像解析器に解析させるとともに、前記映像解析器が前記異常な走行軌跡を検知したときは、前記異常な走行軌跡の原因となった事象の推定位置に向けて、対応する監視カメラの撮像の方向若しくは範囲を変更するような前記設定の切り替えを行うことを特徴とする監視システム。
- 請求項1の監視システムを用いて、前記映像解析によって検知された異常を観察する道路映像監視方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015184124 | 2015-09-17 | ||
JP2015184124 | 2015-09-17 | ||
PCT/JP2016/077236 WO2017047687A1 (ja) | 2015-09-17 | 2016-09-15 | 監視システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017047687A1 true JPWO2017047687A1 (ja) | 2018-08-02 |
JP6584024B2 JP6584024B2 (ja) | 2019-10-02 |
Family
ID=58288964
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017539963A Active JP6584024B2 (ja) | 2015-09-17 | 2016-09-15 | 監視システム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6584024B2 (ja) |
WO (1) | WO2017047687A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113923449A (zh) * | 2021-12-15 | 2022-01-11 | 深圳市光网视科技有限公司 | 一种预判安防监控终端故障的方法及*** |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102011119B1 (ko) * | 2017-12-28 | 2019-10-21 | (주)에스비네트워크 | 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 시스템 및 표시 방법 |
JP7326029B2 (ja) * | 2019-05-31 | 2023-08-15 | 株式会社東芝 | 交通映像処理装置 |
JP7401217B2 (ja) * | 2019-07-29 | 2023-12-19 | 京セラ株式会社 | 基地局、交通通信システム、及び交通管理方法 |
WO2021020304A1 (ja) * | 2019-07-29 | 2021-02-04 | 京セラ株式会社 | 基地局、路側機、交通通信システム、交通管理方法、及び教師データ生成方法 |
JP2021077072A (ja) * | 2019-11-08 | 2021-05-20 | 富士通株式会社 | 情報処理プログラム、情報処理方法、および情報処理装置 |
JP7255745B2 (ja) * | 2020-02-25 | 2023-04-11 | 日本電信電話株式会社 | 移動対象追跡装置、移動対象追跡方法、移動対象追跡システム、および、学習装置、並びに、プログラム |
US20230091500A1 (en) * | 2020-03-19 | 2023-03-23 | Nec Corporation | Data processing apparatus, sending apparatus, and data processing method |
JP7440332B2 (ja) * | 2020-04-21 | 2024-02-28 | 株式会社日立製作所 | 事象解析システムおよび事象解析方法 |
JP7363669B2 (ja) * | 2020-05-15 | 2023-10-18 | トヨタ自動車株式会社 | 情報処理装置、及び情報処理システム |
US20230274634A1 (en) * | 2020-07-28 | 2023-08-31 | Nec Corporation | Traffic monitoring apparatus, traffic monitoring system, traffic monitoring method, and storage medium |
CN116348936A (zh) * | 2020-10-05 | 2023-06-27 | 株式会社电装 | 信息处理装置、车辆控制装置以及道路信息分发方法 |
CN112637492B (zh) * | 2020-12-19 | 2022-04-15 | 中建浩运有限公司 | 一种智能实体展会*** |
JPWO2022269980A1 (ja) * | 2021-06-24 | 2022-12-29 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03118696A (ja) * | 1989-09-29 | 1991-05-21 | Omron Corp | 異常走行車両の検出装置 |
JPH10307987A (ja) * | 1997-05-02 | 1998-11-17 | Mitsubishi Heavy Ind Ltd | 交通流計測装置 |
JPH1139589A (ja) * | 1997-07-18 | 1999-02-12 | Fuji Electric Co Ltd | 交通監視装置および交通監視方法 |
JPH1196494A (ja) * | 1997-09-22 | 1999-04-09 | Hitachi Ltd | 交通流監視方法および装置 |
JPH11288495A (ja) * | 1998-04-02 | 1999-10-19 | Sumitomo Electric Ind Ltd | 交通異常検出装置 |
JP2002083394A (ja) * | 2000-06-30 | 2002-03-22 | Sumitomo Electric Ind Ltd | 交通流の異常検知装置及び方法 |
JP2002190090A (ja) * | 2000-10-13 | 2002-07-05 | Sumitomo Electric Ind Ltd | 交通流の異常検知装置及び方法(スペクトル) |
JP2005073218A (ja) * | 2003-08-07 | 2005-03-17 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
JP2009284371A (ja) * | 2008-05-26 | 2009-12-03 | Meidensha Corp | 映像監視装置 |
JP2011071920A (ja) * | 2009-09-28 | 2011-04-07 | Hitachi Kokusai Electric Inc | 遠隔映像監視システム |
JP2012234377A (ja) * | 2011-05-02 | 2012-11-29 | Mitsubishi Electric Corp | 映像監視システム |
JP2014192713A (ja) * | 2013-03-27 | 2014-10-06 | Hitachi Industry & Control Solutions Ltd | 監視システム |
-
2016
- 2016-09-15 WO PCT/JP2016/077236 patent/WO2017047687A1/ja active Application Filing
- 2016-09-15 JP JP2017539963A patent/JP6584024B2/ja active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03118696A (ja) * | 1989-09-29 | 1991-05-21 | Omron Corp | 異常走行車両の検出装置 |
JPH10307987A (ja) * | 1997-05-02 | 1998-11-17 | Mitsubishi Heavy Ind Ltd | 交通流計測装置 |
JPH1139589A (ja) * | 1997-07-18 | 1999-02-12 | Fuji Electric Co Ltd | 交通監視装置および交通監視方法 |
JPH1196494A (ja) * | 1997-09-22 | 1999-04-09 | Hitachi Ltd | 交通流監視方法および装置 |
JPH11288495A (ja) * | 1998-04-02 | 1999-10-19 | Sumitomo Electric Ind Ltd | 交通異常検出装置 |
JP2002083394A (ja) * | 2000-06-30 | 2002-03-22 | Sumitomo Electric Ind Ltd | 交通流の異常検知装置及び方法 |
JP2002190090A (ja) * | 2000-10-13 | 2002-07-05 | Sumitomo Electric Ind Ltd | 交通流の異常検知装置及び方法(スペクトル) |
JP2005073218A (ja) * | 2003-08-07 | 2005-03-17 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
JP2009284371A (ja) * | 2008-05-26 | 2009-12-03 | Meidensha Corp | 映像監視装置 |
JP2011071920A (ja) * | 2009-09-28 | 2011-04-07 | Hitachi Kokusai Electric Inc | 遠隔映像監視システム |
JP2012234377A (ja) * | 2011-05-02 | 2012-11-29 | Mitsubishi Electric Corp | 映像監視システム |
JP2014192713A (ja) * | 2013-03-27 | 2014-10-06 | Hitachi Industry & Control Solutions Ltd | 監視システム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113923449A (zh) * | 2021-12-15 | 2022-01-11 | 深圳市光网视科技有限公司 | 一种预判安防监控终端故障的方法及*** |
Also Published As
Publication number | Publication date |
---|---|
JP6584024B2 (ja) | 2019-10-02 |
WO2017047687A1 (ja) | 2017-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6584024B2 (ja) | 監視システム | |
US20180204335A1 (en) | System for tracking object, and camera assembly therefor | |
JP6969871B2 (ja) | 移動状況推定装置、移動状況推定方法およびプログラム | |
JP4984575B2 (ja) | 画像処理による侵入者検知装置 | |
KR102105162B1 (ko) | 전자파 센서를 이용해 차량 속도, 차량 위치 및 차량 통행량을 파악하고 규칙을 위반하는 차량을 구분하여 이에 대한 정보는 동영상 또는 사진으로 저장하는 스마트 속도위반단속 장치, 스마트 신호위반단속 장치 및 스마트시티 솔루션 장치 | |
US10018703B2 (en) | Method for stop sign law enforcement using motion vectors in video streams | |
US20130093895A1 (en) | System for collision prediction and traffic violation detection | |
KR102172239B1 (ko) | 영상 기반 비정상 상황 모니터링 방법 및 시스템 | |
JP5992681B2 (ja) | 混雑の非通常状態検知システム | |
CN104966304A (zh) | 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法 | |
US20160267330A1 (en) | Device and method for detecting circumventing behavior and device and method for processing cause of circumvention | |
Ghahremannezhad et al. | Real-time accident detection in traffic surveillance using deep learning | |
KR100690279B1 (ko) | 다목적 영상감지 시스템 | |
US11727580B2 (en) | Method and system for gathering information of an object moving in an area of interest | |
CN112241974A (zh) | 交通事故检测方法及处理方法、***、存储介质 | |
CN112818753A (zh) | 采坑坠物检测方法、装置及*** | |
Prommool et al. | Vision-based automatic vehicle counting system using motion estimation with Taylor series approximation | |
JPH0676195A (ja) | 異常事象検出装置 | |
JP6978986B2 (ja) | 警報システム、警報制御装置及び警報方法 | |
KR20180068462A (ko) | 신호등 제어 시스템 및 방법 | |
KR101859329B1 (ko) | 주정차 단속 시스템 | |
Heo et al. | Autonomous reckless driving detection using deep learning on embedded GPUs | |
JP4675217B2 (ja) | 追尾型監視システム | |
JP2018192844A (ja) | 監視装置、監視システム、監視プログラム、および、記憶媒体 | |
JP4209826B2 (ja) | 交通流監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180216 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190418 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190829 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190902 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6584024 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |