JP6413530B2 - 監視システム、映像解析装置、映像解析方法およびプログラム - Google Patents
監視システム、映像解析装置、映像解析方法およびプログラム Download PDFInfo
- Publication number
- JP6413530B2 JP6413530B2 JP2014186450A JP2014186450A JP6413530B2 JP 6413530 B2 JP6413530 B2 JP 6413530B2 JP 2014186450 A JP2014186450 A JP 2014186450A JP 2014186450 A JP2014186450 A JP 2014186450A JP 6413530 B2 JP6413530 B2 JP 6413530B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- area
- selection
- wide
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Alarm Systems (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Description
また、本発明の他の観点によれば、ネットワークを介して送信された広域カメラ映像から選択された選択フレームにおける選択領域が通知された場合、蓄積されている過去の広域カメラ映像から前記選択フレームを特定するフレーム特定部と、前記選択フレームにおける前記選択領域から動体を検出する動体検出部と、前記動体の追尾処理により追尾対象を特定する追尾対象特定部と、前記追尾対象の最新位置を特定する位置特定部と、を備え、前記最新位置に応じた撮像方向が可動カメラによって撮像され、前記フレーム特定部は、前記過去の広域カメラ映像から、前記選択領域が通知された時刻より所定時間前のフレーム撮像時刻が付与されているフレームを前記選択フレームとして特定する、映像解析装置が提供される。
また、本発明の他の観点によれば、ネットワークを介して送信された広域カメラ映像から選択された選択フレームにおける選択領域が通知された場合、蓄積されている過去の広域カメラ映像から前記選択フレームを特定することと、前記選択フレームにおける前記選択領域から動体を検出することと、前記動体の追尾処理により追尾対象を特定することと、前記追尾対象の最新位置を特定することと、を含み、前記最新位置に応じた撮像方向が可動カメラによって撮像され、前記過去の広域カメラ映像から、前記選択領域が通知された時刻より所定時間前のフレーム撮像時刻が付与されているフレームを前記選択フレームとして特定することを含む、映像解析方法が提供される。
また、本発明の他の観点によれば、コンピュータを、ネットワークを介して送信された広域カメラ映像から選択された選択フレームにおける選択領域が通知された場合、蓄積されている過去の広域カメラ映像から前記選択フレームを特定するフレーム特定部と、前記選択フレームにおける前記選択領域から動体を検出する動体検出部と、前記動体の追尾処理により追尾対象を特定する追尾対象特定部と、前記追尾対象の最新位置を特定する位置特定部と、を備え、前記最新位置に応じた撮像方向が可動カメラによって撮像され、前記フレーム特定部は、前記過去の広域カメラ映像から、前記選択領域が通知された時刻より所定時間前のフレーム撮像時刻が付与されているフレームを前記選択フレームとして特定する、映像解析装置として機能させるためのプログラムが提供される。
まず、本発明の第1の実施形態について説明する。
図1を参照しながら、本発明の第1の実施形態に係る監視システム1Aの構成例について説明する。図1は、本発明の第1の実施形態に係る監視システム1Aの構成例を示した説明図である。図1に示したように、監視システム1Aは、表示制御装置10A、監視装置20、可動カメラ30およびカメラ制御装置40を備える。
続いて、本発明の第1の実施形態に係る表示制御装置10Aの機能構成例について説明する。図2は、本発明の第1の実施形態に係る表示制御装置10Aの機能構成例を示すブロック図である。図2に示したように、本発明の第1の実施形態に係る表示制御装置10Aは、制御部110、入力部120、通信部130、記憶部140および表示部150を備える。
続いて、本発明の第1の実施形態に係る映像解析装置22Aの機能構成例について説明する。図3は、本発明の第1の実施形態に係る映像解析装置22Aの機能構成例を示すブロック図である。図3に示したように、本発明の第1の実施形態に係る映像解析装置22Aは、制御部210A、通信部230および記憶部240を備える。制御部210Aは、フレーム特定部211、動体検出部212、追尾対象特定部213Aおよび位置特定部214を備える。
続いて、本発明の第1の実施形態の背景について説明する。まず、表示制御装置10Aの表示制御部112は、初期の表示画面を表示部150に表示させる。図4は、初期の表示画面の構成例を示す図である。図4に示したように、初期の表示画面Gは、第1のボタン群B1、第2のボタン群B2、第1の表示領域W1〜W4、第2の表示領域W0、移動ボタンB3、ズームボタンB4などを含んでいる。第1の表示領域W1〜W4には、映像取得部111によって通信部130を介して取得された広域カメラ映像が、表示部150によって表示される。
続いて、本発明の第1の実施形態に係る監視システム1Aの機能詳細について説明する。本発明の第1の実施形態においては、映像解析装置22Aが、記憶部240に蓄積されている過去の広域カメラ映像を用いて、表示制御装置10Aの選択部113によって領域選択されたフレーム(以下、「選択フレーム」とも言う。)を特定する。
本発明の第1の実施形態によれば、映像解析装置22Aにおいて、フレーム特定部211によって記憶部240に蓄積されている過去の広域カメラ映像から選択フレームが特定され、動体検出部212によって選択フレームにおける選択領域から動体が検出される。そして、追尾対象特定部213Aによって動体の追跡処理により追尾対象が特定され、位置特定部214によって追尾対象の最新位置が特定される。
続いて、本発明の第2の実施形態について説明する。以下において、本発明の第2の実施形態に係る構成のうち、本発明の第1の実施形態に係る構成と共通する構成に対しては、本発明の第1の実施形態に係る構成に付された符号と同一の符号を付し、かかる構成についての詳細な説明を省略する。
図13を参照しながら、本発明の第2の実施形態に係る表示制御装置10Bの機能構成例について説明する。図13は、本発明の第2の実施形態に係る表示制御装置10Bの機能構成例を示すブロック図である。図13に示したように、本発明の第2の実施形態に係る表示制御装置10Bは、制御部110Aの代わりに制御部110Bを備える点において、本発明の第1の実施形態に係る表示制御装置10Aと異なり、制御部110Bは、追加的に、重要度情報送信制御部115を備える。
図14を参照しながら、本発明の第2の実施形態に係る映像解析装置22Bの機能構成例について説明する。図14は、本発明の第2の実施形態に係る映像解析装置22Bの機能構成例を示すブロック図である。図14に示したように、映像解析装置22Bは、制御部210Aの代わりに制御部210Bを備える点において、本発明の第1の実施形態と異なる。図14に示したように、制御部210Bは、追加的に重要度情報取得部215を備え、追尾対象特定部213Aの代わりに追尾対象特定部213Bを備える。
本発明の第1の実施形態においては、追尾対象特定部213Aが、動体の軌跡の数が1つである場合に、その動体を追尾対象として特定する例を説明した。しかし、動体が複数であると推定される場合もあり得る。そこで、追尾対象特定部213Aは、動体が複数であると推定された場合には、所定の条件に基づいて複数の動体の中から1つを追尾対象として特定すればよい。
本発明の第2の実施形態においては、映像解析装置22Aにおいて、追尾対象特定部213Bは、動体が複数であると推定された場合、複数の動体それぞれが映る領域と重要度情報とに基づいて追尾対象を特定する。かかる構成によれば、動体が複数であると推定されてしまった場合において、重要度情報に基づいて、より重要度の高い動体を追尾することが可能となる。
10(10A、10B) 表示制御装置
20 監視装置
21 固定カメラ
22(22A、22B) 映像解析装置
30 可動カメラ
40 カメラ制御装置
50 ネットワーク
110(110A、110B) 制御部
111 映像取得部
112 表示制御部
113 選択部
114 通知部
115 重要度情報送信制御部
120 入力部
130 通信部
140 記憶部
150 表示部
22(22A、22B) 映像解析装置
210(210A、210B) 制御部
211 フレーム特定部
212 動体検出部
213(213A、213B) 追尾対象特定部
214 位置特定部
215 重要度情報取得部
230 通信部
240 記憶部
G 表示画面
K 監視者
N1〜N4 監視対象領域
Rm 選択領域
M1 動体(追尾対象)
W1〜W4 第1の表示領域
W0 第2の表示領域
Claims (11)
- ネットワークを介して広域カメラ映像を取得する映像取得部と、
前記広域カメラ映像を表示させる表示制御部と、
前記広域カメラ映像からフレームを選択フレームとして選択するとともに前記選択フレームにおける領域を選択領域として選択する選択部と、
前記ネットワークを介して前記選択領域を通知する通知部と、
を備える、表示制御装置と、
前記ネットワークを介して前記選択領域が通知された場合、蓄積されている過去の広域カメラ映像から前記選択フレームを特定するフレーム特定部と、
前記選択フレームにおける前記選択領域から動体を検出する動体検出部と、
前記動体の追跡処理により追尾対象を特定する追尾対象特定部と、
前記追尾対象の最新位置を特定する位置特定部と、
を備える、映像解析装置と、
前記最新位置に応じた撮像方向を可動カメラに撮像させるカメラ制御装置と、
を有し、
前記フレーム特定部は、前記選択フレームに付与されていたフレーム撮像時刻が通知されると、蓄積されている過去の広域カメラ映像から前記フレーム撮像時刻が付与されているフレームを前記選択フレームとして特定する、
監視システム。 - ネットワークを介して広域カメラ映像を取得する映像取得部と、
前記広域カメラ映像を表示させる表示制御部と、
前記広域カメラ映像からフレームを選択フレームとして選択するとともに前記選択フレームにおける領域を選択領域として選択する選択部と、
前記ネットワークを介して前記選択領域を通知する通知部と、
を備える、表示制御装置と、
前記ネットワークを介して前記選択領域が通知された場合、蓄積されている過去の広域カメラ映像から前記選択フレームを特定するフレーム特定部と、
前記選択フレームにおける前記選択領域から動体を検出する動体検出部と、
前記動体の追跡処理により追尾対象を特定する追尾対象特定部と、
前記追尾対象の最新位置を特定する位置特定部と、
を備える、映像解析装置と、
前記最新位置に応じた撮像方向を可動カメラに撮像させるカメラ制御装置と、
を有し、
前記フレーム特定部は、前記過去の広域カメラ映像から、前記選択領域が通知された時刻より所定時間前のフレーム撮像時刻が付与されているフレームを前記選択フレームとして特定する、
監視システム。 - ネットワークを介して広域カメラ映像を取得する映像取得部と、
前記広域カメラ映像を表示させる表示制御部と、
前記広域カメラ映像からフレームを選択フレームとして選択するとともに前記選択フレームにおける領域を選択領域として選択する選択部と、
前記ネットワークを介して前記選択領域を通知する通知部と、
を備える、表示制御装置と、
前記ネットワークを介して前記選択領域が通知された場合、蓄積されている過去の広域カメラ映像から前記選択フレームを特定するフレーム特定部と、
前記選択フレームにおける前記選択領域から動体を検出する動体検出部と、
前記動体の追跡処理により追尾対象を特定する追尾対象特定部と、
前記追尾対象の最新位置を特定する位置特定部と、
を備える、映像解析装置と、
前記最新位置に応じた撮像方向を可動カメラに撮像させるカメラ制御装置と、
を有し、
前記映像解析装置は、動体の特性と重要度とが関連付けられてなる重要度情報を取得する重要度情報取得部を備え、
前記追尾対象特定部は、動体が複数であると推定された場合、前記複数の動体それぞれの特性と前記重要度情報とに基づいて前記追尾対象を特定する、
監視システム。 - 前記重要度情報取得部は、時間帯ごとに前記動体の特性と前記重要度とが関連付けられてなる重要度情報を取得し、
前記追尾対象特定部は、動体が複数であると推定された場合、現在時刻と前記複数の動体それぞれの特性と前記重要度情報とに基づいて前記追尾対象を特定する、
請求項3に記載の監視システム。 - ネットワークを介して広域カメラ映像を取得する映像取得部と、
前記広域カメラ映像を表示させる表示制御部と、
前記広域カメラ映像からフレームを選択フレームとして選択するとともに前記選択フレームにおける領域を選択領域として選択する選択部と、
前記ネットワークを介して前記選択領域を通知する通知部と、
を備える、表示制御装置と、
前記ネットワークを介して前記選択領域が通知された場合、蓄積されている過去の広域カメラ映像から前記選択フレームを特定するフレーム特定部と、
前記選択フレームにおける前記選択領域から動体を検出する動体検出部と、
前記動体の追跡処理により追尾対象を特定する追尾対象特定部と、
前記追尾対象の最新位置を特定する位置特定部と、
を備える、映像解析装置と、
前記最新位置に応じた撮像方向を可動カメラに撮像させるカメラ制御装置と、
を有し、
前記映像解析装置は、前記広域カメラ映像における領域と重要度とが関連付けられてなる重要度情報を取得する重要度情報取得部を備え、
前記追尾対象特定部は、動体が複数であると推定された場合、前記複数の動体それぞれが映る領域と前記重要度情報とに基づいて前記追尾対象を特定する、
監視システム。 - ネットワークを介して送信された広域カメラ映像から選択された選択フレームにおける選択領域が通知された場合、蓄積されている過去の広域カメラ映像から前記選択フレームを特定するフレーム特定部と、
前記選択フレームにおける前記選択領域から動体を検出する動体検出部と、
前記動体の追尾処理により追尾対象を特定する追尾対象特定部と、
前記追尾対象の最新位置を特定する位置特定部と、を備え、
前記最新位置に応じた撮像方向が可動カメラによって撮像され、
前記フレーム特定部は、前記選択フレームに付与されていたフレーム撮像時刻が通知されると、蓄積されている過去の広域カメラ映像から前記フレーム撮像時刻が付与されているフレームを前記選択フレームとして特定する、
映像解析装置。 - ネットワークを介して送信された広域カメラ映像から選択された選択フレームにおける選択領域が通知された場合、蓄積されている過去の広域カメラ映像から前記選択フレームを特定するフレーム特定部と、
前記選択フレームにおける前記選択領域から動体を検出する動体検出部と、
前記動体の追尾処理により追尾対象を特定する追尾対象特定部と、
前記追尾対象の最新位置を特定する位置特定部と、を備え、
前記最新位置に応じた撮像方向が可動カメラによって撮像され、
前記フレーム特定部は、前記過去の広域カメラ映像から、前記選択領域が通知された時刻より所定時間前のフレーム撮像時刻が付与されているフレームを前記選択フレームとして特定する、
映像解析装置。 - ネットワークを介して送信された広域カメラ映像から選択された選択フレームにおける選択領域が通知された場合、蓄積されている過去の広域カメラ映像から前記選択フレームを特定することと、
前記選択フレームにおける前記選択領域から動体を検出することと、
前記動体の追尾処理により追尾対象を特定することと、
前記追尾対象の最新位置を特定することと、を含み、
前記最新位置に応じた撮像方向が可動カメラによって撮像され、
前記選択フレームに付与されていたフレーム撮像時刻が通知されると、蓄積されている過去の広域カメラ映像から前記フレーム撮像時刻が付与されているフレームを前記選択フレームとして特定することを含む、
映像解析方法。 - ネットワークを介して送信された広域カメラ映像から選択された選択フレームにおける選択領域が通知された場合、蓄積されている過去の広域カメラ映像から前記選択フレームを特定することと、
前記選択フレームにおける前記選択領域から動体を検出することと、
前記動体の追尾処理により追尾対象を特定することと、
前記追尾対象の最新位置を特定することと、を含み、
前記最新位置に応じた撮像方向が可動カメラによって撮像され、
前記過去の広域カメラ映像から、前記選択領域が通知された時刻より所定時間前のフレーム撮像時刻が付与されているフレームを前記選択フレームとして特定することを含む、
映像解析方法。 - コンピュータを、
ネットワークを介して送信された広域カメラ映像から選択された選択フレームにおける選択領域が通知された場合、蓄積されている過去の広域カメラ映像から前記選択フレームを特定するフレーム特定部と、
前記選択フレームにおける前記選択領域から動体を検出する動体検出部と、
前記動体の追尾処理により追尾対象を特定する追尾対象特定部と、
前記追尾対象の最新位置を特定する位置特定部と、を備え、
前記最新位置に応じた撮像方向が可動カメラによって撮像され、
前記フレーム特定部は、前記選択フレームに付与されていたフレーム撮像時刻が通知されると、蓄積されている過去の広域カメラ映像から前記フレーム撮像時刻が付与されているフレームを前記選択フレームとして特定する、
映像解析装置として機能させるためのプログラム。 - コンピュータを、
ネットワークを介して送信された広域カメラ映像から選択された選択フレームにおける選択領域が通知された場合、蓄積されている過去の広域カメラ映像から前記選択フレームを特定するフレーム特定部と、
前記選択フレームにおける前記選択領域から動体を検出する動体検出部と、
前記動体の追尾処理により追尾対象を特定する追尾対象特定部と、
前記追尾対象の最新位置を特定する位置特定部と、を備え、
前記最新位置に応じた撮像方向が可動カメラによって撮像され、
前記フレーム特定部は、前記過去の広域カメラ映像から、前記選択領域が通知された時刻より所定時間前のフレーム撮像時刻が付与されているフレームを前記選択フレームとして特定する、
映像解析装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014186450A JP6413530B2 (ja) | 2014-09-12 | 2014-09-12 | 監視システム、映像解析装置、映像解析方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014186450A JP6413530B2 (ja) | 2014-09-12 | 2014-09-12 | 監視システム、映像解析装置、映像解析方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016059014A JP2016059014A (ja) | 2016-04-21 |
JP6413530B2 true JP6413530B2 (ja) | 2018-10-31 |
Family
ID=55759206
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014186450A Active JP6413530B2 (ja) | 2014-09-12 | 2014-09-12 | 監視システム、映像解析装置、映像解析方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6413530B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112449111A (zh) * | 2020-11-13 | 2021-03-05 | 珠海大横琴科技发展有限公司 | 一种监控设备处理方法和装置 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017212654A (ja) * | 2016-05-26 | 2017-11-30 | 株式会社エクスビジョン | Gui装置 |
JP2019068261A (ja) * | 2017-09-29 | 2019-04-25 | 株式会社リコー | 配信システムおよび配信方法、配信装置および配信プログラム、ならびに、受信装置および受信プログラム |
JP6934386B2 (ja) * | 2017-10-03 | 2021-09-15 | 日本放送協会 | 動体追尾装置及びそのプログラム |
CN112585957A (zh) * | 2018-08-20 | 2021-03-30 | 株式会社音乐馆 | 车站监控***及车站监控方法 |
JP7058806B1 (ja) * | 2021-02-22 | 2022-04-22 | 三菱電機株式会社 | 映像監視装置、映像監視システム、映像監視方法、及び映像監視プログラム |
CN114513751A (zh) * | 2021-03-25 | 2022-05-17 | 深圳警圣技术股份有限公司 | 一种基于5g无线网络的人员识别与定位追踪***及方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09130783A (ja) * | 1995-10-31 | 1997-05-16 | Matsushita Electric Ind Co Ltd | 分散映像監視装置 |
JP3440916B2 (ja) * | 2000-03-30 | 2003-08-25 | 日本電気株式会社 | 自動追尾装置、自動追尾方法及び自動追尾プログラムを記録した記録媒体 |
JP4100934B2 (ja) * | 2002-02-28 | 2008-06-11 | シャープ株式会社 | 複合カメラシステム、ズームカメラ制御方法およびズームカメラ制御プログラム |
JP4699040B2 (ja) * | 2005-02-15 | 2011-06-08 | パナソニック株式会社 | 自動追尾制御装置及び自動追尾制御方法、並びにプログラム、自動追尾システム |
JP2006270404A (ja) * | 2005-03-23 | 2006-10-05 | Mitsubishi Electric Corp | 撮影制御装置、撮影制御方法および撮影制御プログラム |
JP2009268005A (ja) * | 2008-04-30 | 2009-11-12 | Meidensha Corp | 侵入物検知追跡装置 |
JP5964108B2 (ja) * | 2012-03-30 | 2016-08-03 | 株式会社メガチップス | 物体検出装置 |
-
2014
- 2014-09-12 JP JP2014186450A patent/JP6413530B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112449111A (zh) * | 2020-11-13 | 2021-03-05 | 珠海大横琴科技发展有限公司 | 一种监控设备处理方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2016059014A (ja) | 2016-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6413530B2 (ja) | 監視システム、映像解析装置、映像解析方法およびプログラム | |
JP6458474B2 (ja) | 監視システム、映像解析装置、映像解析方法およびプログラム | |
JP6696615B2 (ja) | 監視システム、監視方法、及び監視プログラムを記憶する記録媒体 | |
US20230412925A1 (en) | Video surveillance system and video surveillance method | |
RU2551128C1 (ru) | Устройство содействия в отслеживании, система содействия в отслеживании и способ содействия в отслеживании | |
RU2702160C2 (ru) | Устройство поддержки отслеживания, система поддержки отслеживания и способ поддержки отслеживания | |
US9870684B2 (en) | Information processing apparatus, information processing method, program, and information processing system for achieving a surveillance camera system | |
KR102064746B1 (ko) | 머신 러닝을 기반으로 한 화재 감시 시스템 | |
KR101543542B1 (ko) | 지능형 감시 시스템 및 이를 이용한 지능형 감시 방법 | |
US20050024206A1 (en) | Method and apparatus for providing a scalable multi-camera distributed video processing and visualization surveillance system | |
US11830251B2 (en) | Video monitoring apparatus, method of controlling the same, computer-readable storage medium, and video monitoring system | |
JP6032283B2 (ja) | 監視カメラ管理装置、監視カメラ管理方法およびプログラム | |
JP7146416B2 (ja) | 情報処理装置、情報処理システム、情報処理方法、及びプログラム | |
JP7176868B2 (ja) | 監視装置 | |
KR101434878B1 (ko) | 감시카메라 시스템 | |
KR20120118339A (ko) | 지능형 무인 감시 서비스 방법 | |
JP7141842B2 (ja) | 監視装置 | |
JP7204356B2 (ja) | 監視装置 | |
JP2022098663A (ja) | 監視システム、監視システムの異常検知検出方法、及び監視システムの異常検知検出プログラム | |
JP6413529B2 (ja) | 表示制御装置、表示制御方法、プログラムおよび監視システム | |
JP2016149667A (ja) | 制御装置、制御方法およびプログラム | |
JP2007140630A (ja) | 追尾型監視システム | |
JP2009017031A (ja) | 映像情報出力装置、監視カメラシステム、及び映像情報出力方法 | |
KR101623332B1 (ko) | 영상을 활용한 이동객체 검지 및 근접 확대 촬영 방법 | |
JP2019180026A (ja) | 監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170515 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180313 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180425 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180904 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180917 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6413530 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |